docs/tag_documentation.rst

   1 CSIT TAGs Descriptions
   2 ======================
   3
   4 Documentation for tags used to select and identify test cases.
   5
   6
   7 Topology TAGs
   8 -------------
   9
  10 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  11
  12     3 nodes connected in a circular topology with two links interconnecting
  13     the devices.
  14
  15 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  16
  17     3 nodes connected in a circular topology with at least one link
  18     interconnecting devices.
  19
  20
  21 Objective TAGs
  22 --------------
  23
  24 .. topic:: SKIP_PATCH
  25
  26     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  27     and csit-vpp-verify jobs (i.e. CSIT patch).
  28
  29 .. topic:: SKIP_VPP_PATCH
  30
  31     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  32
  33
  34 Environment TAGs
  35 ----------------
  36
  37 .. topic:: HW_ENV
  38
  39     DUTs and TGs are running on bare metal.
  40
  41 .. topic:: VM_ENV
  42
  43     DUTs and TGs are running in virtual environment.
  44
  45 .. topic:: VPP_VM_ENV
  46
  47     DUTs with VPP and capable of running Virtual Machine.
  48
  49
  50 NIC model tags
  51 --------------
  52
  53 .. topic:: NIC_Intel-X520-DA2
  54
  55     Intel X520-DA2 NIC.
  56
  57 .. topic:: NIC_Intel-XL710
  58
  59     Intel XL710 NIC.
  60
  61 .. topic:: NIC_Intel-X710
  62
  63     Intel X710 NIC.
  64
  65 .. topic:: NIC_Cisco-VIC-1227
  66
  67     VIC-1227 by Cisco.
  68
  69 .. topic:: NIC_Cisco-VIC-1385
  70
  71     VIC-1385 by Cisco.
  72
  73
  74 Scaling TAGs
  75 ------------
  76
  77 .. topic:: FIB_20K
  78
  79     2x10,000 entries in single fib table
  80
  81 .. topic:: FIB_200K
  82
  83     2x100,000 entries in single fib table
  84
  85 .. topic:: FIB_2M
  86
  87     2x1,000,000 entries in single fib table
  88
  89 .. topic:: TNL_1000
  90
  91     IPSec in tunnel mode - 1000 tunnels.
  92
  93 .. topic:: SRC_USER_10
  94
  95     Traffic flow with 10 unique IPs (users) in one direction.
  96
  97 .. topic:: SRC_USER_100
  98
  99     Traffic flow with 100 unique IPs (users) in one direction.
 100
 101 .. topic:: SRC_USER_1000
 102
 103     Traffic flow with 1000 unique IPs (users) in one direction.
 104
 105 .. topic:: SRC_USER_2000
 106
 107     Traffic flow with 2000 unique IPs (users) in one direction.
 108
 109 .. topic:: SRC_USER_4000
 110
 111     Traffic flow with 4000 unique IPs (users) in one direction.
 112
 113
 114 Tags marking functional vs. performance of tests
 115 ------------------------------------------------
 116
 117 .. topic:: FUNCTEST
 118
 119     All functional test cases.
 120
 121 .. topic:: PERFTEST
 122
 123     All performance test cases.
 124
 125
 126 Performance testing tags
 127 ------------------------
 128
 129 .. topic:: PDRDISC
 130
 131     Partial Drop Rate evaluation of single run result, with non-zero packet
 132     loss tolerance (LT) expressed in percentage of packets transmitted.
 133
 134 .. topic:: NDRDISC
 135
 136     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 137     set to zero lost packets.
 138
 139 .. topic:: NDRCHK
 140
 141     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 142     Non Drop Rate) with zero packet loss tolerance.
 143
 144 .. topic:: NDRPDRDISC
 145
 146     Find performance of DUT based on RFC2544 with linear / binary / combined
 147     search. (Previous LONG tests.)
 148
 149 Ethernet frame size tags for performance tests
 150 ----------------------------------------------
 151
 152 .. topic:: 64B
 153
 154     64B frames used for test.
 155
 156 .. topic:: 78B
 157
 158     78B frames used for test.
 159
 160 .. topic:: IMIX
 161
 162     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 163
 164 .. topic:: 1460B
 165
 166     1460B frames used for test.
 167
 168 .. topic:: 1480B
 169
 170     1480B frames used for test.
 171
 172 .. topic:: 1514B
 173
 174     1514B frames used for test.
 175
 176 .. topic:: 1518B
 177
 178     1518B frames used for test.
 179
 180 .. topic:: 9000B
 181
 182     9000B frames used for test.
 183
 184 Test type tags
 185 --------------
 186
 187 .. topic:: BASE
 188
 189     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 190
 191 .. topic:: IP4BASE
 192
 193     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 194     tests.
 195
 196 .. topic:: IP6BASE
 197
 198     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 199     tests.
 200
 201 .. topic:: L2XCBASE
 202
 203     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 204     tests.
 205
 206 .. topic:: L2BDBASE
 207
 208     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 209     tests.
 210
 211 .. topic:: SCALE
 212
 213     Scale test cases.
 214
 215 .. topic:: ENCAP
 216
 217     Test cases where encapsulation is used. Use also encapsulation tag(s).
 218
 219 .. topic:: FEATURE
 220
 221     At least one feature is configured in test cases. Use also feature tag(s).
 222
 223 .. topic:: TLDK
 224
 225     Functional test cases for TLDK.
 226
 227
 228 Forwarding mode tags
 229 --------------------
 230
 231 .. topic:: L2BDMACSTAT
 232
 233     VPP L2 bridge-domain, L2 MAC static.
 234
 235 .. topic:: L2BDMACLRN
 236
 237     VPP L2 bridge-domain, L2 MAC learning.
 238
 239 .. topic:: L2XCFWD
 240
 241     VPP L2 point-to-point cross-connect.
 242
 243 .. topic:: IP4FWD
 244
 245     VPP IPv4 routed forwarding.
 246
 247 .. topic:: IP6FWD
 248
 249     VPP IPv6 routed forwarding.
 250
 251
 252 Underlay tags
 253 -------------
 254
 255 .. topic:: IP4UNRLAY
 256
 257     IPv4 underlay.
 258
 259 .. topic:: IP6UNRLAY
 260
 261     IPv6 underlay.
 262
 263 .. topic:: MPLSUNRLAY
 264
 265     MPLS underlay.
 266
 267
 268 Overlay tags
 269 ------------
 270
 271 .. topic:: L2OVRLAY
 272
 273     L2 overlay.
 274
 275 .. topic:: IP4OVRLAY
 276
 277     IPv4 overlay (IPv4 payload).
 278
 279 .. topic:: IP6OVRLAY
 280
 281     IPv6 overlay (IPv6 payload).
 282
 283
 284 Encapsulation tags
 285 ------------------
 286
 287 .. topic:: ETH
 288
 289     All test cases with base Ethernet (no encapsulation).
 290
 291 .. topic:: DOT1Q
 292
 293     All test cases with dot1q.
 294
 295 .. topic:: DOT1AD
 296
 297     All test cases with dot1ad.
 298
 299 .. topic:: LISP
 300
 301     All test cases with LISP.
 302
 303 .. topic:: LISPGPE
 304
 305     All test cases with LISP-GPE.
 306
 307 .. topic:: VXLAN
 308
 309     All test cases with Vxlan.
 310
 311 .. topic:: VXLANGPE
 312
 313     All test cases with VXLAN-GPE.
 314
 315 .. topic:: GRE
 316
 317     All test cases with GRE.
 318
 319 .. topic:: IPSEC
 320
 321     All test cases with IPSEC.
 322
 323
 324 Interface tags
 325 --------------
 326
 327 .. topic:: PHY
 328
 329     All test cases which use physical interface(s).
 330
 331 .. topic:: VHOST
 332
 333     All test cases which uses VHOST.
 334
 335 .. topic:: TUNTAP
 336
 337     All test cases which uses TUN and TAP.
 338
 339 .. topic:: AFPKT
 340
 341     All test cases which uses AFPKT.
 342
 343 .. topic:: NETMAP
 344
 345     All test cases which uses Netmap.
 346
 347
 348 Feature tags
 349 ------------
 350
 351 .. topic:: IACLDST
 352
 353     iACL destination.
 354
 355 .. topic:: COPWHLIST
 356
 357     COP whitelist.
 358
 359 .. topic:: SNAT
 360
 361     SNAT configured and tested.
 362
 363
 364 Encryption tags
 365 ---------------
 366
 367 .. topic:: IPSECSW
 368
 369     Crypto in software.
 370
 371 .. topic:: IPSECHW
 372
 373     Crypto in hardware.
 374
 375 .. topic:: IPSECTRAN
 376
 377     IPSec in transport mode.
 378
 379 .. topic:: IPSECTUN
 380
 381     IPSec in tunnel mode.
 382
 383
 384 Client-workload tags
 385 --------------------
 386
 387 .. topic:: VM
 388
 389     All test cases which use at least one virtual machine.
 390
 391 .. topic:: LXC
 392
 393     All test cases which use Linux container.
 394
 395 .. topic:: APP
 396
 397     All test cases with specific APP use.
 398
 399
 400 Multi-threading tags
 401 --------------------
 402
 403 .. topic:: STHREAD
 404
 405     All test cases using single poll mode thread.
 406
 407 .. topic:: MTHREAD
 408
 409     All test cases using more then one poll mode driver thread.
 410
 411 .. topic:: 1NUMA
 412
 413     All test cases with packet processing on single socket.
 414
 415 .. topic:: 2NUMA
 416
 417     All test cases with packet processing on two sockets.
 418
 419 .. topic:: SMT
 420
 421     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 422
 423 .. topic:: NOSMT
 424
 425     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 426
 427 .. topic:: 1T1C
 428
 429     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 430     interface. Main thread pinned to core 0.
 431
 432 .. topic:: 2T2C
 433
 434     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 435     interface. Main thread pinned to core 0.
 436
 437 .. topic:: 4T4C
 438
 439     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 440     interface. Main thread pinned to core 0.
 441
 442 .. topic:: 6T6C
 443
 444     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 445     interface. Main thread pinned to core 0.
 446
 447 .. topic:: 8T8C
 448
 449     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 450     interface. Main thread pinned to core 0.
 451
 452
 453 Honeycomb tags
 454 --------------
 455
 456 .. topic:: HC_FUNC
 457
 458     Honeycomb functional test cases.
 459
 460 .. topic:: HC_PERSIST
 461
 462     Honeycomb persistence test cases.
 463
 464 .. topic:: HC_REST_ONLY
 465
 466     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 467     using ODL client for Restfconf -> Netconf translation.