docs/tag_documentation.rst

   1 CSIT TAGs Descriptions
   2 ======================
   3
   4 Documentation for tags used to select and identify test cases.
   5
   6
   7 Topology TAGs
   8 -------------
   9
  10 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  11
  12     3 nodes connected in a circular topology with two links interconnecting
  13     the devices.
  14
  15 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  16
  17     3 nodes connected in a circular topology with at least one link
  18     interconnecting devices.
  19
  20 Objective TAGs
  21 --------------
  22
  23 .. topic:: SKIP_PATCH
  24
  25     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  26     and csit-vpp-verify jobs (i.e. CSIT patch).
  27
  28
  29 Environment TAGs
  30 ----------------
  31
  32 .. topic:: HW_ENV
  33
  34     DUTs and TGs are running on bare metal.
  35
  36 .. topic:: VM_ENV
  37
  38     DUTs and TGs are running in virtual environment.
  39
  40 .. topic:: VPP_VM_ENV
  41
  42     DUTs with VPP and capable of running Virtual Machine.
  43
  44
  45 NIC model tags
  46 --------------
  47
  48 .. topic:: NIC_Intel-X520-DA2
  49
  50     Intel X520-DA2 NIC.
  51
  52 .. topic:: NIC_Intel-XL710
  53
  54     Intel XL710 NIC.
  55
  56 .. topic:: NIC_Intel-X710
  57
  58     Intel X710 NIC.
  59
  60 .. topic:: NIC_Cisco-VIC-1227
  61
  62     VIC-1227 by Cisco.
  63
  64 .. topic:: NIC_Cisco-VIC-1385
  65
  66     VIC-1385 by Cisco.
  67
  68
  69 Scaling TAGs
  70 ------------
  71
  72 .. topic:: FIB_20K
  73
  74     2x10,000 entries in single fib table
  75
  76 .. topic:: FIB_200K
  77
  78     2x100,000 entries in single fib table
  79
  80 .. topic:: FIB_2M
  81
  82     2x1,000,000 entries in single fib table
  83
  84 .. topic:: TNL_1000
  85
  86     IPSec in tunnel mode - 1000 tunnels.
  87
  88 .. topic:: SRC_USER_10
  89
  90     Traffic flow with 10 unique IPs (users) in one direction.
  91
  92 .. topic:: SRC_USER_100
  93
  94     Traffic flow with 100 unique IPs (users) in one direction.
  95
  96 .. topic:: SRC_USER_1000
  97
  98     Traffic flow with 1000 unique IPs (users) in one direction.
  99
 100 .. topic:: SRC_USER_2000
 101
 102     Traffic flow with 2000 unique IPs (users) in one direction.
 103
 104 .. topic:: SRC_USER_4000
 105
 106     Traffic flow with 4000 unique IPs (users) in one direction.
 107
 108
 109 Tags marking functional vs. performance of tests
 110 ------------------------------------------------
 111
 112 .. topic:: FUNCTEST
 113
 114     All functional test cases.
 115
 116 .. topic:: PERFTEST
 117
 118     All performance test cases.
 119
 120
 121 Performance testing tags
 122 ------------------------
 123
 124 .. topic:: PDRDISC
 125
 126     Partial Drop Rate evaluation of single run result, with non-zero packet
 127     loss tolerance (LT) expressed in percentage of packets transmitted.
 128
 129 .. topic:: NDRDISC
 130
 131     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 132     set to zero lost packets.
 133
 134 .. topic:: NDRCHK
 135
 136     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 137     Non Drop Rate) with zero packet loss tolerance.
 138
 139 .. topic:: NDRPDRDISC
 140
 141     Find performance of DUT based on RFC2544 with linear / binary / combined
 142     search. (Previous LONG tests.)
 143
 144 Ethernet frame size tags for performance tests
 145 ----------------------------------------------
 146
 147 .. topic:: 64B
 148
 149     64B frames used for test.
 150
 151 .. topic:: 78B
 152
 153     78B frames used for test.
 154
 155 .. topic:: IMIX
 156
 157     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 158
 159 .. topic:: 1460B
 160
 161     1460B frames used for test.
 162
 163 .. topic:: 1480B
 164
 165     1480B frames used for test.
 166
 167 .. topic:: 1514B
 168
 169     1514B frames used for test.
 170
 171 .. topic:: 1518B
 172
 173     1518B frames used for test.
 174
 175 .. topic:: 9000B
 176
 177     9000B frames used for test.
 178
 179 Test type tags
 180 --------------
 181
 182 .. topic:: BASE
 183
 184     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 185
 186 .. topic:: IP4BASE
 187
 188     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 189     tests.
 190
 191 .. topic:: IP6BASE
 192
 193     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 194     tests.
 195
 196 .. topic:: L2XCBASE
 197
 198     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 199     tests.
 200
 201 .. topic:: L2BDBASE
 202
 203     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 204     tests.
 205
 206 .. topic:: SCALE
 207
 208     Scale test cases.
 209
 210 .. topic:: ENCAP
 211
 212     Test cases where encapsulation is used. Use also encapsulation tag(s).
 213
 214 .. topic:: FEATURE
 215
 216     At least one feature is configured in test cases. Use also feature tag(s).
 217
 218
 219 Forwarding mode tags
 220 --------------------
 221
 222 .. topic:: L2BDMACSTAT
 223
 224     VPP L2 bridge-domain, L2 MAC static.
 225
 226 .. topic:: L2BDMACLRN
 227
 228     VPP L2 bridge-domain, L2 MAC learning.
 229
 230 .. topic:: L2XCFWD
 231
 232     VPP L2 point-to-point cross-connect.
 233
 234 .. topic:: IP4FWD
 235
 236     VPP IPv4 routed forwarding.
 237
 238 .. topic:: IP6FWD
 239
 240     VPP IPv6 routed forwarding.
 241
 242
 243 Underlay tags
 244 -------------
 245
 246 .. topic:: IP4UNRLAY
 247
 248     IPv4 underlay.
 249
 250 .. topic:: IP6UNRLAY
 251
 252     IPv6 underlay.
 253
 254 .. topic:: MPLSUNRLAY
 255
 256     MPLS underlay.
 257
 258
 259 Overlay tags
 260 ------------
 261
 262 .. topic:: L2OVRLAY
 263
 264     L2 overlay.
 265
 266 .. topic:: IP4OVRLAY
 267
 268     IPv4 overlay (IPv4 payload).
 269
 270 .. topic:: IP6OVRLAY
 271
 272     IPv6 overlay (IPv6 payload).
 273
 274
 275 Encapsulation tags
 276 ------------------
 277
 278 .. topic:: ETH
 279
 280     All test cases with base Ethernet (no encapsulation).
 281
 282 .. topic:: DOT1Q
 283
 284     All test cases with dot1q.
 285
 286 .. topic:: DOT1AD
 287
 288     All test cases with dot1ad.
 289
 290 .. topic:: LISP
 291
 292     All test cases with LISP.
 293
 294 .. topic:: LISPGPE
 295
 296     All test cases with LISP-GPE.
 297
 298 .. topic:: VXLAN
 299
 300     All test cases with Vxlan.
 301
 302 .. topic:: VXLANGPE
 303
 304     All test cases with VXLAN-GPE.
 305
 306 .. topic:: GRE
 307
 308     All test cases with GRE.
 309
 310 .. topic:: IPSEC
 311
 312     All test cases with IPSEC.
 313
 314
 315 Interface tags
 316 --------------
 317
 318 .. topic:: PHY
 319
 320     All test cases which use physical interface(s).
 321
 322 .. topic:: VHOST
 323
 324     All test cases which uses VHOST.
 325
 326 .. topic:: TUNTAP
 327
 328     All test cases which uses TUN and TAP.
 329
 330 .. topic:: AFPKT
 331
 332     All test cases which uses AFPKT.
 333
 334 .. topic:: NETMAP
 335
 336     All test cases which uses Netmap.
 337
 338
 339 Feature tags
 340 ------------
 341
 342 .. topic:: IACLDST
 343
 344     iACL destination.
 345
 346 .. topic:: COPWHLIST
 347
 348     COP whitelist.
 349
 350 .. topic:: SNAT
 351
 352     SNAT configured and tested.
 353
 354
 355 Encryption tags
 356 ---------------
 357
 358 .. topic:: IPSECSW
 359
 360     Crypto in software.
 361
 362 .. topic:: IPSECHW
 363
 364     Crypto in hardware.
 365
 366 .. topic:: IPSECTRAN
 367
 368     IPSec in transport mode.
 369
 370 .. topic:: IPSECTUN
 371
 372     IPSec in tunnel mode.
 373
 374
 375 Client-workload tags
 376 --------------------
 377
 378 .. topic:: VM
 379
 380     All test cases which use at least one virtual machine.
 381
 382 .. topic:: LXC
 383
 384     All test cases which use Linux container.
 385
 386 .. topic:: APP
 387
 388     All test cases with specific APP use.
 389
 390
 391 Multi-threading tags
 392 --------------------
 393
 394 .. topic:: STHREAD
 395
 396     All test cases using single poll mode thread.
 397
 398 .. topic:: MTHREAD
 399
 400     All test cases using more then one poll mode driver thread.
 401
 402 .. topic:: 1NUMA
 403
 404     All test cases with packet processing on single socket.
 405
 406 .. topic:: 2NUMA
 407
 408     All test cases with packet processing on two sockets.
 409
 410 .. topic:: SMT
 411
 412     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 413
 414 .. topic:: NOSMT
 415
 416     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 417
 418 .. topic:: 1T1C
 419
 420     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 421     interface. Main thread pinned to core 0.
 422
 423 .. topic:: 2T2C
 424
 425     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 426     interface. Main thread pinned to core 0.
 427
 428 .. topic:: 4T4C
 429
 430     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 431     interface. Main thread pinned to core 0.
 432
 433 .. topic:: 6T6C
 434
 435     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 436     interface. Main thread pinned to core 0.
 437
 438 .. topic:: 8T8C
 439
 440     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 441     interface. Main thread pinned to core 0.
 442
 443
 444 Honeycomb tags
 445 --------------
 446
 447 .. topic:: HC_FUNC
 448
 449     Honeycomb functional test cases.
 450
 451 .. topic:: HC_PERSIST
 452
 453     Honeycomb persistence test cases.
 454
 455 .. topic:: HC_REST_ONLY
 456
 457     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 458     using ODL client for Restfconf -> Netconf translation.