docs/tag_documentation.rst

   1 CSIT TAGs Descriptions
   2 ======================
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation.
   8
   9 Topology TAGs
  10 -------------
  11
  12 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  13
  14     3 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  18
  19     3 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 Objective TAGs
  23 --------------
  24
  25 .. topic:: SKIP_PATCH
  26
  27     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  28     and csit-vpp-verify jobs (i.e. CSIT patch).
  29
  30 .. topic:: SKIP_VPP_PATCH
  31
  32     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  33
  34 Environment TAGs
  35 ----------------
  36
  37 .. topic:: HW_ENV
  38
  39     DUTs and TGs are running on bare metal.
  40
  41 .. topic:: VM_ENV
  42
  43     DUTs and TGs are running in virtual environment.
  44
  45 .. topic:: VPP_VM_ENV
  46
  47     DUTs with VPP and capable of running Virtual Machine.
  48
  49 NIC model tags
  50 --------------
  51
  52 .. topic:: NIC_Intel-X520-DA2
  53
  54     Intel X520-DA2 NIC.
  55
  56 .. topic:: NIC_Intel-XL710
  57
  58     Intel XL710 NIC.
  59
  60 .. topic:: NIC_Intel-X710
  61
  62     Intel X710 NIC.
  63
  64 .. topic:: NIC_Cisco-VIC-1227
  65
  66     VIC-1227 by Cisco.
  67
  68 .. topic:: NIC_Cisco-VIC-1385
  69
  70     VIC-1385 by Cisco.
  71
  72 Scaling TAGs
  73 ------------
  74
  75 .. topic:: FIB_20K
  76
  77     2x10,000 entries in single fib table
  78
  79 .. topic:: FIB_200K
  80
  81     2x100,000 entries in single fib table
  82
  83 .. topic:: FIB_2M
  84
  85     2x1,000,000 entries in single fib table
  86
  87 .. topic:: TNL_1000
  88
  89     IPSec in tunnel mode - 1000 tunnels.
  90
  91 .. topic:: SRC_USER_10
  92
  93     Traffic flow with 10 unique IPs (users) in one direction.
  94
  95 .. topic:: SRC_USER_100
  96
  97     Traffic flow with 100 unique IPs (users) in one direction.
  98
  99 .. topic:: SRC_USER_1000
 100
 101     Traffic flow with 1000 unique IPs (users) in one direction.
 102
 103 .. topic:: SRC_USER_2000
 104
 105     Traffic flow with 2000 unique IPs (users) in one direction.
 106
 107 .. topic:: SRC_USER_4000
 108
 109     Traffic flow with 4000 unique IPs (users) in one direction.
 110
 111 Tags marking functional vs. performance of tests
 112 ------------------------------------------------
 113
 114 .. topic:: FUNCTEST
 115
 116     All functional test cases.
 117
 118 .. topic:: PERFTEST
 119
 120     All performance test cases.
 121
 122 Performance testing tags
 123 ------------------------
 124
 125 .. topic:: PDRDISC
 126
 127     Partial Drop Rate evaluation of single run result, with non-zero packet
 128     loss tolerance (LT) expressed in percentage of packets transmitted.
 129
 130 .. topic:: NDRDISC
 131
 132     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 133     set to zero lost packets.
 134
 135 .. topic:: NDRCHK
 136
 137     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 138     Non Drop Rate) with zero packet loss tolerance.
 139
 140 .. topic:: NDRPDRDISC
 141
 142     Find performance of DUT based on RFC2544 with linear / binary / combined
 143     search. (Previous LONG tests.)
 144
 145 Ethernet frame size tags for performance tests
 146 ----------------------------------------------
 147
 148 .. topic:: 64B
 149
 150     64B frames used for test.
 151
 152 .. topic:: 78B
 153
 154     78B frames used for test.
 155
 156 .. topic:: IMIX
 157
 158     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 159
 160 .. topic:: 1460B
 161
 162     1460B frames used for test.
 163
 164 .. topic:: 1480B
 165
 166     1480B frames used for test.
 167
 168 .. topic:: 1514B
 169
 170     1514B frames used for test.
 171
 172 .. topic:: 1518B
 173
 174     1518B frames used for test.
 175
 176 .. topic:: 9000B
 177
 178     9000B frames used for test.
 179
 180 Test type tags
 181 --------------
 182
 183 .. topic:: BASE
 184
 185     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 186
 187 .. topic:: IP4BASE
 188
 189     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 190     tests.
 191
 192 .. topic:: IP6BASE
 193
 194     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 195     tests.
 196
 197 .. topic:: L2XCBASE
 198
 199     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 200     tests.
 201
 202 .. topic:: L2BDBASE
 203
 204     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 205     tests.
 206
 207 .. topic:: SCALE
 208
 209     Scale test cases.
 210
 211 .. topic:: ENCAP
 212
 213     Test cases where encapsulation is used. Use also encapsulation tag(s).
 214
 215 .. topic:: FEATURE
 216
 217     At least one feature is configured in test cases. Use also feature tag(s).
 218
 219 .. topic:: TLDK
 220
 221     Functional test cases for TLDK.
 222
 223 Forwarding mode tags
 224 --------------------
 225
 226 .. topic:: L2BDMACSTAT
 227
 228     VPP L2 bridge-domain, L2 MAC static.
 229
 230 .. topic:: L2BDMACLRN
 231
 232     VPP L2 bridge-domain, L2 MAC learning.
 233
 234 .. topic:: L2XCFWD
 235
 236     VPP L2 point-to-point cross-connect.
 237
 238 .. topic:: IP4FWD
 239
 240     VPP IPv4 routed forwarding.
 241
 242 .. topic:: IP6FWD
 243
 244     VPP IPv6 routed forwarding.
 245
 246 Underlay tags
 247 -------------
 248
 249 .. topic:: IP4UNRLAY
 250
 251     IPv4 underlay.
 252
 253 .. topic:: IP6UNRLAY
 254
 255     IPv6 underlay.
 256
 257 .. topic:: MPLSUNRLAY
 258
 259     MPLS underlay.
 260
 261 Overlay tags
 262 ------------
 263
 264 .. topic:: L2OVRLAY
 265
 266     L2 overlay.
 267
 268 .. topic:: IP4OVRLAY
 269
 270     IPv4 overlay (IPv4 payload).
 271
 272 .. topic:: IP6OVRLAY
 273
 274     IPv6 overlay (IPv6 payload).
 275
 276 Encapsulation tags
 277 ------------------
 278
 279 .. topic:: ETH
 280
 281     All test cases with base Ethernet (no encapsulation).
 282
 283 .. topic:: DOT1Q
 284
 285     All test cases with dot1q.
 286
 287 .. topic:: DOT1AD
 288
 289     All test cases with dot1ad.
 290
 291 .. topic:: LISP
 292
 293     All test cases with LISP.
 294
 295 .. topic:: LISPGPE
 296
 297     All test cases with LISP-GPE.
 298
 299 .. topic:: VXLAN
 300
 301     All test cases with Vxlan.
 302
 303 .. topic:: VXLANGPE
 304
 305     All test cases with VXLAN-GPE.
 306
 307 .. topic:: GRE
 308
 309     All test cases with GRE.
 310
 311 .. topic:: IPSEC
 312
 313     All test cases with IPSEC.
 314
 315 Interface tags
 316 --------------
 317
 318 .. topic:: PHY
 319
 320     All test cases which use physical interface(s).
 321
 322 .. topic:: VHOST
 323
 324     All test cases which uses VHOST.
 325
 326 .. topic:: TUNTAP
 327
 328     All test cases which uses TUN and TAP.
 329
 330 .. topic:: AFPKT
 331
 332     All test cases which uses AFPKT.
 333
 334 .. topic:: NETMAP
 335
 336     All test cases which uses Netmap.
 337
 338 .. topic:: MEMIF
 339
 340     All test cases which uses Memif.
 341
 342 Feature tags
 343 ------------
 344
 345 .. topic:: IACLDST
 346
 347     iACL destination.
 348
 349 .. topic:: COPWHLIST
 350
 351     COP whitelist.
 352
 353 .. topic:: SNAT
 354
 355     SNAT configured and tested.
 356
 357 Encryption tags
 358 ---------------
 359
 360 .. topic:: IPSECSW
 361
 362     Crypto in software.
 363
 364 .. topic:: IPSECHW
 365
 366     Crypto in hardware.
 367
 368 .. topic:: IPSECTRAN
 369
 370     IPSec in transport mode.
 371
 372 .. topic:: IPSECTUN
 373
 374     IPSec in tunnel mode.
 375
 376 Client-workload tags
 377 --------------------
 378
 379 .. topic:: VM
 380
 381     All test cases which use at least one virtual machine.
 382
 383 .. topic:: LXC
 384
 385     All test cases which use Linux container.
 386
 387 .. topic:: APP
 388
 389     All test cases with specific APP use.
 390
 391 Multi-threading tags
 392 --------------------
 393
 394 .. topic:: STHREAD
 395
 396     All test cases using single poll mode thread.
 397
 398 .. topic:: MTHREAD
 399
 400     All test cases using more then one poll mode driver thread.
 401
 402 .. topic:: 1NUMA
 403
 404     All test cases with packet processing on single socket.
 405
 406 .. topic:: 2NUMA
 407
 408     All test cases with packet processing on two sockets.
 409
 410 .. topic:: SMT
 411
 412     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 413
 414 .. topic:: NOSMT
 415
 416     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 417
 418 .. topic:: 1T1C
 419
 420     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 421     interface. Main thread pinned to core 0.
 422
 423 .. topic:: 2T2C
 424
 425     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 426     interface. Main thread pinned to core 0.
 427
 428 .. topic:: 4T4C
 429
 430     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 431     interface. Main thread pinned to core 0.
 432
 433 .. topic:: 6T6C
 434
 435     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 436     interface. Main thread pinned to core 0.
 437
 438 .. topic:: 8T8C
 439
 440     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 441     interface. Main thread pinned to core 0.
 442
 443 Honeycomb tags
 444 --------------
 445
 446 .. topic:: HC_FUNC
 447
 448     Honeycomb functional test cases.
 449
 450 .. topic:: HC_PERSIST
 451
 452     Honeycomb persistence test cases.
 453
 454 .. topic:: HC_REST_ONLY
 455
 456     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 457     using ODL client for Restfconf -> Netconf translation.