docs/report/introduction/csit_tag_description.rst

   1 CSIT TAGs Descriptions
   2 ======================
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation based on the content of
   8 `tag documentation rst file`_.
   9
  10 Topology TAGs
  11 -------------
  12
  13 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  14
  15     3 nodes connected in a circular topology with two links interconnecting
  16     the devices.
  17
  18 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  19
  20     3 nodes connected in a circular topology with at least one link
  21     interconnecting devices.
  22
  23 Objective TAGs
  24 --------------
  25
  26 .. topic:: SKIP_PATCH
  27
  28     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  29     and csit-vpp-verify jobs (i.e. CSIT patch).
  30
  31
  32 Environment TAGs
  33 ----------------
  34
  35 .. topic:: HW_ENV
  36
  37     DUTs and TGs are running on bare metal.
  38
  39 .. topic:: VM_ENV
  40
  41     DUTs and TGs are running in virtual environment.
  42
  43 .. topic:: VPP_VM_ENV
  44
  45     DUTs with VPP and capable of running Virtual Machine.
  46
  47
  48 NIC model tags
  49 --------------
  50
  51 .. topic:: NIC_Intel-X520-DA2
  52
  53     Intel X520-DA2 NIC.
  54
  55 .. topic:: NIC_Intel-XL710
  56
  57     Intel XL710 NIC.
  58
  59 .. topic:: NIC_Intel-X710
  60
  61     Intel X710 NIC.
  62
  63 .. topic:: NIC_Cisco-VIC-1227
  64
  65     VIC-1227 by Cisco.
  66
  67 .. topic:: NIC_Cisco-VIC-1385
  68
  69     VIC-1385 by Cisco.
  70
  71
  72 Scaling TAGs
  73 ------------
  74
  75 .. topic:: FIB_20K
  76
  77     2x10,000 entries in single fib table
  78
  79 .. topic:: FIB_200K
  80
  81     2x100,000 entries in single fib table
  82
  83 .. topic:: FIB_2M
  84
  85     2x1,000,000 entries in single fib table
  86
  87
  88 Tags marking functional vs. performance of tests
  89 ------------------------------------------------
  90
  91 .. topic:: FUNCTEST
  92
  93     All functional test cases.
  94
  95 .. topic:: PERFTEST
  96
  97     All performance test cases.
  98
  99
 100 Performance testing tags
 101 ------------------------
 102
 103 .. topic:: PDRDISC
 104
 105     Partial Drop Rate evaluation of single run result, with non-zero packet
 106     loss tolerance (LT) expressed in percentage of packets transmitted.
 107
 108 .. topic:: NDRDISC
 109
 110     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 111     set to zero lost packets.
 112
 113 .. topic:: NDRCHK
 114
 115     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 116     Non Drop Rate) with zero packet loss tolerance.
 117
 118 .. topic:: NDRPDRDISC
 119
 120     Find performance of DUT based on RFC2544 with linear / binary / combined
 121     search. (Previous LONG tests.)
 122
 123 Ethernet frame size tags for performance tests
 124 ----------------------------------------------
 125
 126 .. topic:: 64B
 127
 128     64B frames used for test.
 129
 130 .. topic:: 78B
 131
 132     78B frames used for test.
 133
 134 .. topic:: IMIX
 135
 136     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 137
 138 .. topic:: 1460B
 139
 140     1460B frames used for test.
 141
 142 .. topic:: 1480B
 143
 144     1480B frames used for test.
 145
 146 .. topic:: 1514B
 147
 148     1514B frames used for test.
 149
 150 .. topic:: 1518B
 151
 152     1518B frames used for test.
 153
 154 .. topic:: 9000B
 155
 156     9000B frames used for test.
 157
 158 Test type tags
 159 --------------
 160
 161 .. topic:: BASE
 162
 163     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 164
 165 .. topic:: IP4BASE
 166
 167     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 168     tests.
 169
 170 .. topic:: IP6BASE
 171
 172     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 173     tests.
 174
 175 .. topic:: L2XCBASE
 176
 177     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 178     tests.
 179
 180 .. topic:: L2BDBASE
 181
 182     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 183     tests.
 184
 185 .. topic:: SCALE
 186
 187     Scale test cases.
 188
 189 .. topic:: ENCAP
 190
 191     Test cases where encapsulation is used. Use also encapsulation tag(s).
 192
 193 .. topic:: FEATURE
 194
 195     At least one feature is configured in test cases. Use also feature tag(s).
 196
 197
 198 Forwarding mode tags
 199 --------------------
 200
 201 .. topic:: L2BDMACSTAT
 202
 203     VPP L2 bridge-domain, L2 MAC static.
 204
 205 .. topic:: L2BDMACLRN
 206
 207     VPP L2 bridge-domain, L2 MAC learning.
 208
 209 .. topic:: L2XCFWD
 210
 211     VPP L2 point-to-point cross-connect.
 212
 213 .. topic:: IP4FWD
 214
 215     VPP IPv4 routed forwarding.
 216
 217 .. topic:: IP6FWD
 218
 219     VPP IPv6 routed forwarding.
 220
 221
 222 Underlay tags
 223 -------------
 224
 225 .. topic:: IP4UNRLAY
 226
 227     IPv4 underlay.
 228
 229 .. topic:: IP6UNRLAY
 230
 231     IPv6 underlay.
 232
 233 .. topic:: MPLSUNRLAY
 234
 235     MPLS underlay.
 236
 237
 238 Overlay tags
 239 ------------
 240
 241 .. topic:: L2OVRLAY
 242
 243     L2 overlay.
 244
 245 .. topic:: IP4OVRLAY
 246
 247     IPv4 overlay (IPv4 payload).
 248
 249 .. topic:: IP6OVRLAY
 250
 251     IPv6 overlay (IPv6 payload).
 252
 253
 254 Encapsulation tags
 255 ------------------
 256
 257 .. topic:: ETH
 258
 259     All test cases with base Ethernet (no encapsulation).
 260
 261 .. topic:: DOT1Q
 262
 263     All test cases with dot1q.
 264
 265 .. topic:: DOT1AD
 266
 267     All test cases with dot1ad.
 268
 269 .. topic:: LISP
 270
 271     All test cases with LISP.
 272
 273 .. topic:: LISPGPE
 274
 275     All test cases with LISP-GPE.
 276
 277 .. topic:: VXLAN
 278
 279     All test cases with Vxlan.
 280
 281 .. topic:: VXLANGPE
 282
 283     All test cases with VXLAN-GPE.
 284
 285 .. topic:: GRE
 286
 287     All test cases with GRE.
 288
 289 .. topic:: IPSEC
 290
 291     All test cases with IPSEC.
 292
 293
 294 Interface tags
 295 --------------
 296
 297 .. topic:: PHY
 298
 299     All test cases which use physical interface(s).
 300
 301 .. topic:: VHOST
 302
 303     All test cases which uses VHOST.
 304
 305 .. topic:: TUNTAP
 306
 307     All test cases which uses TUN and TAP.
 308
 309 .. topic:: AFPKT
 310
 311     All test cases which uses AFPKT.
 312
 313 .. topic:: NETMAP
 314
 315     All test cases which uses Netmap.
 316
 317
 318 Feature tags
 319 ------------
 320
 321 .. topic:: IACLDST
 322
 323     iACL destination.
 324
 325 .. topic:: COPWHLIST
 326
 327     COP whitelist.
 328
 329 .. topic:: SNAT
 330
 331     SNAT configured and tested.
 332
 333
 334 Encryption tags
 335 ---------------
 336
 337 .. topic:: IPSECSW
 338
 339     Crypto in software.
 340
 341 .. topic:: IPSECHW
 342
 343     Crypto in hardware.
 344
 345 .. topic:: IPSECTRAN
 346
 347     IPSec in transport mode.
 348
 349 .. topic:: IPSECTUN
 350
 351     IPSec in tunnel mode.
 352
 353
 354 Client-workload tags
 355 --------------------
 356
 357 .. topic:: VM
 358
 359     All test cases which use at least one virtual machine.
 360
 361 .. topic:: LXC
 362
 363     All test cases which use Linux container.
 364
 365 .. topic:: APP
 366
 367     All test cases with specific APP use.
 368
 369
 370 Multi-threading tags
 371 --------------------
 372
 373 .. topic:: STHREAD
 374
 375     All test cases using single poll mode thread.
 376
 377 .. topic:: MTHREAD
 378
 379     All test cases using more then one poll mode driver thread.
 380
 381 .. topic:: 1NUMA
 382
 383     All test cases with packet processing on single socket.
 384
 385 .. topic:: 2NUMA
 386
 387     All test cases with packet processing on two sockets.
 388
 389 .. topic:: SMT
 390
 391     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 392
 393 .. topic:: NOSMT
 394
 395     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 396
 397 .. topic:: 1T1C
 398
 399     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 400     interface. Main thread pinned to core 0.
 401
 402 .. topic:: 2T2C
 403
 404     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 405     interface. Main thread pinned to core 0.
 406
 407 .. topic:: 4T4C
 408
 409     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 410     interface. Main thread pinned to core 0.
 411
 412 .. topic:: 6T6C
 413
 414     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 415     interface. Main thread pinned to core 0.
 416
 417 .. topic:: 8T8C
 418
 419     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 420     interface. Main thread pinned to core 0.