docs/tag_documentation.rst

   1 CSIT TAGs Descriptions
   2 ======================
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation.
   8
   9 Topology TAGs
  10 -------------
  11
  12 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  13
  14     3 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  18
  19     3 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 Objective TAGs
  23 --------------
  24
  25 .. topic:: SKIP_PATCH
  26
  27     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  28     and csit-vpp-verify jobs (i.e. CSIT patch).
  29
  30 .. topic:: SKIP_VPP_PATCH
  31
  32     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  33
  34 Environment TAGs
  35 ----------------
  36
  37 .. topic:: HW_ENV
  38
  39     DUTs and TGs are running on bare metal.
  40
  41 .. topic:: VM_ENV
  42
  43     DUTs and TGs are running in virtual environment.
  44
  45 .. topic:: VPP_VM_ENV
  46
  47     DUTs with VPP and capable of running Virtual Machine.
  48
  49 NIC model tags
  50 --------------
  51
  52 .. topic:: NIC_Intel-X520-DA2
  53
  54     Intel X520-DA2 NIC.
  55
  56 .. topic:: NIC_Intel-XL710
  57
  58     Intel XL710 NIC.
  59
  60 .. topic:: NIC_Intel-X710
  61
  62     Intel X710 NIC.
  63
  64 .. topic:: NIC_Cisco-VIC-1227
  65
  66     VIC-1227 by Cisco.
  67
  68 .. topic:: NIC_Cisco-VIC-1385
  69
  70     VIC-1385 by Cisco.
  71
  72 Scaling TAGs
  73 ------------
  74
  75 .. topic:: FIB_20K
  76
  77     2x10,000 entries in single fib table
  78
  79 .. topic:: FIB_200K
  80
  81     2x100,000 entries in single fib table
  82
  83 .. topic:: FIB_2M
  84
  85     2x1,000,000 entries in single fib table
  86
  87 .. topic:: TNL_1000
  88
  89     IPSec in tunnel mode - 1000 tunnels.
  90
  91 .. topic:: SRC_USER_10
  92
  93     Traffic flow with 10 unique IPs (users) in one direction.
  94
  95 .. topic:: SRC_USER_100
  96
  97     Traffic flow with 100 unique IPs (users) in one direction.
  98
  99 .. topic:: SRC_USER_1000
 100
 101     Traffic flow with 1000 unique IPs (users) in one direction.
 102
 103 .. topic:: SRC_USER_2000
 104
 105     Traffic flow with 2000 unique IPs (users) in one direction.
 106
 107 .. topic:: SRC_USER_4000
 108
 109     Traffic flow with 4000 unique IPs (users) in one direction.
 110
 111 .. topic:: 100_FLOWS
 112
 113     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 114     direction.
 115
 116 .. topic:: 10k_FLOWS
 117
 118     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 119     one direction.
 120
 121 .. topic:: 100k_FLOWS
 122
 123     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 124     one direction.
 125
 126 Tags marking functional vs. performance of tests
 127 ------------------------------------------------
 128
 129 .. topic:: FUNCTEST
 130
 131     All functional test cases.
 132
 133 .. topic:: PERFTEST
 134
 135     All performance test cases.
 136
 137 Performance testing tags
 138 ------------------------
 139
 140 .. topic:: PDRDISC
 141
 142     Partial Drop Rate evaluation of single run result, with non-zero packet
 143     loss tolerance (LT) expressed in percentage of packets transmitted.
 144
 145 .. topic:: NDRDISC
 146
 147     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 148     set to zero lost packets.
 149
 150 .. topic:: NDRPDR
 151
 152     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 153     The search is done by optimized algorithm which performs
 154     multiple trial runs at different durations and transmit rates.
 155
 156 .. topic:: NDRCHK
 157
 158     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 159     Non Drop Rate) with zero packet loss tolerance.
 160
 161 .. topic:: PDRCHK
 162
 163     Performance tests where TG verifies DUTs' throughput at ref-PDR (reference
 164     Partial Drop Rate) with 0.5% loss tolerance.
 165
 166 .. topic:: MRR
 167
 168     Performance tests where TG sends the traffic at maximum rate (line rate)
 169     and reports total sent/received packets over performance trial duration.
 170
 171 .. topic:: NDRPDRDISC
 172
 173     Find performance of DUT based on :rfc:`2544` with linear / binary / combined
 174     search. (Previous LONG tests.)
 175
 176 Ethernet frame size tags for performance tests
 177 ----------------------------------------------
 178
 179 .. topic:: 64B
 180
 181     64B frames used for test.
 182
 183 .. topic:: 78B
 184
 185     78B frames used for test.
 186
 187 .. topic:: IMIX
 188
 189     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 190
 191 .. topic:: 1460B
 192
 193     1460B frames used for test.
 194
 195 .. topic:: 1480B
 196
 197     1480B frames used for test.
 198
 199 .. topic:: 1514B
 200
 201     1514B frames used for test.
 202
 203 .. topic:: 1518B
 204
 205     1518B frames used for test.
 206
 207 .. topic:: 9000B
 208
 209     9000B frames used for test.
 210
 211 Test type tags
 212 --------------
 213
 214 .. topic:: BASE
 215
 216     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 217
 218 .. topic:: IP4BASE
 219
 220     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 221     tests.
 222
 223 .. topic:: IP6BASE
 224
 225     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 226     tests.
 227
 228 .. topic:: L2XCBASE
 229
 230     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 231     tests.
 232
 233 .. topic:: L2BDBASE
 234
 235     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 236     tests.
 237
 238 .. topic:: SCALE
 239
 240     Scale test cases.
 241
 242 .. topic:: ENCAP
 243
 244     Test cases where encapsulation is used. Use also encapsulation tag(s).
 245
 246 .. topic:: FEATURE
 247
 248     At least one feature is configured in test cases. Use also feature tag(s).
 249
 250 .. topic:: TLDK
 251
 252     Functional test cases for TLDK.
 253
 254 .. topic:: TCP
 255
 256     Tests which use TCP.
 257
 258 .. topic:: TCP_CPS
 259
 260     Performance tests which measure connections per second using http requests.
 261
 262 .. topic:: TCP_RPS
 263
 264     Performance tests which measure requests per second using http requests.
 265
 266 .. topic:: HTTP
 267
 268     Tests which use HTTP.
 269
 270 Forwarding mode tags
 271 --------------------
 272
 273 .. topic:: L2BDMACSTAT
 274
 275     VPP L2 bridge-domain, L2 MAC static.
 276
 277 .. topic:: L2BDMACLRN
 278
 279     VPP L2 bridge-domain, L2 MAC learning.
 280
 281 .. topic:: L2XCFWD
 282
 283     VPP L2 point-to-point cross-connect.
 284
 285 .. topic:: IP4FWD
 286
 287     VPP IPv4 routed forwarding.
 288
 289 .. topic:: IP6FWD
 290
 291     VPP IPv6 routed forwarding.
 292
 293 Underlay tags
 294 -------------
 295
 296 .. topic:: IP4UNRLAY
 297
 298     IPv4 underlay.
 299
 300 .. topic:: IP6UNRLAY
 301
 302     IPv6 underlay.
 303
 304 .. topic:: MPLSUNRLAY
 305
 306     MPLS underlay.
 307
 308 Overlay tags
 309 ------------
 310
 311 .. topic:: L2OVRLAY
 312
 313     L2 overlay.
 314
 315 .. topic:: IP4OVRLAY
 316
 317     IPv4 overlay (IPv4 payload).
 318
 319 .. topic:: IP6OVRLAY
 320
 321     IPv6 overlay (IPv6 payload).
 322
 323 Tagging tags
 324 ------------
 325
 326 .. topic:: DOT1Q
 327
 328     All test cases with dot1q.
 329
 330 .. topic:: DOT1AD
 331
 332     All test cases with dot1ad.
 333
 334 Encapsulation tags
 335 ------------------
 336
 337 .. topic:: ETH
 338
 339     All test cases with base Ethernet (no encapsulation).
 340
 341 .. topic:: LISP
 342
 343     All test cases with LISP.
 344
 345 .. topic:: LISPGPE
 346
 347     All test cases with LISP-GPE.
 348
 349 .. topic:: VXLAN
 350
 351     All test cases with Vxlan.
 352
 353 .. topic:: VXLANGPE
 354
 355     All test cases with VXLAN-GPE.
 356
 357 .. topic:: GRE
 358
 359     All test cases with GRE.
 360
 361 .. topic:: IPSEC
 362
 363     All test cases with IPSEC.
 364
 365 .. topic:: SRv6
 366
 367     All test cases with Segment routing over IPv6 dataplane.
 368
 369 Interface tags
 370 --------------
 371
 372 .. topic:: PHY
 373
 374     All test cases which use physical interface(s).
 375
 376 .. topic:: VHOST
 377
 378     All test cases which uses VHOST.
 379
 380 .. topic:: VHOST_256
 381
 382     All test cases which uses VHOST with qemu queue size set to 256.
 383
 384 .. topic:: VHOST_1024
 385
 386     All test cases which uses VHOST with qemu queue size set to 1024.
 387
 388 .. topic:: CFS_OPT
 389
 390     All test cases which uses VM with optimised scheduler policy.
 391
 392 .. topic:: TUNTAP
 393
 394     All test cases which uses TUN and TAP.
 395
 396 .. topic:: AFPKT
 397
 398     All test cases which uses AFPKT.
 399
 400 .. topic:: NETMAP
 401
 402     All test cases which uses Netmap.
 403
 404 .. topic:: MEMIF
 405
 406     All test cases which uses Memif.
 407
 408 .. topic:: SINGLE_MEMIF
 409
 410     All test cases which uses only single Memif connection per DUT. One DUT
 411     instance is running in container having one physical interface exposed to
 412     container.
 413
 414 .. topic:: LBOND
 415
 416     All test cases which uses link bonding (BondEthernet interface).
 417
 418 .. topic:: LBOND_DPDK
 419
 420     All test cases which uses DPDK link bonding.
 421
 422 .. topic:: LBOND_VPP
 423
 424     All test cases which uses VPP link bonding.
 425
 426 .. topic:: LBOND_MODE_XOR
 427
 428     All test cases which uses link bonding with mode XOR.
 429
 430 .. topic:: LBOND_MODE_LACP
 431
 432     All test cases which uses link bonding with mode LACP.
 433
 434 .. topic:: LBOND_LB_L34
 435
 436     All test cases which uses link bonding with load-balance mode l34.
 437
 438 Feature tags
 439 ------------
 440
 441 .. topic:: IACLDST
 442
 443     iACL destination.
 444
 445 .. topic:: COPWHLIST
 446
 447     COP whitelist.
 448
 449 .. topic:: NAT44
 450
 451     NAT44 configured and tested.
 452
 453 .. topic:: NAT64
 454
 455     NAT44 configured and tested.
 456
 457 .. topic:: ACL
 458
 459     ACL plugin configured and tested.
 460
 461 .. topic:: IACL
 462
 463     ACL plugin configured and tested on input path.
 464
 465 .. topic:: OACL
 466
 467     ACL plugin configured and tested on output path.
 468
 469 .. topic:: ACL_STATELESS
 470
 471     ACL plugin configured and tested in stateless mode (permit action).
 472
 473 .. topic:: ACL_STATEFUL
 474
 475     ACL plugin configured and tested in stateful mode (permit+reflect action).
 476
 477 .. topic:: ACL1
 478
 479     ACL plugin configured and tested with 1 not-hitting ACE.
 480
 481 .. topic:: ACL10
 482
 483     ACL plugin configured and tested with 10 not-hitting ACEs.
 484
 485 .. topic:: ACL50
 486
 487     ACL plugin configured and tested with 50 not-hitting ACEs.
 488
 489 .. topic:: SRv6_PROXY
 490
 491     SRv6 endpoint to SR-unaware appliance via proxy.
 492
 493 .. topic:: SRv6_PROXY_STAT
 494
 495     SRv6 endpoint to SR-unaware appliance via static proxy.
 496
 497 .. topic:: SRv6_PROXY_DYN
 498
 499     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 500
 501 .. topic:: SRv6_PROXY_MASQ
 502
 503     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 504
 505 Encryption tags
 506 ---------------
 507
 508 .. topic:: IPSECSW
 509
 510     Crypto in software.
 511
 512 .. topic:: IPSECHW
 513
 514     Crypto in hardware.
 515
 516 .. topic:: IPSECTRAN
 517
 518     IPSec in transport mode.
 519
 520 .. topic:: IPSECTUN
 521
 522     IPSec in tunnel mode.
 523
 524 Client-workload tags
 525 --------------------
 526
 527 .. topic:: VM
 528
 529     All test cases which use at least one virtual machine.
 530
 531 .. topic:: LXC
 532
 533     All test cases which use Linux container and LXC utils.
 534
 535 .. topic:: DOCKER
 536
 537     All test cases which use Docker as container manager.
 538
 539 .. topic:: APP
 540
 541     All test cases with specific APP use.
 542
 543 Container orchestration tags
 544 ----------------------------
 545
 546 .. topic:: K8S
 547
 548     All test cases which use Kubernetes for orchestration.
 549
 550 .. topic:: SFC_CONTROLLER
 551
 552     All test cases which use ligato/sfc_controller for driving configuration
 553     of vpp inside container.
 554
 555 .. topic:: VPP_AGENT
 556
 557     All test cases which use Golang implementation of a control/management plane
 558     for VPP
 559
 560 .. topic:: 1VSWITCH
 561
 562     VPP running in Docker container acting as VSWITCH.
 563
 564 .. topic:: 1VNF
 565
 566     1 VPP running in Docker container acting as VNF work load.
 567
 568 .. topic:: 2VNF
 569
 570     2 VPP running in 2 Docker containers acting as VNF work load.
 571
 572 .. topic:: 4VNF
 573
 574     4 VPP running in 4 Docker containers acting as VNF work load.
 575
 576 Multi-threading tags
 577 --------------------
 578
 579 .. topic:: STHREAD
 580
 581     All test cases using single poll mode thread.
 582
 583 .. topic:: MTHREAD
 584
 585     All test cases using more then one poll mode driver thread.
 586
 587 .. topic:: 1NUMA
 588
 589     All test cases with packet processing on single socket.
 590
 591 .. topic:: 2NUMA
 592
 593     All test cases with packet processing on two sockets.
 594
 595 .. topic:: SMT
 596
 597     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 598
 599 .. topic:: NOSMT
 600
 601     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 602
 603 .. topic:: 1T1C
 604
 605     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 606     interface. Main thread pinned to core 0.
 607
 608 .. topic:: 2T2C
 609
 610     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 611     interface. Main thread pinned to core 0.
 612
 613 .. topic:: 4T4C
 614
 615     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 616     interface. Main thread pinned to core 0.
 617
 618 .. topic:: 6T6C
 619
 620     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 621     interface. Main thread pinned to core 0.
 622
 623 .. topic:: 8T8C
 624
 625     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 626     interface. Main thread pinned to core 0.
 627
 628 Honeycomb tags
 629 --------------
 630
 631 .. topic:: HC_FUNC
 632
 633     Honeycomb functional test cases.
 634
 635 .. topic:: HC_NSH
 636
 637     Honeycomb NSH test cases.
 638
 639 .. topic:: HC_PERSIST
 640
 641     Honeycomb persistence test cases.
 642
 643 .. topic:: HC_REST_ONLY
 644
 645     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 646     using ODL client for Restfconf -> Netconf translation.