docs/tag_documentation.rst

   1 CSIT TAGs
   2 =========
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation.
   8
   9 Topology TAGs
  10 -------------
  11
  12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
  13
  14     2 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
  18
  19     2 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  23
  24     3 nodes connected in a circular topology with two links interconnecting
  25     the devices.
  26
  27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  28
  29     3 nodes connected in a circular topology with at least one link
  30     interconnecting devices.
  31
  32 Objective TAGs
  33 --------------
  34
  35 .. topic:: SKIP_PATCH
  36
  37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  38     and csit-vpp-verify jobs (i.e. CSIT patch).
  39
  40 .. topic:: SKIP_VPP_PATCH
  41
  42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  43
  44 Environment TAGs
  45 ----------------
  46
  47 .. topic:: HW_ENV
  48
  49     DUTs and TGs are running on bare metal.
  50
  51 .. topic:: VM_ENV
  52
  53     DUTs and TGs are running in virtual environment.
  54
  55 .. topic:: VPP_VM_ENV
  56
  57     DUTs with VPP and capable of running Virtual Machine.
  58
  59 NIC model tags
  60 --------------
  61
  62 .. topic:: NIC_Intel-X520-DA2
  63
  64     Intel X520-DA2 NIC.
  65
  66 .. topic:: NIC_Intel-XL710
  67
  68     Intel XL710 NIC.
  69
  70 .. topic:: NIC_Intel-X710
  71
  72     Intel X710 NIC.
  73
  74 .. topic:: NIC_Intel-XXV710
  75
  76     Intel XXV710 NIC.
  77
  78 .. topic:: NIC_Cisco-VIC-1227
  79
  80     VIC-1227 by Cisco.
  81
  82 .. topic:: NIC_Cisco-VIC-1385
  83
  84     VIC-1385 by Cisco.
  85
  86 Scaling TAGs
  87 ------------
  88
  89 .. topic:: FIB_20K
  90
  91     2x10,000 entries in single fib table
  92
  93 .. topic:: FIB_200K
  94
  95     2x100,000 entries in single fib table
  96
  97 .. topic:: FIB_2M
  98
  99     2x1,000,000 entries in single fib table
 100
 101 .. topic:: L2BD_1
 102
 103     Test with 1 L2 bridge domain.
 104
 105 .. topic:: L2BD_10
 106
 107     Test with 10 L2 bridge domains.
 108
 109 .. topic:: L2BD_100
 110
 111     Test with 100 L2 bridge domains.
 112
 113 .. topic:: L2BD_1K
 114
 115     Test with 1000 L2 bridge domains.
 116
 117 .. topic:: VLAN_1
 118
 119     Test with 1 VLAN sub-interface.
 120
 121 .. topic:: VLAN_10
 122
 123     Test with 10 VLAN sub-interfaces.
 124
 125 .. topic:: VLAN_100
 126
 127     Test with 100 VLAN sub-interfaces.
 128
 129 .. topic:: VLAN_1K
 130
 131     Test with 1000 VLAN sub-interfaces.
 132
 133 .. topic:: VXLAN_1
 134
 135     Test with 1 VXLAN tunnel.
 136
 137 .. topic:: VXLAN_10
 138
 139     Test with 10 VXLAN tunnels.
 140
 141 .. topic:: VXLAN_100
 142
 143     Test with 100 VXLAN tunnels.
 144
 145 .. topic:: VXLAN_1K
 146
 147     Test with 1000 VXLAN tunnels.
 148
 149 .. topic:: TNL_1000
 150
 151     IPSec in tunnel mode - 1000 tunnels.
 152
 153 .. topic:: SRC_USER_10
 154
 155     Traffic flow with 10 unique IPs (users) in one direction.
 156
 157 .. topic:: SRC_USER_100
 158
 159     Traffic flow with 100 unique IPs (users) in one direction.
 160
 161 .. topic:: SRC_USER_1000
 162
 163     Traffic flow with 1000 unique IPs (users) in one direction.
 164
 165 .. topic:: SRC_USER_2000
 166
 167     Traffic flow with 2000 unique IPs (users) in one direction.
 168
 169 .. topic:: SRC_USER_4000
 170
 171     Traffic flow with 4000 unique IPs (users) in one direction.
 172
 173 .. topic:: 100_FLOWS
 174
 175     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 176     direction.
 177
 178 .. topic:: 10k_FLOWS
 179
 180     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 181     one direction.
 182
 183 .. topic:: 100k_FLOWS
 184
 185     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 186     one direction.
 187
 188 Tags marking functional vs. performance of tests
 189 ------------------------------------------------
 190
 191 .. topic:: FUNCTEST
 192
 193     All functional test cases.
 194
 195 .. topic:: PERFTEST
 196
 197     All performance test cases.
 198
 199 Performance testing tags
 200 ------------------------
 201
 202 .. topic:: NDRPDR
 203
 204     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 205     The search is done by optimized algorithm which performs
 206     multiple trial runs at different durations and transmit rates.
 207
 208 .. topic:: MRR
 209
 210     Performance tests where TG sends the traffic at maximum rate (line rate)
 211     and reports total sent/received packets over performance trial duration.
 212
 213 Ethernet frame size tags for performance tests
 214 ----------------------------------------------
 215
 216 .. topic:: 64B
 217
 218     64B frames used for test.
 219
 220 .. topic:: 78B
 221
 222     78B frames used for test.
 223
 224 .. topic:: 114B
 225
 226     114B frames used for test.
 227
 228 .. topic:: IMIX
 229
 230     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 231
 232 .. topic:: 1460B
 233
 234     1460B frames used for test.
 235
 236 .. topic:: 1480B
 237
 238     1480B frames used for test.
 239
 240 .. topic:: 1514B
 241
 242     1514B frames used for test.
 243
 244 .. topic:: 1518B
 245
 246     1518B frames used for test.
 247
 248 .. topic:: 9000B
 249
 250     9000B frames used for test.
 251
 252 Test type tags
 253 --------------
 254
 255 .. topic:: BASE
 256
 257     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 258
 259 .. topic:: IP4BASE
 260
 261     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 262     tests.
 263
 264 .. topic:: IP6BASE
 265
 266     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 267     tests.
 268
 269 .. topic:: L2XCBASE
 270
 271     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 272     tests.
 273
 274 .. topic:: L2BDBASE
 275
 276     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 277     tests.
 278
 279 .. topic:: L2PATCH
 280
 281     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
 282     tests.
 283
 284 .. topic:: SCALE
 285
 286     Scale test cases.
 287
 288 .. topic:: ENCAP
 289
 290     Test cases where encapsulation is used. Use also encapsulation tag(s).
 291
 292 .. topic:: FEATURE
 293
 294     At least one feature is configured in test cases. Use also feature tag(s).
 295
 296 .. topic:: TLDK
 297
 298     Functional test cases for TLDK.
 299
 300 .. topic:: DMM
 301
 302     Functional test cases for DMM.
 303
 304 .. topic:: TCP
 305
 306     Tests which use TCP.
 307
 308 .. topic:: TCP_CPS
 309
 310     Performance tests which measure connections per second using http requests.
 311
 312 .. topic:: TCP_RPS
 313
 314     Performance tests which measure requests per second using http requests.
 315
 316 .. topic:: HTTP
 317
 318     Tests which use HTTP.
 319
 320 Forwarding mode tags
 321 --------------------
 322
 323 .. topic:: L2BDMACSTAT
 324
 325     VPP L2 bridge-domain, L2 MAC static.
 326
 327 .. topic:: L2BDMACLRN
 328
 329     VPP L2 bridge-domain, L2 MAC learning.
 330
 331 .. topic:: L2XCFWD
 332
 333     VPP L2 point-to-point cross-connect.
 334
 335 .. topic:: IP4FWD
 336
 337     VPP IPv4 routed forwarding.
 338
 339 .. topic:: IP6FWD
 340
 341     VPP IPv6 routed forwarding.
 342
 343 Underlay tags
 344 -------------
 345
 346 .. topic:: IP4UNRLAY
 347
 348     IPv4 underlay.
 349
 350 .. topic:: IP6UNRLAY
 351
 352     IPv6 underlay.
 353
 354 .. topic:: MPLSUNRLAY
 355
 356     MPLS underlay.
 357
 358 Overlay tags
 359 ------------
 360
 361 .. topic:: L2OVRLAY
 362
 363     L2 overlay.
 364
 365 .. topic:: IP4OVRLAY
 366
 367     IPv4 overlay (IPv4 payload).
 368
 369 .. topic:: IP6OVRLAY
 370
 371     IPv6 overlay (IPv6 payload).
 372
 373 Tagging tags
 374 ------------
 375
 376 .. topic:: DOT1Q
 377
 378     All test cases with dot1q.
 379
 380 .. topic:: DOT1AD
 381
 382     All test cases with dot1ad.
 383
 384 Encapsulation tags
 385 ------------------
 386
 387 .. topic:: ETH
 388
 389     All test cases with base Ethernet (no encapsulation).
 390
 391 .. topic:: LISP
 392
 393     All test cases with LISP.
 394
 395 .. topic:: LISPGPE
 396
 397     All test cases with LISP-GPE.
 398
 399 .. topic:: VXLAN
 400
 401     All test cases with Vxlan.
 402
 403 .. topic:: VXLANGPE
 404
 405     All test cases with VXLAN-GPE.
 406
 407 .. topic:: GRE
 408
 409     All test cases with GRE.
 410
 411 .. topic:: IPSEC
 412
 413     All test cases with IPSEC.
 414
 415 .. topic:: SRv6
 416
 417     All test cases with Segment routing over IPv6 dataplane.
 418
 419 Interface tags
 420 --------------
 421
 422 .. topic:: PHY
 423
 424     All test cases which use physical interface(s).
 425
 426 .. topic:: VHOST
 427
 428     All test cases which uses VHOST.
 429
 430 .. topic:: VHOST_256
 431
 432     All test cases which uses VHOST with qemu queue size set to 256.
 433
 434 .. topic:: VHOST_1024
 435
 436     All test cases which uses VHOST with qemu queue size set to 1024.
 437
 438 .. topic:: CFS_OPT
 439
 440     All test cases which uses VM with optimised scheduler policy.
 441
 442 .. topic:: TUNTAP
 443
 444     All test cases which uses TUN and TAP.
 445
 446 .. topic:: AFPKT
 447
 448     All test cases which uses AFPKT.
 449
 450 .. topic:: NETMAP
 451
 452     All test cases which uses Netmap.
 453
 454 .. topic:: MEMIF
 455
 456     All test cases which uses Memif.
 457
 458 .. topic:: SINGLE_MEMIF
 459
 460     All test cases which uses only single Memif connection per DUT. One DUT
 461     instance is running in container having one physical interface exposed to
 462     container.
 463
 464 .. topic:: LBOND
 465
 466     All test cases which uses link bonding (BondEthernet interface).
 467
 468 .. topic:: LBOND_DPDK
 469
 470     All test cases which uses DPDK link bonding.
 471
 472 .. topic:: LBOND_VPP
 473
 474     All test cases which uses VPP link bonding.
 475
 476 .. topic:: LBOND_MODE_XOR
 477
 478     All test cases which uses link bonding with mode XOR.
 479
 480 .. topic:: LBOND_MODE_LACP
 481
 482     All test cases which uses link bonding with mode LACP.
 483
 484 .. topic:: LBOND_LB_L34
 485
 486     All test cases which uses link bonding with load-balance mode l34.
 487
 488 .. topic:: LBOND_1L
 489
 490     All test cases which uses one link for link bonding.
 491
 492 .. topic:: LBOND_2L
 493
 494     All test cases which uses two links for link bonding.
 495
 496 .. topic:: DRV_AVF
 497
 498     All test cases which uses Intel Adaptive Virtual Function (AVF) device
 499     plugin for VPP. This plugins provides native device support for Intel AVF.
 500     AVF is driver specification for current and future Intel Virtual Function
 501     devices. In essence, today this driver can be used only with Intel
 502     XL710 / X710 / XXV710 adapters.
 503
 504 Feature tags
 505 ------------
 506
 507 .. topic:: IACLDST
 508
 509     iACL destination.
 510
 511 .. topic:: COPWHLIST
 512
 513     COP whitelist.
 514
 515 .. topic:: NAT44
 516
 517     NAT44 configured and tested.
 518
 519 .. topic:: NAT64
 520
 521     NAT44 configured and tested.
 522
 523 .. topic:: ACL
 524
 525     ACL plugin configured and tested.
 526
 527 .. topic:: IACL
 528
 529     ACL plugin configured and tested on input path.
 530
 531 .. topic:: OACL
 532
 533     ACL plugin configured and tested on output path.
 534
 535 .. topic:: ACL_STATELESS
 536
 537     ACL plugin configured and tested in stateless mode (permit action).
 538
 539 .. topic:: ACL_STATEFUL
 540
 541     ACL plugin configured and tested in stateful mode (permit+reflect action).
 542
 543 .. topic:: ACL1
 544
 545     ACL plugin configured and tested with 1 not-hitting ACE.
 546
 547 .. topic:: ACL10
 548
 549     ACL plugin configured and tested with 10 not-hitting ACEs.
 550
 551 .. topic:: ACL50
 552
 553     ACL plugin configured and tested with 50 not-hitting ACEs.
 554
 555 .. topic:: SRv6_PROXY
 556
 557     SRv6 endpoint to SR-unaware appliance via proxy.
 558
 559 .. topic:: SRv6_PROXY_STAT
 560
 561     SRv6 endpoint to SR-unaware appliance via static proxy.
 562
 563 .. topic:: SRv6_PROXY_DYN
 564
 565     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 566
 567 .. topic:: SRv6_PROXY_MASQ
 568
 569     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 570
 571 Encryption tags
 572 ---------------
 573
 574 .. topic:: IPSECSW
 575
 576     Crypto in software.
 577
 578 .. topic:: IPSECHW
 579
 580     Crypto in hardware.
 581
 582 .. topic:: IPSECTRAN
 583
 584     IPSec in transport mode.
 585
 586 .. topic:: IPSECTUN
 587
 588     IPSec in tunnel mode.
 589
 590 Client-workload tags
 591 --------------------
 592
 593 .. topic:: VM
 594
 595     All test cases which use at least one virtual machine.
 596
 597 .. topic:: LXC
 598
 599     All test cases which use Linux container and LXC utils.
 600
 601 .. topic:: DOCKER
 602
 603     All test cases which use Docker as container manager.
 604
 605 .. topic:: APP
 606
 607     All test cases with specific APP use.
 608
 609 Container orchestration tags
 610 ----------------------------
 611
 612 .. topic:: K8S
 613
 614     All test cases which use Kubernetes for orchestration.
 615
 616 .. topic:: SFC_CONTROLLER
 617
 618     All test cases which use ligato/sfc_controller for driving configuration
 619     of vpp inside container.
 620
 621 .. topic:: VPP_AGENT
 622
 623     All test cases which use Golang implementation of a control/management plane
 624     for VPP
 625
 626 .. topic:: 1VSWITCH
 627
 628     VPP running in Docker container acting as VSWITCH.
 629
 630 .. topic:: 1VNF
 631
 632     1 VPP running in Docker container acting as VNF work load.
 633
 634 .. topic:: 2VNF
 635
 636     2 VPP running in 2 Docker containers acting as VNF work load.
 637
 638 .. topic:: 4VNF
 639
 640     4 VPP running in 4 Docker containers acting as VNF work load.
 641
 642 Multi-threading tags
 643 --------------------
 644
 645 .. topic:: STHREAD
 646
 647    *Dynamic tag*.
 648    All test cases using single poll mode thread.
 649
 650 .. topic:: MTHREAD
 651
 652    *Dynamic tag*.
 653     All test cases using more then one poll mode driver thread.
 654
 655 .. topic:: 1NUMA
 656
 657     All test cases with packet processing on single socket.
 658
 659 .. topic:: 2NUMA
 660
 661     All test cases with packet processing on two sockets.
 662
 663 .. topic:: 1C
 664
 665     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
 666     enabled, 2 worker threads each pinned to a separate logical core within 1
 667     dedicated physical core. Main thread pinned to core 1.
 668
 669 .. topic:: 2C
 670
 671     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
 672     is enabled, 4 worker threads each pinned to a separate logical core within 2
 673     dedicated physical cores. Main thread pinned to core 1.
 674
 675 .. topic:: 4C
 676
 677     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
 678     is enabled, 8 worker threads each pinned to a separate logical core within 4
 679     dedicated physical cores. Main thread pinned to core 1.
 680
 681 .. topic:: 1T1C
 682
 683    *Dynamic tag*.
 684     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 685     interface. Main thread pinned to core 1.
 686
 687 .. topic:: 2T2C
 688
 689    *Dynamic tag*.
 690     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 691     interface. Main thread pinned to core 1.
 692
 693 .. topic:: 4T4C
 694
 695    *Dynamic tag*.
 696     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 697     interface. Main thread pinned to core 1.
 698
 699 .. topic:: 2T1C
 700
 701    *Dynamic tag*.
 702     2 worker threads each pinned to a separate logical core within 1 dedicated
 703     physical core. 1 receive queue per interface. Main thread pinned to core 1.
 704
 705 .. topic:: 4T2C
 706
 707    *Dynamic tag*.
 708     4 worker threads each pinned to a separate logical core within 2 dedicated
 709     physical cores. 2 receive queues per interface. Main thread pinned to core
 710     1.
 711
 712 .. topic:: 8T4C
 713
 714    *Dynamic tag*.
 715     8 worker threads each pinned to a separate logical core within 4 dedicated
 716     physical cores. 4 receive queues per interface. Main thread pinned to core
 717     1.
 718
 719 Honeycomb tags
 720 --------------
 721
 722 .. topic:: HC_FUNC
 723
 724     Honeycomb functional test cases.
 725
 726 .. topic:: HC_NSH
 727
 728     Honeycomb NSH test cases.
 729
 730 .. topic:: HC_PERSIST
 731
 732     Honeycomb persistence test cases.
 733
 734 .. topic:: HC_REST_ONLY
 735
 736     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 737     using ODL client for Restfconf -> Netconf translation.