docs/content/overview/csit/test_tags.md

   1 ---
   2 title: "Test Tags"
   3 weight: 4
   4 ---
   5
   6 # Test Tags
   7
   8 All CSIT test cases are labelled with Robot Framework tags used to allow for
   9 easy test case type identification, test case grouping and selection for
  10 execution. Following sections list currently used CSIT tags and their
  11 descriptions.
  12
  13 ## Testbed Topology Tags
  14
  15 **2_NODE_DOUBLE_LINK_TOPO**
  16
  17     2 nodes connected in a circular topology with two links interconnecting
  18     the devices.
  19
  20 **2_NODE_SINGLE_LINK_TOPO**
  21
  22     2 nodes connected in a circular topology with at least one link
  23     interconnecting devices.
  24
  25 **3_NODE_DOUBLE_LINK_TOPO**
  26
  27     3 nodes connected in a circular topology with two links interconnecting
  28     the devices.
  29
  30 **3_NODE_SINGLE_LINK_TOPO**
  31
  32     3 nodes connected in a circular topology with at least one link
  33     interconnecting devices.
  34
  35 ## Objective Tags
  36
  37 **SKIP_PATCH**
  38
  39     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP
  40     patch) and csit-vpp-verify jobs (i.e. CSIT patch).
  41
  42 **SKIP_VPP_PATCH**
  43
  44     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP
  45     patch).
  46
  47 ## Environment Tags
  48
  49 **HW_ENV**
  50
  51     DUTs and TGs are running on bare metal.
  52
  53 **VM_ENV**
  54
  55     DUTs and TGs are running in virtual environment.
  56
  57 **VPP_VM_ENV**
  58
  59     DUTs with VPP and capable of running Virtual Machine.
  60
  61 ## NIC Model Tags
  62
  63 **NIC_Intel-X520-DA2**
  64
  65     Intel X520-DA2 NIC.
  66
  67 **NIC_Intel-XL710**
  68
  69     Intel XL710 NIC.
  70
  71 **NIC_Intel-X710**
  72
  73     Intel X710 NIC.
  74
  75 **NIC_Intel-XXV710**
  76
  77     Intel XXV710 NIC.
  78
  79 **NIC_Cisco-VIC-1227**
  80
  81     VIC-1227 by Cisco.
  82
  83 **NIC_Cisco-VIC-1385**
  84
  85     VIC-1385 by Cisco.
  86
  87 **NIC_Amazon-Nitro-50G**
  88
  89     Amazon EC2 ENA NIC.
  90
  91 ## Scaling Tags
  92
  93 **FIB_20K**
  94
  95     2x10,000 entries in single fib table
  96
  97 **FIB_200K**
  98
  99     2x100,000 entries in single fib table
 100
 101 **FIB_1M**
 102
 103     2x500,000 entries in single fib table
 104
 105 **FIB_2M**
 106
 107     2x1,000,000 entries in single fib table
 108
 109 **L2BD_1**
 110
 111     Test with 1 L2 bridge domain.
 112
 113 **L2BD_10**
 114
 115     Test with 10 L2 bridge domains.
 116
 117 **L2BD_100**
 118
 119     Test with 100 L2 bridge domains.
 120
 121 **L2BD_1K**
 122
 123     Test with 1000 L2 bridge domains.
 124
 125 **VLAN_1**
 126
 127     Test with 1 VLAN sub-interface.
 128
 129 **VLAN_10**
 130
 131     Test with 10 VLAN sub-interfaces.
 132
 133 **VLAN_100**
 134
 135     Test with 100 VLAN sub-interfaces.
 136
 137 **VLAN_1K**
 138
 139     Test with 1000 VLAN sub-interfaces.
 140
 141 **VXLAN_1**
 142
 143     Test with 1 VXLAN tunnel.
 144
 145 **VXLAN_10**
 146
 147     Test with 10 VXLAN tunnels.
 148
 149 **VXLAN_100**
 150
 151     Test with 100 VXLAN tunnels.
 152
 153 **VXLAN_1K**
 154
 155     Test with 1000 VXLAN tunnels.
 156
 157 **TNL_{t}**
 158
 159     IPSec in tunnel mode - {t} tunnels.
 160
 161 **SRC_USER_{u}**
 162
 163     Traffic flow with {u} unique IPs (users) in one direction.
 164     {u}=(1,10,100,1000,2000,4000).
 165
 166 **100_FLOWS**
 167
 168     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in
 169     one direction.
 170
 171 **10k_FLOWS**
 172
 173     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports)
 174     in one direction.
 175
 176 **100k_FLOWS**
 177
 178     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP
 179     ports) in one direction.
 180
 181 **HOSTS_{h}**
 182
 183     Stateless or stateful traffic stream with {h} client source IP4
 184     addresses, usually with 63 flow differing in source port number.
 185     Could be UDP or TCP. If NAT is used, the clients are inside.
 186     Outside IP range can differ.
 187     {h}=(1024,4096,16384,65536,262144).
 188
 189 **GENEVE4_{t}TUN**
 190
 191     Test with {t} GENEVE IPv4 tunnel.
 192     {t}=(1,4,16,64,256,1024)
 193
 194 ## Test Category Tags
 195
 196 **DEVICETEST**
 197
 198     All vpp_device functional test cases.
 199
 200 **PERFTEST**
 201
 202     All performance test cases.
 203
 204 ## VPP Device Type Tags
 205
 206 **SCAPY**
 207
 208     All test cases that uses Scapy for packet generation and validation.
 209
 210 ## Performance Type Tags
 211
 212 **NDRPDR**
 213
 214     Single test finding both No Drop Rate and Partial Drop Rate
 215     simultaneously. The search is done by optimized algorithm which
 216     performs multiple trial runs at different durations and transmit
 217     rates. The results come from the final trials, which have duration
 218     of 30 seconds.
 219
 220 **MRR**
 221
 222     Performance tests where TG sends the traffic at maximum rate (line rate)
 223     and reports total sent/received packets over trial duration.
 224     The result is an average of 10 trials of 1 second duration.
 225
 226 **SOAK**
 227
 228     Performance tests using PLRsearch to find the critical load.
 229
 230 **RECONF**
 231
 232     Performance tests aimed to measure lost packets (time) when performing
 233     reconfiguration while full throughput offered load is applied.
 234
 235 ## Ethernet Frame Size Tags
 236
 237 These are describing the traffic offered by Traffic Generator,
 238 "primary" traffic in case of asymmetric load.
 239 For traffic between DUTs, or for "secondary" traffic, see ${overhead} value.
 240
 241 **{b}B**
 242
 243     {b} Bytes frames used for test.
 244
 245 **IMIX**
 246
 247     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 248
 249 ## Test Type Tags
 250
 251 **BASE**
 252
 253     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 254     No scaling whatsoever, beyond minimum needed for RSS.
 255
 256 **IP4BASE**
 257
 258     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 259     tests. Minimal number of routes. Other quantities may be scaled.
 260
 261 **IP6BASE**
 262
 263     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 264     tests.
 265
 266 **L2XCBASE**
 267
 268     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 269     tests.
 270
 271 **L2BDBASE**
 272
 273     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 274     tests.
 275
 276 **L2PATCH**
 277
 278     L2PATCH baseline test cases, no encapsulation, no feature(s) configured
 279     in tests.
 280
 281 **SCALE**
 282
 283     Scale test cases. Other tags specify which quantities are scaled.
 284     Also applies if scaling is set on TG only (e.g. DUT works as IP4BASE).
 285
 286 **ENCAP**
 287
 288     Test cases where encapsulation is used. Use also encapsulation tag(s).
 289
 290 **FEATURE**
 291
 292     At least one feature is configured in test cases. Use also feature
 293     tag(s).
 294
 295 **UDP**
 296
 297     Tests which use any kind of UDP traffic (STL or ASTF profile).
 298
 299 **TCP**
 300
 301     Tests which use any kind of TCP traffic (STL or ASTF profile).
 302
 303 **TREX**
 304
 305     Tests which test trex traffic without any software DUTs in the
 306     traffic path.
 307
 308 **UDP_UDIR**
 309
 310     Tests which use unidirectional UDP traffic (STL profile only).
 311
 312 **UDP_BIDIR**
 313
 314     Tests which use bidirectional UDP traffic (STL profile only).
 315
 316 **UDP_CPS**
 317
 318     Tests which measure connections per second on minimal UDP
 319     pseudoconnections. This implies ASTF traffic profile is used.
 320
 321 **TCP_CPS**
 322
 323     Tests which measure connections per second on empty TCP connections.
 324     This implies ASTF traffic profile is used.
 325
 326 **TCP_RPS**
 327
 328     Tests which measure requests per second on empty TCP connections.
 329     This implies ASTF traffic profile is used.
 330
 331 **UDP_PPS**
 332
 333     Tests which measure packets per second on lightweight UDP transactions.
 334     This implies ASTF traffic profile is used.
 335
 336 **TCP_PPS**
 337
 338     Tests which measure packets per second on lightweight TCP transactions.
 339     This implies ASTF traffic profile is used.
 340
 341 **HTTP**
 342
 343     Tests which use traffic formed of valid HTTP requests (and responses).
 344
 345 **LDP_NGINX**
 346
 347     LDP NGINX is un-modified NGINX with VPP via LD_PRELOAD.
 348
 349 **NF_DENSITY**
 350
 351     Performance tests that measure throughput of multiple VNF and CNF
 352     service topologies at different service densities.
 353
 354 ## NF Service Density Tags
 355
 356 **CHAIN**
 357
 358     NF service density tests with VNF or CNF service chain topology(ies).
 359
 360 **PIPE**
 361
 362     NF service density tests with CNF service pipeline topology(ies).
 363
 364 **NF_L3FWDIP4**
 365
 366     NF service density tests with DPDK l3fwd IPv4 routing as NF workload.
 367
 368 **NF_VPPIP4**
 369
 370     NF service density tests with VPP IPv4 routing as NF workload.
 371
 372 **{r}R{c}C**
 373
 374     Service density matrix locator {r}R{c}C, {r}Row denoting number of
 375     service instances, {c}Column denoting number of NFs per service
 376     instance.
 377     {r}=(1,2,4,6,8,10), {c}=(1,2,4,6,8,10).
 378
 379 **{n}VM{t}T**
 380
 381     Service density {n}VM{t}T, {n}Number of NF Qemu VMs, {t}Number of
 382     threads per NF.
 383
 384 **{n}DCR{t}T**
 385
 386     Service density {n}DCR{t}T, {n}Number of NF Docker containers,
 387     {t}Number of threads per NF.
 388
 389 **{n}_ADDED_CHAINS**
 390
 391     {n}Number of chains (or pipelines) added (and/or removed)
 392     during RECONF test.
 393
 394 ## Forwarding Mode Tags
 395
 396 **L2BDMACSTAT**
 397
 398     VPP L2 bridge-domain, L2 MAC static.
 399
 400 **L2BDMACLRN**
 401
 402     VPP L2 bridge-domain, L2 MAC learning.
 403
 404 **L2XCFWD**
 405
 406     VPP L2 point-to-point cross-connect.
 407
 408 **IP4FWD**
 409
 410     VPP IPv4 routed forwarding.
 411
 412 **IP6FWD**
 413
 414     VPP IPv6 routed forwarding.
 415
 416 **LOADBALANCER_MAGLEV**
 417
 418     VPP Load balancer maglev mode.
 419
 420 **LOADBALANCER_L3DSR**
 421
 422     VPP Load balancer l3dsr mode.
 423
 424 **LOADBALANCER_NAT4**
 425
 426     VPP Load balancer nat4 mode.
 427
 428 **N2N**
 429
 430     Mode, where NICs from the same physical server are directly
 431     connected with a cable.
 432
 433 ## Underlay Tags
 434
 435 **IP4UNRLAY**
 436
 437     IPv4 underlay.
 438
 439 **IP6UNRLAY**
 440
 441     IPv6 underlay.
 442
 443 **MPLSUNRLAY**
 444
 445     MPLS underlay.
 446
 447 ## Overlay Tags
 448
 449 **L2OVRLAY**
 450
 451     L2 overlay.
 452
 453 **IP4OVRLAY**
 454
 455     IPv4 overlay (IPv4 payload).
 456
 457 **IP6OVRLAY**
 458
 459     IPv6 overlay (IPv6 payload).
 460
 461 ## Tagging Tags
 462
 463 **DOT1Q**
 464
 465     All test cases with dot1q.
 466
 467 **DOT1AD**
 468
 469     All test cases with dot1ad.
 470
 471 ## Encapsulation Tags
 472
 473 **ETH**
 474
 475     All test cases with base Ethernet (no encapsulation).
 476
 477 **LISP**
 478
 479     All test cases with LISP.
 480
 481 **LISPGPE**
 482
 483     All test cases with LISP-GPE.
 484
 485 **LISP_IP4o4**
 486
 487     All test cases with LISP_IP4o4.
 488
 489 **LISPGPE_IP4o4**
 490
 491     All test cases with LISPGPE_IP4o4.
 492
 493 **LISPGPE_IP6o4**
 494
 495     All test cases with LISPGPE_IP6o4.
 496
 497 **LISPGPE_IP4o6**
 498
 499     All test cases with LISPGPE_IP4o6.
 500
 501 **LISPGPE_IP6o6**
 502
 503     All test cases with LISPGPE_IP6o6.
 504
 505 **VXLAN**
 506
 507     All test cases with Vxlan.
 508
 509 **VXLANGPE**
 510
 511     All test cases with VXLAN-GPE.
 512
 513 **GRE**
 514
 515     All test cases with GRE.
 516
 517 **GTPU**
 518
 519     All test cases with GTPU.
 520
 521 **GTPU_HWACCEL**
 522
 523     All test cases with GTPU_HWACCEL.
 524
 525 **IPSEC**
 526
 527     All test cases with IPSEC.
 528
 529 **WIREGUARD**
 530
 531     All test cases with WIREGUARD.
 532
 533 **SRv6**
 534
 535     All test cases with Segment routing over IPv6 dataplane.
 536
 537 **SRv6_1SID**
 538
 539     All SRv6 test cases with single SID.
 540
 541 **SRv6_2SID_DECAP**
 542
 543     All SRv6 test cases with two SIDs and with decapsulation.
 544
 545 **SRv6_2SID_NODECAP**
 546
 547     All SRv6 test cases with two SIDs and without decapsulation.
 548
 549 **GENEVE**
 550
 551     All test cases with GENEVE.
 552
 553 **GENEVE_L3MODE**
 554
 555     All test cases with GENEVE tunnel in L3 mode.
 556
 557 **FLOW**
 558
 559     All test cases with FLOW.
 560
 561 **FLOW_DIR**
 562
 563     All test cases with FLOW_DIR.
 564
 565 **FLOW_RSS**
 566
 567     All test cases with FLOW_RSS.
 568
 569 **NTUPLE**
 570
 571     All test cases with NTUPLE.
 572
 573 **L2TPV3**
 574
 575     All test cases with L2TPV3.
 576
 577 ## Interface Tags
 578
 579 **PHY**
 580
 581     All test cases which use physical interface(s).
 582
 583 **GSO**
 584
 585     All test cases which uses Generic Segmentation Offload.
 586
 587 **VHOST**
 588
 589     All test cases which uses VHOST.
 590
 591 **VHOST_1024**
 592
 593     All test cases which uses VHOST DPDK driver with qemu queue size set
 594     to 1024.
 595
 596 **VIRTIO**
 597
 598     All test cases which uses VIRTIO native VPP driver.
 599
 600 **VIRTIO_1024**
 601
 602     All test cases which uses VIRTIO native VPP driver with qemu queue
 603     size set to 1024.
 604
 605 **CFS_OPT**
 606
 607     All test cases which uses VM with optimised scheduler policy.
 608
 609 **TUNTAP**
 610
 611     All test cases which uses TUN and TAP.
 612
 613 **AFPKT**
 614
 615     All test cases which uses AFPKT.
 616
 617 **NETMAP**
 618
 619     All test cases which uses Netmap.
 620
 621 **MEMIF**
 622
 623     All test cases which uses Memif.
 624
 625 **SINGLE_MEMIF**
 626
 627     All test cases which uses only single Memif connection per DUT. One DUT
 628     instance is running in container having one physical interface exposed
 629     to container.
 630
 631 **LBOND**
 632
 633     All test cases which uses link bonding (BondEthernet interface).
 634
 635 **LBOND_DPDK**
 636
 637     All test cases which uses DPDK link bonding.
 638
 639 **LBOND_VPP**
 640
 641     All test cases which uses VPP link bonding.
 642
 643 **LBOND_MODE_XOR**
 644
 645     All test cases which uses link bonding with mode XOR.
 646
 647 **LBOND_MODE_LACP**
 648
 649     All test cases which uses link bonding with mode LACP.
 650
 651 **LBOND_LB_L34**
 652
 653     All test cases which uses link bonding with load-balance mode l34.
 654
 655 **LBOND_{n}L**
 656
 657     All test cases which use {n} link(s) for link bonding.
 658
 659 **DRV_{d}**
 660
 661     All test cases which NIC Driver for DUT is set to {d}.
 662     Default is VFIO_PCI.
 663     {d}=(AVF, RDMA_CORE, VFIO_PCI, AF_XDP).
 664
 665 **TG_DRV_{d}**
 666
 667     All test cases which NIC Driver for TG is set to {d}.
 668     Default is IGB_UIO.
 669     {d}=(RDMA_CORE, IGB_UIO).
 670
 671 **RXQ_SIZE_{n}**
 672
 673     All test cases which RXQ size (RX descriptors) are set to {n}.
 674     Default is 0, which means VPP (API) default.
 675
 676 **TXQ_SIZE_{n}**
 677
 678     All test cases which TXQ size (TX descriptors) are set to {n}.
 679     Default is 0, which means VPP (API) default.
 680
 681 ## Feature Tags
 682
 683 **IACLDST**
 684
 685     iACL destination.
 686
 687 **ADLALWLIST**
 688
 689     ADL allowlist.
 690
 691 **NAT44**
 692
 693     NAT44 configured and tested.
 694
 695 **NAT64**
 696
 697     NAT44 configured and tested.
 698
 699 **ACL**
 700
 701     ACL plugin configured and tested.
 702
 703 **IACL**
 704
 705     ACL plugin configured and tested on input path.
 706
 707 **OACL**
 708
 709     ACL plugin configured and tested on output path.
 710
 711 **ACL_STATELESS**
 712
 713     ACL plugin configured and tested in stateless mode
 714     (permit action).
 715
 716 **ACL_STATEFUL**
 717
 718     ACL plugin configured and tested in stateful mode
 719     (permit+reflect action).
 720
 721 **ACL1**
 722
 723     ACL plugin configured and tested with 1 not-hitting ACE.
 724
 725 **ACL10**
 726
 727     ACL plugin configured and tested with 10 not-hitting ACEs.
 728
 729 **ACL50**
 730
 731     ACL plugin configured and tested with 50 not-hitting ACEs.
 732
 733 **SRv6_PROXY**
 734
 735     SRv6 endpoint to SR-unaware appliance via proxy.
 736
 737 **SRv6_PROXY_STAT**
 738
 739     SRv6 endpoint to SR-unaware appliance via static proxy.
 740
 741 **SRv6_PROXY_DYN**
 742
 743     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 744
 745 **SRv6_PROXY_MASQ**
 746
 747     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 748
 749 ## Encryption Tags
 750
 751 **IPSECSW**
 752
 753     Crypto in software.
 754
 755 **IPSECHW**
 756
 757     Crypto in hardware.
 758
 759 **IPSECTRAN**
 760
 761     IPSec in transport mode.
 762
 763 **IPSECTUN**
 764
 765     IPSec in tunnel mode.
 766
 767 **IPSECINT**
 768
 769     IPSec in interface mode.
 770
 771 **AES**
 772
 773     IPSec using AES algorithms.
 774
 775 **AES_128_CBC**
 776
 777     IPSec using AES 128 CBC algorithms.
 778
 779 **AES_128_GCM**
 780
 781     IPSec using AES 128 GCM algorithms.
 782
 783 **AES_256_GCM**
 784
 785     IPSec using AES 256 GCM algorithms.
 786
 787 **HMAC**
 788
 789     IPSec using HMAC integrity algorithms.
 790
 791 **HMAC_SHA_256**
 792
 793     IPSec using HMAC SHA 256 integrity algorithms.
 794
 795 **HMAC_SHA_512**
 796
 797     IPSec using HMAC SHA 512 integrity algorithms.
 798
 799 **SCHEDULER**
 800
 801     IPSec using crypto sw scheduler engine.
 802
 803 **FASTPATH**
 804
 805     IPSec policy mode with spd fast path enabled.
 806
 807 ## Client-Workload Tags
 808
 809 **VM**
 810
 811     All test cases which use at least one virtual machine.
 812
 813 **LXC**
 814
 815     All test cases which use Linux container and LXC utils.
 816
 817 **DRC**
 818
 819     All test cases which use at least one Docker container.
 820
 821 **DOCKER**
 822
 823     All test cases which use Docker as container manager.
 824
 825 **APP**
 826
 827     All test cases with specific APP use.
 828
 829 ## Container Orchestration Tags
 830
 831 **{n}VSWITCH**
 832
 833     {n} VPP running in {n} Docker container(s) acting as a VSWITCH.
 834     {n}=(1).
 835
 836 **{n}VNF**
 837
 838     {n} VPP running in {n} Docker container(s) acting as a VNF work load.
 839     {n}=(1).
 840
 841 ## Multi-Threading Tags
 842
 843 **STHREAD**
 844
 845     Dynamic tag.
 846     All test cases using single poll mode thread.
 847
 848 **MTHREAD**
 849
 850     Dynamic tag.
 851     All test cases using more then one poll mode driver thread.
 852
 853 **{n}NUMA**
 854
 855     All test cases with packet processing on {n} socket(s). {n}=(1,2).
 856
 857 **{c}C**
 858
 859     {c} worker thread pinned to {c} dedicated physical core; or if
 860     HyperThreading is enabled, {c}*2 worker threads each pinned to
 861     a separate logical core within 1 dedicated physical core. Main
 862     thread pinned to core 1.
 863     {t}=(1,2,4).
 864
 865 **{t}T{c}C**
 866
 867     *Dynamic tag*.
 868     {t} worker threads pinned to {c} dedicated physical cores. Main thread
 869     pinned to core 1. By default CSIT is configuring same amount of receive
 870     queues per interface as worker threads.
 871     {t}=(1,2,4,8),
 872     {c}=(1,2,4).