docs/content/introduction/test_tag_description.md

   1 ---
   2 title: "Test Tags Descriptions"
   3 weight: 5
   4 ---
   5
   6 # Test Tags Descriptions
   7
   8 All CSIT test cases are labelled with Robot Framework tags used to allow for
   9 easy test case type identification, test case grouping and selection for
  10 execution. Following sections list currently used CSIT tags and their
  11 descriptions.
  12
  13 ## Testbed Topology Tags
  14
  15 **2_NODE_DOUBLE_LINK_TOPO**
  16
  17     2 nodes connected in a circular topology with two links interconnecting
  18     the devices.
  19
  20 **2_NODE_SINGLE_LINK_TOPO**
  21
  22     2 nodes connected in a circular topology with at least one link
  23     interconnecting devices.
  24
  25 **3_NODE_DOUBLE_LINK_TOPO**
  26
  27     3 nodes connected in a circular topology with two links interconnecting
  28     the devices.
  29
  30 **3_NODE_SINGLE_LINK_TOPO**
  31
  32     3 nodes connected in a circular topology with at least one link
  33     interconnecting devices.
  34
  35 ## Objective Tags
  36
  37 **SKIP_PATCH**
  38
  39     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  40     and csit-vpp-verify jobs (i.e. CSIT patch).
  41
  42 **SKIP_VPP_PATCH**
  43
  44     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  45
  46 ## Environment Tags
  47
  48 **HW_ENV**
  49
  50     DUTs and TGs are running on bare metal.
  51
  52 **VM_ENV**
  53
  54     DUTs and TGs are running in virtual environment.
  55
  56 **VPP_VM_ENV**
  57
  58     DUTs with VPP and capable of running Virtual Machine.
  59
  60 ## NIC Model Tags
  61
  62 **NIC_Intel-X520-DA2**
  63
  64     Intel X520-DA2 NIC.
  65
  66 **NIC_Intel-XL710**
  67
  68     Intel XL710 NIC.
  69
  70 **NIC_Intel-X710**
  71
  72     Intel X710 NIC.
  73
  74 **NIC_Intel-XXV710**
  75
  76     Intel XXV710 NIC.
  77
  78 **NIC_Cisco-VIC-1227**
  79
  80     VIC-1227 by Cisco.
  81
  82 **NIC_Cisco-VIC-1385**
  83
  84     VIC-1385 by Cisco.
  85
  86 **NIC_Amazon-Nitro-50G**
  87
  88     Amazon EC2 ENA NIC.
  89
  90 ## Scaling Tags
  91
  92 **FIB_20K**
  93
  94     2x10,000 entries in single fib table
  95
  96 **FIB_200K**
  97
  98     2x100,000 entries in single fib table
  99
 100 **FIB_1M**
 101
 102     2x500,000 entries in single fib table
 103
 104 **FIB_2M**
 105
 106     2x1,000,000 entries in single fib table
 107
 108 **L2BD_1**
 109
 110     Test with 1 L2 bridge domain.
 111
 112 **L2BD_10**
 113
 114     Test with 10 L2 bridge domains.
 115
 116 **L2BD_100**
 117
 118     Test with 100 L2 bridge domains.
 119
 120 **L2BD_1K**
 121
 122     Test with 1000 L2 bridge domains.
 123
 124 **VLAN_1**
 125
 126     Test with 1 VLAN sub-interface.
 127
 128 **VLAN_10**
 129
 130     Test with 10 VLAN sub-interfaces.
 131
 132 **VLAN_100**
 133
 134     Test with 100 VLAN sub-interfaces.
 135
 136 **VLAN_1K**
 137
 138     Test with 1000 VLAN sub-interfaces.
 139
 140 **VXLAN_1**
 141
 142     Test with 1 VXLAN tunnel.
 143
 144 **VXLAN_10**
 145
 146     Test with 10 VXLAN tunnels.
 147
 148 **VXLAN_100*
 149
 150     Test with 100 VXLAN tunnels.
 151
 152 **VXLAN_1K**
 153
 154     Test with 1000 VXLAN tunnels.
 155
 156 **TNL_{t}**
 157
 158     IPSec in tunnel mode - {t} tunnels.
 159
 160 **SRC_USER_{u}**
 161
 162     Traffic flow with {u} unique IPs (users) in one direction.
 163     {u}=(1,10,100,1000,2000,4000).
 164
 165 **100_FLOWS**
 166
 167     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 168     direction.
 169
 170 **10k_FLOWS**
 171
 172     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 173     one direction.
 174
 175 **100k_FLOWS**
 176
 177     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 178     one direction.
 179
 180 **HOSTS_{h}**
 181
 182     Stateless or stateful traffic stream with {h} client source IP4 addresses,
 183     usually with 63 flow differing in source port number. Could be UDP or TCP.
 184     If NAT is used, the clients are inside. Outside IP range can differ.
 185     {h}=(1024,4096,16384,65536,262144).
 186
 187 **GENEVE4_{t}TUN**
 188
 189     Test with {t} GENEVE IPv4 tunnel. {t}=(1,4,16,64,256,1024)
 190
 191 ## Test Category Tags
 192
 193 **DEVICETEST*
 194
 195     All vpp_device functional test cases.
 196
 197 **PERFTEST**
 198
 199     All performance test cases.
 200
 201 ## VPP Device Type Tags
 202
 203 **SCAPY**
 204
 205     All test cases that uses Scapy for packet generation and validation.
 206
 207 ## erformance Type Tags
 208
 209 **NDRPDR**
 210
 211     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 212     The search is done by optimized algorithm which performs
 213     multiple trial runs at different durations and transmit rates.
 214     The results come from the final trials, which have duration of 30 seconds.
 215
 216 **MRR**
 217
 218     Performance tests where TG sends the traffic at maximum rate (line rate)
 219     and reports total sent/received packets over trial duration.
 220     The result is an average of 10 trials of 1 second duration.
 221
 222 **SOAK**
 223
 224     Performance tests using PLRsearch to find the critical load.
 225
 226 **RECONF**
 227
 228     Performance tests aimed to measure lost packets (time) when performing
 229     reconfiguration while full throughput offered load is applied.
 230
 231 ## Ethernet Frame Size Tags
 232
 233 These are describing the traffic offered by Traffic Generator,
 234 "primary" traffic in case of asymmetric load.
 235 For traffic between DUTs, or for "secondary" traffic, see ${overhead} value.
 236
 237 **{b}B**
 238
 239     {b} Bytes frames used for test.
 240
 241 **IMIX**
 242
 243     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 244
 245 ## Test Type Tags
 246
 247 **BASE**
 248
 249     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 250     No scaling whatsoever, beyond minimum needed for RSS.
 251
 252 **IP4BASE**
 253
 254     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 255     tests. Minimal number of routes. Other quantities may be scaled.
 256
 257 **IP6BASE**
 258
 259     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 260     tests.
 261
 262 **L2XCBASE**
 263
 264     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 265     tests.
 266
 267 **L2BDBASE**
 268
 269     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 270     tests.
 271
 272 **L2PATCH**
 273
 274     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
 275     tests.
 276
 277 **SCALE**
 278
 279     Scale test cases. Other tags specify which quantities are scaled.
 280     Also applies if scaling is set on TG only (e.g. DUT works as IP4BASE).
 281
 282 **ENCAP**
 283
 284     Test cases where encapsulation is used. Use also encapsulation tag(s).
 285
 286 **FEATURE**
 287
 288     At least one feature is configured in test cases. Use also feature tag(s).
 289
 290 **UDP**
 291
 292     Tests which use any kind of UDP traffic (STL or ASTF profile).
 293
 294 **TCP**
 295
 296     Tests which use any kind of TCP traffic (STL or ASTF profile).
 297
 298 **TREX**
 299
 300     Tests which test trex traffic without any software DUTs in the traffic path.
 301
 302 **UDP_UDIR**
 303
 304     Tests which use unidirectional UDP traffic (STL profile only).
 305
 306 **UDP_BIDIR**
 307
 308     Tests which use bidirectional UDP traffic (STL profile only).
 309
 310 **UDP_CPS**
 311
 312     Tests which measure connections per second on minimal UDP pseudoconnections.
 313     This implies ASTF traffic profile is used.
 314     This tag selects specific output processing in PAL.
 315
 316 **TCP_CPS**
 317
 318     Tests which measure connections per second on empty TCP connections.
 319     This implies ASTF traffic profile is used.
 320     This tag selects specific output processing in PAL.
 321
 322 **TCP_RPS**
 323
 324     Tests which measure requests per second on empty TCP connections.
 325     This implies ASTF traffic profile is used.
 326     This tag selects specific output processing in PAL.
 327
 328 **UDP_PPS**
 329
 330     Tests which measure packets per second on lightweight UDP transactions.
 331     This implies ASTF traffic profile is used.
 332     This tag selects specific output processing in PAL.
 333
 334 **TCP_PPS**
 335
 336     Tests which measure packets per second on lightweight TCP transactions.
 337     This implies ASTF traffic profile is used.
 338     This tag selects specific output processing in PAL.
 339
 340 **HTTP**
 341
 342     Tests which use traffic formed of valid HTTP requests (and responses).
 343
 344 **LDP_NGINX**
 345
 346     LDP NGINX is un-modified NGINX with VPP via LD_PRELOAD.
 347
 348 **NF_DENSITY**
 349
 350     Performance tests that measure throughput of multiple VNF and CNF
 351     service topologies at different service densities.
 352
 353 ## NF Service Density Tags
 354
 355 **CHAIN**
 356
 357     NF service density tests with VNF or CNF service chain topology(ies).
 358
 359 **PIPE**
 360
 361     NF service density tests with CNF service pipeline topology(ies).
 362
 363 **NF_L3FWDIP4**
 364
 365     NF service density tests with DPDK l3fwd IPv4 routing as NF workload.
 366
 367 **NF_VPPIP4**
 368
 369     NF service density tests with VPP IPv4 routing as NF workload.
 370
 371 **{r}R{c}C**
 372
 373     Service density matrix locator {r}R{c}C, {r}Row denoting number of
 374     service instances, {c}Column denoting number of NFs per service
 375     instance. {r}=(1,2,4,6,8,10), {c}=(1,2,4,6,8,10).
 376
 377 **{n}VM{t}T**
 378
 379     Service density {n}VM{t}T, {n}Number of NF Qemu VMs, {t}Number of threads
 380     per NF.
 381
 382 **{n}DCRt}T**
 383
 384     Service density {n}DCR{t}T, {n}Number of NF Docker containers, {t}Number of
 385     threads per NF.
 386
 387 **{n}_ADDED_CHAINS**
 388
 389     {n}Number of chains (or pipelines) added (and/or removed)
 390     during RECONF test.
 391
 392 ## Forwarding Mode Tags
 393
 394 **L2BDMACSTAT**
 395
 396     VPP L2 bridge-domain, L2 MAC static.
 397
 398 **L2BDMACLRN**
 399
 400     VPP L2 bridge-domain, L2 MAC learning.
 401
 402 **L2XCFWD**
 403
 404     VPP L2 point-to-point cross-connect.
 405
 406 **IP4FWD**
 407
 408     VPP IPv4 routed forwarding.
 409
 410 **IP6FWD**
 411
 412     VPP IPv6 routed forwarding.
 413
 414 **LOADBALANCER_MAGLEV**
 415
 416     VPP Load balancer maglev mode.
 417
 418 **LOADBALANCER_L3DSR**
 419
 420     VPP Load balancer l3dsr mode.
 421
 422 **LOADBALANCER_NAT4**
 423
 424     VPP Load balancer nat4 mode.
 425
 426 **N2N**
 427
 428     Mode, where NICs from the same physical server are directly
 429     connected with a cable.
 430
 431 ## Underlay Tags
 432
 433 **IP4UNRLAY**
 434
 435     IPv4 underlay.
 436
 437 **IP6UNRLAY**
 438
 439     IPv6 underlay.
 440
 441 **MPLSUNRLAY**
 442
 443     MPLS underlay.
 444
 445 ## Overlay Tags
 446
 447 **L2OVRLAY**
 448
 449     L2 overlay.
 450
 451 **IP4OVRLAY**
 452
 453     IPv4 overlay (IPv4 payload).
 454
 455 **IP6OVRLAY**
 456
 457     IPv6 overlay (IPv6 payload).
 458
 459 ## Tagging Tags
 460
 461 **DOT1Q**
 462
 463     All test cases with dot1q.
 464
 465 **DOT1AD**
 466
 467     All test cases with dot1ad.
 468
 469 ## Encapsulation Tags
 470
 471 **ETH**
 472
 473     All test cases with base Ethernet (no encapsulation).
 474
 475 **LISP**
 476
 477     All test cases with LISP.
 478
 479 **LISPGPE**
 480
 481     All test cases with LISP-GPE.
 482
 483 **LISP_IP4o4**
 484
 485     All test cases with LISP_IP4o4.
 486
 487 **LISPGPE_IP4o4**
 488
 489     All test cases with LISPGPE_IP4o4.
 490
 491 **LISPGPE_IP6o4**
 492
 493     All test cases with LISPGPE_IP6o4.
 494
 495 **LISPGPE_IP4o6**
 496
 497     All test cases with LISPGPE_IP4o6.
 498
 499 **LISPGPE_IP6o6**
 500
 501     All test cases with LISPGPE_IP6o6.
 502
 503 **VXLAN**
 504
 505     All test cases with Vxlan.
 506
 507 **VXLANGPE**
 508
 509     All test cases with VXLAN-GPE.
 510
 511 **GRE**
 512
 513     All test cases with GRE.
 514
 515 **GTPU**
 516
 517     All test cases with GTPU.
 518
 519 **GTPU_HWACCEL**
 520
 521     All test cases with GTPU_HWACCEL.
 522
 523 **IPSEC**
 524
 525     All test cases with IPSEC.
 526
 527 **WIREGUARD**
 528
 529     All test cases with WIREGUARD.
 530
 531 **SRv6**
 532
 533     All test cases with Segment routing over IPv6 dataplane.
 534
 535 **SRv6_1SID**
 536
 537     All SRv6 test cases with single SID.
 538
 539 **SRv6_2SID_DECAP**
 540
 541     All SRv6 test cases with two SIDs and with decapsulation.
 542
 543 **SRv6_2SID_NODECAP**
 544
 545     All SRv6 test cases with two SIDs and without decapsulation.
 546
 547 **GENEVE**
 548
 549     All test cases with GENEVE.
 550
 551 **GENEVE_L3MODE**
 552
 553     All test cases with GENEVE tunnel in L3 mode.
 554
 555 **FLOW**
 556
 557     All test cases with FLOW.
 558
 559 **FLOW_DIR**
 560
 561     All test cases with FLOW_DIR.
 562
 563 **FLOW_RSS**
 564
 565     All test cases with FLOW_RSS.
 566
 567 **NTUPLE**
 568
 569     All test cases with NTUPLE.
 570
 571 **L2TPV3**
 572
 573     All test cases with L2TPV3.
 574
 575 ## Interface Tags
 576
 577 **PHY**
 578
 579     All test cases which use physical interface(s).
 580
 581 **GSO**
 582
 583     All test cases which uses Generic Segmentation Offload.
 584
 585 **VHOST**
 586
 587     All test cases which uses VHOST.
 588
 589 **VHOST_1024**
 590
 591     All test cases which uses VHOST DPDK driver with qemu queue size set
 592     to 1024.
 593
 594 **VIRTIO**
 595
 596     All test cases which uses VIRTIO native VPP driver.
 597
 598 **VIRTIO_1024**
 599
 600     All test cases which uses VIRTIO native VPP driver with qemu queue size set
 601     to 1024.
 602
 603 **CFS_OPT**
 604
 605     All test cases which uses VM with optimised scheduler policy.
 606
 607 **TUNTAP*
 608
 609     All test cases which uses TUN and TAP.
 610
 611 **AFPKT**
 612
 613     All test cases which uses AFPKT.
 614
 615 **NETMAP**
 616
 617     All test cases which uses Netmap.
 618
 619 **MEMIF**
 620
 621     All test cases which uses Memif.
 622
 623 **SINGLE_MEMIF**
 624
 625     All test cases which uses only single Memif connection per DUT. One DUT
 626     instance is running in container having one physical interface exposed to
 627     container.
 628
 629 **LBOND**
 630
 631     All test cases which uses link bonding (BondEthernet interface).
 632
 633 **LBOND_DPDK**
 634
 635     All test cases which uses DPDK link bonding.
 636
 637 **LBOND_VPP**
 638
 639     All test cases which uses VPP link bonding.
 640
 641 **LBOND_MODE_XOR**
 642
 643     All test cases which uses link bonding with mode XOR.
 644
 645 **LBOND_MODE_LACP**
 646
 647     All test cases which uses link bonding with mode LACP.
 648
 649 **LBOND_LB_L34**
 650
 651     All test cases which uses link bonding with load-balance mode l34.
 652
 653 **LBOND_{n}L**
 654
 655     All test cases which use {n} link(s) for link bonding.
 656
 657 **DRV_{d}**
 658
 659     All test cases which NIC Driver for DUT is set to {d}. Default is VFIO_PCI.
 660     {d}=(AVF, RDMA_CORE, VFIO_PCI, AF_XDP).
 661
 662 **TG_DRV_{d}**
 663
 664     All test cases which NIC Driver for TG is set to {d}. Default is IGB_UIO.
 665     {d}=(RDMA_CORE, IGB_UIO).
 666
 667 **RXQ_SIZE_{n}**
 668
 669     All test cases which RXQ size (RX descriptors) are set to {n}. Default is 0,
 670     which means VPP (API) default.
 671
 672 **TXQ_SIZE_{n}**
 673
 674     All test cases which TXQ size (TX descriptors) are set to {n}. Default is 0,
 675     which means VPP (API) default.
 676
 677 ## Feature Tags
 678
 679 **IACLDST**
 680
 681     iACL destination.
 682
 683 **ADLALWLIST**
 684
 685     ADL allowlist.
 686
 687 **NAT44**
 688
 689     NAT44 configured and tested.
 690
 691 **NAT64**
 692
 693     NAT44 configured and tested.
 694
 695 **ACL**
 696
 697     ACL plugin configured and tested.
 698
 699 **IACL**
 700
 701     ACL plugin configured and tested on input path.
 702
 703 **OACL**
 704
 705     ACL plugin configured and tested on output path.
 706
 707 **ACL_STATELESS**
 708
 709     ACL plugin configured and tested in stateless mode (permit action).
 710
 711 **ACL_STATEFUL**
 712
 713     ACL plugin configured and tested in stateful mode (permit+reflect action).
 714
 715 **ACL1**
 716
 717     ACL plugin configured and tested with 1 not-hitting ACE.
 718
 719 **ACL10**
 720
 721     ACL plugin configured and tested with 10 not-hitting ACEs.
 722
 723 **ACL50**
 724
 725     ACL plugin configured and tested with 50 not-hitting ACEs.
 726
 727 **SRv6_PROXY**
 728
 729     SRv6 endpoint to SR-unaware appliance via proxy.
 730
 731 **SRv6_PROXY_STAT**
 732
 733     SRv6 endpoint to SR-unaware appliance via static proxy.
 734
 735 **SRv6_PROXY_DYN**
 736
 737     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 738
 739 **SRv6_PROXY_MASQ**
 740
 741     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 742
 743 ## Encryption Tags
 744
 745 **IPSECSW**
 746
 747     Crypto in software.
 748
 749 **IPSECHW**
 750
 751     Crypto in hardware.
 752
 753 **IPSECTRAN**
 754
 755     IPSec in transport mode.
 756
 757 **IPSECTUN**
 758
 759     IPSec in tunnel mode.
 760
 761 **IPSECINT**
 762
 763     IPSec in interface mode.
 764
 765 **AES**
 766
 767     IPSec using AES algorithms.
 768
 769 **AES_128_CBC**
 770
 771     IPSec using AES 128 CBC algorithms.
 772
 773 **AES_128_GCM**
 774
 775     IPSec using AES 128 GCM algorithms.
 776
 777 **AES_256_GCM**
 778
 779     IPSec using AES 256 GCM algorithms.
 780
 781 **HMAC**
 782
 783     IPSec using HMAC integrity algorithms.
 784
 785 **HMAC_SHA_256**
 786
 787     IPSec using HMAC SHA 256 integrity algorithms.
 788
 789 **HMAC_SHA_512**
 790
 791     IPSec using HMAC SHA 512 integrity algorithms.
 792
 793 **SCHEDULER**
 794
 795     IPSec using crypto sw scheduler engine.
 796
 797 **FASTPATH**
 798
 799     IPSec policy mode with spd fast path enabled.
 800
 801 ## Client-Workload Tags
 802
 803 **VM**
 804
 805     All test cases which use at least one virtual machine.
 806
 807 **LXC**
 808
 809     All test cases which use Linux container and LXC utils.
 810
 811 **DRC**
 812
 813     All test cases which use at least one Docker container.
 814
 815 **DOCKER**
 816
 817     All test cases which use Docker as container manager.
 818
 819 **APP**
 820
 821     All test cases with specific APP use.
 822
 823 ## Container Orchestration Tags
 824
 825 **{n}VSWITCH**
 826
 827     {n} VPP running in {n} Docker container(s) acting as a VSWITCH.
 828     {n}=(1).
 829
 830 **{n}VNF**
 831
 832     {n} VPP running in {n} Docker container(s) acting as a VNF work load.
 833     {n}=(1).
 834
 835 ## Multi-Threading Tags
 836
 837 **STHREAD**
 838
 839     *Dynamic tag*.
 840     All test cases using single poll mode thread.
 841
 842 **MTHREAD**
 843
 844     *Dynamic tag*.
 845     All test cases using more then one poll mode driver thread.
 846
 847 **{n}NUMA**
 848
 849     All test cases with packet processing on {n} socket(s). {n}=(1,2).
 850
 851 **{c}C**
 852
 853     {c} worker thread pinned to {c} dedicated physical core; or if
 854     HyperThreading is enabled, {c}*2 worker threads each pinned to a separate
 855     logical core within 1 dedicated physical core. Main thread pinned to core 1.
 856     {t}=(1,2,4).
 857
 858 **{t}T{c}C**
 859
 860     *Dynamic tag*.
 861     {t} worker threads pinned to {c} dedicated physical cores. Main thread
 862     pinned to core 1. By default CSIT is configuring same amount of receive
 863     queues per interface as worker threads. {t}=(1,2,4,8), {t}=(1,2,4).