FIX: job specs
[csit.git] / docs / tag_documentation.rst
index d3e95a6..b2130c1 100644 (file)
@@ -83,6 +83,10 @@ NIC Model Tags
 
     VIC-1385 by Cisco.
 
+.. topic:: NIC_Amazon-Nitro-50G
+
+    Amazon EC2 ENA NIC.
+
 Scaling Tags
 ------------
 
@@ -150,29 +154,10 @@ Scaling Tags
 
     IPSec in tunnel mode - {t} tunnels.
 
-.. topic:: SRC_USER_1
-
-    Traffic flow with 1 unique IP (users) in one direction.
-
-.. topic:: SRC_USER_10
-
-    Traffic flow with 10 unique IPs (users) in one direction.
-
-.. topic:: SRC_USER_100
-
-    Traffic flow with 100 unique IPs (users) in one direction.
-
-.. topic:: SRC_USER_1000
-
-    Traffic flow with 1000 unique IPs (users) in one direction.
-
-.. topic:: SRC_USER_2000
-
-    Traffic flow with 2000 unique IPs (users) in one direction.
-
-.. topic:: SRC_USER_4000
+.. topic:: SRC_USER_{u}
 
-    Traffic flow with 4000 unique IPs (users) in one direction.
+    Traffic flow with {u} unique IPs (users) in one direction.
+    {u}=(1,10,100,1000,2000,4000).
 
 .. topic:: 100_FLOWS
 
@@ -189,51 +174,35 @@ Scaling Tags
     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
     one direction.
 
-.. topic:: HOSTS_1024
-
-    Stateless or stateful traffic stream with 1024 client source IP4 addresses,
-    usually with 63 flow differing in source port number. Could be UDP or TCP.
-    If NAT is used, the clients are inside. Outside IP range can differ.
-
-.. topic:: HOSTS_4096
-
-    Stateless or stateful traffic stream with 4096 client source IP4 addresses,
-    usually with 63 flow differing in source port number. Could be UDP or TCP.
-    If NAT is used, the clients are inside. Outside IP range can differ.
-
-.. topic:: HOSTS_16384
-
-    Stateless or stateful traffic stream with 16384 client source IP4 addresses,
-    usually with 63 flow differing in source port number. Could be UDP or TCP.
-    If NAT is used, the clients are inside. Outside IP range can differ.
-
-.. topic:: HOSTS_65536
-
-    Stateless or stateful traffic stream with 65536 client source IP4 addresses,
-    usually with 63 flow differing in source port number. Could be UDP or TCP.
-    If NAT is used, the clients are inside. Outside IP range can differ.
-
-.. topic:: HOSTS_262144
+.. topic:: HOSTS_{h}
 
-    Stateless or stateful traffic stream with 262144 client source IP4 addresses
+    Stateless or stateful traffic stream with {h} client source IP4 addresses,
     usually with 63 flow differing in source port number. Could be UDP or TCP.
     If NAT is used, the clients are inside. Outside IP range can differ.
+    {h}=(1024,4096,16384,65536,262144).
 
-.. topic:: GENEVE4_1TUN
+.. topic:: GENEVE4_{t}TUN
 
-    Test with 1 GENEVE IPv4 tunnel.
+    Test with {t} GENEVE IPv4 tunnel. {t}=(1,4,16,64,256,1024)
 
 Test Category Tags
 ------------------
 
-.. topic:: FUNCTEST
+.. topic:: DEVICETEST
 
-    All functional test cases.
+    All vpp_device functional test cases.
 
 .. topic:: PERFTEST
 
     All performance test cases.
 
+VPP Device Type Tags
+--------------------
+
+.. topic:: SCAPY
+
+    All test cases that uses Scapy for packet generation and validation.
+
 Performance Type Tags
 ---------------------
 
@@ -266,46 +235,14 @@ These are describing the traffic offered by Traffic Generator,
 "primary" traffic in case of asymmetric load.
 For traffic between DUTs, or for "secondary" traffic, see ${overhead} value.
 
-.. topic:: 64B
-
-    64B frames used for test. Generic ethernet or IPv4.
-
-.. topic:: 78B
-
-    78B frames used for test. Ipv6.
+.. topic:: {b}B
 
-.. topic:: 114B
-
-    114B frames used for test. IPv4+vxlan.
-
-.. topic:: 118B
-
-    118B frames used for test. Dot1q+IPv4+vxlan.
+    {b} Bytes frames used for test.
 
 .. topic:: IMIX
 
     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 
-.. topic:: 1460B
-
-    1460B frames used for test.
-
-.. topic:: 1480B
-
-    1480B frames used for test.
-
-.. topic:: 1514B
-
-    1514B frames used for test.
-
-.. topic:: 1518B
-
-    1518B frames used for test.
-
-.. topic:: 9000B
-
-    9000B frames used for test.
-
 Test Type Tags
 --------------
 
@@ -360,6 +297,10 @@ Test Type Tags
 
     Tests which use any kind of TCP traffic (STL or ASTF profile).
 
+.. topic:: TREX
+
+    Tests which test trex traffic without any software DUTs in the traffic path.
+
 ..
     TODO: Should we define tags STL and ASTF?
 
@@ -383,6 +324,12 @@ Test Type Tags
     This implies ASTF traffic profile is used.
     This tag selects specific output processing in PAL.
 
+.. topic:: TCP_RPS
+
+    Tests which measure requests per second on empty TCP connections.
+    This implies ASTF traffic profile is used.
+    This tag selects specific output processing in PAL.
+
 .. topic:: UDP_PPS
 
     Tests which measure packets per second on lightweight UDP transactions.
@@ -403,6 +350,10 @@ Test Type Tags
     TODO: Add HTTP tag to the current hoststack tests.
     TODO: Document other tags already used by hoststack tests.
 
+.. topic:: LDP_NGINX
+
+    LDP NGINX is un-modified NGINX with VPP via LD_PRELOAD.
+
 .. topic:: NF_DENSITY
 
     Performance tests that measure throughput of multiple VNF and CNF
@@ -483,6 +434,11 @@ Forwarding Mode Tags
 
     VPP Load balancer nat4 mode.
 
+.. topic:: N2N
+
+    Mode, where NICs from the same physical server are directly
+    connected with a cable.
+
 Underlay Tags
 -------------
 
@@ -571,6 +527,10 @@ Encapsulation Tags
 
     All test cases with GRE.
 
+.. topic:: GTPU
+
+    All test cases with GTPU.
+
 .. topic:: IPSEC
 
     All test cases with IPSEC.
@@ -678,41 +638,29 @@ Interface Tags
 
     All test cases which uses link bonding with load-balance mode l34.
 
-.. topic:: LBOND_1L
-
-    All test cases which uses one link for link bonding.
-
-.. topic:: LBOND_2L
-
-    All test cases which uses two links for link bonding.
-
-.. topic:: DRV_AVF
+.. topic:: LBOND_{n}L
 
-    All test cases which uses Intel Adaptive Virtual Function (AVF) device
-    plugin for VPP. This plugins provides native device support for Intel AVF.
-    AVF is driver specification for current and future Intel Virtual Function
-    devices. In essence, today this driver can be used only with Intel
-    XL710 / X710 / XXV710 adapters.
+    All test cases which use {n} link(s) for link bonding.
 
-.. topic:: DRV_VFIO_PCI
+.. topic:: DRV_{d}
 
-    All test cases which uses vfio-pci device driver. It supports variety of NIC
-    adapters.
+    All test cases which NIC Driver for DUT is set to {d}. Default is VFIO_PCI.
+    {d}=(AVF, RDMA_CORE, VFIO_PCI, AF_XDP).
 
-.. topic:: DRV_RDMA_CORE
+.. topic:: TG_DRV_{d}
 
-    All test cases which uses rdma-core device driver. It supports Mellanox
-    NIC adapters.
+    All test cases which NIC Driver for TG is set to {d}. Default is IGB_UIO.
+    {d}=(RDMA_CORE, IGB_UIO).
 
 .. topic:: RXQ_SIZE_{n}
 
-   All test cases which RXQ size (RX descriptors) are set to {n}. Default is 0,
-   which means VPP (API) default.
+    All test cases which RXQ size (RX descriptors) are set to {n}. Default is 0,
+    which means VPP (API) default.
 
 .. topic:: TXQ_SIZE_{n}
 
-   All test cases which TXQ size (TX descriptors) are set to {n}. Default is 0,
-   which means VPP (API) default.
+    All test cases which TXQ size (TX descriptors) are set to {n}. Default is 0,
+    which means VPP (API) default.
 
 Feature Tags
 ------------
@@ -832,6 +780,10 @@ Encryption Tags
 
     IPSec using HMAC SHA 512 integrity algorithms.
 
+.. topic:: SCHEDULER
+
+    IPSec using crypto sw scheduler engine.
+
 Client-Workload Tags
 --------------------
 
@@ -858,21 +810,15 @@ Client-Workload Tags
 Container Orchestration Tags
 ----------------------------
 
-.. topic:: 1VSWITCH
-
-    VPP running in Docker container acting as VSWITCH.
-
-.. topic:: 1VNF
-
-    1 VPP running in Docker container acting as VNF work load.
+.. topic:: {n}VSWITCH
 
-.. topic:: 2VNF
+    {n} VPP running in {n} Docker container(s) acting as a VSWITCH.
+    {n}=(1).
 
-    2 VPP running in 2 Docker containers acting as VNF work load.
+.. topic:: {n}VNF
 
-.. topic:: 4VNF
-
-    4 VPP running in 4 Docker containers acting as VNF work load.
+    {n} VPP running in {n} Docker container(s) acting as a VNF work load.
+    {n}=(1).
 
 Multi-Threading Tags
 --------------------
@@ -887,66 +833,20 @@ Multi-Threading Tags
    *Dynamic tag*.
     All test cases using more then one poll mode driver thread.
 
-.. topic:: 1NUMA
-
-    All test cases with packet processing on single socket.
-
-.. topic:: 2NUMA
-
-    All test cases with packet processing on two sockets.
-
-.. topic:: 1C
-
-    1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
-    enabled, 2 worker threads each pinned to a separate logical core within 1
-    dedicated physical core. Main thread pinned to core 1.
-
-.. topic:: 2C
-
-    2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
-    is enabled, 4 worker threads each pinned to a separate logical core within 2
-    dedicated physical cores. Main thread pinned to core 1.
-
-.. topic:: 4C
-
-    4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
-    is enabled, 8 worker threads each pinned to a separate logical core within 4
-    dedicated physical cores. Main thread pinned to core 1.
-
-.. topic:: 1T1C
+.. topic:: {n}NUMA
 
-   *Dynamic tag*.
-    1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
-    interface. Main thread pinned to core 1.
-
-.. topic:: 2T2C
-
-   *Dynamic tag*.
-    2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
-    interface. Main thread pinned to core 1.
-
-.. topic:: 4T4C
+    All test cases with packet processing on {n} socket(s). {n}=(1,2).
 
-   *Dynamic tag*.
-    4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
-    interface. Main thread pinned to core 1.
+.. topic:: {c}C
 
-.. topic:: 2T1C
-
-   *Dynamic tag*.
-    2 worker threads each pinned to a separate logical core within 1 dedicated
-    physical core. 1 receive queue per interface. Main thread pinned to core 1.
-
-.. topic:: 4T2C
-
-   *Dynamic tag*.
-    4 worker threads each pinned to a separate logical core within 2 dedicated
-    physical cores. 2 receive queues per interface. Main thread pinned to core
-    1.
+    {c} worker thread pinned to {c} dedicated physical core; or if
+    HyperThreading is enabled, {c}*2 worker threads each pinned to a separate
+    logical core within 1 dedicated physical core. Main thread pinned to core 1.
+    {t}=(1,2,4).
 
-.. topic:: 8T4C
+.. topic:: {t}T{c}C
 
    *Dynamic tag*.
-    8 worker threads each pinned to a separate logical core within 4 dedicated
-    physical cores. 4 receive queues per interface. Main thread pinned to core
-    1.
+    {t} worker threads pinned to {c} dedicated physical cores. Main thread
+    pinned to core 1. By default CSIT is configuring same amount of receive
+    queues per interface as worker threads. {t}=(1,2,4,8), {t}=(1,2,4).