feat(docs): Hugo
[csit.git] / docs / report / csit_framework_documentation / csit_tag_description.rst
1 CSIT RF Tags Descriptions
2 =========================
3
4 All CSIT test cases are labelled with Robot Framework tags used to allow for
5 easy test case type identification, test case grouping and selection for
6 execution. Following sections list currently used CSIT TAGs and their
7 documentation based on the content of
8 `tag documentation rst file`_.
9
10 Testbed Topology Tags
11 ---------------------
12
13 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
14
15     2 nodes connected in a circular topology with two links interconnecting
16     the devices.
17
18 .. topic:: 2_NODE_SINGLE_LINK_TOPO
19
20     2 nodes connected in a circular topology with at least one link
21     interconnecting devices.
22
23 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
24
25     3 nodes connected in a circular topology with two links interconnecting
26     the devices.
27
28 .. topic:: 3_NODE_SINGLE_LINK_TOPO
29
30     3 nodes connected in a circular topology with at least one link
31     interconnecting devices.
32
33 Objective Tags
34 --------------
35
36 .. topic:: SKIP_PATCH
37
38     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
39     and csit-vpp-verify jobs (i.e. CSIT patch).
40
41 .. topic:: SKIP_VPP_PATCH
42
43     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
44
45 Environment Tags
46 ----------------
47
48 .. topic:: HW_ENV
49
50     DUTs and TGs are running on bare metal.
51
52 .. topic:: VM_ENV
53
54     DUTs and TGs are running in virtual environment.
55
56 .. topic:: VPP_VM_ENV
57
58     DUTs with VPP and capable of running Virtual Machine.
59
60 NIC Model Tags
61 --------------
62
63 .. topic:: NIC_Intel-X520-DA2
64
65     Intel X520-DA2 NIC.
66
67 .. topic:: NIC_Intel-XL710
68
69     Intel XL710 NIC.
70
71 .. topic:: NIC_Intel-X710
72
73     Intel X710 NIC.
74
75 .. topic:: NIC_Intel-XXV710
76
77     Intel XXV710 NIC.
78
79 .. topic:: NIC_Cisco-VIC-1227
80
81     VIC-1227 by Cisco.
82
83 .. topic:: NIC_Cisco-VIC-1385
84
85     VIC-1385 by Cisco.
86
87 .. topic:: NIC_Amazon-Nitro-50G
88
89     Amazon EC2 ENA NIC.
90
91 Scaling Tags
92 ------------
93
94 .. topic:: FIB_20K
95
96     2x10,000 entries in single fib table
97
98 .. topic:: FIB_200K
99
100     2x100,000 entries in single fib table
101
102 .. topic:: FIB_1M
103
104     2x500,000 entries in single fib table
105
106 .. topic:: FIB_2M
107
108     2x1,000,000 entries in single fib table
109
110 .. topic:: L2BD_1
111
112     Test with 1 L2 bridge domain.
113
114 .. topic:: L2BD_10
115
116     Test with 10 L2 bridge domains.
117
118 .. topic:: L2BD_100
119
120     Test with 100 L2 bridge domains.
121
122 .. topic:: L2BD_1K
123
124     Test with 1000 L2 bridge domains.
125
126 .. topic:: VLAN_1
127
128     Test with 1 VLAN sub-interface.
129
130 .. topic:: VLAN_10
131
132     Test with 10 VLAN sub-interfaces.
133
134 .. topic:: VLAN_100
135
136     Test with 100 VLAN sub-interfaces.
137
138 .. topic:: VLAN_1K
139
140     Test with 1000 VLAN sub-interfaces.
141
142 .. topic:: VXLAN_1
143
144     Test with 1 VXLAN tunnel.
145
146 .. topic:: VXLAN_10
147
148     Test with 10 VXLAN tunnels.
149
150 .. topic:: VXLAN_100
151
152     Test with 100 VXLAN tunnels.
153
154 .. topic:: VXLAN_1K
155
156     Test with 1000 VXLAN tunnels.
157
158 .. topic:: TNL_{t}
159
160     IPSec in tunnel mode - {t} tunnels.
161
162 .. topic:: SRC_USER_{u}
163
164     Traffic flow with {u} unique IPs (users) in one direction.
165     {u}=(1,10,100,1000,2000,4000).
166
167 .. topic:: 100_FLOWS
168
169     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
170     direction.
171
172 .. topic:: 10k_FLOWS
173
174     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
175     one direction.
176
177 .. topic:: 100k_FLOWS
178
179     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
180     one direction.
181
182 .. topic:: HOSTS_{h}
183
184     Stateless or stateful traffic stream with {h} client source IP4 addresses,
185     usually with 63 flow differing in source port number. Could be UDP or TCP.
186     If NAT is used, the clients are inside. Outside IP range can differ.
187     {h}=(1024,4096,16384,65536,262144).
188
189 .. topic:: GENEVE4_{t}TUN
190
191     Test with {t} GENEVE IPv4 tunnel. {t}=(1,4,16,64,256,1024)
192
193 Test Category Tags
194 ------------------
195
196 .. topic:: DEVICETEST
197
198     All vpp_device functional test cases.
199
200 .. topic:: PERFTEST
201
202     All performance test cases.
203
204 VPP Device Type Tags
205 --------------------
206
207 .. topic:: SCAPY
208
209     All test cases that uses Scapy for packet generation and validation.
210
211 Performance Type Tags
212 ---------------------
213
214 .. topic:: NDRPDR
215
216     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
217     The search is done by optimized algorithm which performs
218     multiple trial runs at different durations and transmit rates.
219     The results come from the final trials, which have duration of 30 seconds.
220
221 .. topic:: MRR
222
223     Performance tests where TG sends the traffic at maximum rate (line rate)
224     and reports total sent/received packets over trial duration.
225     The result is an average of 10 trials of 1 second duration.
226
227 .. topic:: SOAK
228
229     Performance tests using PLRsearch to find the critical load.
230
231 .. topic:: RECONF
232
233     Performance tests aimed to measure lost packets (time) when performing
234     reconfiguration while full throughput offered load is applied.
235
236 Ethernet Frame Size Tags
237 ------------------------
238
239 These are describing the traffic offered by Traffic Generator,
240 "primary" traffic in case of asymmetric load.
241 For traffic between DUTs, or for "secondary" traffic, see ${overhead} value.
242
243 .. topic:: {b}B
244
245     {b} Bytes frames used for test.
246
247 .. topic:: IMIX
248
249     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
250
251 Test Type Tags
252 --------------
253
254 .. topic:: BASE
255
256     Baseline test cases, no encapsulation, no feature(s) configured in tests.
257     No scaling whatsoever, beyond minimum needed for RSS.
258
259 .. topic:: IP4BASE
260
261     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
262     tests. Minimal number of routes. Other quantities may be scaled.
263
264 .. topic:: IP6BASE
265
266     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
267     tests.
268
269 .. topic:: L2XCBASE
270
271     L2XC baseline test cases, no encapsulation, no feature(s) configured in
272     tests.
273
274 .. topic:: L2BDBASE
275
276     L2BD baseline test cases, no encapsulation, no feature(s) configured in
277     tests.
278
279 .. topic:: L2PATCH
280
281     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
282     tests.
283
284 .. topic:: SCALE
285
286     Scale test cases. Other tags specify which quantities are scaled.
287     Also applies if scaling is set on TG only (e.g. DUT works as IP4BASE).
288
289 .. topic:: ENCAP
290
291     Test cases where encapsulation is used. Use also encapsulation tag(s).
292
293 .. topic:: FEATURE
294
295     At least one feature is configured in test cases. Use also feature tag(s).
296
297 .. topic:: UDP
298
299     Tests which use any kind of UDP traffic (STL or ASTF profile).
300
301 .. topic:: TCP
302
303     Tests which use any kind of TCP traffic (STL or ASTF profile).
304
305 .. topic:: TREX
306
307     Tests which test trex traffic without any software DUTs in the traffic path.
308
309 ..
310     TODO: Should we define tags STL and ASTF?
311
312 .. topic:: UDP_UDIR
313
314     Tests which use unidirectional UDP traffic (STL profile only).
315
316 .. topic:: UDP_BIDIR
317
318     Tests which use bidirectional UDP traffic (STL profile only).
319
320 .. topic:: UDP_CPS
321
322     Tests which measure connections per second on minimal UDP pseudoconnections.
323     This implies ASTF traffic profile is used.
324     This tag selects specific output processing in PAL.
325
326 .. topic:: TCP_CPS
327
328     Tests which measure connections per second on empty TCP connections.
329     This implies ASTF traffic profile is used.
330     This tag selects specific output processing in PAL.
331
332 .. topic:: TCP_RPS
333
334     Tests which measure requests per second on empty TCP connections.
335     This implies ASTF traffic profile is used.
336     This tag selects specific output processing in PAL.
337
338 .. topic:: UDP_PPS
339
340     Tests which measure packets per second on lightweight UDP transactions.
341     This implies ASTF traffic profile is used.
342     This tag selects specific output processing in PAL.
343
344 .. topic:: TCP_PPS
345
346     Tests which measure packets per second on lightweight TCP transactions.
347     This implies ASTF traffic profile is used.
348     This tag selects specific output processing in PAL.
349
350 .. topic:: HTTP
351
352     Tests which use traffic formed of valid HTTP requests (and responses).
353
354 ..
355     TODO: Add HTTP tag to the current hoststack tests.
356     TODO: Document other tags already used by hoststack tests.
357
358 .. topic:: LDP_NGINX
359
360     LDP NGINX is un-modified NGINX with VPP via LD_PRELOAD.
361
362 .. topic:: NF_DENSITY
363
364     Performance tests that measure throughput of multiple VNF and CNF
365     service topologies at different service densities.
366
367 NF Service Density Tags
368 -----------------------
369
370 .. topic:: CHAIN
371
372     NF service density tests with VNF or CNF service chain topology(ies).
373
374 .. topic:: PIPE
375
376     NF service density tests with CNF service pipeline topology(ies).
377
378 .. topic:: NF_L3FWDIP4
379
380     NF service density tests with DPDK l3fwd IPv4 routing as NF workload.
381
382 .. topic:: NF_VPPIP4
383
384     NF service density tests with VPP IPv4 routing as NF workload.
385
386 .. topic:: {r}R{c}C
387
388     Service density matrix locator {r}R{c}C, {r}Row denoting number of
389     service instances, {c}Column denoting number of NFs per service
390     instance. {r}=(1,2,4,6,8,10), {c}=(1,2,4,6,8,10).
391
392 .. topic:: {n}VM{t}T
393
394     Service density {n}VM{t}T, {n}Number of NF Qemu VMs, {t}Number of threads
395     per NF.
396
397 .. topic:: {n}DCRt}T
398
399     Service density {n}DCR{t}T, {n}Number of NF Docker containers, {t}Number of
400     threads per NF.
401
402 .. topic:: {n}_ADDED_CHAINS
403
404     {n}Number of chains (or pipelines) added (and/or removed)
405     during RECONF test.
406
407 Forwarding Mode Tags
408 --------------------
409
410 .. topic:: L2BDMACSTAT
411
412     VPP L2 bridge-domain, L2 MAC static.
413
414 .. topic:: L2BDMACLRN
415
416     VPP L2 bridge-domain, L2 MAC learning.
417
418 .. topic:: L2XCFWD
419
420     VPP L2 point-to-point cross-connect.
421
422 .. topic:: IP4FWD
423
424     VPP IPv4 routed forwarding.
425
426 .. topic:: IP6FWD
427
428     VPP IPv6 routed forwarding.
429
430 .. topic:: LOADBALANCER_MAGLEV
431
432     VPP Load balancer maglev mode.
433
434 .. topic:: LOADBALANCER_L3DSR
435
436     VPP Load balancer l3dsr mode.
437
438 .. topic:: LOADBALANCER_NAT4
439
440     VPP Load balancer nat4 mode.
441
442 .. topic:: N2N
443
444     Mode, where NICs from the same physical server are directly
445     connected with a cable.
446
447 Underlay Tags
448 -------------
449
450 .. topic:: IP4UNRLAY
451
452     IPv4 underlay.
453
454 .. topic:: IP6UNRLAY
455
456     IPv6 underlay.
457
458 .. topic:: MPLSUNRLAY
459
460     MPLS underlay.
461
462 Overlay Tags
463 ------------
464
465 .. topic:: L2OVRLAY
466
467     L2 overlay.
468
469 .. topic:: IP4OVRLAY
470
471     IPv4 overlay (IPv4 payload).
472
473 .. topic:: IP6OVRLAY
474
475     IPv6 overlay (IPv6 payload).
476
477 Tagging Tags
478 ------------
479
480 .. topic:: DOT1Q
481
482     All test cases with dot1q.
483
484 .. topic:: DOT1AD
485
486     All test cases with dot1ad.
487
488 Encapsulation Tags
489 ------------------
490
491 .. topic:: ETH
492
493     All test cases with base Ethernet (no encapsulation).
494
495 .. topic:: LISP
496
497     All test cases with LISP.
498
499 .. topic:: LISPGPE
500
501     All test cases with LISP-GPE.
502
503 .. topic:: LISP_IP4o4
504
505     All test cases with LISP_IP4o4.
506
507 .. topic:: LISPGPE_IP4o4
508
509     All test cases with LISPGPE_IP4o4.
510
511 .. topic:: LISPGPE_IP6o4
512
513     All test cases with LISPGPE_IP6o4.
514
515 .. topic:: LISPGPE_IP4o6
516
517     All test cases with LISPGPE_IP4o6.
518
519 .. topic:: LISPGPE_IP6o6
520
521     All test cases with LISPGPE_IP6o6.
522
523 .. topic:: VXLAN
524
525     All test cases with Vxlan.
526
527 .. topic:: VXLANGPE
528
529     All test cases with VXLAN-GPE.
530
531 .. topic:: GRE
532
533     All test cases with GRE.
534
535 .. topic:: GTPU
536
537     All test cases with GTPU.
538
539 .. topic:: GTPU_HWACCEL
540
541     All test cases with GTPU_HWACCEL.
542
543 .. topic:: IPSEC
544
545     All test cases with IPSEC.
546
547 .. topic:: WIREGUARD
548
549     All test cases with WIREGUARD.
550
551 .. topic:: SRv6
552
553     All test cases with Segment routing over IPv6 dataplane.
554
555 .. topic:: SRv6_1SID
556
557     All SRv6 test cases with single SID.
558
559 .. topic:: SRv6_2SID_DECAP
560
561     All SRv6 test cases with two SIDs and with decapsulation.
562
563 .. topic:: SRv6_2SID_NODECAP
564
565     All SRv6 test cases with two SIDs and without decapsulation.
566
567 .. topic:: GENEVE
568
569     All test cases with GENEVE.
570
571 .. topic:: GENEVE_L3MODE
572
573     All test cases with GENEVE tunnel in L3 mode.
574
575 .. topic:: FLOW
576
577     All test cases with FLOW.
578
579 .. topic:: FLOW_DIR
580
581     All test cases with FLOW_DIR.
582
583 .. topic:: FLOW_RSS
584
585     All test cases with FLOW_RSS.
586
587 .. topic:: NTUPLE
588
589     All test cases with NTUPLE.
590
591 .. topic:: L2TPV3
592
593     All test cases with L2TPV3.
594
595 Interface Tags
596 --------------
597
598 .. topic:: PHY
599
600     All test cases which use physical interface(s).
601
602 .. topic:: GSO
603
604     All test cases which uses Generic Segmentation Offload.
605
606 .. topic:: VHOST
607
608     All test cases which uses VHOST.
609
610 .. topic:: VHOST_1024
611
612     All test cases which uses VHOST DPDK driver with qemu queue size set
613     to 1024.
614
615 .. topic:: VIRTIO
616
617     All test cases which uses VIRTIO native VPP driver.
618
619 .. topic:: VIRTIO_1024
620
621     All test cases which uses VIRTIO native VPP driver with qemu queue size set
622     to 1024.
623
624 .. topic:: CFS_OPT
625
626     All test cases which uses VM with optimised scheduler policy.
627
628 .. topic:: TUNTAP
629
630     All test cases which uses TUN and TAP.
631
632 .. topic:: AFPKT
633
634     All test cases which uses AFPKT.
635
636 .. topic:: NETMAP
637
638     All test cases which uses Netmap.
639
640 .. topic:: MEMIF
641
642     All test cases which uses Memif.
643
644 .. topic:: SINGLE_MEMIF
645
646     All test cases which uses only single Memif connection per DUT. One DUT
647     instance is running in container having one physical interface exposed to
648     container.
649
650 .. topic:: LBOND
651
652     All test cases which uses link bonding (BondEthernet interface).
653
654 .. topic:: LBOND_DPDK
655
656     All test cases which uses DPDK link bonding.
657
658 .. topic:: LBOND_VPP
659
660     All test cases which uses VPP link bonding.
661
662 .. topic:: LBOND_MODE_XOR
663
664     All test cases which uses link bonding with mode XOR.
665
666 .. topic:: LBOND_MODE_LACP
667
668     All test cases which uses link bonding with mode LACP.
669
670 .. topic:: LBOND_LB_L34
671
672     All test cases which uses link bonding with load-balance mode l34.
673
674 .. topic:: LBOND_{n}L
675
676     All test cases which use {n} link(s) for link bonding.
677
678 .. topic:: DRV_{d}
679
680     All test cases which NIC Driver for DUT is set to {d}. Default is VFIO_PCI.
681     {d}=(AVF, RDMA_CORE, VFIO_PCI, AF_XDP).
682
683 .. topic:: TG_DRV_{d}
684
685     All test cases which NIC Driver for TG is set to {d}. Default is IGB_UIO.
686     {d}=(RDMA_CORE, IGB_UIO).
687
688 .. topic:: RXQ_SIZE_{n}
689
690     All test cases which RXQ size (RX descriptors) are set to {n}. Default is 0,
691     which means VPP (API) default.
692
693 .. topic:: TXQ_SIZE_{n}
694
695     All test cases which TXQ size (TX descriptors) are set to {n}. Default is 0,
696     which means VPP (API) default.
697
698 Feature Tags
699 ------------
700
701 .. topic:: IACLDST
702
703     iACL destination.
704
705 .. topic:: ADLALWLIST
706
707     ADL allowlist.
708
709 .. topic:: NAT44
710
711     NAT44 configured and tested.
712
713 .. topic:: NAT64
714
715     NAT44 configured and tested.
716
717 .. topic:: ACL
718
719     ACL plugin configured and tested.
720
721 .. topic:: IACL
722
723     ACL plugin configured and tested on input path.
724
725 .. topic:: OACL
726
727     ACL plugin configured and tested on output path.
728
729 .. topic:: ACL_STATELESS
730
731     ACL plugin configured and tested in stateless mode (permit action).
732
733 .. topic:: ACL_STATEFUL
734
735     ACL plugin configured and tested in stateful mode (permit+reflect action).
736
737 .. topic:: ACL1
738
739     ACL plugin configured and tested with 1 not-hitting ACE.
740
741 .. topic:: ACL10
742
743     ACL plugin configured and tested with 10 not-hitting ACEs.
744
745 .. topic:: ACL50
746
747     ACL plugin configured and tested with 50 not-hitting ACEs.
748
749 .. topic:: SRv6_PROXY
750
751     SRv6 endpoint to SR-unaware appliance via proxy.
752
753 .. topic:: SRv6_PROXY_STAT
754
755     SRv6 endpoint to SR-unaware appliance via static proxy.
756
757 .. topic:: SRv6_PROXY_DYN
758
759     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
760
761 .. topic:: SRv6_PROXY_MASQ
762
763     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
764
765 Encryption Tags
766 ---------------
767
768 .. topic:: IPSECSW
769
770     Crypto in software.
771
772 .. topic:: IPSECHW
773
774     Crypto in hardware.
775
776 .. topic:: IPSECTRAN
777
778     IPSec in transport mode.
779
780 .. topic:: IPSECTUN
781
782     IPSec in tunnel mode.
783
784 .. topic:: IPSECINT
785
786     IPSec in interface mode.
787
788 .. topic:: AES
789
790     IPSec using AES algorithms.
791
792 .. topic:: AES_128_CBC
793
794     IPSec using AES 128 CBC algorithms.
795
796 .. topic:: AES_128_GCM
797
798     IPSec using AES 128 GCM algorithms.
799
800 .. topic:: AES_256_GCM
801
802     IPSec using AES 256 GCM algorithms.
803
804 .. topic:: HMAC
805
806     IPSec using HMAC integrity algorithms.
807
808 .. topic:: HMAC_SHA_256
809
810     IPSec using HMAC SHA 256 integrity algorithms.
811
812 .. topic:: HMAC_SHA_512
813
814     IPSec using HMAC SHA 512 integrity algorithms.
815
816 .. topic:: SCHEDULER
817
818     IPSec using crypto sw scheduler engine.
819
820 .. topic:: FASTPATH
821
822     IPSec policy mode with spd fast path enabled.
823
824 Client-Workload Tags
825 --------------------
826
827 .. topic:: VM
828
829     All test cases which use at least one virtual machine.
830
831 .. topic:: LXC
832
833     All test cases which use Linux container and LXC utils.
834
835 .. topic:: DRC
836
837     All test cases which use at least one Docker container.
838
839 .. topic:: DOCKER
840
841     All test cases which use Docker as container manager.
842
843 .. topic:: APP
844
845     All test cases with specific APP use.
846
847 Container Orchestration Tags
848 ----------------------------
849
850 .. topic:: {n}VSWITCH
851
852     {n} VPP running in {n} Docker container(s) acting as a VSWITCH.
853     {n}=(1).
854
855 .. topic:: {n}VNF
856
857     {n} VPP running in {n} Docker container(s) acting as a VNF work load.
858     {n}=(1).
859
860 Multi-Threading Tags
861 --------------------
862
863 .. topic:: STHREAD
864
865    *Dynamic tag*.
866    All test cases using single poll mode thread.
867
868 .. topic:: MTHREAD
869
870    *Dynamic tag*.
871     All test cases using more then one poll mode driver thread.
872
873 .. topic:: {n}NUMA
874
875     All test cases with packet processing on {n} socket(s). {n}=(1,2).
876
877 .. topic:: {c}C
878
879     {c} worker thread pinned to {c} dedicated physical core; or if
880     HyperThreading is enabled, {c}*2 worker threads each pinned to a separate
881     logical core within 1 dedicated physical core. Main thread pinned to core 1.
882     {t}=(1,2,4).
883
884 .. topic:: {t}T{c}C
885
886    *Dynamic tag*.
887     {t} worker threads pinned to {c} dedicated physical cores. Main thread
888     pinned to core 1. By default CSIT is configuring same amount of receive
889     queues per interface as worker threads. {t}=(1,2,4,8), {t}=(1,2,4).