Report: Add data
[csit.git] / docs / tag_documentation.rst
1 CSIT Tags
2 =========
3
4 All CSIT test cases are labelled with Robot Framework tags used to allow for
5 easy test case type identification, test case grouping and selection for
6 execution. Following sections list currently used CSIT tags and their
7 descriptions.
8
9 Testbed Topology Tags
10 ---------------------
11
12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
13
14     2 nodes connected in a circular topology with two links interconnecting
15     the devices.
16
17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
18
19     2 nodes connected in a circular topology with at least one link
20     interconnecting devices.
21
22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
23
24     3 nodes connected in a circular topology with two links interconnecting
25     the devices.
26
27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
28
29     3 nodes connected in a circular topology with at least one link
30     interconnecting devices.
31
32 Objective Tags
33 --------------
34
35 .. topic:: SKIP_PATCH
36
37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
38     and csit-vpp-verify jobs (i.e. CSIT patch).
39
40 .. topic:: SKIP_VPP_PATCH
41
42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
43
44 Environment Tags
45 ----------------
46
47 .. topic:: HW_ENV
48
49     DUTs and TGs are running on bare metal.
50
51 .. topic:: VM_ENV
52
53     DUTs and TGs are running in virtual environment.
54
55 .. topic:: VPP_VM_ENV
56
57     DUTs with VPP and capable of running Virtual Machine.
58
59 NIC Model Tags
60 --------------
61
62 .. topic:: NIC_Intel-X520-DA2
63
64     Intel X520-DA2 NIC.
65
66 .. topic:: NIC_Intel-XL710
67
68     Intel XL710 NIC.
69
70 .. topic:: NIC_Intel-X710
71
72     Intel X710 NIC.
73
74 .. topic:: NIC_Intel-XXV710
75
76     Intel XXV710 NIC.
77
78 .. topic:: NIC_Cisco-VIC-1227
79
80     VIC-1227 by Cisco.
81
82 .. topic:: NIC_Cisco-VIC-1385
83
84     VIC-1385 by Cisco.
85
86 Scaling Tags
87 ------------
88
89 .. topic:: FIB_20K
90
91     2x10,000 entries in single fib table
92
93 .. topic:: FIB_200K
94
95     2x100,000 entries in single fib table
96
97 .. topic:: FIB_2M
98
99     2x1,000,000 entries in single fib table
100
101 .. topic:: L2BD_1
102
103     Test with 1 L2 bridge domain.
104
105 .. topic:: L2BD_10
106
107     Test with 10 L2 bridge domains.
108
109 .. topic:: L2BD_100
110
111     Test with 100 L2 bridge domains.
112
113 .. topic:: L2BD_1K
114
115     Test with 1000 L2 bridge domains.
116
117 .. topic:: VLAN_1
118
119     Test with 1 VLAN sub-interface.
120
121 .. topic:: VLAN_10
122
123     Test with 10 VLAN sub-interfaces.
124
125 .. topic:: VLAN_100
126
127     Test with 100 VLAN sub-interfaces.
128
129 .. topic:: VLAN_1K
130
131     Test with 1000 VLAN sub-interfaces.
132
133 .. topic:: VXLAN_1
134
135     Test with 1 VXLAN tunnel.
136
137 .. topic:: VXLAN_10
138
139     Test with 10 VXLAN tunnels.
140
141 .. topic:: VXLAN_100
142
143     Test with 100 VXLAN tunnels.
144
145 .. topic:: VXLAN_1K
146
147     Test with 1000 VXLAN tunnels.
148
149 .. topic:: TNL_{t}
150
151     IPSec in tunnel mode - {t} tunnels.
152
153 .. topic:: SRC_USER_1
154
155     Traffic flow with 1 unique IP (users) in one direction.
156
157 .. topic:: SRC_USER_10
158
159     Traffic flow with 10 unique IPs (users) in one direction.
160
161 .. topic:: SRC_USER_100
162
163     Traffic flow with 100 unique IPs (users) in one direction.
164
165 .. topic:: SRC_USER_1000
166
167     Traffic flow with 1000 unique IPs (users) in one direction.
168
169 .. topic:: SRC_USER_2000
170
171     Traffic flow with 2000 unique IPs (users) in one direction.
172
173 .. topic:: SRC_USER_4000
174
175     Traffic flow with 4000 unique IPs (users) in one direction.
176
177 .. topic:: 100_FLOWS
178
179     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
180     direction.
181
182 .. topic:: 10k_FLOWS
183
184     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
185     one direction.
186
187 .. topic:: 100k_FLOWS
188
189     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
190     one direction.
191
192 Test Category Tags
193 ------------------
194
195 .. topic:: FUNCTEST
196
197     All functional test cases.
198
199 .. topic:: PERFTEST
200
201     All performance test cases.
202
203 Performance Type Tags
204 ---------------------
205
206 .. topic:: NDRPDR
207
208     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
209     The search is done by optimized algorithm which performs
210     multiple trial runs at different durations and transmit rates.
211     The results come from the final trials, which have duration of 30 seconds.
212
213 .. topic:: MRR
214
215     Performance tests where TG sends the traffic at maximum rate (line rate)
216     and reports total sent/received packets over trial duration.
217     The result is an average of 10 trials of 1 second duration.
218
219 .. topic:: SOAK
220
221     Performance tests using PLRsearch to find the critical load.
222
223 .. topic:: RECONF
224
225     Performance tests aimed to measure lost packets (time) when performing
226     reconfiguration while full throughput offered load is applied.
227
228 Ethernet Frame Size Tags
229 ------------------------
230
231 These are describing the traffic offered by Traffic Generator,
232 "primary" traffic in case of asymmetric load.
233 For traffic between DUTs, or for "secondary" traffic, see ${overhead} value.
234
235 .. topic:: 64B
236
237     64B frames used for test. Generic ethernet or IPv4.
238
239 .. topic:: 78B
240
241     78B frames used for test. Ipv6.
242
243 .. topic:: 114B
244
245     114B frames used for test. IPv4+vxlan.
246
247 .. topic:: 118B
248
249     118B frames used for test. Dot1q+IPv4+vxlan.
250
251 .. topic:: IMIX
252
253     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
254
255 .. topic:: 1460B
256
257     1460B frames used for test.
258
259 .. topic:: 1480B
260
261     1480B frames used for test.
262
263 .. topic:: 1514B
264
265     1514B frames used for test.
266
267 .. topic:: 1518B
268
269     1518B frames used for test.
270
271 .. topic:: 9000B
272
273     9000B frames used for test.
274
275 Test Type Tags
276 --------------
277
278 .. topic:: BASE
279
280     Baseline test cases, no encapsulation, no feature(s) configured in tests.
281
282 .. topic:: IP4BASE
283
284     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
285     tests.
286
287 .. topic:: IP6BASE
288
289     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
290     tests.
291
292 .. topic:: L2XCBASE
293
294     L2XC baseline test cases, no encapsulation, no feature(s) configured in
295     tests.
296
297 .. topic:: L2BDBASE
298
299     L2BD baseline test cases, no encapsulation, no feature(s) configured in
300     tests.
301
302 .. topic:: L2PATCH
303
304     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
305     tests.
306
307 .. topic:: SCALE
308
309     Scale test cases.
310
311 .. topic:: ENCAP
312
313     Test cases where encapsulation is used. Use also encapsulation tag(s).
314
315 .. topic:: FEATURE
316
317     At least one feature is configured in test cases. Use also feature tag(s).
318
319 .. topic:: TCP
320
321     Tests which use TCP.
322
323 .. topic:: TCP_CPS
324
325     Performance tests which measure connections per second using http requests.
326
327 .. topic:: TCP_RPS
328
329     Performance tests which measure requests per second using http requests.
330
331 .. topic:: HTTP
332
333     Tests which use HTTP.
334
335 .. topic:: NF_DENSITY
336
337     Performance tests that measure throughput of multiple VNF and CNF
338     service topologies at different service densities.
339
340 NF Service Density Tags
341 -----------------------
342
343 .. topic:: CHAIN
344
345     NF service density tests with VNF or CNF service chain topology(ies).
346
347 .. topic:: PIPE
348
349     NF service density tests with CNF service pipeline topology(ies).
350
351 .. topic:: NF_L3FWDIP4
352
353     NF service density tests with DPDK l3fwd IPv4 routing as NF workload.
354
355 .. topic:: NF_VPPIP4
356
357     NF service density tests with VPP IPv4 routing as NF workload.
358
359 .. topic:: {r}R{c}C
360
361     Service density matrix locator {r}R{c}C, {r}Row denoting number of
362     service instances, {c}Column denoting number of NFs per service
363     instance. {r}=(1,2,4,6,8,10), {c}=(1,2,4,6,8,10).
364
365 .. topic:: {n}VM{t}T
366
367     Service density {n}VM{t}T, {n}Number of NF Qemu VMs, {t}Number of threads
368     per NF.
369
370 .. topic:: {n}DCRt}T
371
372     Service density {n}DCR{t}T, {n}Number of NF Docker containers, {t}Number of
373     threads per NF.
374
375 .. topic:: {n}_ADDED_CHAINS
376
377     {n}Number of chains (or pipelines) added (and/or removed)
378     during RECONF test.
379
380 Forwarding Mode Tags
381 --------------------
382
383 .. topic:: L2BDMACSTAT
384
385     VPP L2 bridge-domain, L2 MAC static.
386
387 .. topic:: L2BDMACLRN
388
389     VPP L2 bridge-domain, L2 MAC learning.
390
391 .. topic:: L2XCFWD
392
393     VPP L2 point-to-point cross-connect.
394
395 .. topic:: IP4FWD
396
397     VPP IPv4 routed forwarding.
398
399 .. topic:: IP6FWD
400
401     VPP IPv6 routed forwarding.
402
403 .. topic:: LOADBALANCER_MAGLEV
404
405     VPP Load balancer maglev mode.
406
407 .. topic:: LOADBALANCER_L3DSR
408
409     VPP Load balancer l3dsr mode.
410
411 .. topic:: LOADBALANCER_NAT4
412
413     VPP Load balancer nat4 mode.
414
415 Underlay Tags
416 -------------
417
418 .. topic:: IP4UNRLAY
419
420     IPv4 underlay.
421
422 .. topic:: IP6UNRLAY
423
424     IPv6 underlay.
425
426 .. topic:: MPLSUNRLAY
427
428     MPLS underlay.
429
430 Overlay Tags
431 ------------
432
433 .. topic:: L2OVRLAY
434
435     L2 overlay.
436
437 .. topic:: IP4OVRLAY
438
439     IPv4 overlay (IPv4 payload).
440
441 .. topic:: IP6OVRLAY
442
443     IPv6 overlay (IPv6 payload).
444
445 Tagging Tags
446 ------------
447
448 .. topic:: DOT1Q
449
450     All test cases with dot1q.
451
452 .. topic:: DOT1AD
453
454     All test cases with dot1ad.
455
456 Encapsulation Tags
457 ------------------
458
459 .. topic:: ETH
460
461     All test cases with base Ethernet (no encapsulation).
462
463 .. topic:: LISP
464
465     All test cases with LISP.
466
467 .. topic:: LISPGPE
468
469     All test cases with LISP-GPE.
470
471 .. topic:: LISP_IP4o4
472
473     All test cases with LISP_IP4o4.
474
475 .. topic:: LISPGPE_IP4o4
476
477     All test cases with LISPGPE_IP4o4.
478
479 .. topic:: LISPGPE_IP6o4
480
481     All test cases with LISPGPE_IP6o4.
482
483 .. topic:: LISPGPE_IP4o6
484
485     All test cases with LISPGPE_IP4o6.
486
487 .. topic:: LISPGPE_IP6o6
488
489     All test cases with LISPGPE_IP6o6.
490
491 .. topic:: VXLAN
492
493     All test cases with Vxlan.
494
495 .. topic:: VXLANGPE
496
497     All test cases with VXLAN-GPE.
498
499 .. topic:: GRE
500
501     All test cases with GRE.
502
503 .. topic:: IPSEC
504
505     All test cases with IPSEC.
506
507 .. topic:: SRv6
508
509     All test cases with Segment routing over IPv6 dataplane.
510
511 .. topic:: SRv6_1SID
512
513     All SRv6 test cases with single SID.
514
515 .. topic:: SRv6_2SID_DECAP
516
517     All SRv6 test cases with two SIDs and with decapsulation.
518
519 .. topic:: SRv6_2SID_NODECAP
520
521     All SRv6 test cases with two SIDs and without decapsulation.
522
523 Interface Tags
524 --------------
525
526 .. topic:: PHY
527
528     All test cases which use physical interface(s).
529
530 .. topic:: VHOST
531
532     All test cases which uses VHOST.
533
534 .. topic:: VHOST_1024
535
536     All test cases which uses VHOST DPDK driver with qemu queue size set
537     to 1024.
538
539 .. topic:: VIRTIO
540
541     All test cases which uses VIRTIO native VPP driver.
542
543 .. topic:: VIRTIO_1024
544
545     All test cases which uses VIRTIO native VPP driver with qemu queue size set
546     to 1024.
547
548 .. topic:: CFS_OPT
549
550     All test cases which uses VM with optimised scheduler policy.
551
552 .. topic:: TUNTAP
553
554     All test cases which uses TUN and TAP.
555
556 .. topic:: AFPKT
557
558     All test cases which uses AFPKT.
559
560 .. topic:: NETMAP
561
562     All test cases which uses Netmap.
563
564 .. topic:: MEMIF
565
566     All test cases which uses Memif.
567
568 .. topic:: SINGLE_MEMIF
569
570     All test cases which uses only single Memif connection per DUT. One DUT
571     instance is running in container having one physical interface exposed to
572     container.
573
574 .. topic:: LBOND
575
576     All test cases which uses link bonding (BondEthernet interface).
577
578 .. topic:: LBOND_DPDK
579
580     All test cases which uses DPDK link bonding.
581
582 .. topic:: LBOND_VPP
583
584     All test cases which uses VPP link bonding.
585
586 .. topic:: LBOND_MODE_XOR
587
588     All test cases which uses link bonding with mode XOR.
589
590 .. topic:: LBOND_MODE_LACP
591
592     All test cases which uses link bonding with mode LACP.
593
594 .. topic:: LBOND_LB_L34
595
596     All test cases which uses link bonding with load-balance mode l34.
597
598 .. topic:: LBOND_1L
599
600     All test cases which uses one link for link bonding.
601
602 .. topic:: LBOND_2L
603
604     All test cases which uses two links for link bonding.
605
606 .. topic:: DRV_AVF
607
608     All test cases which uses Intel Adaptive Virtual Function (AVF) device
609     plugin for VPP. This plugins provides native device support for Intel AVF.
610     AVF is driver specification for current and future Intel Virtual Function
611     devices. In essence, today this driver can be used only with Intel
612     XL710 / X710 / XXV710 adapters.
613
614 .. topic:: DRV_VFIO_PCI
615
616     All test cases which uses vfio-pci device driver. It supports variety of NIC
617     adapters.
618
619 .. topic:: DRV_RDMA_CORE
620
621     All test cases which uses rdma-core device driver. It supports Mellanox
622     NIC adapters.
623
624 .. topic:: RXQ_SIZE_{n}
625
626    All test cases which RXQ size (RX descriptors) are set to {n}. Default is 0,
627    which means VPP (API) default.
628
629 .. topic:: TXQ_SIZE_{n}
630
631    All test cases which TXQ size (TX descriptors) are set to {n}. Default is 0,
632    which means VPP (API) default.
633
634 Feature Tags
635 ------------
636
637 .. topic:: IACLDST
638
639     iACL destination.
640
641 .. topic:: COPWHLIST
642
643     COP whitelist.
644
645 .. topic:: NAT44
646
647     NAT44 configured and tested.
648
649 .. topic:: NAT64
650
651     NAT44 configured and tested.
652
653 .. topic:: ACL
654
655     ACL plugin configured and tested.
656
657 .. topic:: IACL
658
659     ACL plugin configured and tested on input path.
660
661 .. topic:: OACL
662
663     ACL plugin configured and tested on output path.
664
665 .. topic:: ACL_STATELESS
666
667     ACL plugin configured and tested in stateless mode (permit action).
668
669 .. topic:: ACL_STATEFUL
670
671     ACL plugin configured and tested in stateful mode (permit+reflect action).
672
673 .. topic:: ACL1
674
675     ACL plugin configured and tested with 1 not-hitting ACE.
676
677 .. topic:: ACL10
678
679     ACL plugin configured and tested with 10 not-hitting ACEs.
680
681 .. topic:: ACL50
682
683     ACL plugin configured and tested with 50 not-hitting ACEs.
684
685 .. topic:: SRv6_PROXY
686
687     SRv6 endpoint to SR-unaware appliance via proxy.
688
689 .. topic:: SRv6_PROXY_STAT
690
691     SRv6 endpoint to SR-unaware appliance via static proxy.
692
693 .. topic:: SRv6_PROXY_DYN
694
695     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
696
697 .. topic:: SRv6_PROXY_MASQ
698
699     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
700
701 Encryption Tags
702 ---------------
703
704 .. topic:: IPSECSW
705
706     Crypto in software.
707
708 .. topic:: IPSECHW
709
710     Crypto in hardware.
711
712 .. topic:: IPSECTRAN
713
714     IPSec in transport mode.
715
716 .. topic:: IPSECTUN
717
718     IPSec in tunnel mode.
719
720 .. topic:: IPSECINT
721
722     IPSec in interface mode.
723
724 .. topic:: AES
725
726     IPSec using AES algorithms.
727
728 .. topic:: AES_128_CBC
729
730     IPSec using AES 128 CBC algorithms.
731
732 .. topic:: AES_128_GCM
733
734     IPSec using AES 128 GCM algorithms.
735
736 .. topic:: AES_256_GCM
737
738     IPSec using AES 256 GCM algorithms.
739
740 .. topic:: HMAC
741
742     IPSec using HMAC integrity algorithms.
743
744 .. topic:: HMAC_SHA_256
745
746     IPSec using HMAC SHA 256 integrity algorithms.
747
748 .. topic:: HMAC_SHA_512
749
750     IPSec using HMAC SHA 512 integrity algorithms.
751
752 Client-Workload Tags
753 --------------------
754
755 .. topic:: VM
756
757     All test cases which use at least one virtual machine.
758
759 .. topic:: LXC
760
761     All test cases which use Linux container and LXC utils.
762
763 .. topic:: DRC
764
765     All test cases which use at least one Docker container.
766
767 .. topic:: DOCKER
768
769     All test cases which use Docker as container manager.
770
771 .. topic:: APP
772
773     All test cases with specific APP use.
774
775 Container Orchestration Tags
776 ----------------------------
777
778 .. topic:: 1VSWITCH
779
780     VPP running in Docker container acting as VSWITCH.
781
782 .. topic:: 1VNF
783
784     1 VPP running in Docker container acting as VNF work load.
785
786 .. topic:: 2VNF
787
788     2 VPP running in 2 Docker containers acting as VNF work load.
789
790 .. topic:: 4VNF
791
792     4 VPP running in 4 Docker containers acting as VNF work load.
793
794 Multi-Threading Tags
795 --------------------
796
797 .. topic:: STHREAD
798
799    *Dynamic tag*.
800    All test cases using single poll mode thread.
801
802 .. topic:: MTHREAD
803
804    *Dynamic tag*.
805     All test cases using more then one poll mode driver thread.
806
807 .. topic:: 1NUMA
808
809     All test cases with packet processing on single socket.
810
811 .. topic:: 2NUMA
812
813     All test cases with packet processing on two sockets.
814
815 .. topic:: 1C
816
817     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
818     enabled, 2 worker threads each pinned to a separate logical core within 1
819     dedicated physical core. Main thread pinned to core 1.
820
821 .. topic:: 2C
822
823     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
824     is enabled, 4 worker threads each pinned to a separate logical core within 2
825     dedicated physical cores. Main thread pinned to core 1.
826
827 .. topic:: 4C
828
829     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
830     is enabled, 8 worker threads each pinned to a separate logical core within 4
831     dedicated physical cores. Main thread pinned to core 1.
832
833 .. topic:: 1T1C
834
835    *Dynamic tag*.
836     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
837     interface. Main thread pinned to core 1.
838
839 .. topic:: 2T2C
840
841    *Dynamic tag*.
842     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
843     interface. Main thread pinned to core 1.
844
845 .. topic:: 4T4C
846
847    *Dynamic tag*.
848     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
849     interface. Main thread pinned to core 1.
850
851 .. topic:: 2T1C
852
853    *Dynamic tag*.
854     2 worker threads each pinned to a separate logical core within 1 dedicated
855     physical core. 1 receive queue per interface. Main thread pinned to core 1.
856
857 .. topic:: 4T2C
858
859    *Dynamic tag*.
860     4 worker threads each pinned to a separate logical core within 2 dedicated
861     physical cores. 2 receive queues per interface. Main thread pinned to core
862     1.
863
864 .. topic:: 8T4C
865
866    *Dynamic tag*.
867     8 worker threads each pinned to a separate logical core within 4 dedicated
868     physical cores. 4 receive queues per interface. Main thread pinned to core
869     1.
870
871 Honeycomb Tags
872 --------------
873
874 .. topic:: HC_FUNC
875
876     Honeycomb functional test cases.
877
878 .. topic:: HC_NSH
879
880     Honeycomb NSH test cases.
881
882 .. topic:: HC_PERSIST
883
884     Honeycomb persistence test cases.
885
886 .. topic:: HC_REST_ONLY
887
888     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
889     using ODL client for Restfconf -> Netconf translation.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.