Add trial duration info to tag documentation
[csit.git] / docs / tag_documentation.rst
1 CSIT TAGs
2 =========
3
4 All CSIT test cases are labelled with Robot Framework tags used to allow for
5 easy test case type identification, test case grouping and selection for
6 execution. Following sections list currently used CSIT TAGs and their
7 documentation.
8
9 Topology TAGs
10 -------------
11
12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
13
14     2 nodes connected in a circular topology with two links interconnecting
15     the devices.
16
17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
18
19     2 nodes connected in a circular topology with at least one link
20     interconnecting devices.
21
22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
23
24     3 nodes connected in a circular topology with two links interconnecting
25     the devices.
26
27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
28
29     3 nodes connected in a circular topology with at least one link
30     interconnecting devices.
31
32 Objective TAGs
33 --------------
34
35 .. topic:: SKIP_PATCH
36
37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
38     and csit-vpp-verify jobs (i.e. CSIT patch).
39
40 .. topic:: SKIP_VPP_PATCH
41
42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
43
44 Environment TAGs
45 ----------------
46
47 .. topic:: HW_ENV
48
49     DUTs and TGs are running on bare metal.
50
51 .. topic:: VM_ENV
52
53     DUTs and TGs are running in virtual environment.
54
55 .. topic:: VPP_VM_ENV
56
57     DUTs with VPP and capable of running Virtual Machine.
58
59 NIC model tags
60 --------------
61
62 .. topic:: NIC_Intel-X520-DA2
63
64     Intel X520-DA2 NIC.
65
66 .. topic:: NIC_Intel-XL710
67
68     Intel XL710 NIC.
69
70 .. topic:: NIC_Intel-X710
71
72     Intel X710 NIC.
73
74 .. topic:: NIC_Intel-XXV710
75
76     Intel XXV710 NIC.
77
78 .. topic:: NIC_Cisco-VIC-1227
79
80     VIC-1227 by Cisco.
81
82 .. topic:: NIC_Cisco-VIC-1385
83
84     VIC-1385 by Cisco.
85
86 Scaling TAGs
87 ------------
88
89 .. topic:: FIB_20K
90
91     2x10,000 entries in single fib table
92
93 .. topic:: FIB_200K
94
95     2x100,000 entries in single fib table
96
97 .. topic:: FIB_2M
98
99     2x1,000,000 entries in single fib table
100
101 .. topic:: L2BD_1
102
103     Test with 1 L2 bridge domain.
104
105 .. topic:: L2BD_10
106
107     Test with 10 L2 bridge domains.
108
109 .. topic:: L2BD_100
110
111     Test with 100 L2 bridge domains.
112
113 .. topic:: L2BD_1K
114
115     Test with 1000 L2 bridge domains.
116
117 .. topic:: VLAN_1
118
119     Test with 1 VLAN sub-interface.
120
121 .. topic:: VLAN_10
122
123     Test with 10 VLAN sub-interfaces.
124
125 .. topic:: VLAN_100
126
127     Test with 100 VLAN sub-interfaces.
128
129 .. topic:: VLAN_1K
130
131     Test with 1000 VLAN sub-interfaces.
132
133 .. topic:: VXLAN_1
134
135     Test with 1 VXLAN tunnel.
136
137 .. topic:: VXLAN_10
138
139     Test with 10 VXLAN tunnels.
140
141 .. topic:: VXLAN_100
142
143     Test with 100 VXLAN tunnels.
144
145 .. topic:: VXLAN_1K
146
147     Test with 1000 VXLAN tunnels.
148
149 .. topic:: TNL_1000
150
151     IPSec in tunnel mode - 1000 tunnels.
152
153 .. topic:: SRC_USER_10
154
155     Traffic flow with 10 unique IPs (users) in one direction.
156
157 .. topic:: SRC_USER_100
158
159     Traffic flow with 100 unique IPs (users) in one direction.
160
161 .. topic:: SRC_USER_1000
162
163     Traffic flow with 1000 unique IPs (users) in one direction.
164
165 .. topic:: SRC_USER_2000
166
167     Traffic flow with 2000 unique IPs (users) in one direction.
168
169 .. topic:: SRC_USER_4000
170
171     Traffic flow with 4000 unique IPs (users) in one direction.
172
173 .. topic:: 100_FLOWS
174
175     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
176     direction.
177
178 .. topic:: 10k_FLOWS
179
180     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
181     one direction.
182
183 .. topic:: 100k_FLOWS
184
185     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
186     one direction.
187
188 Tags marking functional vs. performance of tests
189 ------------------------------------------------
190
191 .. topic:: FUNCTEST
192
193     All functional test cases.
194
195 .. topic:: PERFTEST
196
197     All performance test cases.
198
199 Performance testing tags
200 ------------------------
201
202 .. topic:: NDRPDR
203
204     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
205     The search is done by optimized algorithm which performs
206     multiple trial runs at different durations and transmit rates.
207     The results come from the final trials, which have duration of 30 seconds.
208
209 .. topic:: MRR
210
211     Performance tests where TG sends the traffic at maximum rate (line rate)
212     and reports total sent/received packets over trial duration.
213     The result is an average of 10 trials of 1 second duration.
214
215 Ethernet frame size tags for performance tests
216 ----------------------------------------------
217
218 .. topic:: 64B
219
220     64B frames used for test.
221
222 .. topic:: 78B
223
224     78B frames used for test.
225
226 .. topic:: 114B
227
228     114B frames used for test.
229
230 .. topic:: IMIX
231
232     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
233
234 .. topic:: 1460B
235
236     1460B frames used for test.
237
238 .. topic:: 1480B
239
240     1480B frames used for test.
241
242 .. topic:: 1514B
243
244     1514B frames used for test.
245
246 .. topic:: 1518B
247
248     1518B frames used for test.
249
250 .. topic:: 9000B
251
252     9000B frames used for test.
253
254 Test type tags
255 --------------
256
257 .. topic:: BASE
258
259     Baseline test cases, no encapsulation, no feature(s) configured in tests.
260
261 .. topic:: IP4BASE
262
263     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
264     tests.
265
266 .. topic:: IP6BASE
267
268     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
269     tests.
270
271 .. topic:: L2XCBASE
272
273     L2XC baseline test cases, no encapsulation, no feature(s) configured in
274     tests.
275
276 .. topic:: L2BDBASE
277
278     L2BD baseline test cases, no encapsulation, no feature(s) configured in
279     tests.
280
281 .. topic:: L2PATCH
282
283     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
284     tests.
285
286 .. topic:: SCALE
287
288     Scale test cases.
289
290 .. topic:: ENCAP
291
292     Test cases where encapsulation is used. Use also encapsulation tag(s).
293
294 .. topic:: FEATURE
295
296     At least one feature is configured in test cases. Use also feature tag(s).
297
298 .. topic:: TLDK
299
300     Functional test cases for TLDK.
301
302 .. topic:: DMM
303
304     Functional test cases for DMM.
305
306 .. topic:: TCP
307
308     Tests which use TCP.
309
310 .. topic:: TCP_CPS
311
312     Performance tests which measure connections per second using http requests.
313
314 .. topic:: TCP_RPS
315
316     Performance tests which measure requests per second using http requests.
317
318 .. topic:: HTTP
319
320     Tests which use HTTP.
321
322 Forwarding mode tags
323 --------------------
324
325 .. topic:: L2BDMACSTAT
326
327     VPP L2 bridge-domain, L2 MAC static.
328
329 .. topic:: L2BDMACLRN
330
331     VPP L2 bridge-domain, L2 MAC learning.
332
333 .. topic:: L2XCFWD
334
335     VPP L2 point-to-point cross-connect.
336
337 .. topic:: IP4FWD
338
339     VPP IPv4 routed forwarding.
340
341 .. topic:: IP6FWD
342
343     VPP IPv6 routed forwarding.
344
345 Underlay tags
346 -------------
347
348 .. topic:: IP4UNRLAY
349
350     IPv4 underlay.
351
352 .. topic:: IP6UNRLAY
353
354     IPv6 underlay.
355
356 .. topic:: MPLSUNRLAY
357
358     MPLS underlay.
359
360 Overlay tags
361 ------------
362
363 .. topic:: L2OVRLAY
364
365     L2 overlay.
366
367 .. topic:: IP4OVRLAY
368
369     IPv4 overlay (IPv4 payload).
370
371 .. topic:: IP6OVRLAY
372
373     IPv6 overlay (IPv6 payload).
374
375 Tagging tags
376 ------------
377
378 .. topic:: DOT1Q
379
380     All test cases with dot1q.
381
382 .. topic:: DOT1AD
383
384     All test cases with dot1ad.
385
386 Encapsulation tags
387 ------------------
388
389 .. topic:: ETH
390
391     All test cases with base Ethernet (no encapsulation).
392
393 .. topic:: LISP
394
395     All test cases with LISP.
396
397 .. topic:: LISPGPE
398
399     All test cases with LISP-GPE.
400
401 .. topic:: VXLAN
402
403     All test cases with Vxlan.
404
405 .. topic:: VXLANGPE
406
407     All test cases with VXLAN-GPE.
408
409 .. topic:: GRE
410
411     All test cases with GRE.
412
413 .. topic:: IPSEC
414
415     All test cases with IPSEC.
416
417 .. topic:: SRv6
418
419     All test cases with Segment routing over IPv6 dataplane.
420
421 Interface tags
422 --------------
423
424 .. topic:: PHY
425
426     All test cases which use physical interface(s).
427
428 .. topic:: VHOST
429
430     All test cases which uses VHOST.
431
432 .. topic:: VHOST_256
433
434     All test cases which uses VHOST with qemu queue size set to 256.
435
436 .. topic:: VHOST_1024
437
438     All test cases which uses VHOST with qemu queue size set to 1024.
439
440 .. topic:: CFS_OPT
441
442     All test cases which uses VM with optimised scheduler policy.
443
444 .. topic:: TUNTAP
445
446     All test cases which uses TUN and TAP.
447
448 .. topic:: AFPKT
449
450     All test cases which uses AFPKT.
451
452 .. topic:: NETMAP
453
454     All test cases which uses Netmap.
455
456 .. topic:: MEMIF
457
458     All test cases which uses Memif.
459
460 .. topic:: SINGLE_MEMIF
461
462     All test cases which uses only single Memif connection per DUT. One DUT
463     instance is running in container having one physical interface exposed to
464     container.
465
466 .. topic:: LBOND
467
468     All test cases which uses link bonding (BondEthernet interface).
469
470 .. topic:: LBOND_DPDK
471
472     All test cases which uses DPDK link bonding.
473
474 .. topic:: LBOND_VPP
475
476     All test cases which uses VPP link bonding.
477
478 .. topic:: LBOND_MODE_XOR
479
480     All test cases which uses link bonding with mode XOR.
481
482 .. topic:: LBOND_MODE_LACP
483
484     All test cases which uses link bonding with mode LACP.
485
486 .. topic:: LBOND_LB_L34
487
488     All test cases which uses link bonding with load-balance mode l34.
489
490 .. topic:: LBOND_1L
491
492     All test cases which uses one link for link bonding.
493
494 .. topic:: LBOND_2L
495
496     All test cases which uses two links for link bonding.
497
498 .. topic:: DRV_AVF
499
500     All test cases which uses Intel Adaptive Virtual Function (AVF) device
501     plugin for VPP. This plugins provides native device support for Intel AVF.
502     AVF is driver specification for current and future Intel Virtual Function
503     devices. In essence, today this driver can be used only with Intel
504     XL710 / X710 / XXV710 adapters.
505
506 Feature tags
507 ------------
508
509 .. topic:: IACLDST
510
511     iACL destination.
512
513 .. topic:: COPWHLIST
514
515     COP whitelist.
516
517 .. topic:: NAT44
518
519     NAT44 configured and tested.
520
521 .. topic:: NAT64
522
523     NAT44 configured and tested.
524
525 .. topic:: ACL
526
527     ACL plugin configured and tested.
528
529 .. topic:: IACL
530
531     ACL plugin configured and tested on input path.
532
533 .. topic:: OACL
534
535     ACL plugin configured and tested on output path.
536
537 .. topic:: ACL_STATELESS
538
539     ACL plugin configured and tested in stateless mode (permit action).
540
541 .. topic:: ACL_STATEFUL
542
543     ACL plugin configured and tested in stateful mode (permit+reflect action).
544
545 .. topic:: ACL1
546
547     ACL plugin configured and tested with 1 not-hitting ACE.
548
549 .. topic:: ACL10
550
551     ACL plugin configured and tested with 10 not-hitting ACEs.
552
553 .. topic:: ACL50
554
555     ACL plugin configured and tested with 50 not-hitting ACEs.
556
557 .. topic:: SRv6_PROXY
558
559     SRv6 endpoint to SR-unaware appliance via proxy.
560
561 .. topic:: SRv6_PROXY_STAT
562
563     SRv6 endpoint to SR-unaware appliance via static proxy.
564
565 .. topic:: SRv6_PROXY_DYN
566
567     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
568
569 .. topic:: SRv6_PROXY_MASQ
570
571     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
572
573 Encryption tags
574 ---------------
575
576 .. topic:: IPSECSW
577
578     Crypto in software.
579
580 .. topic:: IPSECHW
581
582     Crypto in hardware.
583
584 .. topic:: IPSECTRAN
585
586     IPSec in transport mode.
587
588 .. topic:: IPSECTUN
589
590     IPSec in tunnel mode.
591
592 Client-workload tags
593 --------------------
594
595 .. topic:: VM
596
597     All test cases which use at least one virtual machine.
598
599 .. topic:: LXC
600
601     All test cases which use Linux container and LXC utils.
602
603 .. topic:: DOCKER
604
605     All test cases which use Docker as container manager.
606
607 .. topic:: APP
608
609     All test cases with specific APP use.
610
611 Container orchestration tags
612 ----------------------------
613
614 .. topic:: K8S
615
616     All test cases which use Kubernetes for orchestration.
617
618 .. topic:: SFC_CONTROLLER
619
620     All test cases which use ligato/sfc_controller for driving configuration
621     of vpp inside container.
622
623 .. topic:: VPP_AGENT
624
625     All test cases which use Golang implementation of a control/management plane
626     for VPP
627
628 .. topic:: 1VSWITCH
629
630     VPP running in Docker container acting as VSWITCH.
631
632 .. topic:: 1VNF
633
634     1 VPP running in Docker container acting as VNF work load.
635
636 .. topic:: 2VNF
637
638     2 VPP running in 2 Docker containers acting as VNF work load.
639
640 .. topic:: 4VNF
641
642     4 VPP running in 4 Docker containers acting as VNF work load.
643
644 Multi-threading tags
645 --------------------
646
647 .. topic:: STHREAD
648
649    *Dynamic tag*.
650    All test cases using single poll mode thread.
651
652 .. topic:: MTHREAD
653
654    *Dynamic tag*.
655     All test cases using more then one poll mode driver thread.
656
657 .. topic:: 1NUMA
658
659     All test cases with packet processing on single socket.
660
661 .. topic:: 2NUMA
662
663     All test cases with packet processing on two sockets.
664
665 .. topic:: 1C
666
667     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
668     enabled, 2 worker threads each pinned to a separate logical core within 1
669     dedicated physical core. Main thread pinned to core 1.
670
671 .. topic:: 2C
672
673     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
674     is enabled, 4 worker threads each pinned to a separate logical core within 2
675     dedicated physical cores. Main thread pinned to core 1.
676
677 .. topic:: 4C
678
679     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
680     is enabled, 8 worker threads each pinned to a separate logical core within 4
681     dedicated physical cores. Main thread pinned to core 1.
682
683 .. topic:: 1T1C
684
685    *Dynamic tag*.
686     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
687     interface. Main thread pinned to core 1.
688
689 .. topic:: 2T2C
690
691    *Dynamic tag*.
692     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
693     interface. Main thread pinned to core 1.
694
695 .. topic:: 4T4C
696
697    *Dynamic tag*.
698     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
699     interface. Main thread pinned to core 1.
700
701 .. topic:: 2T1C
702
703    *Dynamic tag*.
704     2 worker threads each pinned to a separate logical core within 1 dedicated
705     physical core. 1 receive queue per interface. Main thread pinned to core 1.
706
707 .. topic:: 4T2C
708
709    *Dynamic tag*.
710     4 worker threads each pinned to a separate logical core within 2 dedicated
711     physical cores. 2 receive queues per interface. Main thread pinned to core
712     1.
713
714 .. topic:: 8T4C
715
716    *Dynamic tag*.
717     8 worker threads each pinned to a separate logical core within 4 dedicated
718     physical cores. 4 receive queues per interface. Main thread pinned to core
719     1.
720
721 Honeycomb tags
722 --------------
723
724 .. topic:: HC_FUNC
725
726     Honeycomb functional test cases.
727
728 .. topic:: HC_NSH
729
730     Honeycomb NSH test cases.
731
732 .. topic:: HC_PERSIST
733
734     Honeycomb persistence test cases.
735
736 .. topic:: HC_REST_ONLY
737
738     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
739     using ODL client for Restfconf -> Netconf translation.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.