34d3745cb67837fdc135e2d139a981c87ff97084
[csit.git] / docs / tag_documentation.rst
1 CSIT TAGs
2 =========
3
4 All CSIT test cases are labelled with Robot Framework tags used to allow for
5 easy test case type identification, test case grouping and selection for
6 execution. Following sections list currently used CSIT TAGs and their
7 documentation.
8
9 Topology TAGs
10 -------------
11
12 .. topic:: 2_NODE_DOUBLE_LINK_TOPO
13
14     2 nodes connected in a circular topology with two links interconnecting
15     the devices.
16
17 .. topic:: 2_NODE_SINGLE_LINK_TOPO
18
19     2 nodes connected in a circular topology with at least one link
20     interconnecting devices.
21
22 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
23
24     3 nodes connected in a circular topology with two links interconnecting
25     the devices.
26
27 .. topic:: 3_NODE_SINGLE_LINK_TOPO
28
29     3 nodes connected in a circular topology with at least one link
30     interconnecting devices.
31
32 Objective TAGs
33 --------------
34
35 .. topic:: SKIP_PATCH
36
37     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
38     and csit-vpp-verify jobs (i.e. CSIT patch).
39
40 .. topic:: SKIP_VPP_PATCH
41
42     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
43
44 Environment TAGs
45 ----------------
46
47 .. topic:: HW_ENV
48
49     DUTs and TGs are running on bare metal.
50
51 .. topic:: VM_ENV
52
53     DUTs and TGs are running in virtual environment.
54
55 .. topic:: VPP_VM_ENV
56
57     DUTs with VPP and capable of running Virtual Machine.
58
59 NIC model tags
60 --------------
61
62 .. topic:: NIC_Intel-X520-DA2
63
64     Intel X520-DA2 NIC.
65
66 .. topic:: NIC_Intel-XL710
67
68     Intel XL710 NIC.
69
70 .. topic:: NIC_Intel-X710
71
72     Intel X710 NIC.
73
74 .. topic:: NIC_Intel-XXV710
75
76     Intel XXV710 NIC.
77
78 .. topic:: NIC_Cisco-VIC-1227
79
80     VIC-1227 by Cisco.
81
82 .. topic:: NIC_Cisco-VIC-1385
83
84     VIC-1385 by Cisco.
85
86 Scaling TAGs
87 ------------
88
89 .. topic:: FIB_20K
90
91     2x10,000 entries in single fib table
92
93 .. topic:: FIB_200K
94
95     2x100,000 entries in single fib table
96
97 .. topic:: FIB_2M
98
99     2x1,000,000 entries in single fib table
100
101 .. topic:: L2BD_1
102
103     Test with 1 L2 bridge domain.
104
105 .. topic:: L2BD_10
106
107     Test with 10 L2 bridge domains.
108
109 .. topic:: L2BD_100
110
111     Test with 100 L2 bridge domains.
112
113 .. topic:: L2BD_1K
114
115     Test with 1000 L2 bridge domains.
116
117 .. topic:: VLAN_1
118
119     Test with 1 VLAN sub-interface.
120
121 .. topic:: VLAN_10
122
123     Test with 10 VLAN sub-interfaces.
124
125 .. topic:: VLAN_100
126
127     Test with 100 VLAN sub-interfaces.
128
129 .. topic:: VLAN_1K
130
131     Test with 1000 VLAN sub-interfaces.
132
133 .. topic:: VXLAN_1
134
135     Test with 1 VXLAN tunnel.
136
137 .. topic:: VXLAN_10
138
139     Test with 10 VXLAN tunnels.
140
141 .. topic:: VXLAN_100
142
143     Test with 100 VXLAN tunnels.
144
145 .. topic:: VXLAN_1K
146
147     Test with 1000 VXLAN tunnels.
148
149 .. topic:: TNL_1000
150
151     IPSec in tunnel mode - 1000 tunnels.
152
153 .. topic:: SRC_USER_10
154
155     Traffic flow with 10 unique IPs (users) in one direction.
156
157 .. topic:: SRC_USER_100
158
159     Traffic flow with 100 unique IPs (users) in one direction.
160
161 .. topic:: SRC_USER_1000
162
163     Traffic flow with 1000 unique IPs (users) in one direction.
164
165 .. topic:: SRC_USER_2000
166
167     Traffic flow with 2000 unique IPs (users) in one direction.
168
169 .. topic:: SRC_USER_4000
170
171     Traffic flow with 4000 unique IPs (users) in one direction.
172
173 .. topic:: 100_FLOWS
174
175     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
176     direction.
177
178 .. topic:: 10k_FLOWS
179
180     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
181     one direction.
182
183 .. topic:: 100k_FLOWS
184
185     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
186     one direction.
187
188 Tags marking functional vs. performance of tests
189 ------------------------------------------------
190
191 .. topic:: FUNCTEST
192
193     All functional test cases.
194
195 .. topic:: PERFTEST
196
197     All performance test cases.
198
199 Performance testing tags
200 ------------------------
201
202 .. topic:: NDRPDR
203
204     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
205     The search is done by optimized algorithm which performs
206     multiple trial runs at different durations and transmit rates.
207
208 .. topic:: MRR
209
210     Performance tests where TG sends the traffic at maximum rate (line rate)
211     and reports total sent/received packets over performance trial duration.
212
213 Ethernet frame size tags for performance tests
214 ----------------------------------------------
215
216 .. topic:: 64B
217
218     64B frames used for test.
219
220 .. topic:: 78B
221
222     78B frames used for test.
223
224 .. topic:: 114B
225
226     114B frames used for test.
227
228 .. topic:: IMIX
229
230     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
231
232 .. topic:: 1460B
233
234     1460B frames used for test.
235
236 .. topic:: 1480B
237
238     1480B frames used for test.
239
240 .. topic:: 1514B
241
242     1514B frames used for test.
243
244 .. topic:: 1518B
245
246     1518B frames used for test.
247
248 .. topic:: 9000B
249
250     9000B frames used for test.
251
252 Test type tags
253 --------------
254
255 .. topic:: BASE
256
257     Baseline test cases, no encapsulation, no feature(s) configured in tests.
258
259 .. topic:: IP4BASE
260
261     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
262     tests.
263
264 .. topic:: IP6BASE
265
266     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
267     tests.
268
269 .. topic:: L2XCBASE
270
271     L2XC baseline test cases, no encapsulation, no feature(s) configured in
272     tests.
273
274 .. topic:: L2BDBASE
275
276     L2BD baseline test cases, no encapsulation, no feature(s) configured in
277     tests.
278
279 .. topic:: L2PATCH
280
281     L2PATCH baseline test cases, no encapsulation, no feature(s) configured in
282     tests.
283
284 .. topic:: SCALE
285
286     Scale test cases.
287
288 .. topic:: ENCAP
289
290     Test cases where encapsulation is used. Use also encapsulation tag(s).
291
292 .. topic:: FEATURE
293
294     At least one feature is configured in test cases. Use also feature tag(s).
295
296 .. topic:: TLDK
297
298     Functional test cases for TLDK.
299
300 .. topic:: DMM
301
302     Functional test cases for DMM.
303
304 .. topic:: TCP
305
306     Tests which use TCP.
307
308 .. topic:: TCP_CPS
309
310     Performance tests which measure connections per second using http requests.
311
312 .. topic:: TCP_RPS
313
314     Performance tests which measure requests per second using http requests.
315
316 .. topic:: HTTP
317
318     Tests which use HTTP.
319
320 Forwarding mode tags
321 --------------------
322
323 .. topic:: L2BDMACSTAT
324
325     VPP L2 bridge-domain, L2 MAC static.
326
327 .. topic:: L2BDMACLRN
328
329     VPP L2 bridge-domain, L2 MAC learning.
330
331 .. topic:: L2XCFWD
332
333     VPP L2 point-to-point cross-connect.
334
335 .. topic:: IP4FWD
336
337     VPP IPv4 routed forwarding.
338
339 .. topic:: IP6FWD
340
341     VPP IPv6 routed forwarding.
342
343 Underlay tags
344 -------------
345
346 .. topic:: IP4UNRLAY
347
348     IPv4 underlay.
349
350 .. topic:: IP6UNRLAY
351
352     IPv6 underlay.
353
354 .. topic:: MPLSUNRLAY
355
356     MPLS underlay.
357
358 Overlay tags
359 ------------
360
361 .. topic:: L2OVRLAY
362
363     L2 overlay.
364
365 .. topic:: IP4OVRLAY
366
367     IPv4 overlay (IPv4 payload).
368
369 .. topic:: IP6OVRLAY
370
371     IPv6 overlay (IPv6 payload).
372
373 Tagging tags
374 ------------
375
376 .. topic:: DOT1Q
377
378     All test cases with dot1q.
379
380 .. topic:: DOT1AD
381
382     All test cases with dot1ad.
383
384 Encapsulation tags
385 ------------------
386
387 .. topic:: ETH
388
389     All test cases with base Ethernet (no encapsulation).
390
391 .. topic:: LISP
392
393     All test cases with LISP.
394
395 .. topic:: LISPGPE
396
397     All test cases with LISP-GPE.
398
399 .. topic:: VXLAN
400
401     All test cases with Vxlan.
402
403 .. topic:: VXLANGPE
404
405     All test cases with VXLAN-GPE.
406
407 .. topic:: GRE
408
409     All test cases with GRE.
410
411 .. topic:: IPSEC
412
413     All test cases with IPSEC.
414
415 .. topic:: SRv6
416
417     All test cases with Segment routing over IPv6 dataplane.
418
419 Interface tags
420 --------------
421
422 .. topic:: PHY
423
424     All test cases which use physical interface(s).
425
426 .. topic:: VHOST
427
428     All test cases which uses VHOST.
429
430 .. topic:: VHOST_256
431
432     All test cases which uses VHOST with qemu queue size set to 256.
433
434 .. topic:: VHOST_1024
435
436     All test cases which uses VHOST with qemu queue size set to 1024.
437
438 .. topic:: CFS_OPT
439
440     All test cases which uses VM with optimised scheduler policy.
441
442 .. topic:: TUNTAP
443
444     All test cases which uses TUN and TAP.
445
446 .. topic:: AFPKT
447
448     All test cases which uses AFPKT.
449
450 .. topic:: NETMAP
451
452     All test cases which uses Netmap.
453
454 .. topic:: MEMIF
455
456     All test cases which uses Memif.
457
458 .. topic:: SINGLE_MEMIF
459
460     All test cases which uses only single Memif connection per DUT. One DUT
461     instance is running in container having one physical interface exposed to
462     container.
463
464 .. topic:: LBOND
465
466     All test cases which uses link bonding (BondEthernet interface).
467
468 .. topic:: LBOND_DPDK
469
470     All test cases which uses DPDK link bonding.
471
472 .. topic:: LBOND_VPP
473
474     All test cases which uses VPP link bonding.
475
476 .. topic:: LBOND_MODE_XOR
477
478     All test cases which uses link bonding with mode XOR.
479
480 .. topic:: LBOND_MODE_LACP
481
482     All test cases which uses link bonding with mode LACP.
483
484 .. topic:: LBOND_LB_L34
485
486     All test cases which uses link bonding with load-balance mode l34.
487
488 .. topic:: LBOND_1L
489
490     All test cases which uses one link for link bonding.
491
492 .. topic:: LBOND_2L
493
494     All test cases which uses two links for link bonding.
495
496 .. topic:: DRV_AVF
497
498     All test cases which uses Intel Adaptive Virtual Function (AVF) device
499     plugin for VPP. This plugins provides native device support for Intel AVF.
500     AVF is driver specification for current and future Intel Virtual Function
501     devices. In essence, today this driver can be used only with Intel
502     XL710 / X710 / XXV710 adapters.
503
504 Feature tags
505 ------------
506
507 .. topic:: IACLDST
508
509     iACL destination.
510
511 .. topic:: COPWHLIST
512
513     COP whitelist.
514
515 .. topic:: NAT44
516
517     NAT44 configured and tested.
518
519 .. topic:: NAT64
520
521     NAT44 configured and tested.
522
523 .. topic:: ACL
524
525     ACL plugin configured and tested.
526
527 .. topic:: IACL
528
529     ACL plugin configured and tested on input path.
530
531 .. topic:: OACL
532
533     ACL plugin configured and tested on output path.
534
535 .. topic:: ACL_STATELESS
536
537     ACL plugin configured and tested in stateless mode (permit action).
538
539 .. topic:: ACL_STATEFUL
540
541     ACL plugin configured and tested in stateful mode (permit+reflect action).
542
543 .. topic:: ACL1
544
545     ACL plugin configured and tested with 1 not-hitting ACE.
546
547 .. topic:: ACL10
548
549     ACL plugin configured and tested with 10 not-hitting ACEs.
550
551 .. topic:: ACL50
552
553     ACL plugin configured and tested with 50 not-hitting ACEs.
554
555 .. topic:: SRv6_PROXY
556
557     SRv6 endpoint to SR-unaware appliance via proxy.
558
559 .. topic:: SRv6_PROXY_STAT
560
561     SRv6 endpoint to SR-unaware appliance via static proxy.
562
563 .. topic:: SRv6_PROXY_DYN
564
565     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
566
567 .. topic:: SRv6_PROXY_MASQ
568
569     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
570
571 Encryption tags
572 ---------------
573
574 .. topic:: IPSECSW
575
576     Crypto in software.
577
578 .. topic:: IPSECHW
579
580     Crypto in hardware.
581
582 .. topic:: IPSECTRAN
583
584     IPSec in transport mode.
585
586 .. topic:: IPSECTUN
587
588     IPSec in tunnel mode.
589
590 Client-workload tags
591 --------------------
592
593 .. topic:: VM
594
595     All test cases which use at least one virtual machine.
596
597 .. topic:: LXC
598
599     All test cases which use Linux container and LXC utils.
600
601 .. topic:: DOCKER
602
603     All test cases which use Docker as container manager.
604
605 .. topic:: APP
606
607     All test cases with specific APP use.
608
609 Container orchestration tags
610 ----------------------------
611
612 .. topic:: K8S
613
614     All test cases which use Kubernetes for orchestration.
615
616 .. topic:: SFC_CONTROLLER
617
618     All test cases which use ligato/sfc_controller for driving configuration
619     of vpp inside container.
620
621 .. topic:: VPP_AGENT
622
623     All test cases which use Golang implementation of a control/management plane
624     for VPP
625
626 .. topic:: 1VSWITCH
627
628     VPP running in Docker container acting as VSWITCH.
629
630 .. topic:: 1VNF
631
632     1 VPP running in Docker container acting as VNF work load.
633
634 .. topic:: 2VNF
635
636     2 VPP running in 2 Docker containers acting as VNF work load.
637
638 .. topic:: 4VNF
639
640     4 VPP running in 4 Docker containers acting as VNF work load.
641
642 Multi-threading tags
643 --------------------
644
645 .. topic:: STHREAD
646
647    *Dynamic tag*.
648    All test cases using single poll mode thread.
649
650 .. topic:: MTHREAD
651
652    *Dynamic tag*.
653     All test cases using more then one poll mode driver thread.
654
655 .. topic:: 1NUMA
656
657     All test cases with packet processing on single socket.
658
659 .. topic:: 2NUMA
660
661     All test cases with packet processing on two sockets.
662
663 .. topic:: 1C
664
665     1 worker thread pinned to 1 dedicated physical core; or if HyperThreading is
666     enabled, 2 worker threads each pinned to a separate logical core within 1
667     dedicated physical core. Main thread pinned to core 1.
668
669 .. topic:: 2C
670
671     2 worker threads pinned to 2 dedicated physical cores; or if HyperThreading
672     is enabled, 4 worker threads each pinned to a separate logical core within 2
673     dedicated physical cores. Main thread pinned to core 1.
674
675 .. topic:: 4C
676
677     4 worker threads pinned to 4 dedicated physical cores; or if HyperThreading
678     is enabled, 8 worker threads each pinned to a separate logical core within 4
679     dedicated physical cores. Main thread pinned to core 1.
680
681 .. topic:: 1T1C
682
683    *Dynamic tag*.
684     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
685     interface. Main thread pinned to core 1.
686
687 .. topic:: 2T2C
688
689    *Dynamic tag*.
690     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
691     interface. Main thread pinned to core 1.
692
693 .. topic:: 4T4C
694
695    *Dynamic tag*.
696     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
697     interface. Main thread pinned to core 1.
698
699 .. topic:: 2T1C
700
701    *Dynamic tag*.
702     2 worker threads each pinned to a separate logical core within 1 dedicated
703     physical core. 1 receive queue per interface. Main thread pinned to core 1.
704
705 .. topic:: 4T2C
706
707    *Dynamic tag*.
708     4 worker threads each pinned to a separate logical core within 2 dedicated
709     physical cores. 2 receive queues per interface. Main thread pinned to core
710     1.
711
712 .. topic:: 8T4C
713
714    *Dynamic tag*.
715     8 worker threads each pinned to a separate logical core within 4 dedicated
716     physical cores. 4 receive queues per interface. Main thread pinned to core
717     1.
718
719 Honeycomb tags
720 --------------
721
722 .. topic:: HC_FUNC
723
724     Honeycomb functional test cases.
725
726 .. topic:: HC_NSH
727
728     Honeycomb NSH test cases.
729
730 .. topic:: HC_PERSIST
731
732     Honeycomb persistence test cases.
733
734 .. topic:: HC_REST_ONLY
735
736     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
737     using ODL client for Restfconf -> Netconf translation.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.