CSIT-866: wrk onboarding in CSIT
[csit.git] / docs / tag_documentation.rst
1 CSIT TAGs Descriptions
2 ======================
3
4 All CSIT test cases are labelled with Robot Framework tags used to allow for
5 easy test case type identification, test case grouping and selection for
6 execution. Following sections list currently used CSIT TAGs and their
7 documentation.
8
9 Topology TAGs
10 -------------
11
12 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
13
14     3 nodes connected in a circular topology with two links interconnecting
15     the devices.
16
17 .. topic:: 3_NODE_SINGLE_LINK_TOPO
18
19     3 nodes connected in a circular topology with at least one link
20     interconnecting devices.
21
22 Objective TAGs
23 --------------
24
25 .. topic:: SKIP_PATCH
26
27     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
28     and csit-vpp-verify jobs (i.e. CSIT patch).
29
30 .. topic:: SKIP_VPP_PATCH
31
32     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
33
34 Environment TAGs
35 ----------------
36
37 .. topic:: HW_ENV
38
39     DUTs and TGs are running on bare metal.
40
41 .. topic:: VM_ENV
42
43     DUTs and TGs are running in virtual environment.
44
45 .. topic:: VPP_VM_ENV
46
47     DUTs with VPP and capable of running Virtual Machine.
48
49 NIC model tags
50 --------------
51
52 .. topic:: NIC_Intel-X520-DA2
53
54     Intel X520-DA2 NIC.
55
56 .. topic:: NIC_Intel-XL710
57
58     Intel XL710 NIC.
59
60 .. topic:: NIC_Intel-X710
61
62     Intel X710 NIC.
63
64 .. topic:: NIC_Cisco-VIC-1227
65
66     VIC-1227 by Cisco.
67
68 .. topic:: NIC_Cisco-VIC-1385
69
70     VIC-1385 by Cisco.
71
72 Scaling TAGs
73 ------------
74
75 .. topic:: FIB_20K
76
77     2x10,000 entries in single fib table
78
79 .. topic:: FIB_200K
80
81     2x100,000 entries in single fib table
82
83 .. topic:: FIB_2M
84
85     2x1,000,000 entries in single fib table
86
87 .. topic:: TNL_1000
88
89     IPSec in tunnel mode - 1000 tunnels.
90
91 .. topic:: SRC_USER_10
92
93     Traffic flow with 10 unique IPs (users) in one direction.
94
95 .. topic:: SRC_USER_100
96
97     Traffic flow with 100 unique IPs (users) in one direction.
98
99 .. topic:: SRC_USER_1000
100
101     Traffic flow with 1000 unique IPs (users) in one direction.
102
103 .. topic:: SRC_USER_2000
104
105     Traffic flow with 2000 unique IPs (users) in one direction.
106
107 .. topic:: SRC_USER_4000
108
109     Traffic flow with 4000 unique IPs (users) in one direction.
110
111 .. topic:: 100_FLOWS
112
113     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
114     direction.
115
116 .. topic:: 10k_FLOWS
117
118     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
119     one direction.
120
121 .. topic:: 100k_FLOWS
122
123     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
124     one direction.
125
126 Tags marking functional vs. performance of tests
127 ------------------------------------------------
128
129 .. topic:: FUNCTEST
130
131     All functional test cases.
132
133 .. topic:: PERFTEST
134
135     All performance test cases.
136
137 Performance testing tags
138 ------------------------
139
140 .. topic:: PDRDISC
141
142     Partial Drop Rate evaluation of single run result, with non-zero packet
143     loss tolerance (LT) expressed in percentage of packets transmitted.
144
145 .. topic:: NDRDISC
146
147     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
148     set to zero lost packets.
149
150 .. topic:: NDRCHK
151
152     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
153     Non Drop Rate) with zero packet loss tolerance.
154
155 .. topic:: NDRPDRDISC
156
157     Find performance of DUT based on :rfc:`2544` with linear / binary / combined
158     search. (Previous LONG tests.)
159
160 Ethernet frame size tags for performance tests
161 ----------------------------------------------
162
163 .. topic:: 64B
164
165     64B frames used for test.
166
167 .. topic:: 78B
168
169     78B frames used for test.
170
171 .. topic:: IMIX
172
173     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
174
175 .. topic:: 1460B
176
177     1460B frames used for test.
178
179 .. topic:: 1480B
180
181     1480B frames used for test.
182
183 .. topic:: 1514B
184
185     1514B frames used for test.
186
187 .. topic:: 1518B
188
189     1518B frames used for test.
190
191 .. topic:: 9000B
192
193     9000B frames used for test.
194
195 Test type tags
196 --------------
197
198 .. topic:: BASE
199
200     Baseline test cases, no encapsulation, no feature(s) configured in tests.
201
202 .. topic:: IP4BASE
203
204     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
205     tests.
206
207 .. topic:: IP6BASE
208
209     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
210     tests.
211
212 .. topic:: L2XCBASE
213
214     L2XC baseline test cases, no encapsulation, no feature(s) configured in
215     tests.
216
217 .. topic:: L2BDBASE
218
219     L2BD baseline test cases, no encapsulation, no feature(s) configured in
220     tests.
221
222 .. topic:: SCALE
223
224     Scale test cases.
225
226 .. topic:: ENCAP
227
228     Test cases where encapsulation is used. Use also encapsulation tag(s).
229
230 .. topic:: FEATURE
231
232     At least one feature is configured in test cases. Use also feature tag(s).
233
234 .. topic:: TLDK
235
236     Functional test cases for TLDK.
237
238 .. topic:: TCP
239
240     Tests which use TCP.
241
242 .. topic:: TCP_CPS
243
244     Performance tests which measure connections per second using http requests.
245
246 .. topic:: TCP_RPS
247
248     Performance tests which measure requests per second using http requests.
249
250 .. topic:: HTTP
251
252     Tests which use HTTP.
253
254 Forwarding mode tags
255 --------------------
256
257 .. topic:: L2BDMACSTAT
258
259     VPP L2 bridge-domain, L2 MAC static.
260
261 .. topic:: L2BDMACLRN
262
263     VPP L2 bridge-domain, L2 MAC learning.
264
265 .. topic:: L2XCFWD
266
267     VPP L2 point-to-point cross-connect.
268
269 .. topic:: IP4FWD
270
271     VPP IPv4 routed forwarding.
272
273 .. topic:: IP6FWD
274
275     VPP IPv6 routed forwarding.
276
277 Underlay tags
278 -------------
279
280 .. topic:: IP4UNRLAY
281
282     IPv4 underlay.
283
284 .. topic:: IP6UNRLAY
285
286     IPv6 underlay.
287
288 .. topic:: MPLSUNRLAY
289
290     MPLS underlay.
291
292 Overlay tags
293 ------------
294
295 .. topic:: L2OVRLAY
296
297     L2 overlay.
298
299 .. topic:: IP4OVRLAY
300
301     IPv4 overlay (IPv4 payload).
302
303 .. topic:: IP6OVRLAY
304
305     IPv6 overlay (IPv6 payload).
306
307 Tagging tags
308 ------------
309
310 .. topic:: DOT1Q
311
312     All test cases with dot1q.
313
314 .. topic:: DOT1AD
315
316     All test cases with dot1ad.
317
318 Encapsulation tags
319 ------------------
320
321 .. topic:: ETH
322
323     All test cases with base Ethernet (no encapsulation).
324
325 .. topic:: LISP
326
327     All test cases with LISP.
328
329 .. topic:: LISPGPE
330
331     All test cases with LISP-GPE.
332
333 .. topic:: VXLAN
334
335     All test cases with Vxlan.
336
337 .. topic:: VXLANGPE
338
339     All test cases with VXLAN-GPE.
340
341 .. topic:: GRE
342
343     All test cases with GRE.
344
345 .. topic:: IPSEC
346
347     All test cases with IPSEC.
348
349 Interface tags
350 --------------
351
352 .. topic:: PHY
353
354     All test cases which use physical interface(s).
355
356 .. topic:: VHOST
357
358     All test cases which uses VHOST.
359
360 .. topic:: VHOST_256
361
362     All test cases which uses VHOST with qemu queue size set to 256.
363
364 .. topic:: VHOST_1024
365
366     All test cases which uses VHOST with qemu queue size set to 1024.
367
368 .. topic:: CFS_OPT
369
370     All test cases which uses VM with optimised scheduler policy.
371
372 .. topic:: TUNTAP
373
374     All test cases which uses TUN and TAP.
375
376 .. topic:: AFPKT
377
378     All test cases which uses AFPKT.
379
380 .. topic:: NETMAP
381
382     All test cases which uses Netmap.
383
384 .. topic:: MEMIF
385
386     All test cases which uses Memif.
387
388 Feature tags
389 ------------
390
391 .. topic:: IACLDST
392
393     iACL destination.
394
395 .. topic:: COPWHLIST
396
397     COP whitelist.
398
399 .. topic:: NAT44
400
401     NAT44 configured and tested.
402
403 .. topic:: NAT64
404
405     NAT44 configured and tested.
406
407 .. topic:: ACL
408
409     ACL plugin configured and tested.
410
411 .. topic:: IACL
412
413     ACL plugin configured and tested on input path.
414
415 .. topic:: OACL
416
417     ACL plugin configured and tested on output path.
418
419 .. topic:: ACL_STATELESS
420
421     ACL plugin configured and tested in stateless mode (permit action).
422
423 .. topic:: ACL_STATEFUL
424
425     ACL plugin configured and tested in stateful mode (permit+reflect action).
426
427 .. topic:: ACL1
428
429     ACL plugin configured and tested with 1 not-hitting ACE.
430
431 .. topic:: ACL10
432
433     ACL plugin configured and tested with 10 not-hitting ACEs.
434
435 .. topic:: ACL50
436
437     ACL plugin configured and tested with 50 not-hitting ACEs.
438
439 Encryption tags
440 ---------------
441
442 .. topic:: IPSECSW
443
444     Crypto in software.
445
446 .. topic:: IPSECHW
447
448     Crypto in hardware.
449
450 .. topic:: IPSECTRAN
451
452     IPSec in transport mode.
453
454 .. topic:: IPSECTUN
455
456     IPSec in tunnel mode.
457
458 Client-workload tags
459 --------------------
460
461 .. topic:: VM
462
463     All test cases which use at least one virtual machine.
464
465 .. topic:: LXC
466
467     All test cases which use Linux container and LXC utils.
468
469 .. topic:: DOCKER
470
471     All test cases which use Docker as container manager.
472
473 .. topic:: APP
474
475     All test cases with specific APP use.
476
477 Container orchestration tags
478 ----------------------------
479
480 .. topic:: K8S
481
482     All test cases which use Kubernetes for orchestration.
483
484 .. topic:: SFC_CONTROLLER
485
486     All test cases which use ligato/sfc_controller for driving configuration
487     of vpp inside container.
488
489 .. topic:: VPP_AGENT
490
491     All test cases which use Golang implementation of a control/management plane
492     for VPP
493
494 .. topic:: 1VSWITCH
495
496     VPP running in Docker container acting as VSWITCH.
497
498 .. topic:: 1VNF
499
500     1 VPP running in Docker container acting as VNF work load.
501
502 .. topic:: 2VNF
503
504     2 VPP running in 2 Docker containers acting as VNF work load.
505
506 Multi-threading tags
507 --------------------
508
509 .. topic:: STHREAD
510
511     All test cases using single poll mode thread.
512
513 .. topic:: MTHREAD
514
515     All test cases using more then one poll mode driver thread.
516
517 .. topic:: 1NUMA
518
519     All test cases with packet processing on single socket.
520
521 .. topic:: 2NUMA
522
523     All test cases with packet processing on two sockets.
524
525 .. topic:: SMT
526
527     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
528
529 .. topic:: NOSMT
530
531     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
532
533 .. topic:: 1T1C
534
535     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
536     interface. Main thread pinned to core 0.
537
538 .. topic:: 2T2C
539
540     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
541     interface. Main thread pinned to core 0.
542
543 .. topic:: 4T4C
544
545     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
546     interface. Main thread pinned to core 0.
547
548 .. topic:: 6T6C
549
550     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
551     interface. Main thread pinned to core 0.
552
553 .. topic:: 8T8C
554
555     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
556     interface. Main thread pinned to core 0.
557
558 Honeycomb tags
559 --------------
560
561 .. topic:: HC_FUNC
562
563     Honeycomb functional test cases.
564
565 .. topic:: HC_NSH
566
567     Honeycomb NSH test cases.
568
569 .. topic:: HC_PERSIST
570
571     Honeycomb persistence test cases.
572
573 .. topic:: HC_REST_ONLY
574
575     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
576     using ODL client for Restfconf -> Netconf translation.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.