Nested VM refresh
[csit.git] / docs / tag_documentation.rst
1 CSIT TAGs Descriptions
2 ======================
3
4 All CSIT test cases are labelled with Robot Framework tags used to allow for
5 easy test case type identification, test case grouping and selection for
6 execution. Following sections list currently used CSIT TAGs and their
7 documentation.
8
9 Topology TAGs
10 -------------
11
12 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
13
14     3 nodes connected in a circular topology with two links interconnecting
15     the devices.
16
17 .. topic:: 3_NODE_SINGLE_LINK_TOPO
18
19     3 nodes connected in a circular topology with at least one link
20     interconnecting devices.
21
22 Objective TAGs
23 --------------
24
25 .. topic:: SKIP_PATCH
26
27     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
28     and csit-vpp-verify jobs (i.e. CSIT patch).
29
30 .. topic:: SKIP_VPP_PATCH
31
32     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
33
34 Environment TAGs
35 ----------------
36
37 .. topic:: HW_ENV
38
39     DUTs and TGs are running on bare metal.
40
41 .. topic:: VM_ENV
42
43     DUTs and TGs are running in virtual environment.
44
45 .. topic:: VPP_VM_ENV
46
47     DUTs with VPP and capable of running Virtual Machine.
48
49 NIC model tags
50 --------------
51
52 .. topic:: NIC_Intel-X520-DA2
53
54     Intel X520-DA2 NIC.
55
56 .. topic:: NIC_Intel-XL710
57
58     Intel XL710 NIC.
59
60 .. topic:: NIC_Intel-X710
61
62     Intel X710 NIC.
63
64 .. topic:: NIC_Cisco-VIC-1227
65
66     VIC-1227 by Cisco.
67
68 .. topic:: NIC_Cisco-VIC-1385
69
70     VIC-1385 by Cisco.
71
72 Scaling TAGs
73 ------------
74
75 .. topic:: FIB_20K
76
77     2x10,000 entries in single fib table
78
79 .. topic:: FIB_200K
80
81     2x100,000 entries in single fib table
82
83 .. topic:: FIB_2M
84
85     2x1,000,000 entries in single fib table
86
87 .. topic:: TNL_1000
88
89     IPSec in tunnel mode - 1000 tunnels.
90
91 .. topic:: SRC_USER_10
92
93     Traffic flow with 10 unique IPs (users) in one direction.
94
95 .. topic:: SRC_USER_100
96
97     Traffic flow with 100 unique IPs (users) in one direction.
98
99 .. topic:: SRC_USER_1000
100
101     Traffic flow with 1000 unique IPs (users) in one direction.
102
103 .. topic:: SRC_USER_2000
104
105     Traffic flow with 2000 unique IPs (users) in one direction.
106
107 .. topic:: SRC_USER_4000
108
109     Traffic flow with 4000 unique IPs (users) in one direction.
110
111 .. topic:: 100_FLOWS
112
113     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
114     direction.
115
116 .. topic:: 10k_FLOWS
117
118     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
119     one direction.
120
121 .. topic:: 100k_FLOWS
122
123     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
124     one direction.
125
126 Tags marking functional vs. performance of tests
127 ------------------------------------------------
128
129 .. topic:: FUNCTEST
130
131     All functional test cases.
132
133 .. topic:: PERFTEST
134
135     All performance test cases.
136
137 Performance testing tags
138 ------------------------
139
140 .. topic:: PDRDISC
141
142     Partial Drop Rate evaluation of single run result, with non-zero packet
143     loss tolerance (LT) expressed in percentage of packets transmitted.
144
145 .. topic:: NDRDISC
146
147     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
148     set to zero lost packets.
149
150 .. topic:: NDRCHK
151
152     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
153     Non Drop Rate) with zero packet loss tolerance.
154
155 .. topic:: NDRPDRDISC
156
157     Find performance of DUT based on :rfc:`2544` with linear / binary / combined
158     search. (Previous LONG tests.)
159
160 Ethernet frame size tags for performance tests
161 ----------------------------------------------
162
163 .. topic:: 64B
164
165     64B frames used for test.
166
167 .. topic:: 78B
168
169     78B frames used for test.
170
171 .. topic:: IMIX
172
173     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
174
175 .. topic:: 1460B
176
177     1460B frames used for test.
178
179 .. topic:: 1480B
180
181     1480B frames used for test.
182
183 .. topic:: 1514B
184
185     1514B frames used for test.
186
187 .. topic:: 1518B
188
189     1518B frames used for test.
190
191 .. topic:: 9000B
192
193     9000B frames used for test.
194
195 Test type tags
196 --------------
197
198 .. topic:: BASE
199
200     Baseline test cases, no encapsulation, no feature(s) configured in tests.
201
202 .. topic:: IP4BASE
203
204     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
205     tests.
206
207 .. topic:: IP6BASE
208
209     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
210     tests.
211
212 .. topic:: L2XCBASE
213
214     L2XC baseline test cases, no encapsulation, no feature(s) configured in
215     tests.
216
217 .. topic:: L2BDBASE
218
219     L2BD baseline test cases, no encapsulation, no feature(s) configured in
220     tests.
221
222 .. topic:: SCALE
223
224     Scale test cases.
225
226 .. topic:: ENCAP
227
228     Test cases where encapsulation is used. Use also encapsulation tag(s).
229
230 .. topic:: FEATURE
231
232     At least one feature is configured in test cases. Use also feature tag(s).
233
234 .. topic:: TLDK
235
236     Functional test cases for TLDK.
237
238 Forwarding mode tags
239 --------------------
240
241 .. topic:: L2BDMACSTAT
242
243     VPP L2 bridge-domain, L2 MAC static.
244
245 .. topic:: L2BDMACLRN
246
247     VPP L2 bridge-domain, L2 MAC learning.
248
249 .. topic:: L2XCFWD
250
251     VPP L2 point-to-point cross-connect.
252
253 .. topic:: IP4FWD
254
255     VPP IPv4 routed forwarding.
256
257 .. topic:: IP6FWD
258
259     VPP IPv6 routed forwarding.
260
261 Underlay tags
262 -------------
263
264 .. topic:: IP4UNRLAY
265
266     IPv4 underlay.
267
268 .. topic:: IP6UNRLAY
269
270     IPv6 underlay.
271
272 .. topic:: MPLSUNRLAY
273
274     MPLS underlay.
275
276 Overlay tags
277 ------------
278
279 .. topic:: L2OVRLAY
280
281     L2 overlay.
282
283 .. topic:: IP4OVRLAY
284
285     IPv4 overlay (IPv4 payload).
286
287 .. topic:: IP6OVRLAY
288
289     IPv6 overlay (IPv6 payload).
290
291 Tagging tags
292 ------------
293
294 .. topic:: DOT1Q
295
296     All test cases with dot1q.
297
298 .. topic:: DOT1AD
299
300     All test cases with dot1ad.
301
302 Encapsulation tags
303 ------------------
304
305 .. topic:: ETH
306
307     All test cases with base Ethernet (no encapsulation).
308
309 .. topic:: LISP
310
311     All test cases with LISP.
312
313 .. topic:: LISPGPE
314
315     All test cases with LISP-GPE.
316
317 .. topic:: VXLAN
318
319     All test cases with Vxlan.
320
321 .. topic:: VXLANGPE
322
323     All test cases with VXLAN-GPE.
324
325 .. topic:: GRE
326
327     All test cases with GRE.
328
329 .. topic:: IPSEC
330
331     All test cases with IPSEC.
332
333 Interface tags
334 --------------
335
336 .. topic:: PHY
337
338     All test cases which use physical interface(s).
339
340 .. topic:: VHOST
341
342     All test cases which uses VHOST.
343
344 .. topic:: VHOST_256
345
346     All test cases which uses VHOST with qemu queue size set to 256.
347
348 .. topic:: VHOST_1024
349
350     All test cases which uses VHOST with qemu queue size set to 1024.
351
352 .. topic:: CFS_OPT
353
354     All test cases which uses VM with optimised scheduler policy.
355
356 .. topic:: TUNTAP
357
358     All test cases which uses TUN and TAP.
359
360 .. topic:: AFPKT
361
362     All test cases which uses AFPKT.
363
364 .. topic:: NETMAP
365
366     All test cases which uses Netmap.
367
368 .. topic:: MEMIF
369
370     All test cases which uses Memif.
371
372 Feature tags
373 ------------
374
375 .. topic:: IACLDST
376
377     iACL destination.
378
379 .. topic:: COPWHLIST
380
381     COP whitelist.
382
383 .. topic:: NAT44
384
385     NAT44 configured and tested.
386
387 .. topic:: NAT64
388
389     NAT44 configured and tested.
390
391 .. topic:: ACL
392
393     ACL plugin configured and tested.
394
395 .. topic:: IACL
396
397     ACL plugin configured and tested on input path.
398
399 .. topic:: OACL
400
401     ACL plugin configured and tested on output path.
402
403 .. topic:: ACL_STATELESS
404
405     ACL plugin configured and tested in stateless mode (permit action).
406
407 .. topic:: ACL_STATEFUL
408
409     ACL plugin configured and tested in stateful mode (permit+reflect action).
410
411 .. topic:: ACL1
412
413     ACL plugin configured and tested with 1 not-hitting ACE.
414
415 .. topic:: ACL10
416
417     ACL plugin configured and tested with 10 not-hitting ACEs.
418
419 .. topic:: ACL50
420
421     ACL plugin configured and tested with 50 not-hitting ACEs.
422
423 Encryption tags
424 ---------------
425
426 .. topic:: IPSECSW
427
428     Crypto in software.
429
430 .. topic:: IPSECHW
431
432     Crypto in hardware.
433
434 .. topic:: IPSECTRAN
435
436     IPSec in transport mode.
437
438 .. topic:: IPSECTUN
439
440     IPSec in tunnel mode.
441
442 Client-workload tags
443 --------------------
444
445 .. topic:: VM
446
447     All test cases which use at least one virtual machine.
448
449 .. topic:: LXC
450
451     All test cases which use Linux container and LXC utils.
452
453 .. topic:: DOCKER
454
455     All test cases which use Docker as container manager.
456
457 .. topic:: APP
458
459     All test cases with specific APP use.
460
461 Container orchestration tags
462 ----------------------------
463
464 .. topic:: K8S
465
466     All test cases which use Kubernetes for orchestration.
467
468 .. topic:: SFC_CONTROLLER
469
470     All test cases which use ligato/sfc_controller for driving configuration
471     of vpp inside container.
472
473 .. topic:: VPP_AGENT
474
475     All test cases which use Golang implementation of a control/management plane
476     for VPP
477
478 .. topic:: 1VSWITCH
479
480     VPP running in Docker container acting as VSWITCH.
481
482 .. topic:: 1VNF
483
484     1 VPP running in Docker container acting as VNF work load.
485
486 .. topic:: 2VNF
487
488     2 VPP running in 2 Docker containers acting as VNF work load.
489
490 Multi-threading tags
491 --------------------
492
493 .. topic:: STHREAD
494
495     All test cases using single poll mode thread.
496
497 .. topic:: MTHREAD
498
499     All test cases using more then one poll mode driver thread.
500
501 .. topic:: 1NUMA
502
503     All test cases with packet processing on single socket.
504
505 .. topic:: 2NUMA
506
507     All test cases with packet processing on two sockets.
508
509 .. topic:: SMT
510
511     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
512
513 .. topic:: NOSMT
514
515     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
516
517 .. topic:: 1T1C
518
519     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
520     interface. Main thread pinned to core 0.
521
522 .. topic:: 2T2C
523
524     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
525     interface. Main thread pinned to core 0.
526
527 .. topic:: 4T4C
528
529     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
530     interface. Main thread pinned to core 0.
531
532 .. topic:: 6T6C
533
534     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
535     interface. Main thread pinned to core 0.
536
537 .. topic:: 8T8C
538
539     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
540     interface. Main thread pinned to core 0.
541
542 Honeycomb tags
543 --------------
544
545 .. topic:: HC_FUNC
546
547     Honeycomb functional test cases.
548
549 .. topic:: HC_PERSIST
550
551     Honeycomb persistence test cases.
552
553 .. topic:: HC_REST_ONLY
554
555     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
556     using ODL client for Restfconf -> Netconf translation.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.