d3a71b2f7ed944f1b7ed51e88adbbd5b4073b31c
[csit.git] / docs / tag_documentation.rst
1 CSIT TAGs Descriptions
2 ======================
3
4 All CSIT test cases are labelled with Robot Framework tags used to allow for
5 easy test case type identification, test case grouping and selection for
6 execution. Following sections list currently used CSIT TAGs and their
7 documentation.
8
9 Topology TAGs
10 -------------
11
12 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
13
14     3 nodes connected in a circular topology with two links interconnecting
15     the devices.
16
17 .. topic:: 3_NODE_SINGLE_LINK_TOPO
18
19     3 nodes connected in a circular topology with at least one link
20     interconnecting devices.
21
22 Objective TAGs
23 --------------
24
25 .. topic:: SKIP_PATCH
26
27     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
28     and csit-vpp-verify jobs (i.e. CSIT patch).
29
30 .. topic:: SKIP_VPP_PATCH
31
32     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
33
34 Environment TAGs
35 ----------------
36
37 .. topic:: HW_ENV
38
39     DUTs and TGs are running on bare metal.
40
41 .. topic:: VM_ENV
42
43     DUTs and TGs are running in virtual environment.
44
45 .. topic:: VPP_VM_ENV
46
47     DUTs with VPP and capable of running Virtual Machine.
48
49 NIC model tags
50 --------------
51
52 .. topic:: NIC_Intel-X520-DA2
53
54     Intel X520-DA2 NIC.
55
56 .. topic:: NIC_Intel-XL710
57
58     Intel XL710 NIC.
59
60 .. topic:: NIC_Intel-X710
61
62     Intel X710 NIC.
63
64 .. topic:: NIC_Cisco-VIC-1227
65
66     VIC-1227 by Cisco.
67
68 .. topic:: NIC_Cisco-VIC-1385
69
70     VIC-1385 by Cisco.
71
72 Scaling TAGs
73 ------------
74
75 .. topic:: FIB_20K
76
77     2x10,000 entries in single fib table
78
79 .. topic:: FIB_200K
80
81     2x100,000 entries in single fib table
82
83 .. topic:: FIB_2M
84
85     2x1,000,000 entries in single fib table
86
87 .. topic:: TNL_1000
88
89     IPSec in tunnel mode - 1000 tunnels.
90
91 .. topic:: SRC_USER_10
92
93     Traffic flow with 10 unique IPs (users) in one direction.
94
95 .. topic:: SRC_USER_100
96
97     Traffic flow with 100 unique IPs (users) in one direction.
98
99 .. topic:: SRC_USER_1000
100
101     Traffic flow with 1000 unique IPs (users) in one direction.
102
103 .. topic:: SRC_USER_2000
104
105     Traffic flow with 2000 unique IPs (users) in one direction.
106
107 .. topic:: SRC_USER_4000
108
109     Traffic flow with 4000 unique IPs (users) in one direction.
110
111 .. topic:: 100_FLOWS
112
113     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
114     direction.
115
116 .. topic:: 10k_FLOWS
117
118     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
119     one direction.
120
121 .. topic:: 100k_FLOWS
122
123     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
124     one direction.
125
126 Tags marking functional vs. performance of tests
127 ------------------------------------------------
128
129 .. topic:: FUNCTEST
130
131     All functional test cases.
132
133 .. topic:: PERFTEST
134
135     All performance test cases.
136
137 Performance testing tags
138 ------------------------
139
140 .. topic:: PDRDISC
141
142     Partial Drop Rate evaluation of single run result, with non-zero packet
143     loss tolerance (LT) expressed in percentage of packets transmitted.
144
145 .. topic:: NDRDISC
146
147     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
148     set to zero lost packets.
149
150 .. topic:: NDRCHK
151
152     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
153     Non Drop Rate) with zero packet loss tolerance.
154
155 .. topic:: NDRPDRDISC
156
157     Find performance of DUT based on RFC2544 with linear / binary / combined
158     search. (Previous LONG tests.)
159
160 Ethernet frame size tags for performance tests
161 ----------------------------------------------
162
163 .. topic:: 64B
164
165     64B frames used for test.
166
167 .. topic:: 78B
168
169     78B frames used for test.
170
171 .. topic:: IMIX
172
173     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
174
175 .. topic:: 1460B
176
177     1460B frames used for test.
178
179 .. topic:: 1480B
180
181     1480B frames used for test.
182
183 .. topic:: 1514B
184
185     1514B frames used for test.
186
187 .. topic:: 1518B
188
189     1518B frames used for test.
190
191 .. topic:: 9000B
192
193     9000B frames used for test.
194
195 Test type tags
196 --------------
197
198 .. topic:: BASE
199
200     Baseline test cases, no encapsulation, no feature(s) configured in tests.
201
202 .. topic:: IP4BASE
203
204     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
205     tests.
206
207 .. topic:: IP6BASE
208
209     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
210     tests.
211
212 .. topic:: L2XCBASE
213
214     L2XC baseline test cases, no encapsulation, no feature(s) configured in
215     tests.
216
217 .. topic:: L2BDBASE
218
219     L2BD baseline test cases, no encapsulation, no feature(s) configured in
220     tests.
221
222 .. topic:: SCALE
223
224     Scale test cases.
225
226 .. topic:: ENCAP
227
228     Test cases where encapsulation is used. Use also encapsulation tag(s).
229
230 .. topic:: FEATURE
231
232     At least one feature is configured in test cases. Use also feature tag(s).
233
234 .. topic:: TLDK
235
236     Functional test cases for TLDK.
237
238 Forwarding mode tags
239 --------------------
240
241 .. topic:: L2BDMACSTAT
242
243     VPP L2 bridge-domain, L2 MAC static.
244
245 .. topic:: L2BDMACLRN
246
247     VPP L2 bridge-domain, L2 MAC learning.
248
249 .. topic:: L2XCFWD
250
251     VPP L2 point-to-point cross-connect.
252
253 .. topic:: IP4FWD
254
255     VPP IPv4 routed forwarding.
256
257 .. topic:: IP6FWD
258
259     VPP IPv6 routed forwarding.
260
261 Underlay tags
262 -------------
263
264 .. topic:: IP4UNRLAY
265
266     IPv4 underlay.
267
268 .. topic:: IP6UNRLAY
269
270     IPv6 underlay.
271
272 .. topic:: MPLSUNRLAY
273
274     MPLS underlay.
275
276 Overlay tags
277 ------------
278
279 .. topic:: L2OVRLAY
280
281     L2 overlay.
282
283 .. topic:: IP4OVRLAY
284
285     IPv4 overlay (IPv4 payload).
286
287 .. topic:: IP6OVRLAY
288
289     IPv6 overlay (IPv6 payload).
290
291 Encapsulation tags
292 ------------------
293
294 .. topic:: ETH
295
296     All test cases with base Ethernet (no encapsulation).
297
298 .. topic:: DOT1Q
299
300     All test cases with dot1q.
301
302 .. topic:: DOT1AD
303
304     All test cases with dot1ad.
305
306 .. topic:: LISP
307
308     All test cases with LISP.
309
310 .. topic:: LISPGPE
311
312     All test cases with LISP-GPE.
313
314 .. topic:: VXLAN
315
316     All test cases with Vxlan.
317
318 .. topic:: VXLANGPE
319
320     All test cases with VXLAN-GPE.
321
322 .. topic:: GRE
323
324     All test cases with GRE.
325
326 .. topic:: IPSEC
327
328     All test cases with IPSEC.
329
330 Interface tags
331 --------------
332
333 .. topic:: PHY
334
335     All test cases which use physical interface(s).
336
337 .. topic:: VHOST
338
339     All test cases which uses VHOST.
340
341 .. topic:: VHOST_256
342
343     All test cases which uses VHOST with qemu queue size set to 256.
344
345 .. topic:: VHOST_1024
346
347     All test cases which uses VHOST with qemu queue size set to 1024.
348
349 .. topic:: CFS_OPT
350
351     All test cases which uses VM with optimised scheduler policy.
352
353 .. topic:: TUNTAP
354
355     All test cases which uses TUN and TAP.
356
357 .. topic:: AFPKT
358
359     All test cases which uses AFPKT.
360
361 .. topic:: NETMAP
362
363     All test cases which uses Netmap.
364
365 .. topic:: MEMIF
366
367     All test cases which uses Memif.
368
369 Feature tags
370 ------------
371
372 .. topic:: IACLDST
373
374     iACL destination.
375
376 .. topic:: COPWHLIST
377
378     COP whitelist.
379
380 .. topic:: SNAT
381
382     SNAT configured and tested.
383
384 .. topic:: ACL
385
386     ACL plugin configured and tested.
387
388 .. topic:: IACL
389
390     ACL plugin configured and tested on input path.
391
392 .. topic:: OACL
393
394     ACL plugin configured and tested on output path.
395
396 .. topic:: ACL_STATELESS
397
398     ACL plugin configured and tested in stateless mode (permit action).
399
400 .. topic:: ACL_STATEFUL
401
402     ACL plugin configured and tested in stateful mode (permit+reflect action).
403
404 .. topic:: ACL1
405
406     ACL plugin configured and tested with 1 not-hitting ACE.
407
408 .. topic:: ACL10
409
410     ACL plugin configured and tested with 10 not-hitting ACEs.
411
412 .. topic:: ACL50
413
414     ACL plugin configured and tested with 50 not-hitting ACEs.
415
416 Encryption tags
417 ---------------
418
419 .. topic:: IPSECSW
420
421     Crypto in software.
422
423 .. topic:: IPSECHW
424
425     Crypto in hardware.
426
427 .. topic:: IPSECTRAN
428
429     IPSec in transport mode.
430
431 .. topic:: IPSECTUN
432
433     IPSec in tunnel mode.
434
435 Client-workload tags
436 --------------------
437
438 .. topic:: VM
439
440     All test cases which use at least one virtual machine.
441
442 .. topic:: LXC
443
444     All test cases which use Linux container.
445
446 .. topic:: APP
447
448     All test cases with specific APP use.
449
450 Multi-threading tags
451 --------------------
452
453 .. topic:: STHREAD
454
455     All test cases using single poll mode thread.
456
457 .. topic:: MTHREAD
458
459     All test cases using more then one poll mode driver thread.
460
461 .. topic:: 1NUMA
462
463     All test cases with packet processing on single socket.
464
465 .. topic:: 2NUMA
466
467     All test cases with packet processing on two sockets.
468
469 .. topic:: SMT
470
471     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
472
473 .. topic:: NOSMT
474
475     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
476
477 .. topic:: 1T1C
478
479     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
480     interface. Main thread pinned to core 0.
481
482 .. topic:: 2T2C
483
484     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
485     interface. Main thread pinned to core 0.
486
487 .. topic:: 4T4C
488
489     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
490     interface. Main thread pinned to core 0.
491
492 .. topic:: 6T6C
493
494     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
495     interface. Main thread pinned to core 0.
496
497 .. topic:: 8T8C
498
499     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
500     interface. Main thread pinned to core 0.
501
502 Honeycomb tags
503 --------------
504
505 .. topic:: HC_FUNC
506
507     Honeycomb functional test cases.
508
509 .. topic:: HC_PERSIST
510
511     Honeycomb persistence test cases.
512
513 .. topic:: HC_REST_ONLY
514
515     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
516     using ODL client for Restfconf -> Netconf translation.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.