Edits to csit rls1704 report: csit_tag_description.rst.
[csit.git] / docs / report / introduction / csit_tag_description.rst
1 CSIT TAGs Descriptions
2 ======================
3
4 All CSIT test cases are labelled with Robot Framework tags used to allow for
5 easy test case type identification, test case grouping and selection for
6 execution. Following sections list currently used CSIT TAGs and their
7 documentation based on the content of
8 `tag_documentation rst file <https://git.fd.io/csit/tree/docs/tag_documentation.rst?h=rls1704>`_.
9
10 Topology TAGs
11 -------------
12
13 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
14
15     3 nodes connected in a circular topology with two links interconnecting
16     the devices.
17
18 .. topic:: 3_NODE_SINGLE_LINK_TOPO
19
20     3 nodes connected in a circular topology with at least one link
21     interconnecting devices.
22
23 Objective TAGs
24 --------------
25
26 .. topic:: SKIP_PATCH
27
28     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
29     and csit-vpp-verify jobs (i.e. CSIT patch).
30
31
32 Environment TAGs
33 ----------------
34
35 .. topic:: HW_ENV
36
37     DUTs and TGs are running on bare metal.
38
39 .. topic:: VM_ENV
40
41     DUTs and TGs are running in virtual environment.
42
43 .. topic:: VPP_VM_ENV
44
45     DUTs with VPP and capable of running Virtual Machine.
46
47
48 NIC model tags
49 --------------
50
51 .. topic:: NIC_Intel-X520-DA2
52
53     Intel X520-DA2 NIC.
54
55 .. topic:: NIC_Intel-XL710
56
57     Intel XL710 NIC.
58
59 .. topic:: NIC_Intel-X710
60
61     Intel X710 NIC.
62
63 .. topic:: NIC_Cisco-VIC-1227
64
65     VIC-1227 by Cisco.
66
67 .. topic:: NIC_Cisco-VIC-1385
68
69     VIC-1385 by Cisco.
70
71
72 Scaling TAGs
73 ------------
74
75 .. topic:: FIB_20K
76
77     2x10,000 entries in single fib table
78
79 .. topic:: FIB_200K
80
81     2x100,000 entries in single fib table
82
83 .. topic:: FIB_2M
84
85     2x1,000,000 entries in single fib table
86
87
88 Tags marking functional vs. performance of tests
89 ------------------------------------------------
90
91 .. topic:: FUNCTEST
92
93     All functional test cases.
94
95 .. topic:: PERFTEST
96
97     All performance test cases.
98
99
100 Performance testing tags
101 ------------------------
102
103 .. topic:: PDRDISC
104
105     Partial Drop Rate evaluation of single run result, with non-zero packet
106     loss tolerance (LT) expressed in percentage of packets transmitted.
107
108 .. topic:: NDRDISC
109
110     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
111     set to zero lost packets.
112
113 .. topic:: NDRCHK
114
115     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
116     Non Drop Rate) with zero packet loss tolerance.
117
118 .. topic:: NDRPDRDISC
119
120     Find performance of DUT based on RFC2544 with linear / binary / combined
121     search. (Previous LONG tests.)
122
123 Ethernet frame size tags for performance tests
124 ----------------------------------------------
125
126 .. topic:: 64B
127
128     64B frames used for test.
129
130 .. topic:: 78B
131
132     78B frames used for test.
133
134 .. topic:: IMIX
135
136     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
137
138 .. topic:: 1460B
139
140     1460B frames used for test.
141
142 .. topic:: 1480B
143
144     1480B frames used for test.
145
146 .. topic:: 1514B
147
148     1514B frames used for test.
149
150 .. topic:: 1518B
151
152     1518B frames used for test.
153
154 .. topic:: 9000B
155
156     9000B frames used for test.
157
158 Test type tags
159 --------------
160
161 .. topic:: BASE
162
163     Baseline test cases, no encapsulation, no feature(s) configured in tests.
164
165 .. topic:: IP4BASE
166
167     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
168     tests.
169
170 .. topic:: IP6BASE
171
172     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
173     tests.
174
175 .. topic:: L2XCBASE
176
177     L2XC baseline test cases, no encapsulation, no feature(s) configured in
178     tests.
179
180 .. topic:: L2BDBASE
181
182     L2BD baseline test cases, no encapsulation, no feature(s) configured in
183     tests.
184
185 .. topic:: SCALE
186
187     Scale test cases.
188
189 .. topic:: ENCAP
190
191     Test cases where encapsulation is used. Use also encapsulation tag(s).
192
193 .. topic:: FEATURE
194
195     At least one feature is configured in test cases. Use also feature tag(s).
196
197
198 Forwarding mode tags
199 --------------------
200
201 .. topic:: L2BDMACSTAT
202
203     VPP L2 bridge-domain, L2 MAC static.
204
205 .. topic:: L2BDMACLRN
206
207     VPP L2 bridge-domain, L2 MAC learning.
208
209 .. topic:: L2XCFWD
210
211     VPP L2 point-to-point cross-connect.
212
213 .. topic:: IP4FWD
214
215     VPP IPv4 routed forwarding.
216
217 .. topic:: IP6FWD
218
219     VPP IPv6 routed forwarding.
220
221
222 Underlay tags
223 -------------
224
225 .. topic:: IP4UNRLAY
226
227     IPv4 underlay.
228
229 .. topic:: IP6UNRLAY
230
231     IPv6 underlay.
232
233 .. topic:: MPLSUNRLAY
234
235     MPLS underlay.
236
237
238 Overlay tags
239 ------------
240
241 .. topic:: L2OVRLAY
242
243     L2 overlay.
244
245 .. topic:: IP4OVRLAY
246
247     IPv4 overlay (IPv4 payload).
248
249 .. topic:: IP6OVRLAY
250
251     IPv6 overlay (IPv6 payload).
252
253
254 Encapsulation tags
255 ------------------
256
257 .. topic:: ETH
258
259     All test cases with base Ethernet (no encapsulation).
260
261 .. topic:: DOT1Q
262
263     All test cases with dot1q.
264
265 .. topic:: DOT1AD
266
267     All test cases with dot1ad.
268
269 .. topic:: LISP
270
271     All test cases with LISP.
272
273 .. topic:: LISPGPE
274
275     All test cases with LISP-GPE.
276
277 .. topic:: VXLAN
278
279     All test cases with Vxlan.
280
281 .. topic:: VXLANGPE
282
283     All test cases with VXLAN-GPE.
284
285 .. topic:: GRE
286
287     All test cases with GRE.
288
289 .. topic:: IPSEC
290
291     All test cases with IPSEC.
292
293
294 Interface tags
295 --------------
296
297 .. topic:: PHY
298
299     All test cases which use physical interface(s).
300
301 .. topic:: VHOST
302
303     All test cases which uses VHOST.
304
305 .. topic:: TUNTAP
306
307     All test cases which uses TUN and TAP.
308
309 .. topic:: AFPKT
310
311     All test cases which uses AFPKT.
312
313 .. topic:: NETMAP
314
315     All test cases which uses Netmap.
316
317
318 Feature tags
319 ------------
320
321 .. topic:: IACLDST
322
323     iACL destination.
324
325 .. topic:: COPWHLIST
326
327     COP whitelist.
328
329 .. topic:: SNAT
330
331     SNAT configured and tested.
332
333
334 Encryption tags
335 ---------------
336
337 .. topic:: IPSECSW
338
339     Crypto in software.
340
341 .. topic:: IPSECHW
342
343     Crypto in hardware.
344
345 .. topic:: IPSECTRAN
346
347     IPSec in transport mode.
348
349 .. topic:: IPSECTUN
350
351     IPSec in tunnel mode.
352
353
354 Client-workload tags
355 --------------------
356
357 .. topic:: VM
358
359     All test cases which use at least one virtual machine.
360
361 .. topic:: LXC
362
363     All test cases which use Linux container.
364
365 .. topic:: APP
366
367     All test cases with specific APP use.
368
369
370 Multi-threading tags
371 --------------------
372
373 .. topic:: STHREAD
374
375     All test cases using single poll mode thread.
376
377 .. topic:: MTHREAD
378
379     All test cases using more then one poll mode driver thread.
380
381 .. topic:: 1NUMA
382
383     All test cases with packet processing on single socket.
384
385 .. topic:: 2NUMA
386
387     All test cases with packet processing on two sockets.
388
389 .. topic:: SMT
390
391     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
392
393 .. topic:: NOSMT
394
395     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
396
397 .. topic:: 1T1C
398
399     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
400     interface. Main thread pinned to core 0.
401
402 .. topic:: 2T2C
403
404     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
405     interface. Main thread pinned to core 0.
406
407 .. topic:: 4T4C
408
409     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
410     interface. Main thread pinned to core 0.
411
412 .. topic:: 6T6C
413
414     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
415     interface. Main thread pinned to core 0.
416
417 .. topic:: 8T8C
418
419     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
420     interface. Main thread pinned to core 0.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.