tag_documentation.rst - added:
[csit.git] / docs / tag_documentation.rst
1 .. |copy| unicode:: 0xA9 .. copyright sign
2
3 | Copyright |copy| 2016 Cisco and/or its affiliates.
4 | Licensed under the Apache License, Version 2.0 (the "License");
5 | you may not use this file except in compliance with the License.
6 | You may obtain a copy of the License at:
7 |
8 |     http://www.apache.org/licenses/LICENSE-2.0
9 |
10 | Unless required by applicable law or agreed to in writing, software
11 | distributed under the License is distributed on an "AS IS" BASIS,
12 | WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13 | See the License for the specific language governing permissions and
14 | limitations under the License.
15
16
17 .. contents:: Table of Contents
18     :depth: 2
19
20
21 TAGs and their descriptions
22 ===========================
23
24 Documentation for tags used to select and identify test cases.
25
26
27 Topology TAGs
28 -------------
29
30 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
31
32     3 nodes connected in a circular topology with two links interconnecting
33     the devices.
34
35 .. topic:: 3_NODE_SINGLE_LINK_TOPO
36
37     3 nodes connected in a circular topology with at least one link
38     interconnecting devices.
39
40 Objective TAGs
41 --------------
42
43 .. topic:: SKIP_PATCH
44
45     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
46     and csit-vpp-verify jobs (i.e. CSIT patch).
47
48
49 Environment TAGs
50 ----------------
51
52 .. topic:: HW_ENV
53
54     DUTs and TGs are running on bare metal.
55
56 .. topic:: VM_ENV
57
58     DUTs and TGs are running in virtual environment.
59
60 .. topic:: VPP_VM_ENV
61
62     DUTs with VPP and capable of running Virtual Machine.
63
64
65 NIC model tags
66 --------------
67
68 .. topic:: NIC_Intel-X520-DA2
69
70     Intel X520-DA2 NIC.
71
72 .. topic:: NIC_Intel-XL710
73
74     Intel XL710 NIC.
75
76 .. topic:: NIC_Intel-X710
77
78     Intel X710 NIC.
79
80 .. topic:: NIC_Cisco-VIC-1227
81
82     VIC-1227 by Cisco.
83
84 .. topic:: NIC_Cisco-VIC-1385
85
86     VIC-1385 by Cisco.
87
88
89 Scaling TAGs
90 ------------
91
92 .. topic:: FIB_20K
93
94     2x10,000 entries in single fib table
95
96 .. topic:: FIB_200K
97
98     2x100,000 entries in single fib table
99
100 .. topic:: FIB_2M
101
102     2x1,000,000 entries in single fib table
103
104
105 Tags marking functional vs. performance of tests
106 ------------------------------------------------
107
108 .. topic:: FUNCTEST
109
110     All functional test cases.
111
112 .. topic:: PERFTEST
113
114     All performance test cases.
115
116
117 Performance testing tags
118 ------------------------
119
120 .. topic:: PDRDISC
121
122     Partial Drop Rate evaluation of single run result, with non-zero packet
123     loss tolerance (LT) expressed in percentage of packets transmitted.
124
125 .. topic:: NDRDISC
126
127     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
128     set to zero lost packets.
129
130 .. topic:: NDRCHK
131
132     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
133     Non Drop Rate) with zero packet loss tolerance.
134
135 .. topic:: NDRPDRDISC
136
137     Find performance of DUT based on RFC2544 with linear / binary / combined
138     search. (Previous LONG tests.)
139
140 Ethernet frame size tags for performance tests
141 ----------------------------------------------
142
143 .. topic:: 64B
144
145     64B frames used for test.
146
147 .. topic:: 78B
148
149     78B frames used for test.
150
151 .. topic:: IMIX
152
153     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
154
155 .. topic:: 1460B
156
157     1460B frames used for test.
158
159 .. topic:: 1480B
160
161     1480B frames used for test.
162
163 .. topic:: 1514B
164
165     1514B frames used for test.
166
167 .. topic:: 1518B
168
169     1518B frames used for test.
170
171 .. topic:: 9000B
172
173     9000B frames used for test.
174
175 Test type tags
176 --------------
177
178 .. topic:: BASE
179
180     Baseline test cases, no encapsulation, no feature(s) configured in tests.
181
182 .. topic:: SCALE
183
184     Scale test cases.
185
186 .. topic:: ENCAP
187
188     Test cases where encapsulation is used. Use also encapsulation tag(s).
189
190 .. topic:: FEATURE
191
192     At least one feature is configured in test cases. Use also feature tag(s).
193
194
195 Forwarding mode tags
196 --------------------
197
198 .. topic:: L2BDMACSTAT
199
200     VPP L2 bridge-domain, L2 MAC static.
201
202 .. topic:: L2BDMACLRN
203
204     VPP L2 bridge-domain, L2 MAC learning.
205
206 .. topic:: L2XCFWD
207
208     VPP L2 point-to-point cross-connect.
209
210 .. topic:: IP4FWD
211
212     VPP IPv4 routed forwarding.
213
214 .. topic:: IP6FWD
215
216     VPP IPv6 routed forwarding.
217
218
219 Underlay tags
220 -------------
221
222 .. topic:: IP4UNRLAY
223
224     IPv4 underlay.
225
226 .. topic:: IP6UNRLAY
227
228     IPv6 underlay.
229
230 .. topic:: MPLSUNRLAY
231
232     MPLS underlay.
233
234
235 Overlay tags
236 ------------
237
238 .. topic:: L2OVRLAY
239
240     L2 overlay.
241
242 .. topic:: IP4OVRLAY
243
244     IPv4 overlay (IPv4 payload).
245
246 .. topic:: IP6OVRLAY
247
248     IPv6 overlay (IPv6 payload).
249
250
251 Encapsulation tags
252 ------------------
253
254 .. topic:: ETH
255
256     All test cases with base Ethernet (no encapsulation).
257
258 .. topic:: DOT1Q
259
260     All test cases with dot1q.
261
262 .. topic:: DOT1AD
263
264     All test cases with dot1ad.
265
266 .. topic:: LISP
267
268     All test cases with LISP.
269
270 .. topic:: LISPGPE
271
272     All test cases with LISP-GPE.
273
274 .. topic:: VXLAN
275
276     All test cases with Vxlan.
277
278 .. topic:: VXLANGPE
279
280     All test cases with VXLAN-GPE.
281
282 .. topic:: GRE
283
284     All test cases with GRE.
285
286 .. topic:: IPSEC
287
288     All test cases with IPSEC.
289
290
291 Interface tags
292 --------------
293
294 .. topic:: PHY
295
296     All test cases which use physical interface(s).
297
298 .. topic:: VHOST
299
300     All test cases which uses VHOST.
301
302 .. topic:: TUNTAP
303
304     All test cases which uses TUN and TAP.
305
306 .. topic:: AFPKT
307
308     All test cases which uses AFPKT.
309
310 .. topic:: NETMAP
311
312     All test cases which uses Netmap.
313
314
315 Feature tags
316 ------------
317
318 .. topic:: IACLDST
319
320     iACL destination.
321
322 .. topic:: COPWHLIST
323
324     COP whitelist.
325
326 .. topic:: SNAT
327
328     SNAT configured and tested.
329
330
331 Encryption tags
332 ---------------
333
334 .. topic:: IPSECSW
335
336     Crypto in software.
337
338 .. topic:: IPSECHW
339
340     Crypto in hardware.
341
342 .. topic:: IPSECTRAN
343
344     IPSec in transport mode.
345
346 .. topic:: IPSECTUN
347
348     IPSec in tunnel mode.
349
350
351 Client-workload tags
352 --------------------
353
354 .. topic:: VM
355
356     All test cases which use at least one virtual machine.
357
358 .. topic:: LXC
359
360     All test cases which use Linux container.
361
362 .. topic:: APP
363
364     All test cases with specific APP use.
365
366
367 Multi-threading tags
368 --------------------
369
370 .. topic:: STHREAD
371
372     All test cases using single poll mode thread.
373
374 .. topic:: MTHREAD
375
376     All test cases using more then one poll mode driver thread.
377
378 .. topic:: 1NUMA
379
380     All test cases with packet processing on single socket.
381
382 .. topic:: 2NUMA
383
384     All test cases with packet processing on two sockets.
385
386 .. topic:: SMT
387
388     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
389
390 .. topic:: NOSMT
391
392     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
393
394 .. topic:: 1T1C
395
396     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
397     interface. Main thread pinned to core 0.
398
399 .. topic:: 2T2C
400
401     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
402     interface. Main thread pinned to core 0.
403
404 .. topic:: 4T4C
405
406     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
407     interface. Main thread pinned to core 0.
408
409 .. topic:: 6T6C
410
411     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
412     interface. Main thread pinned to core 0.
413
414 .. topic:: 8T8C
415
416     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
417     interface. Main thread pinned to core 0.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.