10dc14b357e8ae5befcb2166ceadb82ebc495513
[csit.git] / docs / tag_documentation.rst
1 .. |copy| unicode:: 0xA9 .. copyright sign
2
3 | Copyright |copy| 2016 Cisco and/or its affiliates.
4 | Licensed under the Apache License, Version 2.0 (the "License");
5 | you may not use this file except in compliance with the License.
6 | You may obtain a copy of the License at:
7 |
8 |     http://www.apache.org/licenses/LICENSE-2.0
9 |
10 | Unless required by applicable law or agreed to in writing, software
11 | distributed under the License is distributed on an "AS IS" BASIS,
12 | WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13 | See the License for the specific language governing permissions and
14 | limitations under the License.
15
16
17 .. contents:: Table of Contents
18     :depth: 2
19
20
21 TAGs and their descriptions
22 ===========================
23
24 Documentation for tags used to select and identify test cases.
25
26
27 Topology TAGs
28 -------------
29
30 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
31
32     3 nodes connected in a circular topology with two links interconnecting
33     the devices.
34
35 .. topic:: 3_NODE_SINGLE_LINK_TOPO
36
37     3 nodes connected in a circular topology with at least one link
38     interconnecting devices.
39
40 Objective TAGs
41 --------------
42
43 .. topic:: SKIP_PATCH
44
45     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
46     and csit-vpp-verify jobs (i.e. CSIT patch).
47
48
49 Environment TAGs
50 ----------------
51
52 .. topic:: HW_ENV
53
54     DUTs and TGs are running on bare metal.
55
56 .. topic:: VM_ENV
57
58     DUTs and TGs are running in virtual environment.
59
60 .. topic:: VPP_VM_ENV
61
62     DUTs with VPP and capable of running Virtual Machine.
63
64
65 NIC model tags
66 --------------
67
68 .. topic:: NIC_Intel-X520-DA2
69
70     Intel X520-DA2 NIC.
71
72 .. topic:: NIC_Intel-XL710
73
74     Intel XL710 NIC.
75
76 .. topic:: NIC_Intel-X710
77
78     Intel X710 NIC.
79
80 .. topic:: NIC_Cisco-VIC-1227
81
82     VIC-1227 by Cisco.
83
84 .. topic:: NIC_Cisco-VIC-1385
85
86     VIC-1385 by Cisco.
87
88
89 Scaling TAGs
90 ------------
91
92 .. topic:: FIB_20K
93
94     2x10,000 entries in single fib table
95
96 .. topic:: FIB_200K
97
98     2x100,000 entries in single fib table
99
100 .. topic:: FIB_2M
101
102     2x1,000,000 entries in single fib table
103
104
105 Tags marking functional vs. performance of tests
106 ------------------------------------------------
107
108 .. topic:: FUNCTEST
109
110     All functional test cases.
111
112 .. topic:: PERFTEST
113
114     All performance test cases.
115
116
117 Performance testing tags
118 ------------------------
119
120 .. topic:: PDRDISC
121
122     Partial Drop Rate evaluation of single run result, with non-zero packet
123     loss tolerance (LT) expressed in percentage of packets transmitted.
124
125 .. topic:: NDRDISC
126
127     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
128     set to zero lost packets.
129
130 .. topic:: NDRCHK
131
132     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
133     Non Drop Rate) with zero packet loss tolerance.
134
135 .. topic:: NDRPDRDISC
136
137     Find performance of DUT based on RFC2544 with linear / binary / combined
138     search. (Previous LONG tests.)
139
140 Ethernet frame size tags for performance tests
141 ----------------------------------------------
142
143 .. topic:: 64B
144
145     64B frames used for test.
146
147 .. topic:: IMIX
148
149     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
150
151 .. topic:: 1518B
152
153     1518B frames used for test.
154
155 .. topic:: 9000B
156
157     9000B frames used for test.
158
159 Test type tags
160 --------------
161
162 .. topic:: BASE
163
164     Baseline test cases, no encapsulation, no feature(s) configured in tests.
165
166 .. topic:: SCALE
167
168     Scale test cases.
169
170 .. topic:: ENCAP
171
172     Test cases where encapsulation is used. Use also encapsulation tag(s).
173
174 .. topic:: FEATURE
175
176     At least one feature is configured in test cases. Use also feature tag(s).
177
178
179 Forwarding mode tags
180 --------------------
181
182 .. topic:: L2BDMACSTAT
183
184     VPP L2 bridge-domain, L2 MAC static.
185
186 .. topic:: L2BDMACLRN
187
188     VPP L2 bridge-domain, L2 MAC learning.
189
190 .. topic:: L2XCFWD
191
192     VPP L2 point-to-point cross-connect.
193
194 .. topic:: IP4FWD
195
196     VPP IPv4 routed forwarding.
197
198 .. topic:: IP6FWD
199
200     VPP IPv6 routed forwarding.
201
202
203 Underlay tags
204 -------------
205
206 .. topic:: IP4UNRLAY
207
208     IPv4 underlay.
209
210 .. topic:: IP6UNRLAY
211
212     IPv6 underlay.
213
214 .. topic:: MPLSUNRLAY
215
216     MPLS underlay.
217
218
219 Overlay tags
220 ------------
221
222 .. topic:: L2OVRLAY
223
224     L2 overlay.
225
226 .. topic:: IP4OVRLAY
227
228     IPv4 overlay (IPv4 payload).
229
230 .. topic:: IP6OVRLAY
231
232     IPv6 overlay (IPv6 payload).
233
234
235 Encapsulation tags
236 ------------------
237
238 .. topic:: ETH
239
240     All test cases with base Ethernet (no encapsulation).
241
242 .. topic:: DOT1Q
243
244     All test cases with dot1q.
245
246 .. topic:: DOT1AD
247
248     All test cases with dot1ad.
249
250 .. topic:: LISP
251
252     All test cases with LISP.
253
254 .. topic:: LISPGPE
255
256     All test cases with LISP-GPE.
257
258 .. topic:: VXLAN
259
260     All test cases with Vxlan.
261
262 .. topic:: VXLANGPE
263
264     All test cases with VXLAN-GPE.
265
266 .. topic:: GRE
267
268     All test cases with GRE.
269
270 .. topic:: IPSEC
271
272     All test cases with IPSEC.
273
274
275 Interface tags
276 --------------
277
278 .. topic:: PHY
279
280     All test cases which use physical interface(s).
281
282 .. topic:: VHOST
283
284     All test cases which uses VHOST.
285
286 .. topic:: TUNTAP
287
288     All test cases which uses TUN and TAP.
289
290 .. topic:: AFPKT
291
292     All test cases which uses AFPKT.
293
294 .. topic:: NETMAP
295
296     All test cases which uses Netmap.
297
298
299 Feature tags
300 ------------
301
302 .. topic:: IACLDST
303
304     iACL destination.
305
306 .. topic:: COPWHLIST
307
308     COP whitelist.
309
310 .. topic:: SNAT
311
312     SNAT configured and tested.
313
314
315 Encryption tags
316 ---------------
317
318 .. topic:: IPSECSW
319
320     Crypto in software.
321
322 .. topic:: IPSECHW
323
324     Crypto in hardware.
325
326 .. topic:: IPSECTRAN
327
328     IPSec in transport mode.
329
330 .. topic:: IPSECTUN
331
332     IPSec in tunnel mode.
333
334
335 Client-workload tags
336 --------------------
337
338 .. topic:: VM
339
340     All test cases which use at least one virtual machine.
341
342 .. topic:: LXC
343
344     All test cases which use Linux container.
345
346 .. topic:: APP
347
348     All test cases with specific APP use.
349
350
351 Multi-threading tags
352 --------------------
353
354 .. topic:: STHREAD
355
356     All test cases using single poll mode thread.
357
358 .. topic:: MTHREAD
359
360     All test cases using more then one poll mode driver thread.
361
362 .. topic:: 1NUMA
363
364     All test cases with packet processing on single socket.
365
366 .. topic:: 2NUMA
367
368     All test cases with packet processing on two sockets.
369
370 .. topic:: SMT
371
372     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
373
374 .. topic:: NOSMT
375
376     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
377
378 .. topic:: 1T1C
379
380     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
381     interface. Main thread pinned to core 0.
382
383 .. topic:: 2T2C
384
385     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
386     interface. Main thread pinned to core 0.
387
388 .. topic:: 4T4C
389
390     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
391     interface. Main thread pinned to core 0.
392
393 .. topic:: 6T6C
394
395     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
396     interface. Main thread pinned to core 0.
397
398 .. topic:: 8T8C
399
400     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
401     interface. Main thread pinned to core 0.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.