docs/tag_documentation.rst

   1 .. |copy| unicode:: 0xA9 .. copyright sign
   2
   3 | Copyright |copy| 2016 Cisco and/or its affiliates.
   4 | Licensed under the Apache License, Version 2.0 (the "License");
   5 | you may not use this file except in compliance with the License.
   6 | You may obtain a copy of the License at:
   7 |
   8 |     http://www.apache.org/licenses/LICENSE-2.0
   9 |
  10 | Unless required by applicable law or agreed to in writing, software
  11 | distributed under the License is distributed on an "AS IS" BASIS,
  12 | WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13 | See the License for the specific language governing permissions and
  14 | limitations under the License.
  15
  16
  17 .. contents:: Table of Contents
  18     :depth: 2
  19
  20
  21 TAGs and their descriptions
  22 ===========================
  23
  24 Documentation for tags used to select and identify test cases.
  25
  26
  27 Topology TAGs
  28 -------------
  29
  30 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  31
  32     3 nodes connected in a circular topology with two links interconnecting
  33     the devices.
  34
  35 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  36
  37     3 nodes connected in a circular topology with at least one link
  38     interconnecting devices.
  39
  40 Objective TAGs
  41 --------------
  42
  43 .. topic:: SKIP_PATCH
  44
  45     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  46     and csit-vpp-verify jobs (i.e. CSIT patch).
  47
  48
  49 Environment TAGs
  50 ----------------
  51
  52 .. topic:: HW_ENV
  53
  54     DUTs and TGs are running on bare metal.
  55
  56 .. topic:: VM_ENV
  57
  58     DUTs and TGs are running in virtual environment.
  59
  60 .. topic:: VPP_VM_ENV
  61
  62     DUTs with VPP and capable of running Virtual Machine.
  63
  64
  65 NIC model tags
  66 --------------
  67
  68 .. topic:: NIC_Intel-X520-DA2
  69
  70     Intel X520-DA2 NIC.
  71
  72 .. topic:: NIC_Intel-XL710
  73
  74     Intel XL710 NIC.
  75
  76 .. topic:: NIC_Intel-X710
  77
  78     Intel X710 NIC.
  79
  80 .. topic:: NIC_Cisco-VIC-1227
  81
  82     VIC-1227 by Cisco.
  83
  84 .. topic:: NIC_Cisco-VIC-1385
  85
  86     VIC-1385 by Cisco.
  87
  88
  89 Scaling TAGs
  90 ------------
  91
  92 .. topic:: FIB_20K
  93
  94     2x10,000 entries in single fib table
  95
  96 .. topic:: FIB_200K
  97
  98     2x100,000 entries in single fib table
  99
 100 .. topic:: FIB_2M
 101
 102     2x1,000,000 entries in single fib table
 103
 104
 105 Tags marking functional vs. performance of tests
 106 ------------------------------------------------
 107
 108 .. topic:: FUNCTEST
 109
 110     All functional test cases.
 111
 112 .. topic:: PERFTEST
 113
 114     All performance test cases.
 115
 116
 117 Performance testing tags
 118 ------------------------
 119
 120 .. topic:: PDRDISC
 121
 122     Partial Drop Rate evaluation of single run result, with non-zero packet
 123     loss tolerance (LT) expressed in percentage of packets transmitted.
 124
 125 .. topic:: NDRDISC
 126
 127     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 128     set to zero lost packets.
 129
 130 .. topic:: NDRCHK
 131
 132     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 133     Non Drop Rate) with zero packet loss tolerance.
 134
 135 .. topic:: NDRPDRDISC
 136
 137     Find performance of DUT based on RFC2544 with linear / binary / combined
 138     search. (Previous LONG tests.)
 139
 140 Ethernet frame size tags for performance tests
 141 ----------------------------------------------
 142
 143 .. topic:: 64B
 144
 145     64B frames used for test.
 146
 147 .. topic:: 78B
 148
 149     78B frames used for test.
 150
 151 .. topic:: IMIX
 152
 153     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 154
 155 .. topic:: 1460B
 156
 157     1460B frames used for test.
 158
 159 .. topic:: 1480B
 160
 161     1480B frames used for test.
 162
 163 .. topic:: 1514B
 164
 165     1514B frames used for test.
 166
 167 .. topic:: 1518B
 168
 169     1518B frames used for test.
 170
 171 .. topic:: 9000B
 172
 173     9000B frames used for test.
 174
 175 Test type tags
 176 --------------
 177
 178 .. topic:: BASE
 179
 180     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 181
 182 .. topic:: SCALE
 183
 184     Scale test cases.
 185
 186 .. topic:: ENCAP
 187
 188     Test cases where encapsulation is used. Use also encapsulation tag(s).
 189
 190 .. topic:: FEATURE
 191
 192     At least one feature is configured in test cases. Use also feature tag(s).
 193
 194
 195 Forwarding mode tags
 196 --------------------
 197
 198 .. topic:: L2BDMACSTAT
 199
 200     VPP L2 bridge-domain, L2 MAC static.
 201
 202 .. topic:: L2BDMACLRN
 203
 204     VPP L2 bridge-domain, L2 MAC learning.
 205
 206 .. topic:: L2XCFWD
 207
 208     VPP L2 point-to-point cross-connect.
 209
 210 .. topic:: IP4FWD
 211
 212     VPP IPv4 routed forwarding.
 213
 214 .. topic:: IP6FWD
 215
 216     VPP IPv6 routed forwarding.
 217
 218
 219 Underlay tags
 220 -------------
 221
 222 .. topic:: IP4UNRLAY
 223
 224     IPv4 underlay.
 225
 226 .. topic:: IP6UNRLAY
 227
 228     IPv6 underlay.
 229
 230 .. topic:: MPLSUNRLAY
 231
 232     MPLS underlay.
 233
 234
 235 Overlay tags
 236 ------------
 237
 238 .. topic:: L2OVRLAY
 239
 240     L2 overlay.
 241
 242 .. topic:: IP4OVRLAY
 243
 244     IPv4 overlay (IPv4 payload).
 245
 246 .. topic:: IP6OVRLAY
 247
 248     IPv6 overlay (IPv6 payload).
 249
 250
 251 Encapsulation tags
 252 ------------------
 253
 254 .. topic:: ETH
 255
 256     All test cases with base Ethernet (no encapsulation).
 257
 258 .. topic:: DOT1Q
 259
 260     All test cases with dot1q.
 261
 262 .. topic:: DOT1AD
 263
 264     All test cases with dot1ad.
 265
 266 .. topic:: LISP
 267
 268     All test cases with LISP.
 269
 270 .. topic:: LISPGPE
 271
 272     All test cases with LISP-GPE.
 273
 274 .. topic:: VXLAN
 275
 276     All test cases with Vxlan.
 277
 278 .. topic:: VXLANGPE
 279
 280     All test cases with VXLAN-GPE.
 281
 282 .. topic:: GRE
 283
 284     All test cases with GRE.
 285
 286 .. topic:: IPSEC
 287
 288     All test cases with IPSEC.
 289
 290
 291 Interface tags
 292 --------------
 293
 294 .. topic:: PHY
 295
 296     All test cases which use physical interface(s).
 297
 298 .. topic:: VHOST
 299
 300     All test cases which uses VHOST.
 301
 302 .. topic:: TUNTAP
 303
 304     All test cases which uses TUN and TAP.
 305
 306 .. topic:: AFPKT
 307
 308     All test cases which uses AFPKT.
 309
 310 .. topic:: NETMAP
 311
 312     All test cases which uses Netmap.
 313
 314
 315 Feature tags
 316 ------------
 317
 318 .. topic:: IACLDST
 319
 320     iACL destination.
 321
 322 .. topic:: COPWHLIST
 323
 324     COP whitelist.
 325
 326 .. topic:: SNAT
 327
 328     SNAT configured and tested.
 329
 330
 331 Encryption tags
 332 ---------------
 333
 334 .. topic:: IPSECSW
 335
 336     Crypto in software.
 337
 338 .. topic:: IPSECHW
 339
 340     Crypto in hardware.
 341
 342 .. topic:: IPSECTRAN
 343
 344     IPSec in transport mode.
 345
 346 .. topic:: IPSECTUN
 347
 348     IPSec in tunnel mode.
 349
 350
 351 Client-workload tags
 352 --------------------
 353
 354 .. topic:: VM
 355
 356     All test cases which use at least one virtual machine.
 357
 358 .. topic:: LXC
 359
 360     All test cases which use Linux container.
 361
 362 .. topic:: APP
 363
 364     All test cases with specific APP use.
 365
 366
 367 Multi-threading tags
 368 --------------------
 369
 370 .. topic:: STHREAD
 371
 372     All test cases using single poll mode thread.
 373
 374 .. topic:: MTHREAD
 375
 376     All test cases using more then one poll mode driver thread.
 377
 378 .. topic:: 1NUMA
 379
 380     All test cases with packet processing on single socket.
 381
 382 .. topic:: 2NUMA
 383
 384     All test cases with packet processing on two sockets.
 385
 386 .. topic:: SMT
 387
 388     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 389
 390 .. topic:: NOSMT
 391
 392     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 393
 394 .. topic:: 1T1C
 395
 396     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 397     interface. Main thread pinned to core 0.
 398
 399 .. topic:: 2T2C
 400
 401     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 402     interface. Main thread pinned to core 0.
 403
 404 .. topic:: 4T4C
 405
 406     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 407     interface. Main thread pinned to core 0.
 408
 409 .. topic:: 6T6C
 410
 411     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 412     interface. Main thread pinned to core 0.
 413
 414 .. topic:: 8T8C
 415
 416     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 417     interface. Main thread pinned to core 0.