docs/tag_documentation.rst

   1 .. |copy| unicode:: 0xA9 .. copyright sign
   2
   3 | Copyright |copy| 2016 Cisco and/or its affiliates.
   4 | Licensed under the Apache License, Version 2.0 (the "License");
   5 | you may not use this file except in compliance with the License.
   6 | You may obtain a copy of the License at:
   7 |
   8 |     http://www.apache.org/licenses/LICENSE-2.0
   9 |
  10 | Unless required by applicable law or agreed to in writing, software
  11 | distributed under the License is distributed on an "AS IS" BASIS,
  12 | WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13 | See the License for the specific language governing permissions and
  14 | limitations under the License.
  15
  16
  17 .. contents:: Table of Contents
  18    :depth: 2
  19
  20
  21 TAGs and their descriptions
  22 ===========================
  23
  24 Documentation for tags used to select and identify test cases.
  25
  26
  27 Topology TAGs
  28 -------------
  29
  30 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  31
  32     3 nodes connected in a circular topology with two links interconnecting
  33     the devices.
  34
  35 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  36
  37     3 nodes connected in a circular topology with at least one link
  38     interconnecting devices.
  39
  40 Objective TAGs
  41 --------------
  42
  43 .. topic:: SKIP_PATCH
  44
  45     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  46     and csit-vpp-verify jobs (i.e. CSIT patch).
  47
  48
  49 Environment TAGs
  50 ----------------
  51
  52 .. topic:: HW_ENV
  53
  54     DUTs and TGs are running on bare metal.
  55
  56 .. topic:: VM_ENV
  57
  58     DUTs and TGs are running in virtual environment.
  59
  60 .. topic:: VPP_VM_ENV
  61
  62     DUTs with VPP and capable of running Virtual Machine.
  63
  64
  65 Scaling TAGs
  66 ------------
  67
  68 .. topic:: FIB_20K
  69
  70     2x10,000 entries in single fib table
  71
  72 .. topic:: FIB_200K
  73
  74     2x100,000 entries in single fib table
  75
  76 .. topic:: FIB_2M
  77
  78     2x1,000,000 entries in single fib table
  79
  80
  81 Tags marking the kinds of tags
  82 ------------------------------
  83
  84 .. topic:: FUNCTEST
  85
  86     All functional test cases.
  87
  88 .. topic:: PERFTEST
  89
  90     All performance test cases.
  91
  92
  93 Performance testing tags
  94 ------------------------
  95
  96 .. topic:: PDRDISC
  97
  98     Partial Drop Rate evaluation of single run result, with non-zero packet
  99     loss tolerance (LT) expressed in percentage of packets transmitted.
 100
 101 .. topic:: NDRDISC
 102
 103     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 104     set to zero lost packets.
 105
 106 .. topic:: NDRCHK
 107
 108     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 109     Non Drop Rate) with zero packet loss tolerance.
 110
 111 .. topic:: NDRPDRDISC
 112
 113     Find performance of DUT based on RFC2544 with linear / binary / combined
 114     search. (Previous LONG tests.)
 115
 116
 117 Test type tags
 118 --------------
 119
 120 .. topic:: BASE
 121
 122     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 123
 124 .. topic:: SCALE
 125
 126     Scale test cases.
 127
 128 .. topic:: ENCAP
 129
 130     Test cases where encapsulation is used. Use also encapsulation tag(s).
 131
 132 .. topic:: FEATURE
 133
 134     At least one feature is configured in test cases. Use also feature tag(s).
 135
 136
 137 Forwarding mode tags
 138 --------------------
 139
 140 .. topic:: L2BDMACSTAT
 141
 142     VPP L2 bridge-domain, L2 MAC static.
 143
 144 .. topic:: L2BDMACLRN
 145
 146     VPP L2 bridge-domain, L2 MAC learning.
 147
 148 .. topic:: L2XCFWD
 149
 150     VPP L2 point-to-point cross-connect.
 151
 152 .. topic:: IP4FWD
 153
 154     VPP IPv4 routed forwarding.
 155
 156 .. topic:: IP6FWD
 157
 158     VPP IPv6 routed forwarding.
 159
 160
 161 Underlay tags
 162 ----------
 163
 164 .. topic:: IP4UNRLAY
 165
 166     IPv4 underlay.
 167
 168 .. topic:: IP6UNRLAY
 169
 170     IPv6 underlay.
 171
 172 .. topic:: MPLSUNRLAY
 173
 174     MPLS underlay.
 175
 176
 177 Overlay tags
 178 ----------
 179
 180 .. topic:: L2OVRLAY
 181
 182     L2 overlay.
 183
 184 .. topic:: IP4OVRLAY
 185
 186     IPv4 overlay (IPv4 payload).
 187
 188 .. topic:: IP6OVRLAY
 189
 190     IPv6 overlay (IPv6 payload).
 191
 192
 193 Encapsulation tags
 194 ------------------
 195
 196 .. topic:: ETH
 197
 198     All test cases with base Ethernet (no encapsulation).
 199
 200 .. topic:: DOT1Q
 201
 202     All test cases with dot1q.
 203
 204 .. topic:: DOT1AD
 205
 206     All test cases with dot1ad.
 207
 208 .. topic:: LISP
 209
 210     All test cases with LISP.
 211
 212 .. topic:: LISPGPE
 213
 214     All test cases with LISP-GPE.
 215
 216 .. topic:: VXLAN
 217
 218     All test cases with Vxlan.
 219
 220 .. topic:: VXLANGPE
 221
 222     All test cases with VXLAN-GPE.
 223
 224 .. topic:: GRE
 225
 226     All test cases with GRE.
 227
 228
 229 Interface tags
 230 --------------
 231
 232 .. topic:: PHY
 233
 234     All test cases which use physical interface(s).
 235
 236 .. topic:: VHOST
 237
 238     All test cases which uses VHOST.
 239
 240 .. topic:: TUNTAP
 241
 242     All test cases which uses TUN and TAP.
 243
 244 .. topic:: AFPKT
 245
 246     All test cases which uses AFPKT.
 247
 248 .. topic:: NETMAP
 249
 250     All test cases which uses Netmap.
 251
 252
 253 Feature tags
 254 ------------
 255
 256 .. topic:: IACLDST
 257
 258     iACL destination.
 259
 260 .. topic:: COPWHLIST
 261
 262     COP whitelist.
 263
 264
 265 Client-workload tags
 266 --------------------
 267
 268 .. topic:: VM
 269
 270     All test cases which use at least one virtual machine.
 271
 272 .. topic:: LXC
 273
 274     All test cases which use Linux container.
 275
 276 .. topic:: APP
 277
 278     All test cases with specific APP use.
 279
 280
 281 Multi-threading tags
 282 --------------------
 283
 284 .. topic:: STHREAD
 285
 286     All test cases using single poll mode thread.
 287
 288 .. topic:: MTHREAD
 289
 290     All test cases using more then one poll mode driver thread.
 291
 292 .. topic:: 1NUMA
 293
 294     All test cases with packet processing on single socket.
 295
 296 .. topic:: 2NUMA
 297
 298     All test cases with packet processing on two sockets.
 299
 300 .. topic:: SMT
 301
 302     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 303
 304 .. topic:: NOSMT
 305
 306     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 307
 308 .. topic:: 1T1C
 309
 310     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 311     interface. Main thread pinned to core 0.
 312
 313 .. topic:: 2T2C
 314
 315     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 316     interface. Main thread pinned to core 0.
 317
 318 .. topic:: 4T4C
 319
 320     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 321     interface. Main thread pinned to core 0.
 322
 323 .. topic:: 6T6C
 324
 325     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 326     interface. Main thread pinned to core 0.
 327
 328 .. topic:: 8T8C
 329
 330     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 331     interface. Main thread pinned to core 0.