docs/tag_documentation.rst

   1 # Copyright (c) 2016 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 Documentation for tags used to select and identify test cases.
  15
  16 List of TAGs and their descriptions
  17 ===================================
  18
  19 Topology TAGs
  20 -------------
  21
  22 3_NODE_DOUBLE_LINK_TOPO
  23     3 nodes connected in a circular topology with two links interconnecting
  24     the devices.
  25
  26 3_NODE_SINGLE_LINK_TOPO
  27     3 nodes connected in a circular topology with at least one link
  28     interconnecting devices.
  29
  30 Objective TAGs
  31 --------------
  32
  33 SKIP_PATCH
  34     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  35     and csit-vpp-verify jobs (i.e. CSIT patch).
  36
  37 Environment TAGs
  38 ----------------
  39
  40 HW_ENV
  41     DUTs and TGs are running on bare metal.
  42
  43 VM_ENV
  44     DUTs and TGs are running in virtual environment.
  45
  46 VPP_VM_ENV
  47     DUTs with VPP and capable of running Virtual Machine.
  48
  49 DUT Setup TAGs
  50 --------------
  51
  52 1_THREAD_NOHTT_RSS_1
  53     1 worker thread pinned to dedicated core without use of Hyper-threading
  54     technology with 1 thread per interface. Main thread pinned to core 0.
  55
  56 2_THREAD_NOHTT_RSS_1
  57     2 worker threads each pinned to dedicated core without use of Hyper-threading
  58     technology with 1 thread per interface. Main thread pinned to core 0.
  59
  60 4_THREAD_NOHTT_RSS_2
  61     4 worker threads each pinned to dedicated core without use of Hyper-threading
  62     technology with 2 threads per interface. Main thread pinned to core 0.
  63
  64 6_THREAD_NOHTT_RSS_3
  65     6 worker threads each pinned to dedicated core without use of Hyper-threading
  66     technology with 3 threads per interface. Main thread pinned to core 0.
  67
  68 8_THREAD_HTT_RSS_4
  69     8 worker threads each pinned to dedicated core without use of Hyper-threading
  70     technology with 4 threads per interface. Main thread pinned to core 0.
  71
  72 SINGLE_THREAD
  73     All single threaded test cases.
  74
  75 MULTI_THREAD
  76     All test cases with more then one thread.
  77
  78 Performance testing TAGs
  79 ------------------------
  80
  81 PERFTEST
  82     All performance test cases.
  83
  84 PERFTEST_VHOST
  85     All performance test cases that include testing of VHOST with VM.
  86
  87 PERFTEST_SHORT
  88     Performance of DUT should pass specific value. Each test case run is
  89     executed for 10 seconds.
  90
  91 PERFTEST_LONG
  92     Find performance of DUT based on RFC2544 with linear/binary/combined
  93     search. Each test case run is executed for 60 seconds.
  94
  95 PDR
  96     Partial Drop Rate evaluation of single run result. Loss acceptance of
  97     dropped packets from number of sent packet is set as variable in frames or
  98     percentage.
  99
 100 NDR
 101     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 102     set to zero lost packets.
 103
 104 Scaling TAGs
 105 ------------
 106
 107 FIB_20K
 108     2x10,000 entries in single fib table
 109
 110 FIB_200K
 111     2x100,000 entries in single fib table
 112
 113 FIB_2M
 114     2x1,000,000 entries in single fib table
 115
 116 LISP TAGs
 117 ---------
 118 LISP_IPv4
 119     Test Lisp in IPv4 topology
 120
 121 LISP_IPv6
 122     Test Lisp in IPv6 topology
 123
 124 LISP_IPv4oIPv6
 125     Test IPv4 over IPv6 topology
 126
 127 LISP_IPv6oIPv4
 128     Test IPv6 over IPv4 topology