docs/tag_documentation.rst

   1 # Copyright (c) 2016 Cisco and/or its affiliates.
   2 # Licensed under the Apache License, Version 2.0 (the "License");
   3 # you may not use this file except in compliance with the License.
   4 # You may obtain a copy of the License at:
   5 #
   6 #     http://www.apache.org/licenses/LICENSE-2.0
   7 #
   8 # Unless required by applicable law or agreed to in writing, software
   9 # distributed under the License is distributed on an "AS IS" BASIS,
  10 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11 # See the License for the specific language governing permissions and
  12 # limitations under the License.
  13
  14 Documentation for tags used to select and identify test cases.
  15
  16 List of TAGs and their descriptions
  17 ===================================
  18
  19 Topology TAGs
  20 -------------
  21
  22 3_NODE_DOUBLE_LINK_TOPO
  23     3 nodes connected in a circular topology with two links interconnecting
  24     the devices.
  25
  26 3_NODE_SINGLE_LINK_TOPO
  27     3 nodes connected in a circular topology with at least one link
  28     interconnecting devices.
  29
  30 Objective TAGs
  31 --------------
  32
  33 SKIP_PATCH
  34     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  35     and csit-vpp-verify jobs (i.e. CSIT patch).
  36
  37 Environment TAGs
  38 ----------------
  39
  40 HW_ENV
  41     DUTs and TGs are running on bare metal.
  42
  43 VM_ENV
  44     DUTs and TGs are running in virtual environment.
  45
  46 VPP_VM_ENV
  47     DUTs with VPP and capable of running Virtual Machine.
  48
  49 DUT Setup TAGs
  50 --------------
  51
  52 1_THREAD_NOHTT_RSS_1
  53     1 worker thread pinned to dedicated core without use of Hyper-threading
  54     technology with 1 thread per interface. Main thread pinned to core 0.
  55
  56 2_THREAD_NOHTT_RSS_1
  57     2 worker threads each pinned to dedicated core without use of Hyper-threading
  58     technology with 1 thread per interface. Main thread pinned to core 0.
  59
  60 4_THREAD_NOHTT_RSS_2
  61     4 worker threads each pinned to dedicated core without use of Hyper-threading
  62     technology with 2 threads per interface. Main thread pinned to core 0.
  63
  64 6_THREAD_NOHTT_RSS_3
  65     6 worker threads each pinned to dedicated core without use of Hyper-threading
  66     technology with 3 threads per interface. Main thread pinned to core 0.
  67
  68 8_THREAD_HTT_RSS_4
  69     8 worker threads each pinned to dedicated core without use of Hyper-threading
  70     technology with 4 threads per interface. Main thread pinned to core 0.
  71
  72 SINGLE_THREAD
  73     All single threaded test cases.
  74
  75 MULTI_THREAD
  76     All test cases with more then one thread.
  77
  78 Performance testing TAGs
  79 ------------------------
  80
  81 PERFTEST
  82     All performance test cases.
  83
  84 PERFTEST_SHORT
  85     Performance of DUT should pass specific value. Each test case run is
  86     executed for 10 seconds.
  87
  88 PERFTEST_LONG
  89     Find performance of DUT based on RFC2544 with linear/binary/combined
  90     search. Each test case run is executed for 60 seconds.
  91
  92 PDR
  93     Partial Drop Rate evaluation of single run result. Loss acceptance of
  94     dropped packets from number of sent packet is set as variable in frames or
  95     percentage.
  96
  97 NDR
  98     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
  99     set to zero lost packets.