docs/report/introduction/test_environment_intro.rst

   1 Test Environment
   2 ================
   3
   4 Environment Versioning
   5 ----------------------
   6
   7 In order to determine any benchmark anomalies (progressions,
   8 regressions) between releases of a specific data-plane DUT application
   9 (e.g. VPP, DPDK), the DUT needs to be tested in the same test
  10 environment, to avoid test environment changes impacting the results and
  11 clouding the picture.
  12
  13 In order to enable test system evolution, a mirror scheme is required to
  14 determine benchmarking anomalies between releases of specific test
  15 system like CSIT. This is achieved by testing the same DUT application
  16 version between releases of CSIT test system.
  17
  18 CSIT test environment versioning scheme ensures integrity of all the
  19 test system components, including their HW revisions, compiled SW code
  20 versions and SW source code, within a specific CSIT version. Components
  21 included in the CSIT environment versioning include:
  22
  23 - Server hosts hardware firmware and BIOS (motherboard, processsor,
  24   NIC(s), accelerator card(s)).
  25 - Server host Linux operating system versions.
  26 - Server host Linux configuration.
  27 - TRex Traffic Generator version, drivers and configuration.
  28 - CSIT framework code.
  29
  30 Following is the list of CSIT versions to date:
  31
  32 - Ver. 1 associated with CSIT rls1908 git branch as of 2019-08-21.
  33 - Ver. 2 associated with CSIT rls2001 git branch as of 2020-03-27.
  34 - Ver. 3 interim associated with master branch as of 2020-xx-xx.
  35 - Ver. 4 associated with CSIT rls2005 git branch as of 2020-06-24.
  36
  37 To identify performance changes due to VPP code changes from v20.01.0 to
  38 v20.05.0, both have been tested in CSIT environment ver. 4 and compared
  39 against each other. All substantial progressions has been marked up with
  40 RCA analysis. See Current vs Previous Release and Known Issues.
  41
  42 CSIT environment ver. 4 has been evaluated against the ver. 2 by
  43 benchmarking VPP v20.01.0 in both environment versions.
  44
  45 Physical Testbeds
  46 -----------------
  47
  48 FD.io CSIT performance tests are executed in physical testbeds hosted by
  49 :abbr:`LF (Linux Foundation)` for FD.io project. Two physical testbed
  50 topology types are used:
  51
  52 - **3-Node Topology**: Consisting of two servers acting as SUTs
  53   (Systems Under Test) and one server as TG (Traffic Generator), all
  54   connected in ring topology.
  55 - **2-Node Topology**: Consisting of one server acting as SUTs and one
  56   server as TG both connected in ring topology.
  57
  58 Tested SUT servers are based on a range of processors including Intel
  59 Xeon Haswell-SP, Intel Xeon Skylake-SP, Intel Xeon Cascade Lake-SP, Arm,
  60 Intel Atom. More detailed description is provided in
  61 :ref:`tested_physical_topologies`. Tested logical topologies are
  62 described in :ref:`tested_logical_topologies`.
  63
  64 Server Specifications
  65 ---------------------
  66
  67 Complete technical specifications of compute servers used in CSIT
  68 physical testbeds are maintained in FD.io CSIT repository:
  69 `FD.io CSIT testbeds - Xeon Cascade Lake`_,
  70 `FD.io CSIT testbeds - Xeon Skylake, Arm, Atom`_ and
  71 `FD.io CSIT Testbeds - Xeon Haswell`_.