docs/report/introduction/general_notes.rst

   1 General Notes
   2 =============
   3
   4 All CSIT test results listed in this report are sourced and auto-generated
   5 from output.xml Robot Framework (RF) files resulting from LF FD.io Jenkins
   6 jobs execution against |vpp-release| release artifacts. References are
   7 provided to the original LF FD.io Jenkins job results. However, as LF FD.io
   8 Jenkins infrastructure does not automatically archive all jobs (history record
   9 is provided for the last 30 days or 40 jobs only), additional references are
  10 provided to the RF result files that got archived in FD.io nexus online
  11 storage system.
  12
  13 FD.io CSIT project currently covers multiple FD.io system and sub-system
  14 testing areas and this is  reflected in this report, where each testing area
  15 is listed separately, as follows:
  16
  17 #. **VPP Performance Tests** - VPP performance tests are executed in physical
  18    FD.io testbeds, focusing on VPP network data plane performance at this stage,
  19    both for Phy-to-Phy (NIC-to-NIC) and Phy-to-VM-to-Phy (NIC-to-VM-to-NIC)
  20    forwarding topologies. Tested across a range of NICs, 10GE and 40GE
  21    interfaces, range of multi-thread and multi-core configurations. VPP
  22    application runs in host user- mode. TRex is used as a traffic generator.
  23
  24 #. **DPDK Performance Tests** - VPP is using DPDK code to control and drive
  25    the NICs and physical interfaces. Testpmd tests are used as a baseline to
  26    profile the DPDK sub-system of VPP. DPDK performance tests executed in
  27    physical FD.io testbeds, focusing on Testpmd/L3FWD data plane performance for
  28    Phy-to-Phy (NIC-to-NIC). Tests cover a range of NICs, 10GE and 40GE
  29    interfaces, range of multi-thread and multi-core configurations.
  30    Testpmd/L3FWD application runs in host user-mode. TRex is used as a traffic
  31    generator.
  32
  33 #. **VPP Functional Tests** - VPP functional tests are executed in virtual
  34    FD.io testbeds focusing on VPP packet processing functionality, including
  35    network data plane and in -line control plane. Tests cover vNIC-to-vNIC
  36    vNIC-to-VM-to-vNIC forwarding topologies. Scapy is used as a traffic
  37    generator.
  38
  39 #. **Honeycomb Functional Tests** - Honeycomb functional tests are executed in
  40    virtual FD.io testbeds, focusing on Honeycomb management and programming
  41    functionality of VPP. Tests cover a range of CRUD operations executed
  42    against VPP.
  43
  44 #. **Honeycomb Performance Tests** - Honeycomb performance tests are executed in
  45    physical FD.io testbeds, focusing on the performance of Honeycomb management and programming
  46    functionality of VPP. Tests cover a range of CRUD operations executed
  47    against VPP.
  48
  49 #. **NSH_SFC Functional Tests** - NSH_SFC functional tests are executed in
  50    virtual FD.io testbeds focusing on NSH_SFC of VPP. Tests cover a range of
  51    CRUD operations executed against VPP.
  52
  53 In addition to above, CSIT |release| report does also include VPP unit test
  54 results. VPP unit tests are developed within the FD.io VPP project and as they
  55 complement CSIT system functional tests, they are provided mainly as a reference
  56 and to provide a more complete view of automated testing executed against
  57 |vpp-release|.
  58
  59 FD.io CSIT system is developed using two main coding platforms: Robot
  60 Framework (RF) and Python. CSIT |release| source code for the executed test
  61 suites is available in CSIT branch |release| in the directory
  62 "./tests/<name_of_the_test_suite>". A local copy of CSIT source code can be
  63 obtained by cloning CSIT git repository - "git clone
  64 https://gerrit.fd.io/r/csit". The CSIT testing virtual environment can be run
  65 on a local computer workstation (laptop, server) using Vagrant by following
  66 the instructions in `CSIT tutorials
  67 <https://wiki.fd.io/view/CSIT#Tutorials>`_.