docs/report/introduction/overview.rst

   1 Overview
   2 ========
   3
   4 This is the **F**\ast **D**\ata **I**/**O** Project (**FD.io**) **C**\ontinuous
   5 **S**\ystem **I**\ntegration and **T**\esting (**CSIT**) project report for CSIT
   6 |release| system testing of |vpp-release|.
   7
   8 The report describes CSIT functional and performance tests and their
   9 continuous execution delivered in CSIT |release|. A high-level overview is
  10 provided for each CSIT test environment running in Linux Foundation (LF) FD.io
  11 Continuous Performance Labs. This is followed by summary of all executed tests
  12 against the |vpp-release| and associated FD.io projects and sub-systems
  13 (Honeycomb, DPDK, NSH_SFC), CSIT |release| release notes, result highlights and
  14 known issues discovered in CSIT. More detailed description of each environment,
  15 pointers to CSIT test code documentation and detailed test resuls with links to
  16 the source data files are also provided.
  17
  18 CSIT |release| report contains following main sections and sub-sections:
  19
  20 #. **Introduction** - general introduction to CSIT project; *Overview* -
  21    this section; *CSIT Test Naming* - CSIT general naming convention for test
  22    suites and test cases, important to recognize the high-level test content
  23    and interpret reported results; *General Notes* - general notes related to
  24    this report.
  25
  26 #. **VPP Performance Tests** - VPP performance tests executed in physical
  27    FD.io testbeds; *Overview* - tested topologies, test coverage and naming
  28    specifics, methodology for multi-core, packet throughput and latency, and
  29    KVM VM vhost tests; *CSIT Release Notes* - changes in CSIT |release|, added
  30    tests, performance changes, environment or methodology changes, known CSIT
  31    issues; *Packet Throughput Graphs* and *Packet Latency
  32    Graphs* - plotted NDR, PDR throughput and latency results from multiple
  33    test job executions; *Test Environment* - environment description;
  34    *Documentation* - CSIT source code documentation for VPP performance tests.
  35
  36 #. **DPDK Performance Tests** - DPDK performance tests executed in
  37    physical FD.io testbeds; *Overview* - tested topologies, test coverage;
  38    *CSIT Release Notes* - changes in CSIT |release|, any known CSIT issues;
  39    *Packet Throughput Graphs* and *Packet Latency Graphs*
  40    - plotted NDR, PDR throughput and latency results from multiple test job
  41    executions; *Test Environment* - environment description; *Documentation* -
  42    CSIT source code documentation for DPDK performance tests.
  43
  44 #. **VPP Functional Tests** - VPP functional tests executed in virtual
  45    FD.io testbeds; *Overview* - tested virtual topologies, test coverage and
  46    naming specifics; *CSIT Release Notes* - changes in CSIT |release|, added
  47    tests, environment or methodology changes, known CSIT issues, tests to be
  48    added; *Test Environment* - environment description ; *Documentation* -
  49    source code documentation for VPP functional tests.
  50
  51 #. **Honeycomb Functional Tests** - Honeycomb functional tests executed in
  52    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
  53    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
  54    |release|, added tests, environment or methodology changes, known CSIT issues;
  55    *Test Environment* - environment description ;
  56    *Documentation* - source code documentation for Honeycomb functional tests.
  57
  58 #. **Honeycomb Performance Tests** - Honeycomb performance tests executed in
  59    physical FD.io testbeds; *Overview* - tested topologies, test
  60    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
  61    |release|, added tests, environment or methodology changes, known CSIT issues;
  62    *Test Environment* - environment description ;
  63    *Documentation* - source code documentation for Honeycomb performance tests.
  64
  65 #. **VPP Unit Tests** - refers to VPP functional unit tests executed as
  66    part of vpp make test verify option within the FD.io VPP project; listed in
  67    this report to give a more complete view about executed VPP functional tests;
  68    *Overview* - short overview of unit test framework and executed tests;
  69    *Documentation* - source code documentation of VPP unit tests.
  70
  71 #. **NSH_SFC Functional Tests** - NSH_SFC functional tests executed in
  72    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
  73    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
  74    |release|, added tests, environment or methodology changes, known CSIT issues;
  75    *Test Environment* - environment description ;
  76    *Documentation* - source code documentation for NSH_SFC functional tests.
  77
  78 #. **Detailed Test Results** - auto-generated results from CSIT jobs
  79    executions using CSIT Robot Framework output files as source data; *VPP
  80    Performance Results*, *DPDK Performance Results*, *VPP Functional
  81    Results*, *Honeycomb Functional Results*, *VPPtest Functional Results*.
  82
  83 #. **Test Configuration** - auto-generated DUT configuration data from CSIT jobs
  84    executions using CSIT Robot Framework output files as source data; *VPP
  85    Performance Test Configs*, *VPP Functional Test Configs*.
  86
  87 #. **Test Operational Data** - auto-generated DUT operational data from CSIT jobs
  88    executions using CSIT Robot Framework output files as source data; *VPP
  89    Performance Operational Data*.