docs/report/introduction/overview.rst

   1 Overview
   2 ========
   3
   4 This is the **F**\ast **D**\ata **I**/**O** Project (**FD.io**) **C**\ontinuous
   5 **S**\ystem **I**\ntegration and **T**\esting (**CSIT**) project report for
   6 |csit-release| system testing of |vpp-release|.
   7
   8 This is the full html version, there is also a reduced
   9 `PDF version of this report`_.
  10
  11 The report describes CSIT functional and performance tests and their
  12 continuous execution delivered in |csit-release|. A high-level overview is
  13 provided for each CSIT test environment running in :abbr:`LF (Linux Foundation)`
  14 FD.io Continuous Performance Labs. This is followed by summary of all executed
  15 tests against the |vpp-release| and associated FD.io projects and sub-systems
  16 (Honeycomb, DPDK, NSH_SFC), |csit-release| release notes, result highlights and
  17 known issues discovered in CSIT. More detailed description of each environment,
  18 pointers to CSIT test code documentation and detailed test resuls with links to
  19 the source data files are also provided.
  20
  21 |csit-release| report contains following main sections and sub-sections:
  22
  23 #. **Introduction** - general introduction to CSIT project; *Overview* -
  24    this section; *General Notes* - general notes related to this report;
  25    *Physical Testbeds* - Description of physical testbeds used in CSIT;
  26    *Performance Test Methodology* - Methodologies used in CSIT.
  27
  28 #. **VPP Performance** - VPP performance tests executed in physical
  29    FD.io testbeds; *Overview* - tested topologies, test coverage and naming
  30    specifics, methodology for multi-core, packet throughput and latency, and
  31    KVM VM vhost tests; *CSIT Release Notes* - changes in |csit-release|, added
  32    tests, performance changes, environment or methodology changes, known CSIT
  33    issues; *Packet Throughput Graphs* and *Packet Latency
  34    Graphs* - plotted NDR, PDR throughput and latency results from multiple
  35    test job executions; *Throughput Speedup Multi-Core* - plotted core
  36    configuration speedup comparision; *Test Environment* - environment
  37    description; *VPP HTTP Server Performance Results* - plotted HTTP Server
  38    performance; *Documentation* - CSIT source code documentation for VPP
  39    performance tests.
  40
  41 #. **DPDK Performance** - DPDK performance tests executed in
  42    physical FD.io testbeds; *Overview* - tested topologies, test coverage;
  43    *CSIT Release Notes* - changes in |csit-release|, any known CSIT issues;
  44    *Packet Throughput Graphs* and *Packet Latency Graphs*
  45    - plotted NDR, PDR throughput and latency results from multiple test job
  46    executions; *Test Environment* - environment description; *Documentation* -
  47    CSIT source code documentation for DPDK performance tests.
  48
  49 #. **VPP Functional** - VPP functional tests executed in virtual
  50    FD.io testbeds; *Overview* - tested virtual topologies, test coverage and
  51    naming specifics; *CSIT Release Notes* - changes in |csit-release|, added
  52    tests, environment or methodology changes, known CSIT issues, tests to be
  53    added; *Test Environment* - environment description ; *Documentation* -
  54    source code documentation for VPP functional tests.
  55
  56 #. **Honeycomb Functional** - Honeycomb functional tests executed in
  57    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
  58    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
  59    |release|, added tests, environment or methodology changes, known CSIT issues;
  60    *Test Environment* - environment description;
  61    *Documentation* - source code documentation for Honeycomb functional tests.
  62
  63 #. **NSH_SFC Functional** - NSH_SFC functional tests executed in
  64    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
  65    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
  66    |release|, added tests, environment or methodology changes, known CSIT issues;
  67    *Test Environment* - environment description;
  68    *Documentation* - source code documentation for NSH_SFC functional tests.
  69
  70 #. **DMM Functional** - DMM functional tests executed in
  71    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
  72    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
  73    |release|, added tests, environment or methodology changes, known CSIT issues;
  74    *Test Environment* - environment description;
  75    *Documentation* - source code documentation for DMM functional tests.
  76
  77 #. **Detailed Results** - auto-generated results from CSIT jobs
  78    executions using CSIT Robot Framework output files as source data; *VPP
  79    Performance Results*, *DPDK Performance Results*, *VPP Functional
  80    Results*, *Honeycomb Functional Results*, *VPPtest Functional Results*.
  81
  82 #. **Test Configuration** - auto-generated DUT configuration data from CSIT jobs
  83    executions using CSIT Robot Framework output files as source data; *VPP
  84    Performance Test Configs*, *VPP Functional Test Configs*.
  85
  86 #. **Test Operational Data** - auto-generated DUT operational data from CSIT jobs
  87    executions using CSIT Robot Framework output files as source data; *VPP
  88    Performance Operational Data*.
  89
  90 #. **CSIT Framework Documentation** - description of the overall CSIT
  91    framework design hierarchy, CSIT test naming convention, followed by
  92    description of Presentation and Analytics Layer (PAL) introduced in
  93    CSIT-17.07 and description of CSIT RF Tags.