rls1807 report: fixing cross-references to tested_logical_ and tested_physical_topolo...
[csit.git] / docs / report / introduction / overview.rst
index 4aac352..2d5a1e0 100644 (file)
@@ -5,12 +5,15 @@ This is the **F**\ast **D**\ata **I**/**O** Project (**FD.io**) **C**\ontinuous
 **S**\ystem **I**\ntegration and **T**\esting (**CSIT**) project report for CSIT
 |release| system testing of |vpp-release|.
 
+This is the full html version, there is also a reduced
+`PDF version of this report`_.
+
 The report describes CSIT functional and performance tests and their
 continuous execution delivered in CSIT |release|. A high-level overview is
-provided for each CSIT test environment running in Linux Foundation (LF) FD.io
-Continuous Performance Labs. This is followed by summary of all executed tests
-against the |vpp-release| and associated FD.io projects and sub-systems
-(HoneyComb, DPDK, NSH_SFC), CSIT |release| release notes, result highlights and
+provided for each CSIT test environment running in :abbr:`LF (Linux Foundation)`
+FD.io Continuous Performance Labs. This is followed by summary of all executed
+tests against the |vpp-release| and associated FD.io projects and sub-systems
+(Honeycomb, DPDK, NSH_SFC), CSIT |release| release notes, result highlights and
 known issues discovered in CSIT. More detailed description of each environment,
 pointers to CSIT test code documentation and detailed test resuls with links to
 the source data files are also provided.
@@ -30,8 +33,11 @@ CSIT |release| report contains following main sections and sub-sections:
    tests, performance changes, environment or methodology changes, known CSIT
    issues; *Packet Throughput Graphs* and *Packet Latency
    Graphs* - plotted NDR, PDR throughput and latency results from multiple
-   test job executions; *Test Environment* - environment description;
-   *Documentation* - CSIT source code documentation for VPP performance tests.
+   test job executions; *Throughput Speedup Multi-Core* - plotted core
+   configuration speedup comparision; *Test Environment* - environment
+   description; *VPP HTTP Server Performance Results* - plotted HTTP Server
+   performance; *Documentation* - CSIT source code documentation for VPP
+   performance tests.
 
 #. **DPDK Performance Tests** - DPDK performance tests executed in
    physical FD.io testbeds; *Overview* - tested topologies, test coverage;
@@ -48,19 +54,13 @@ CSIT |release| report contains following main sections and sub-sections:
    added; *Test Environment* - environment description ; *Documentation* -
    source code documentation for VPP functional tests.
 
-#. **HoneyComb Functional Tests** - HoneyComb functional tests executed in
+#. **Honeycomb Functional Tests** - Honeycomb functional tests executed in
    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
    |release|, added tests, environment or methodology changes, known CSIT issues;
    *Test Environment* - environment description ;
    *Documentation* - source code documentation for Honeycomb functional tests.
 
-#. **VPP Unit Tests** - refers to VPP functional unit tests executed as
-   part of vpp make test verify option within the FD.io VPP project; listed in
-   this report to give a more complete view about executed VPP functional tests;
-   *Overview* - short overview of unit test framework and executed tests;
-   *Documentation* - source code documentation of VPP unit tests.
-
 #. **NSH_SFC Functional Tests** - NSH_SFC functional tests executed in
    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
@@ -71,7 +71,7 @@ CSIT |release| report contains following main sections and sub-sections:
 #. **Detailed Test Results** - auto-generated results from CSIT jobs
    executions using CSIT Robot Framework output files as source data; *VPP
    Performance Results*, *DPDK Performance Results*, *VPP Functional
-   Results*, *HoneyComb Functional Results*, *VPPtest Functional Results*.
+   Results*, *Honeycomb Functional Results*, *VPPtest Functional Results*.
 
 #. **Test Configuration** - auto-generated DUT configuration data from CSIT jobs
    executions using CSIT Robot Framework output files as source data; *VPP
@@ -80,3 +80,8 @@ CSIT |release| report contains following main sections and sub-sections:
 #. **Test Operational Data** - auto-generated DUT operational data from CSIT jobs
    executions using CSIT Robot Framework output files as source data; *VPP
    Performance Operational Data*.
+
+#. **CSIT Framework Documentation** - description of the overall CSIT
+   framework design hierarchy, CSIT test naming convention, followed by
+   description of Presentation and Analytics Layer (PAL) introduced in
+   CSIT |release|.
\ No newline at end of file