CSIT-1229: Add DMM to report
[csit.git] / docs / report / introduction / overview.rst
1 Overview
2 ========
3
4 This is the **F**\ast **D**\ata **I**/**O** Project (**FD.io**) **C**\ontinuous
5 **S**\ystem **I**\ntegration and **T**\esting (**CSIT**) project report for
6 |csit-release| system testing of |vpp-release|.
7
8 This is the full html version, there is also a reduced
9 `PDF version of this report`_.
10
11 The report describes CSIT functional and performance tests and their
12 continuous execution delivered in |csit-release|. A high-level overview is
13 provided for each CSIT test environment running in :abbr:`LF (Linux Foundation)`
14 FD.io Continuous Performance Labs. This is followed by summary of all executed
15 tests against the |vpp-release| and associated FD.io projects and sub-systems
16 (Honeycomb, DPDK, NSH_SFC), |csit-release| release notes, result highlights and
17 known issues discovered in CSIT. More detailed description of each environment,
18 pointers to CSIT test code documentation and detailed test resuls with links to
19 the source data files are also provided.
20
21 |csit-release| report contains following main sections and sub-sections:
22
23 #. **Introduction** - general introduction to CSIT project; *Overview* -
24    this section; *General Notes* - general notes related to this report;
25    *Physical Testbeds* - Description of physical testbeds used in CSIT;
26    *Performance Test Methodology* - Methodologies used in CSIT.
27
28 #. **VPP Performance** - VPP performance tests executed in physical
29    FD.io testbeds; *Overview* - tested topologies, test coverage and naming
30    specifics, methodology for multi-core, packet throughput and latency, and
31    KVM VM vhost tests; *CSIT Release Notes* - changes in |csit-release|, added
32    tests, performance changes, environment or methodology changes, known CSIT
33    issues; *Packet Throughput Graphs* and *Packet Latency
34    Graphs* - plotted NDR, PDR throughput and latency results from multiple
35    test job executions; *Throughput Speedup Multi-Core* - plotted core
36    configuration speedup comparision; *Test Environment* - environment
37    description; *VPP HTTP Server Performance Results* - plotted HTTP Server
38    performance; *Documentation* - CSIT source code documentation for VPP
39    performance tests.
40
41 #. **DPDK Performance** - DPDK performance tests executed in
42    physical FD.io testbeds; *Overview* - tested topologies, test coverage;
43    *CSIT Release Notes* - changes in |csit-release|, any known CSIT issues;
44    *Packet Throughput Graphs* and *Packet Latency Graphs*
45    - plotted NDR, PDR throughput and latency results from multiple test job
46    executions; *Test Environment* - environment description; *Documentation* -
47    CSIT source code documentation for DPDK performance tests.
48
49 #. **VPP Functional** - VPP functional tests executed in virtual
50    FD.io testbeds; *Overview* - tested virtual topologies, test coverage and
51    naming specifics; *CSIT Release Notes* - changes in |csit-release|, added
52    tests, environment or methodology changes, known CSIT issues, tests to be
53    added; *Test Environment* - environment description ; *Documentation* -
54    source code documentation for VPP functional tests.
55
56 #. **Honeycomb Functional** - Honeycomb functional tests executed in
57    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
58    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
59    |release|, added tests, environment or methodology changes, known CSIT issues;
60    *Test Environment* - environment description;
61    *Documentation* - source code documentation for Honeycomb functional tests.
62
63 #. **NSH_SFC Functional** - NSH_SFC functional tests executed in
64    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
65    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
66    |release|, added tests, environment or methodology changes, known CSIT issues;
67    *Test Environment* - environment description;
68    *Documentation* - source code documentation for NSH_SFC functional tests.
69
70 #. **DMM Functional** - DMM functional tests executed in
71    virtual FD.io testbeds; *Overview* - tested virtual topologies, test
72    coverage and naming specifics; *CSIT Release Notes* - changes in CSIT
73    |release|, added tests, environment or methodology changes, known CSIT issues;
74    *Test Environment* - environment description;
75    *Documentation* - source code documentation for DMM functional tests.
76
77 #. **Detailed Results** - auto-generated results from CSIT jobs
78    executions using CSIT Robot Framework output files as source data; *VPP
79    Performance Results*, *DPDK Performance Results*, *VPP Functional
80    Results*, *Honeycomb Functional Results*, *VPPtest Functional Results*.
81
82 #. **Test Configuration** - auto-generated DUT configuration data from CSIT jobs
83    executions using CSIT Robot Framework output files as source data; *VPP
84    Performance Test Configs*, *VPP Functional Test Configs*.
85
86 #. **Test Operational Data** - auto-generated DUT operational data from CSIT jobs
87    executions using CSIT Robot Framework output files as source data; *VPP
88    Performance Operational Data*.
89
90 #. **CSIT Framework Documentation** - description of the overall CSIT
91    framework design hierarchy, CSIT test naming convention, followed by
92    description of Presentation and Analytics Layer (PAL) introduced in
93    CSIT-17.07 and description of CSIT RF Tags.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.