Report: Remove VNF
[csit.git] / docs / report / introduction / introduction.rst
1 Report Structure
2 ================
3
4 FD.io |csit-release| report contains system performance and functional
5 testing data of |vpp-release|. `PDF version of this report`_ is
6 available for download.
7
8 |csit-release| report is structured as follows:
9
10 #. INTRODUCTION: General introduction to FD.io |csit-release|.
11
12    - **Introduction**: This section.
13    - **Test Scenarios Overview**: A brief overview of test scenarios
14      covered in this report.
15    - **Physical Testbeds**: Description of physical testbeds.
16    - **Test Methodology**: Performance benchmarking and functional test
17      methodologies.
18
19 #. VPP PERFORMANCE: VPP performance tests executed in physical
20    FD.io testbeds.
21
22    - **Overview**: Tested logical topologies, test coverage and naming
23      specifics.
24    - **Release Notes**: Changes in |csit-release|, added tests,
25      environment or methodology changes, known issues.
26    - **Packet Throughput**: NDR, PDR throughput graphs based on results
27      from repeated same test job executions to verify repeatibility of
28      measurements.
29    - **Speedup Multi-Core**: NDR, PDR throughput multi-core speedup
30      graphs based on results from test job executions.
31    - **Packet Latency**: Latency graphs based on results from test job
32      executions.
33    - **Soak Tests**: Long duration soak tests are executed using PLRsearch
34      algorithm.
35    - **Comparisons**: Performance comparisons between VPP releases and
36      between different testbed types.
37    - **Throughput Trending**: References to continuous VPP performance
38      trending.
39    - **Test Environment**: Performance test environment configuration.
40    - **Documentation**: Documentation of K8s Pod/Container orchestration
41      in CSIT and pointers to CSIT source code documentation for VPP
42      performance tests.
43
44 #. DPDK PERFORMANCE: DPDK performance tests executed in physical
45    FD.io testbeds.
46
47    - **Overview**: Tested logical topologies, test coverage.
48    - **Release Notes**: Changes in |csit-release|, known issues.
49    - **Packet Throughput**: NDR, PDR throughput graphs based on results
50      from repeated same test job executions to verify repeatibility of
51      measurements.
52    - **Packet Latency**: Latency graphs based on results from test job
53      executions.
54    - **Comparisons**: Performance comparisons between DPDK releases and
55      between different testbed types.
56    - **Throughput Trending**: References to regular DPDK performance
57      trending.
58    - **Test Environment**: Performance test environment configuration.
59    - **Documentation**: Pointers to CSIT source code documentation for
60      DPDK performance tests.
61
62 #. VPP DEVICE: VPP functional tests executed in physical FD.io
63    testbeds using containers.
64
65    - **Overview**: Tested virtual topologies, test coverage and naming
66      specifics;
67    - **Release Notes**: Changes in |csit-release|, added tests,
68      environment or methodology changes, known issues.
69    - **Integration Tests**: Functional test environment configuration.
70    - **Documentation**: Pointers to CSIT source code documentation for
71      VPP functional tests.
72
73 #. VPP FUNCTIONAL: VPP functional tests executed in virtual FD.io
74    testbeds.
75
76    - **Overview**: Tested virtual topologies, test coverage and naming
77      specifics;
78    - **Release Notes**: Changes in |csit-release|, added tests,
79      environment or methodology changes, known issues.
80    - **Test Environment**: Functional test environment configuration.
81    - **Documentation**: Pointers to CSIT source code documentation for
82      VPP functional tests.
83
84 #. HONEYCOMB FUNCTIONAL: Honeycomb functional tests executed in
85    virtual FD.io testbeds.
86
87    - **Overview**: Tested virtual topologies, test coverage and naming
88      specifics;
89    - **Release Notes**: Changes in |csit-release|, known issues.
90    - **Test Environment**: Functional test environment configuration.
91    - **Documentation**: Pointers to CSIT source code documentation for
92      Honeycomb functional tests.
93
94 #. DMM FUNCTIONAL: DMM functional tests executed in
95    virtual FD.io testbeds.
96
97    - **Overview**: Tested virtual topologies, test coverage and naming
98      specifics;
99    - **Release Notes**: Changes in |csit-release|, known issues.
100    - **Test Environment**: Functional test environment configuration.
101    - **Documentation**: Pointers to CSIT source code documentation for
102      DMM functional tests.
103
104 #. DETAILED RESULTS: Detailed result tables auto-generated from CSIT
105    test job executions using RF (Robot Framework) output files as
106    sources.
107
108    - **VPP Performance NDR/PDR**: VPP NDR/PDR throughput and latency.
109    - **VPP Performance MRR**: VPP MRR throughput.
110    - **VPP K8s Container Memif**: VPP K8s Container/Pod topologies
111      NDR/PDR throughput.
112    - **DPDK Performance**: DPDK Testpmd and L3fwd NDR/PDR throughput
113      and latency.
114    - **VPP Functional**: Detailed VPP functional results.
115    - **Honeycomb Functional**: Detailed HoneyComb functional results.
116    - **DMM Functional**: Detailed DMM functional results.
117
118 #. TEST CONFIGURATION: VPP DUT configuration data based on VPP API
119    Test (VAT) Commands History auto-generated from CSIT test job
120    executions using RF output files as sources.
121
122    - **VPP Performance NDR/PDR**: Configuration data.
123    - **VPP Performance MRR**: Configuration data.
124    - **VPP K8s Container Memif**: Configuration data.
125    - **VPP Functional**: Configuration data.
126
127 #. TEST OPERATIONAL DATA: VPP DUT operational data auto-generated
128    from CSIT test job executions using RFoutput files as sources.
129
130    - **VPP Performance NDR/PDR**: VPP `show run` outputs under test
131      load.
132
133 #. CSIT FRAMEWORK DOCUMENTATION: Description of the overall FD.io
134    CSIT framework.
135
136    - **Design**: Framework modular design hierarchy.
137    - **Test naming**: Test naming convention.
138    - **Presentation and Analytics Layer**: Description of PAL CSIT
139      analytics module.
140    - **CSIT RF Tags Descriptions**: CSIT RF Tags used for test suite and
141      test case grouping and selection.
142
143 ..
144     #. NSH_SFC FUNCTIONAL: NSH_SFC functional tests executed in
145        virtual FD.io testbeds.
146
147        - **Overview**: Tested virtual topologies, test coverage and naming
148          specifics;
149        - **Release Notes**: Changes in |csit-release|, known issues.
150        - **Test Environment**: Functional test environment configuration.
151        - **Documentation**: Pointers to CSIT source code documentation for
152          NSH_SFC functional tests.

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.