docs/report/introduction/introduction.rst

   1 Report Structure
   2 ================
   3
   4 FD.io |csit-release| report contains system performance and functional
   5 testing data of |vpp-release|. `PDF version of this report`_ is
   6 available for download.
   7
   8 |csit-release| report is structured as follows:
   9
  10 #. INTRODUCTION: General introduction to FD.io |csit-release|.
  11
  12    - **Introduction**: This section.
  13    - **Test Scenarios Overview**: A brief overview of test scenarios
  14      covered in this report.
  15    - **Physical Testbeds**: Description of physical testbeds.
  16    - **Test Methodology**: Performance benchmarking and functional test
  17      methodologies.
  18
  19 #. VPP PERFORMANCE: VPP performance tests executed in physical
  20    FD.io testbeds.
  21
  22    - **Overview**: Tested logical topologies, test coverage and naming
  23      specifics.
  24    - **Release Notes**: Changes in |csit-release|, added tests,
  25      environment or methodology changes, known issues.
  26    - **Packet Throughput**: NDR, PDR throughput graphs based on results
  27      from repeated same test job executions to verify repeatibility of
  28      measurements.
  29    - **Speedup Multi-Core**: NDR, PDR throughput multi-core speedup
  30      graphs based on results from test job executions.
  31    - **Packet Latency**: Latency graphs based on results from test job
  32      executions.
  33    - **Soak Tests**: Long duration soak tests are executed using PLRsearch
  34      algorithm.
  35    - **NFV Service Density**: Network Function Virtualization (NFV) service
  36      density tests focus on measuring total per server throughput at varied NFV
  37      service "packing" densities with vswitch providing host dataplane.
  38    - **HTTP/TCP Performance**: HTTP/TCP VPP test server performance
  39      graphs.
  40    - **Comparisons**: Performance comparisons between VPP releases and
  41      between different testbed types.
  42    - **Throughput Trending**: References to continuous VPP performance
  43      trending.
  44    - **Test Environment**: Performance test environment configuration.
  45    - **Documentation**: Documentation of K8s Pod/Container orchestration
  46      in CSIT and pointers to CSIT source code documentation for VPP
  47      performance tests.
  48
  49 #. DPDK PERFORMANCE: DPDK performance tests executed in physical
  50    FD.io testbeds.
  51
  52    - **Overview**: Tested logical topologies, test coverage.
  53    - **Release Notes**: Changes in |csit-release|, known issues.
  54    - **Packet Throughput**: NDR, PDR throughput graphs based on results
  55      from repeated same test job executions to verify repeatibility of
  56      measurements.
  57    - **Packet Latency**: Latency graphs based on results from test job
  58      executions.
  59    - **Comparisons**: Performance comparisons between DPDK releases and
  60      between different testbed types.
  61    - **Throughput Trending**: References to regular DPDK performance
  62      trending.
  63    - **Test Environment**: Performance test environment configuration.
  64    - **Documentation**: Pointers to CSIT source code documentation for
  65      DPDK performance tests.
  66
  67 #. VPP DEVICE: VPP functional tests executed in physical FD.io
  68    testbeds using containers.
  69
  70    - **Overview**: Tested virtual topologies, test coverage and naming
  71      specifics;
  72    - **Release Notes**: Changes in |csit-release|, added tests,
  73      environment or methodology changes, known issues.
  74    - **Integration Tests**: Functional test environment configuration.
  75    - **Documentation**: Pointers to CSIT source code documentation for
  76      VPP functional tests.
  77
  78 #. VPP FUNCTIONAL: VPP functional tests executed in virtual FD.io
  79    testbeds.
  80
  81    - **Overview**: Tested virtual topologies, test coverage and naming
  82      specifics;
  83    - **Release Notes**: Changes in |csit-release|, added tests,
  84      environment or methodology changes, known issues.
  85    - **Test Environment**: Functional test environment configuration.
  86    - **Documentation**: Pointers to CSIT source code documentation for
  87      VPP functional tests.
  88
  89 #. HONEYCOMB FUNCTIONAL: Honeycomb functional tests executed in
  90    virtual FD.io testbeds.
  91
  92    - **Overview**: Tested virtual topologies, test coverage and naming
  93      specifics;
  94    - **Release Notes**: Changes in |csit-release|, known issues.
  95    - **Test Environment**: Functional test environment configuration.
  96    - **Documentation**: Pointers to CSIT source code documentation for
  97      Honeycomb functional tests.
  98
  99 #. DMM FUNCTIONAL: DMM functional tests executed in
 100    virtual FD.io testbeds.
 101
 102    - **Overview**: Tested virtual topologies, test coverage and naming
 103      specifics;
 104    - **Release Notes**: Changes in |csit-release|, known issues.
 105    - **Test Environment**: Functional test environment configuration.
 106    - **Documentation**: Pointers to CSIT source code documentation for
 107      DMM functional tests.
 108
 109 #. DETAILED RESULTS: Detailed result tables auto-generated from CSIT
 110    test job executions using RF (Robot Framework) output files as
 111    sources.
 112
 113    - **VPP Performance NDR/PDR**: VPP NDR/PDR throughput and latency.
 114    - **VPP Performance MRR**: VPP MRR throughput.
 115    - **VPP K8s Container Memif**: VPP K8s Container/Pod topologies
 116      NDR/PDR throughput.
 117    - **DPDK Performance**: DPDK Testpmd and L3fwd NDR/PDR throughput
 118      and latency.
 119    - **VPP Functional**: Detailed VPP functional results.
 120    - **Honeycomb Functional**: Detailed HoneyComb functional results.
 121    - **DMM Functional**: Detailed DMM functional results.
 122
 123 #. TEST CONFIGURATION: VPP DUT configuration data based on VPP API
 124    Test (VAT) Commands History auto-generated from CSIT test job
 125    executions using RF output files as sources.
 126
 127    - **VPP Performance NDR/PDR**: Configuration data.
 128    - **VPP Performance MRR**: Configuration data.
 129    - **VPP K8s Container Memif**: Configuration data.
 130    - **VPP Functional**: Configuration data.
 131
 132 #. TEST OPERATIONAL DATA: VPP DUT operational data auto-generated
 133    from CSIT test job executions using RFoutput files as sources.
 134
 135    - **VPP Performance NDR/PDR**: VPP `show run` outputs under test
 136      load.
 137
 138 #. CSIT FRAMEWORK DOCUMENTATION: Description of the overall FD.io
 139    CSIT framework.
 140
 141    - **Design**: Framework modular design hierarchy.
 142    - **Test naming**: Test naming convention.
 143    - **Presentation and Analytics Layer**: Description of PAL CSIT
 144      analytics module.
 145    - **CSIT RF Tags Descriptions**: CSIT RF Tags used for test suite and
 146      test case grouping and selection.
 147
 148 ..
 149     #. NSH_SFC FUNCTIONAL: NSH_SFC functional tests executed in
 150        virtual FD.io testbeds.
 151
 152        - **Overview**: Tested virtual topologies, test coverage and naming
 153          specifics;
 154        - **Release Notes**: Changes in |csit-release|, known issues.
 155        - **Test Environment**: Functional test environment configuration.
 156        - **Documentation**: Pointers to CSIT source code documentation for
 157          NSH_SFC functional tests.