docs/report/introduction/introduction.rst

   1 Introduction
   2 ============
   3
   4 This is FD.io CSIT (Fast Data i/o Continuous System Integration and
   5 Testing) project report for |csit-release| system performance and
   6 functional testing of |vpp-release|.
   7
   8 There is also a downloadable `PDF version of this report`_.
   9
  10 This report describes CSIT performance and functional tests delivered in
  11 |csit-release|. A high-level overview is provided for each CSIT test
  12 environment running in :abbr:`LF (Linux Foundation)` FD.io Continuous
  13 Performance Labs. This is followed by summary of all executed tests
  14 against the |vpp-release| and associated FD.io projects and sub-systems
  15 (Honeycomb, DPDK, NSH_SFC, DMM), |csit-release| release notes, result
  16 highlights and known issues discovered in CSIT. More detailed
  17 description of each environment, pointers to CSIT test code
  18 documentation and detailed test resuls with links to the source data
  19 files are also provided.
  20
  21 |csit-release| report contains following main sections and sub-sections:
  22
  23 #. **Introduction**: General introduction to CSIT project.
  24
  25    - **Introduction**: This section.
  26    - **Test Scenarios Overview**: A brief overview of test scenarios
  27      covered in this report.
  28    - **Physical Testbeds**: Description of physical testbeds.
  29    - **Performance Test Methodology**: Benchmarking methodologies.
  30
  31 #. **VPP Performance**: VPP performance tests executed in physical
  32    FD.io testbeds.
  33
  34    - **Overview**: Tested logical topologies, test coverage and naming
  35      specifics.
  36    - **Release Notes**: Changes in |csit-release|, added tests,
  37      environment or methodology changes, known issues.
  38    - **Packet Throughput**: NDR, PDR throughput graphs based on results
  39      from repeated same test job executions to verify repeatibility of
  40      measurements.
  41    - **Packet Latency**: Latency graphs based on results from test job
  42      executions.
  43    - **Speedup Multi-Core**: NDR, PDR throughput multi-core speedup
  44      graphs based on results from test job executions.
  45    - **HTTP/TCP Performance**: HTTP/TCP VPP test server performance
  46      graphs.
  47    - **Comparisons**: Performance comparisons between VPP releases and
  48      between different testbed types.
  49    - **Throughput Trending**: References to continuous VPP performance
  50      trending.
  51    - **Test Environment**: Performance test environment configuration.
  52    - **Documentation**: Documentation of K8s Pod/Container orchestration
  53      in CSIT and pointers to CSIT source code documentation for VPP
  54      performance tests.
  55
  56 #. **DPDK Performance**: DPDK performance tests executed in physical
  57    FD.io testbeds.
  58
  59    - **Overview**: Tested logical topologies, test coverage.
  60    - **Release Notes**: Changes in |csit-release|, known issues.
  61    - **Packet Throughput**: NDR, PDR throughput graphs based on results
  62      from repeated same test job executions to verify repeatibility of
  63      measurements.
  64    - **Packet Latency**: Latency graphs based on results from test job
  65      executions.
  66    - **Comparisons**: Performance comparisons between DPDK releases and
  67      between different testbed types.
  68    - **Throughput Trending**: References to regular DPDK performance
  69      trending.
  70    - **Test Environment**: Performance test environment configuration.
  71    - **Documentation**: Pointers to CSIT source code documentation for
  72      DPDK performance tests.
  73
  74 #. **VPP Functional**: VPP functional tests executed in virtual FD.io
  75    testbeds.
  76
  77    - **Overview**: Tested virtual topologies, test coverage and naming
  78      specifics;
  79    - **Release Notes**: Changes in |csit-release|, added tests,
  80      environment or methodology changes, known issues.
  81    - **Test Environment**: Functional test environment configuration.
  82    - **Documentation**: Pointers to CSIT source code documentation for
  83      VPP functional tests.
  84
  85 #. **Honeycomb Functional**: Honeycomb functional tests executed in
  86    virtual FD.io testbeds.
  87
  88    - **Overview**: Tested virtual topologies, test coverage and naming
  89      specifics;
  90    - **Release Notes**: Changes in |csit-release|, known issues.
  91    - **Test Environment**: Functional test environment configuration.
  92    - **Documentation**: Pointers to CSIT source code documentation for
  93      Honeycomb functional tests.
  94
  95 #. **NSH_SFC Functional**: NSH_SFC functional tests executed in
  96    virtual FD.io testbeds.
  97
  98    - **Overview**: Tested virtual topologies, test coverage and naming
  99      specifics;
 100    - **Release Notes**: Changes in |csit-release|, known issues.
 101    - **Test Environment**: Functional test environment configuration.
 102    - **Documentation**: Pointers to CSIT source code documentation for
 103      NSH_SFC functional tests.
 104
 105 #. **DMM Functional**: DMM functional tests executed in
 106    virtual FD.io testbeds.
 107
 108    - **Overview**: Tested virtual topologies, test coverage and naming
 109      specifics;
 110    - **Release Notes**: Changes in |csit-release|, known issues.
 111    - **Test Environment**: Functional test environment configuration.
 112    - **Documentation**: Pointers to CSIT source code documentation for
 113      DMM functional tests.
 114
 115 #. **Detailed Results**: Detailed result tables auto-generated from CSIT
 116    test job executions using RF (Robot Framework) output files as
 117    sources.
 118
 119    - **VPP Performance NDR/PDR**: VPP NDR/PDR throughput and latency.
 120    - **VPP Performance MRR**: VPP MRR throughput.
 121    - **VPP K8s Container Memif**: VPP K8s Container/Pod topologies
 122      NDR/PDR throughput.
 123    - **DPDK Performance**: DPDK Testpmd and L3fwd NDR/PDR throughput
 124      and latency.
 125    - **VPP Functional**: Detailed VPP functional results.
 126    - **Honeycomb Functional**: Detailed HoneyComb functional results.
 127    - **NSH_SFC Functional**: Detailed nsh-plugin functional results.
 128    - **DMM Functional**: Detailed DMM functional results.
 129
 130 #. **Test Configuration**: VPP DUT configuration data based on VPP API
 131    Test (VAT) Commands History auto-generated from CSIT test job
 132    executions using RF output files as sources.
 133
 134    - **VPP Performance NDR/PDR**: Configuration data.
 135    - **VPP Performance MRR**: Configuration data.
 136    - **VPP K8s Container Memif**: Configuration data.
 137    - **VPP Functional**: Configuration data.
 138
 139 #. **Test Operational Data**: VPP DUT operational data auto-generated
 140    from CSIT test job executions using RFoutput files as sources.
 141
 142    - **VPP Performance NDR/PDR**: VPP `show run` outputs under test
 143      load.
 144
 145 #. **CSIT Framework Documentation**: Description of the overall FD.io
 146    CSIT framework.
 147
 148    - **Design**: Framework modular design hierarchy.
 149    - **Test naming**: Test naming convention.
 150    - **Presentation and Analytics Layer**: Description of PAL CSIT
 151      analytics module.
 152    - **CSIT RF Tags Descriptions**: CSIT RF Tags used for test suite and
 153      test case grouping and selection.