docs/report/introduction/introduction.rst

   1 Introduction
   2 ============
   3
   4 FD.io |csit-release| report contains system performance and functional
   5 testing data of |vpp-release|. `PDF version of this report`_ is
   6 available for download.
   7
   8 |csit-release| report is structured as follows:
   9
  10 #. INTRODUCTION: General introduction to FD.io |csit-release|.
  11
  12    - **Introduction**: This section.
  13    - **Test Scenarios Overview**: A brief overview of test scenarios
  14      covered in this report.
  15    - **Physical Testbeds**: Description of physical testbeds.
  16    - **Test Methodology**: Performance benchmarking and functional test
  17      methodologies.
  18
  19 #. VPP PERFORMANCE: VPP performance tests executed in physical
  20    FD.io testbeds.
  21
  22    - **Overview**: Tested logical topologies, test coverage and naming
  23      specifics.
  24    - **Release Notes**: Changes in |csit-release|, added tests,
  25      environment or methodology changes, known issues.
  26    - **Packet Throughput**: NDR, PDR throughput graphs based on results
  27      from repeated same test job executions to verify repeatibility of
  28      measurements.
  29    - **Packet Latency**: Latency graphs based on results from test job
  30      executions.
  31    - **Speedup Multi-Core**: NDR, PDR throughput multi-core speedup
  32      graphs based on results from test job executions.
  33    - **HTTP/TCP Performance**: HTTP/TCP VPP test server performance
  34      graphs.
  35    - **Comparisons**: Performance comparisons between VPP releases and
  36      between different testbed types.
  37    - **Throughput Trending**: References to continuous VPP performance
  38      trending.
  39    - **Test Environment**: Performance test environment configuration.
  40    - **Documentation**: Documentation of K8s Pod/Container orchestration
  41      in CSIT and pointers to CSIT source code documentation for VPP
  42      performance tests.
  43
  44 #. DPDK PERFORMANCE: DPDK performance tests executed in physical
  45    FD.io testbeds.
  46
  47    - **Overview**: Tested logical topologies, test coverage.
  48    - **Release Notes**: Changes in |csit-release|, known issues.
  49    - **Packet Throughput**: NDR, PDR throughput graphs based on results
  50      from repeated same test job executions to verify repeatibility of
  51      measurements.
  52    - **Packet Latency**: Latency graphs based on results from test job
  53      executions.
  54    - **Comparisons**: Performance comparisons between DPDK releases and
  55      between different testbed types.
  56    - **Throughput Trending**: References to regular DPDK performance
  57      trending.
  58    - **Test Environment**: Performance test environment configuration.
  59    - **Documentation**: Pointers to CSIT source code documentation for
  60      DPDK performance tests.
  61
  62 #. VPP FUNCTIONAL: VPP functional tests executed in virtual FD.io
  63    testbeds.
  64
  65    - **Overview**: Tested virtual topologies, test coverage and naming
  66      specifics;
  67    - **Release Notes**: Changes in |csit-release|, added tests,
  68      environment or methodology changes, known issues.
  69    - **Test Environment**: Functional test environment configuration.
  70    - **Documentation**: Pointers to CSIT source code documentation for
  71      VPP functional tests.
  72
  73 #. HONEYCOMBE FUNCTIONAL: Honeycomb functional tests executed in
  74    virtual FD.io testbeds.
  75
  76    - **Overview**: Tested virtual topologies, test coverage and naming
  77      specifics;
  78    - **Release Notes**: Changes in |csit-release|, known issues.
  79    - **Test Environment**: Functional test environment configuration.
  80    - **Documentation**: Pointers to CSIT source code documentation for
  81      Honeycomb functional tests.
  82
  83 #. NSH_SFC FUNCTIONAL: NSH_SFC functional tests executed in
  84    virtual FD.io testbeds.
  85
  86    - **Overview**: Tested virtual topologies, test coverage and naming
  87      specifics;
  88    - **Release Notes**: Changes in |csit-release|, known issues.
  89    - **Test Environment**: Functional test environment configuration.
  90    - **Documentation**: Pointers to CSIT source code documentation for
  91      NSH_SFC functional tests.
  92
  93 #. DMM FUNCTIONAL: DMM functional tests executed in
  94    virtual FD.io testbeds.
  95
  96    - **Overview**: Tested virtual topologies, test coverage and naming
  97      specifics;
  98    - **Release Notes**: Changes in |csit-release|, known issues.
  99    - **Test Environment**: Functional test environment configuration.
 100    - **Documentation**: Pointers to CSIT source code documentation for
 101      DMM functional tests.
 102
 103 #. DETAILED RESULTS: Detailed result tables auto-generated from CSIT
 104    test job executions using RF (Robot Framework) output files as
 105    sources.
 106
 107    - **VPP Performance NDR/PDR**: VPP NDR/PDR throughput and latency.
 108    - **VPP Performance MRR**: VPP MRR throughput.
 109    - **VPP K8s Container Memif**: VPP K8s Container/Pod topologies
 110      NDR/PDR throughput.
 111    - **DPDK Performance**: DPDK Testpmd and L3fwd NDR/PDR throughput
 112      and latency.
 113    - **VPP Functional**: Detailed VPP functional results.
 114    - **Honeycomb Functional**: Detailed HoneyComb functional results.
 115    - **NSH_SFC Functional**: Detailed nsh-plugin functional results.
 116    - **DMM Functional**: Detailed DMM functional results.
 117
 118 #. TEST CONFIGURATION: VPP DUT configuration data based on VPP API
 119    Test (VAT) Commands History auto-generated from CSIT test job
 120    executions using RF output files as sources.
 121
 122    - **VPP Performance NDR/PDR**: Configuration data.
 123    - **VPP Performance MRR**: Configuration data.
 124    - **VPP K8s Container Memif**: Configuration data.
 125    - **VPP Functional**: Configuration data.
 126
 127 #. TEST OPERATIONAL DATA: VPP DUT operational data auto-generated
 128    from CSIT test job executions using RFoutput files as sources.
 129
 130    - **VPP Performance NDR/PDR**: VPP `show run` outputs under test
 131      load.
 132
 133 #. CSIT FRAMEWORK DOCUMENTATION: Description of the overall FD.io
 134    CSIT framework.
 135
 136    - **Design**: Framework modular design hierarchy.
 137    - **Test naming**: Test naming convention.
 138    - **Presentation and Analytics Layer**: Description of PAL CSIT
 139      analytics module.
 140    - **CSIT RF Tags Descriptions**: CSIT RF Tags used for test suite and
 141      test case grouping and selection.