docs/report/introduction/introduction.rst

   1 Introduction
   2 ============
   3
   4 FD.io |csit-release| report contains system performance and functional
   5 testing data of |vpp-release|. `PDF version of this report`_ is
   6 available for download.
   7
   8 |csit-release| report is structured as follows:
   9
  10 #. INTRODUCTION: General introduction to FD.io |csit-release|.
  11
  12    - **Introduction**: This section.
  13    - **Test Scenarios Overview**: A brief overview of test scenarios
  14      covered in this report.
  15    - **Physical Testbeds**: Description of physical testbeds.
  16    - **Performance Test Methodology**: Benchmarking test methodologies.
  17
  18 #. VPP PERFORMANCE: VPP performance tests executed in physical
  19    FD.io testbeds.
  20
  21    - **Overview**: Tested logical topologies, test coverage and naming
  22      specifics.
  23    - **Release Notes**: Changes in |csit-release|, added tests,
  24      environment or methodology changes, known issues.
  25    - **Packet Throughput**: NDR, PDR throughput graphs based on results
  26      from repeated same test job executions to verify repeatibility of
  27      measurements.
  28    - **Packet Latency**: Latency graphs based on results from test job
  29      executions.
  30    - **Speedup Multi-Core**: NDR, PDR throughput multi-core speedup
  31      graphs based on results from test job executions.
  32    - **HTTP/TCP Performance**: HTTP/TCP VPP test server performance
  33      graphs.
  34    - **Comparisons**: Performance comparisons between VPP releases and
  35      between different testbed types.
  36    - **Throughput Trending**: References to continuous VPP performance
  37      trending.
  38    - **Test Environment**: Performance test environment configuration.
  39    - **Documentation**: Documentation of K8s Pod/Container orchestration
  40      in CSIT and pointers to CSIT source code documentation for VPP
  41      performance tests.
  42
  43 #. DPDK PERFORMANCE: DPDK performance tests executed in physical
  44    FD.io testbeds.
  45
  46    - **Overview**: Tested logical topologies, test coverage.
  47    - **Release Notes**: Changes in |csit-release|, known issues.
  48    - **Packet Throughput**: NDR, PDR throughput graphs based on results
  49      from repeated same test job executions to verify repeatibility of
  50      measurements.
  51    - **Packet Latency**: Latency graphs based on results from test job
  52      executions.
  53    - **Comparisons**: Performance comparisons between DPDK releases and
  54      between different testbed types.
  55    - **Throughput Trending**: References to regular DPDK performance
  56      trending.
  57    - **Test Environment**: Performance test environment configuration.
  58    - **Documentation**: Pointers to CSIT source code documentation for
  59      DPDK performance tests.
  60
  61 #. VPP FUNCTIONAL: VPP functional tests executed in virtual FD.io
  62    testbeds.
  63
  64    - **Overview**: Tested virtual topologies, test coverage and naming
  65      specifics;
  66    - **Release Notes**: Changes in |csit-release|, added tests,
  67      environment or methodology changes, known issues.
  68    - **Test Environment**: Functional test environment configuration.
  69    - **Documentation**: Pointers to CSIT source code documentation for
  70      VPP functional tests.
  71
  72 #. HONEYCOMBE FUNCTIONAL: Honeycomb functional tests executed in
  73    virtual FD.io testbeds.
  74
  75    - **Overview**: Tested virtual topologies, test coverage and naming
  76      specifics;
  77    - **Release Notes**: Changes in |csit-release|, known issues.
  78    - **Test Environment**: Functional test environment configuration.
  79    - **Documentation**: Pointers to CSIT source code documentation for
  80      Honeycomb functional tests.
  81
  82 #. NSH_SFC FUNCTIONAL: NSH_SFC functional tests executed in
  83    virtual FD.io testbeds.
  84
  85    - **Overview**: Tested virtual topologies, test coverage and naming
  86      specifics;
  87    - **Release Notes**: Changes in |csit-release|, known issues.
  88    - **Test Environment**: Functional test environment configuration.
  89    - **Documentation**: Pointers to CSIT source code documentation for
  90      NSH_SFC functional tests.
  91
  92 #. DMM FUNCTIONAL: DMM functional tests executed in
  93    virtual FD.io testbeds.
  94
  95    - **Overview**: Tested virtual topologies, test coverage and naming
  96      specifics;
  97    - **Release Notes**: Changes in |csit-release|, known issues.
  98    - **Test Environment**: Functional test environment configuration.
  99    - **Documentation**: Pointers to CSIT source code documentation for
 100      DMM functional tests.
 101
 102 #. DETAILED RESULTS: Detailed result tables auto-generated from CSIT
 103    test job executions using RF (Robot Framework) output files as
 104    sources.
 105
 106    - **VPP Performance NDR/PDR**: VPP NDR/PDR throughput and latency.
 107    - **VPP Performance MRR**: VPP MRR throughput.
 108    - **VPP K8s Container Memif**: VPP K8s Container/Pod topologies
 109      NDR/PDR throughput.
 110    - **DPDK Performance**: DPDK Testpmd and L3fwd NDR/PDR throughput
 111      and latency.
 112    - **VPP Functional**: Detailed VPP functional results.
 113    - **Honeycomb Functional**: Detailed HoneyComb functional results.
 114    - **NSH_SFC Functional**: Detailed nsh-plugin functional results.
 115    - **DMM Functional**: Detailed DMM functional results.
 116
 117 #. TEST CONFIGURATION: VPP DUT configuration data based on VPP API
 118    Test (VAT) Commands History auto-generated from CSIT test job
 119    executions using RF output files as sources.
 120
 121    - **VPP Performance NDR/PDR**: Configuration data.
 122    - **VPP Performance MRR**: Configuration data.
 123    - **VPP K8s Container Memif**: Configuration data.
 124    - **VPP Functional**: Configuration data.
 125
 126 #. TEST OPERATIONAL DATA: VPP DUT operational data auto-generated
 127    from CSIT test job executions using RFoutput files as sources.
 128
 129    - **VPP Performance NDR/PDR**: VPP `show run` outputs under test
 130      load.
 131
 132 #. CSIT FRAMEWORK DOCUMENTATION: Description of the overall FD.io
 133    CSIT framework.
 134
 135    - **Design**: Framework modular design hierarchy.
 136    - **Test naming**: Test naming convention.
 137    - **Presentation and Analytics Layer**: Description of PAL CSIT
 138      analytics module.
 139    - **CSIT RF Tags Descriptions**: CSIT RF Tags used for test suite and
 140      test case grouping and selection.