docs/report/vpp_performance_tests/csit_release_notes.rst

   1 Release Notes
   2 =============
   3
   4 Changes in |csit-release|
   5 -------------------------
   6
   7 #. **VPP performance tests**
   8
   9    - *MRR tests* - Maximum Receive Rate tests measure the packet forwarding rate
  10      under the maximum load offered by traffic generator over a set trial
  11      duration, regardless of packet loss. MRR tests are used for continuous
  12      performance trending and for comparison between releases.
  13
  14    - *MLR tests* - NDR and PDR tests measure the packet forwarding rate using
  15      MLRsearch library by traffic generator. All tests that previously used
  16      binary search were converted to MLRsearch.
  17
  18    - *L2patch tests* - Tests measure performance of L2patch, cross linking
  19      RX and TX of two physical interfaces.
  20
  21    - *2-node tests* - Baseline set of 2-node tests covering base ip4, ip4,
  22      l2patch, l2bd, l2xc.
  23
  24    - *Generated tests* - Simplified and unified test structure,
  25      semi-autogenerated by generator script. Test generator is currently able
  26      to create test combinations with various frame size and cores combinations.
  27      All existing test cases were converted to new format.
  28
  29    - *Simultaneous multithreading* - SMT-aware automatic detection and
  30      resource configuration including thread affinity, number of rx queues and
  31      DPDK I/O mbufs. Tests are automatically tagged during execution indicating
  32      configuration.
  33
  34   - *Intel Skylake* - Topologies consisting of 2-node and 3-node using
  35     SuperMirco servers each equipped with two Intel Xeon Skylake Platinum
  36     processors.
  37
  38 #. **Presentation and Analytics Layer**
  39
  40    - *Performance trending* - Added continuous performance trending and
  41      analysis. New Performance Trending and Performance Analysis jobs
  42      executed regular throughput tests, with results being subsequently
  43      analysed and trend and anomalies summarized and presented in VPP
  44      Performance Dashboard and trendline graphs.
  45
  46 #. **Test Framework Optimizations**
  47
  48    - *Performance tests efficiency* - Qemu build/install optimizations,
  49      warmup phase handling, vpp restart handling. Resulted in improved
  50      stability and reduced total execution time by 30% for single pkt
  51      size e.g. 64B/78B.
  52
  53    - *General code housekeeping* - ongoing RF keywords optimizations,
  54      removal of redundant RF keywords.
  55
  56 Performance Changes
  57 -------------------
  58
  59 Relative performance changes in measured packet throughput in |csit-release|
  60 are calculated against the results from |csit-release-1|
  61 report. Listed mean and standard deviation values are computed based on
  62 a series of the same tests executed against respective VPP releases to
  63 verify test results repeatability, with percentage change calculated for
  64 mean values. Note that the standard deviation is quite high for a small
  65 number of packet throughput tests, what indicates poor test results
  66 repeatability and makes the relative change of mean throughput value not
  67 fully representative for these tests. The root causes behind poor
  68 results repeatability vary between the test cases.
  69
  70 NDR Changes
  71 ~~~~~~~~~~~
  72
  73 NDR throughput changes between releases are available in a
  74 CSV and pretty ASCII formats:
  75
  76   - `csv format for 1t1c <../_static/vpp/performance-changes-1t1c-ndr.csv>`_,
  77   - `csv format for 2t2c <../_static/vpp/performance-changes-2t2c-ndr.csv>`_,
  78   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-1t1c-ndr.txt>`_,
  79   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-2t2c-ndr.txt>`_.
  80
  81 .. note::
  82
  83     Test results have been generated by
  84     `FD.io test executor vpp performance job 3n-hsw`_,
  85     with Robot Framework result
  86     files csit-vpp-perf-|srelease|-\*.zip
  87     `archived here <../_static/archive/>`_.
  88
  89 PDR Changes
  90 ~~~~~~~~~~~
  91
  92 PDR throughput changes between releases are available in a
  93 CSV and pretty ASCII formats:
  94
  95   - `csv format for 1t1c <../_static/vpp/performance-changes-1t1c-pdr.csv>`_,
  96   - `csv format for 2t2c <../_static/vpp/performance-changes-2t2c-pdr.csv>`_,
  97   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-1t1c-pdr.txt>`_,
  98   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-2t2c-pdr.txt>`_.
  99
 100 .. note::
 101
 102     Test results have been generated by
 103     `FD.io test executor vpp performance job 3n-hsw`_,
 104     with Robot Framework result
 105     files csit-vpp-perf-|srelease|-\*.zip
 106     `archived here <../_static/archive/>`_.
 107
 108 MRR Changes
 109 ~~~~~~~~~~~
 110
 111 MRR small packet throughput changes between releases are available in a
 112 CSV and pretty ASCII formats:
 113
 114   - `csv format for 1t1c <../_static/vpp/performance-changes-1t1c-mrr.csv>`_,
 115   - `csv format for 2t2c <../_static/vpp/performance-changes-2t2c-mrr.csv>`_,
 116   - `csv format for 4t4c <../_static/vpp/performance-changes-4t4c-mrr.csv>`_,
 117   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-1t1c-mrr.txt>`_,
 118   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-2t2c-mrr.txt>`_,
 119   - `pretty ASCII format for 4t4c <../_static/vpp/performance-changes-4t4c-mrr.txt>`_.
 120
 121 .. note::
 122
 123     Test results have been generated by
 124     `FD.io test executor vpp mrr jobs <https://jenkins.fd.io/view/csit/job/csit-vpp-perf-mrr-daily-master/>`_
 125     with Robot Framework result files csit-vpp-perf-mrr-daily-master__*__output.xml.gz
 126     `archived here <https://docs.fd.io/csit/master/trending/_static/archive/>`_.
 127
 128 Comparison Across Testbeds
 129 --------------------------
 130
 131 Relative performance changes in measured packet throughputon 3-Node Skx testbed
 132 are calculated against the results measured on 3-Node Hsw testbed.
 133
 134 NDR Changes
 135 ~~~~~~~~~~~
 136
 137 NDR changes between testbeds are available in a
 138 CSV and pretty ASCII formats:
 139
 140   - `csv format for ndr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-ndr.csv>`_,
 141   - `pretty ASCII format for ndr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-ndr.txt>`_.
 142
 143 .. note::
 144
 145     Test results have been generated by
 146     `FD.io test executor vpp performance job 3n-hsw`_ and
 147     `FD.io test executor vpp performance job 3n-skx`_
 148     with Robot Framework result
 149     files csit-vpp-perf-|srelease|-\*.zip
 150     `archived here <../_static/archive/>`_.
 151
 152 PDR Changes
 153 ~~~~~~~~~~~
 154
 155 PDR throughput changes between testbeds are available in a
 156 CSV and pretty ASCII formats:
 157
 158   - `csv format for pdr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-pdr.csv>`_,
 159   - `pretty ASCII format for pdr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-pdr.txt>`_.
 160
 161 .. note::
 162
 163     Test results have been generated by
 164     `FD.io test executor vpp performance job 3n-hsw`_ and
 165     `FD.io test executor vpp performance job 3n-skx`_
 166     with Robot Framework result
 167     files csit-vpp-perf-|srelease|-\*.zip
 168     `archived here <../_static/archive/>`_.
 169
 170 Throughput Trending
 171 -------------------
 172
 173 In addition to reporting throughput changes between VPP releases, CSIT
 174 provides continuous performance trending for VPP master branch:
 175
 176 #. `VPP Performance Dashboard <https://docs.fd.io/csit/master/trending/introduction/index.html>`_
 177    - per VPP test case throughput trend, trend compliance and summary of
 178    detected anomalies.
 179
 180 #. `Trending Methodology <https://docs.fd.io/csit/master/trending/methodology/index.html>`_
 181    - throughput test metrics, trend calculations and anomaly
 182    classification (progression, regression, outlier).
 183
 184 #. `Trendline Graphs <https://docs.fd.io/csit/master/trending/trending/index.html>`_
 185    - per VPP build MRR throughput measurements against the trendline
 186    with anomaly highlights, with associated CSIT test jobs.
 187
 188 Known Issues
 189 ------------
 190
 191 List of known issues in |csit-release| for VPP performance tests:
 192
 193 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 194 | # | Issue                                           | Jira ID    | Description                                                     |
 195 +===+=================================================+============+=================================================================+
 196 | 1 | Sporadic (1 in 200) NDR discovery test failures | CSIT-570   | DPDK reporting rx-errors, indicating L1 issue. Suspected issue  |
 197 |   | on x520.                                        |            | with HW combination of X710-X520 in LF testbeds. Not observed   |
 198 |   |                                                 |            | outside of LF testbeds.                                         |
 199 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 200 | 2 | Lower than expected NDR throughput of DPDK      | CSIT-571   | Suspected NIC firmware or DPDK driver issue affecting NDR and   |
 201 |   | testpmd and VPP L2 path NDR throughput with     |            | PDR throughput on XL710 and X710 NICs.                          |
 202 |   | xl710 and x710 NICs, compared to x520 NICs.     |            |                                                                 |
 203 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 204 | 3 | Tagged Ethernet dot1q and dot1ad L2 path        | CSIT-1066  | Tagged Ethernet dot1q and dot1ad L2 path throughput regression: |
 205 |   | throughput regression.                          |            | NDR -2%..-5%, PDR -2%..-6%, MRR. Affects l2xc and l2bd          |
 206 |   |                                                 |            | performance tests.                                              |
 207 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 208 | 4 | IPSec (software, no QAT HW) throughput          | CSIT-1064  | IPSec throughput regression: NDR -3%..-8%, PDR -2%..-8%, MRR    |
 209 |   | regression.                                     |            | -3%..-7%. Affects IPSec SW tests, QAT HW tests not affected.    |
 210 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+