docs/report/vpp_performance_tests/csit_release_notes.rst

   1 Release Notes
   2 =============
   3
   4 Changes in |csit-release|
   5 -------------------------
   6
   7 #. **VPP performance tests**
   8
   9    - *MRR tests* - Maximum Receive Rate tests measure the packet forwarding rate
  10      under the maximum load offered by traffic generator over a set trial
  11      duration, regardless of packet loss. MRR tests are used for continuous
  12      performance trending and for comparison between releases.
  13
  14    - *MLR tests* - NDR and PDR tests measure the packet forwarding rate using
  15      MLRsearch library by traffic generator. All tests that previously used
  16      binary search were converted to MLRsearch.
  17
  18    - *L2patch tests* - Tests measure performance of L2patch, cross linking
  19      RX and TX of two physical interfaces.
  20
  21    - *2-node tests* - Baseline set of 2-node tests covering base ip4, ip4,
  22      l2patch, l2bd, l2xc.
  23
  24    - *Generated tests* - Simplified and unified test structure,
  25      semi-autogenerated by generator script. Test generator is currently able
  26      to create test combinations with various frame size and cores combinations.
  27      All existing test cases were converted to new format.
  28
  29    - *Simultaneous multithreading* - SMT-aware automatic detection and
  30      resource configuration including thread affinity, number of rx queues and
  31      DPDK I/O mbufs. Tests are automatically tagged during execution indicating
  32      configuration.
  33
  34   - *Intel Skylake* - Topologies consisting of 2-node and 3-node using
  35     SuperMirco servers each equipped with two Intel Xeon Skylake Platinum
  36     processors.
  37
  38 #. **Presentation and Analytics Layer**
  39
  40    - *Performance trending* - Added continuous performance trending and
  41      analysis. New Performance Trending and Performance Analysis jobs
  42      executed regular throughput tests, with results being subsequently
  43      analysed and trend and anomalies summarized and presented in VPP
  44      Performance Dashboard and trendline graphs.
  45
  46 #. **Test Framework Optimizations**
  47
  48    - *Performance tests efficiency* - Qemu build/install optimizations,
  49      warmup phase handling, vpp restart handling. Resulted in improved
  50      stability and reduced total execution time by 30% for single pkt
  51      size e.g. 64B/78B.
  52
  53    - *General code housekeeping* - ongoing RF keywords optimizations,
  54      removal of redundant RF keywords.
  55
  56 Performance Changes
  57 -------------------
  58
  59 Relative performance changes in measured packet throughput in |csit-release|
  60 are calculated against the results from |csit-release-1|
  61 report. Listed mean and standard deviation values are computed based on
  62 a series of the same tests executed against respective VPP releases to
  63 verify test results repeatability, with percentage change calculated for
  64 mean values. Note that the standard deviation is quite high for a small
  65 number of packet throughput tests, what indicates poor test results
  66 repeatability and makes the relative change of mean throughput value not
  67 fully representative for these tests. The root causes behind poor
  68 results repeatability vary between the test cases.
  69
  70 NDR Changes
  71 ~~~~~~~~~~~
  72
  73 NDR throughput changes between releases are available in a
  74 CSV and pretty ASCII formats:
  75
  76   - `csv format for 1t1c <../_static/vpp/performance-changes-1t1c-ndr.csv>`_,
  77   - `csv format for 2t2c <../_static/vpp/performance-changes-2t2c-ndr.csv>`_,
  78   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-1t1c-ndr.txt>`_,
  79   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-2t2c-ndr.txt>`_.
  80
  81 .. note::
  82
  83     Test results have been generated by
  84     `FD.io test executor vpp performance job 3n-hsw`_,
  85     with Robot Framework result
  86     files csit-vpp-perf-|srelease|-\*.zip
  87     `archived here <../_static/archive/>`_.
  88
  89 PDR Changes
  90 ~~~~~~~~~~~
  91
  92 PDR throughput changes between releases are available in a
  93 CSV and pretty ASCII formats:
  94
  95   - `csv format for 1t1c <../_static/vpp/performance-changes-1t1c-pdr.csv>`_,
  96   - `csv format for 2t2c <../_static/vpp/performance-changes-2t2c-pdr.csv>`_,
  97   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-1t1c-pdr.txt>`_,
  98   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-2t2c-pdr.txt>`_.
  99
 100 .. note::
 101
 102     Test results have been generated by
 103     `FD.io test executor vpp performance job 3n-hsw`_,
 104     with Robot Framework result
 105     files csit-vpp-perf-|srelease|-\*.zip
 106     `archived here <../_static/archive/>`_.
 107
 108 MRR Changes
 109 ~~~~~~~~~~~
 110
 111 MRR small packet throughput changes between releases are available in a
 112 CSV and pretty ASCII formats:
 113
 114   - `csv format for 1t1c <../_static/vpp/performance-changes-1t1c-mrr.csv>`_,
 115   - `csv format for 2t2c <../_static/vpp/performance-changes-2t2c-mrr.csv>`_,
 116   - `csv format for 4t4c <../_static/vpp/performance-changes-4t4c-mrr.csv>`_,
 117   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-1t1c-mrr.txt>`_,
 118   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-2t2c-mrr.txt>`_,
 119   - `pretty ASCII format for 4t4c <../_static/vpp/performance-changes-4t4c-mrr.txt>`_.
 120
 121 .. note::
 122
 123     Test results have been generated by
 124     `FD.io test executor vpp performance job 3n-hsw`_,
 125     with Robot Framework result
 126     files csit-vpp-perf-|srelease|-\*.zip
 127     `archived here <../_static/archive/>`_.
 128
 129 Comparison Across Testbeds
 130 --------------------------
 131
 132 Relative performance changes in measured packet throughputon 3-Node Skx testbed
 133 are calculated against the results measured on 3-Node Hsw testbed.
 134
 135 NDR Changes
 136 ~~~~~~~~~~~
 137
 138 NDR changes between testbeds are available in a
 139 CSV and pretty ASCII formats:
 140
 141   - `csv format for ndr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-ndr.csv>`_,
 142   - `pretty ASCII format for ndr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-ndr.txt>`_.
 143
 144 .. note::
 145
 146     Test results have been generated by
 147     `FD.io test executor vpp performance job 3n-hsw`_ and
 148     `FD.io test executor vpp performance job 3n-skx`_
 149     with Robot Framework result
 150     files csit-vpp-perf-|srelease|-\*.zip
 151     `archived here <../_static/archive/>`_.
 152
 153 PDR Changes
 154 ~~~~~~~~~~~
 155
 156 PDR throughput changes between testbeds are available in a
 157 CSV and pretty ASCII formats:
 158
 159   - `csv format for pdr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-pdr.csv>`_,
 160   - `pretty ASCII format for pdr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-pdr.txt>`_.
 161
 162 .. note::
 163
 164     Test results have been generated by
 165     `FD.io test executor vpp performance job 3n-hsw`_ and
 166     `FD.io test executor vpp performance job 3n-skx`_
 167     with Robot Framework result
 168     files csit-vpp-perf-|srelease|-\*.zip
 169     `archived here <../_static/archive/>`_.
 170
 171 MRR Changes
 172 ~~~~~~~~~~~
 173
 174 MRR throughput changes between testbeds are available in a
 175 CSV and pretty ASCII formats:
 176
 177   - `csv format for mrr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-mrr.csv>`_,
 178   - `pretty ASCII format for mrr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-mrr.txt>`_.
 179
 180 .. note::
 181
 182     Test results have been generated by
 183     `FD.io test executor vpp performance job 3n-hsw`_ and
 184     `FD.io test executor vpp performance job 3n-skx`_
 185     with Robot Framework result
 186     files csit-vpp-perf-|srelease|-\*.zip
 187     `archived here <../_static/archive/>`_.
 188
 189 Throughput Trending
 190 -------------------
 191
 192 In addition to reporting throughput changes between VPP releases, CSIT
 193 provides continuous performance trending for VPP master branch:
 194
 195 #. `VPP Performance Dashboard <https://docs.fd.io/csit/master/trending/introduction/index.html>`_
 196    - per VPP test case throughput trend, trend compliance and summary of
 197    detected anomalies.
 198
 199 #. `Trending Methodology <https://docs.fd.io/csit/master/trending/methodology/index.html>`_
 200    - throughput test metrics, trend calculations and anomaly
 201    classification (progression, regression, outlier).
 202
 203 #. `Trendline Graphs <https://docs.fd.io/csit/master/trending/trending/index.html>`_
 204    - per VPP build MRR throughput measurements against the trendline
 205    with anomaly highlights, with associated CSIT test jobs.
 206
 207 Known Issues
 208 ------------
 209
 210 List of known issues in |csit-release| for VPP performance tests:
 211
 212 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 213 | # | Issue                                           | Jira ID    | Description                                                     |
 214 +===+=================================================+============+=================================================================+
 215 | 1 | Sporadic (1 in 200) NDR discovery test failures | CSIT-570   | DPDK reporting rx-errors, indicating L1 issue. Suspected issue  |
 216 |   | on x520.                                        |            | with HW combination of X710-X520 in LF testbeds. Not observed   |
 217 |   |                                                 |            | outside of LF testbeds.                                         |
 218 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 219 | 2 | Lower than expected NDR throughput of DPDK      | CSIT-571   | Suspected NIC firmware or DPDK driver issue affecting NDR and   |
 220 |   | testpmd and VPP L2 path NDR throughput with     |            | PDR throughput on XL710 and X710 NICs.                          |
 221 |   | xl710 and x710 NICs, compared to x520 NICs.     |            |                                                                 |
 222 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 223 | 3 | Tagged Ethernet dot1q and dot1ad L2 path        | CSIT-1066  | Tagged Ethernet dot1q and dot1ad L2 path throughput regression: |
 224 |   | throughput regression.                          |            | NDR -2%..-5%, PDR -2%..-6%, MRR. Affects l2xc and l2bd          |
 225 |   |                                                 |            | performance tests.                                              |
 226 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 227 | 4 | IPSec (software, no QAT HW) throughput          | CSIT-1064  | IPSec throughput regression: NDR -3%..-8%, PDR -2%..-8%, MRR    |
 228 |   | regression.                                     |            | -3%..-7%. Affects IPSec SW tests, QAT HW tests not affected.    |
 229 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+