docs/report/vpp_performance_tests/csit_release_notes.rst

   1 Release Notes
   2 =============
   3
   4 Changes in |csit-release|
   5 -------------------------
   6
   7 #. **VPP Performance Tests**
   8
   9   - **MRR Throughput**: MRR (Maximum Receive Rate) test code has now
  10     configurable trial duration and number of consecutive executions.
  11     Coverage of MRR tests has been extended across more test
  12     scenarios. MRR tests are used for continuous performance trending
  13     and for comparison between VPP releases.
  14
  15   - **MLRsearch Throughput**: MLRsearch algorithm has been introduced
  16     for all NDR and PDR throughput tests. All tests that previously
  17     used binary search got converted to MLRsearch. Coverage of NDR/PDR
  18     tests has been extended across more test scenarios.
  19
  20   - **L2patch Tests**: Tests measure performance of VPP L2patch, the
  21     fastest L2 forwarding path implemented in VPP, that cross-links
  22     RX and TX of two physical interfaces.
  23
  24   - **2-Node Tests**: A new baseline set of 2-node tests covering base
  25     ip4, ip6, l2patch, l2bd, l2xc, running on new Xeon Skylake
  26     testbeds.
  27
  28   - **Generated tests**: Simplified and unified test structure, semi-
  29     autogenerated by generator script. Test generator is currently
  30     able to create test combinations with various frame size and
  31     cores combinations. All existing test cases were converted to new
  32     format.
  33
  34   - **Simultaneous Multi-Threading**: SMT-aware detection of server
  35     processor operation mode (HyperThreading enabled/disabled) with
  36     associated compute resource configuration including thread
  37     affinity, number of Rx queues and DPDK I/O mbufs. Tests are
  38     automatically tagged during execution to indicate executed thread
  39     configuration.
  40
  41   - **Intel Xeon Skylake Support**: Support for 2-Node and 3-Node
  42     physical testbed topologies based on the new SuperMirco servers
  43     each with two Intel Xeon Skylake Platinum processors. Full
  44     Ansible playbooks refactor for quick server (re)installation and
  45     reference pointers of configuration.
  46
  47 #. **Presentation and Analytics Layer**
  48
  49   - **Performance trending**: Further improved continuous performance
  50     trending with anomaly detection and analysis.
  51
  52 #. **Test Framework Optimizations**
  53
  54   - **General Code Housekeeping**: Ongoing RF keywords optimizations,
  55     removal of redundant RF keywords.
  56
  57 Performance Changes
  58 -------------------
  59
  60 Relative performance changes in measured packet throughput in |csit-release|
  61 are calculated against the results from |csit-release-1|
  62 report. Listed mean and standard deviation values are computed based on
  63 a series of the same tests executed against respective VPP releases to
  64 verify test results repeatability, with percentage change calculated for
  65 mean values. Note that the standard deviation is quite high for a small
  66 number of packet throughput tests, what indicates poor test results
  67 repeatability and makes the relative change of mean throughput value not
  68 fully representative for these tests. The root causes behind poor
  69 results repeatability vary between the test cases.
  70
  71 NDR Changes
  72 ~~~~~~~~~~~
  73
  74 NDR throughput changes between releases are available in a
  75 CSV and pretty ASCII formats:
  76
  77   - `csv format for 1t1c <../_static/vpp/performance-changes-1t1c-ndr.csv>`_,
  78   - `csv format for 2t2c <../_static/vpp/performance-changes-2t2c-ndr.csv>`_,
  79   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-1t1c-ndr.txt>`_,
  80   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-2t2c-ndr.txt>`_.
  81
  82 .. note::
  83
  84     Test results have been generated by
  85     `FD.io test executor vpp performance job 3n-hsw`_,
  86     with Robot Framework result
  87     files csit-vpp-perf-|srelease|-\*.zip
  88     `archived here <../_static/archive/>`_.
  89
  90 PDR Changes
  91 ~~~~~~~~~~~
  92
  93 PDR throughput changes between releases are available in a
  94 CSV and pretty ASCII formats:
  95
  96   - `csv format for 1t1c <../_static/vpp/performance-changes-1t1c-pdr.csv>`_,
  97   - `csv format for 2t2c <../_static/vpp/performance-changes-2t2c-pdr.csv>`_,
  98   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-1t1c-pdr.txt>`_,
  99   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-2t2c-pdr.txt>`_.
 100
 101 .. note::
 102
 103     Test results have been generated by
 104     `FD.io test executor vpp performance job 3n-hsw`_,
 105     with Robot Framework result
 106     files csit-vpp-perf-|srelease|-\*.zip
 107     `archived here <../_static/archive/>`_.
 108
 109 MRR Changes
 110 ~~~~~~~~~~~
 111
 112 MRR small packet throughput changes between releases are available in a
 113 CSV and pretty ASCII formats:
 114
 115   - `csv format for 1t1c <../_static/vpp/performance-changes-1t1c-mrr.csv>`_,
 116   - `csv format for 2t2c <../_static/vpp/performance-changes-2t2c-mrr.csv>`_,
 117   - `csv format for 4t4c <../_static/vpp/performance-changes-4t4c-mrr.csv>`_,
 118   - `pretty ASCII format for 1t1c <../_static/vpp/performance-changes-1t1c-mrr.txt>`_,
 119   - `pretty ASCII format for 2t2c <../_static/vpp/performance-changes-2t2c-mrr.txt>`_,
 120   - `pretty ASCII format for 4t4c <../_static/vpp/performance-changes-4t4c-mrr.txt>`_.
 121
 122 .. note::
 123
 124     Test results have been generated by
 125     `FD.io test executor vpp performance job 3n-hsw`_,
 126     with Robot Framework result
 127     files csit-vpp-perf-|srelease|-\*.zip
 128     `archived here <../_static/archive/>`_.
 129
 130 Comparison Across Testbeds
 131 --------------------------
 132
 133 Relative performance changes in measured packet throughputon 3-Node Skx testbed
 134 are calculated against the results measured on 3-Node Hsw testbed.
 135
 136 NDR Changes
 137 ~~~~~~~~~~~
 138
 139 NDR changes between testbeds are available in a
 140 CSV and pretty ASCII formats:
 141
 142   - `csv format for ndr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-ndr.csv>`_,
 143   - `pretty ASCII format for ndr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-ndr.txt>`_.
 144
 145 .. note::
 146
 147     Test results have been generated by
 148     `FD.io test executor vpp performance job 3n-hsw`_ and
 149     `FD.io test executor vpp performance job 3n-skx`_
 150     with Robot Framework result
 151     files csit-vpp-perf-|srelease|-\*.zip
 152     `archived here <../_static/archive/>`_.
 153
 154 PDR Changes
 155 ~~~~~~~~~~~
 156
 157 PDR throughput changes between testbeds are available in a
 158 CSV and pretty ASCII formats:
 159
 160   - `csv format for pdr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-pdr.csv>`_,
 161   - `pretty ASCII format for pdr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-pdr.txt>`_.
 162
 163 .. note::
 164
 165     Test results have been generated by
 166     `FD.io test executor vpp performance job 3n-hsw`_ and
 167     `FD.io test executor vpp performance job 3n-skx`_
 168     with Robot Framework result
 169     files csit-vpp-perf-|srelease|-\*.zip
 170     `archived here <../_static/archive/>`_.
 171
 172 MRR Changes
 173 ~~~~~~~~~~~
 174
 175 MRR throughput changes between testbeds are available in a
 176 CSV and pretty ASCII formats:
 177
 178   - `csv format for mrr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-mrr.csv>`_,
 179   - `pretty ASCII format for mrr <../_static/vpp/performance-compare-testbeds-3n-hsw-3n-skx-mrr.txt>`_.
 180
 181 .. note::
 182
 183     Test results have been generated by
 184     `FD.io test executor vpp performance job 3n-hsw`_ and
 185     `FD.io test executor vpp performance job 3n-skx`_
 186     with Robot Framework result
 187     files csit-vpp-perf-|srelease|-\*.zip
 188     `archived here <../_static/archive/>`_.
 189
 190 Throughput Trending
 191 -------------------
 192
 193 In addition to reporting throughput changes between VPP releases, CSIT
 194 provides continuous performance trending for VPP master branch:
 195
 196 #. `VPP Performance Dashboard <https://docs.fd.io/csit/master/trending/introduction/index.html>`_
 197    - per VPP test case throughput trend, trend compliance and summary of
 198    detected anomalies.
 199
 200 #. `Trending Methodology <https://docs.fd.io/csit/master/trending/methodology/index.html>`_
 201    - throughput test metrics, trend calculations and anomaly
 202    classification (progression, regression, outlier).
 203
 204 #. `Trendline Graphs <https://docs.fd.io/csit/master/trending/trending/index.html>`_
 205    - per VPP build MRR throughput measurements against the trendline
 206    with anomaly highlights, with associated CSIT test jobs.
 207
 208 Known Issues
 209 ------------
 210
 211 List of known issues in |csit-release| for VPP performance tests:
 212
 213 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 214 | # | Issue                                           | Jira ID    | Description                                                     |
 215 +===+=================================================+============+=================================================================+
 216 | 1 | Sporadic (1 in 200) NDR discovery test failures | CSIT-570   | DPDK reporting rx-errors, indicating L1 issue. Suspected issue  |
 217 |   | on x520.                                        |            | with HW combination of X710-X520 in LF testbeds. Not observed   |
 218 |   |                                                 |            | outside of LF testbeds.                                         |
 219 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 220 | 2 | High failure rate of api call                   | VPP-1361   | Failure rate: 30-40% of tests failing due to interfaces not     |
 221 |   | sw_interface_set_flags [admin-up|link-up]       |            | in link-up state after API call sw_interface_set_flags.         |
 222 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+
 223 | 3 | Scale IPSecHW Interface mode throughput         | CSIT-1234  | IPSec throughput regression: NDR -28%..-31%, PDR -28%..-31%,    |
 224 |   | regression.                                     |            | MRR -40%. Affects IPSec HW Scale 1000tnl tests with Int mode.   |
 225 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+