docs/report/vpp_performance_tests/csit_release_notes.rst

   1 Release Notes
   2 =============
   3
   4 Changes in |csit-release|
   5 -------------------------
   6
   7 #. VPP PERFORMANCE TESTS
   8
   9    - **BMRR Throughput**: MRR (Maximum Receive Rate) test code has been
  10      updated with a configurable burst MRR parameters: trial duration
  11      and number of trials in a single burst. Enables a new Burst MRR
  12      (BMRR for short) methodology for more precise performance
  13      trending. See updated :ref:`performance_test_methodology` section
  14      for more details.
  15
  16    - **2n-skx tests**: Added performamce tests for 2n-skx (2-Node Xeon
  17      Skylake) testbeds: focus on baseline and scale tests, including
  18      VM vhost and Container memif tests.
  19
  20    - **3n-skx tests**: Added performamce tests for 3n-skx (3-Node Xeon
  21      Skylake) testbeds: VM vhost and Container memif tests.
  22
  23    - **VXLAN Scale Tests**: Added performamce tests for VXLAN scale with
  24      dot1q and VPP L2BD.
  25
  26    - **AVF Driver Tests**: Added performamce tests for i40e AVF driver
  27      on VPP, no DPDK required.
  28
  29    - **QAT**: Fixed reoccuring issues with QAT crypto accelerator cards.
  30
  31    - **K8s/Ligato in Trending**: Added K8s/Ligato Container memif tests
  32      to daily trending.
  33
  34 #. TEST FRAMEWORK
  35
  36    - **Experimental Soak Tests**: Added performamce soak tests framework
  37      code for extended time duration tests and  throughput discovery
  38      at given PLR and at give total test time e.g. minutes, hours,
  39      days, weeks, months, years. See updated
  40      :ref:`performance_test_methodology` section for more details.
  41
  42    - **Trending Tests BMRR**: Used new Burst MRR (BMRR) tests for daily
  43      trending.
  44
  45    - **Per VPP Patch Performance Checks**: Per VPP gerrit patch vs.
  46      parent performance tests, anomaly detection and no verify voting
  47      (-1/0/+1) yet. Manual trigger only. Not "marketed" to FD.io
  48      community yet to avoid excessive LFN FD.io physical performance
  49      testbed blocking.
  50
  51    - **Patch-on-Patch Infra**: Added capability to run performance tests
  52      using CSIT gerrit patch code testing VPP gerrit patch code, i.e.
  53      before any VPP and/or CSIT code is merged into git branch.
  54
  55    - **CSIT PAPI Support**: Initial implementation of PAPI L1 KWs in
  56      CSIT using VPP Python bindings. Required for migraing away from
  57      VAT. Very few L1 KWs implemented ("show version", "show
  58      interfaces").
  59
  60    - **General Code Housekeeping**: Ongoing RF keywords optimizations,
  61      removal of redundant RF keywords.
  62
  63 #. PRESENTATION AND ANALYTICS LAYER
  64
  65    - **Graphs Layout Improvements**: Improved performance graphs layout
  66      for better readibility and maintenance: test grouping, axis
  67      labels, descriptions, other informative decoration. Master report
  68      generated. 744 graphs(!)
  69
  70
  71    - **Performance Trending**: Further improvements of continuous
  72      performance trending, anomaly detection and analysis.
  73
  74 .. raw:: latex
  75
  76     \clearpage
  77
  78 .. _vpp_known_issues:
  79
  80 Known Issues
  81 ------------
  82
  83 List of known issues in |csit-release| for VPP performance tests:
  84
  85 +----+-----------------------------------------+---------------------------------------------------------------------------------------------------------------------------------+
  86 | #  | JiraID                                  | Issue Description                                                                                                               |
  87 +====+=========================================+=================================================================================================================================+
  88 | 1  | `CSIT-570                               | Sporadic (1 in 200) NDR discovery test failures on x520. DPDK reporting rx-errors, indicating L1 issue.                         |
  89 |    | <https://jira.fd.io/browse/CSIT-570>`_  | Suspected issue with HW combination of X710-X520 in LF testbeds. Not observed outside of LF testbeds.                           |
  90 +----+-----------------------------------------+---------------------------------------------------------------------------------------------------------------------------------+
  91 | 2  | `CSIT-1234                              | VPP IPSecHW scale interface mode 1core, low NDR and PDR 64B throughput in 3n-hsw testbeds, in CSIT-18.07 vs. CSIT-18.04.        |
  92 |    | <https://jira.fd.io/browse/CSIT-1234>`_ | ip4ipsecscale1000tnl-ip4base-int 1core CSIT-18.07/18.04 relative change: NDR -31%, PDR -32%, MRR -38%.                          |
  93 +----+-----------------------------------------+---------------------------------------------------------------------------------------------------------------------------------+
  94 | 3  | `CSIT-1242                              | VPP xl710 ip4base test 1core, low NDR and PDR 64B throughput in 3n-hsw testbeds, in CSIT-18.07 vs. CSIT-18.04.                  |
  95 |    | <https://jira.fd.io/browse/CSIT-1242>`_ | xl710 ip4base 1core CSIT-18.07/18.04 relative change: NDR -29%, high stdev.                                                     |
  96 +----+-----------------------------------------+---------------------------------------------------------------------------------------------------------------------------------+
  97 | 4  | `CSIT-1243                              | VPP nat44 base test 2core, low NDR and PDR 64B throughput in 3n-skx testbeds, compared to 3n-hsw testbeds.                      |
  98 |    | <https://jira.fd.io/browse/CSIT-1243>`_ | ip4base-nat44 2core 3n-skx/3n-hsw relative change: NDR -19%, PDR -22%.                                                          |
  99 +----+-----------------------------------------+---------------------------------------------------------------------------------------------------------------------------------+
 100 | 5  | `CSIT-1246                              | Ligato K8S orchestrated tests are failing due to incompatibility of the latest released Ligato vpp-agent with VPP-18.07.        |
 101 |    | <https://jira.fd.io/browse/CSIT-1246>`_ | Past vpp-agent releases are not compatible either.                                                                              |
 102 +----+-----------------------------------------+---------------------------------------------------------------------------------------------------------------------------------+
 103