docs/report/vpp_performance_tests/csit_release_notes.rst

   1 .. _vpp_performance_tests_release_notes:
   2
   3 Release Notes
   4 =============
   5
   6 Changes in |csit-release|
   7 -------------------------
   8
   9 #. VPP PERFORMANCE TESTS
  10
  11    - **AF_XDP**: Added af_xdp driver support for all test cases. Test
  12      results will be added in sub-sequent CSIT-2106 report.
  13
  14    - **GTPU tunnel**: Added GTPU HW Offload IPv4 routing tests.
  15
  16    - **Intel Xeon Ice Lake**: Added initial test data for these
  17      platforms. Current CSIT-2106 report data for Intel Xeon Ice Lake
  18      comes from an external source (Intel labs running CSIT code on
  19      "8360Y D Stepping" and "6338N" processors). For details about the
  20      physical setup see :ref:`tested_physical_topologies`. Tested
  21      VPP and CSIT versions are pre-release, VPP
  22      21.06-rc0~779-gd640ae52f.
  23
  24    - **MLRsearch improvements**: Added support for multiple packet
  25      throughput rates in a single search, each rate is associated
  26      with a distinct Packet Loss Ratio (PLR) criterion. Previously
  27      only Non Drop Rate (NDR) (PLR=0) and single Partial Drop Rate
  28      (PDR) (PLR<0.5%) were supported. Implemented number of
  29      optimizations improving rate discovery efficiency.
  30
  31    - **Reduction of tests**: Removed obsolete VPP use cases and
  32      superfluous test combinations from continuous and report test
  33      executions, including:
  34
  35      - All vts tests, obsolete use cases.
  36      - dot1q tests apart from dot1q-l2bd, superfluous combinations.
  37      - -100flows, -100kflows in all acl tests.
  38      - nat44 tests
  39
  40        - -pps tests, replaced by -tput tests.
  41        - h1-p1-s1 single session tests, unessential combination.
  42        - h4096-p63-s258048 tests, unessential scale combination.
  43
  44      - ipsec tests
  45
  46        - ethip4ipsectptlispgpe.
  47        - policy-aes128gcm.
  48        - policy-aes128cbc-hmac256sha.
  49        - policy-aes128cbc-hmac512sha.
  50        - int-aes128cbc-hmac256sha.
  51        - scale of
  52
  53          - 400tnlsw.
  54          - 5000tnlsw.
  55          - 20000tnlsw.
  56          - 60000tnlsw.
  57
  58 #. TEST FRAMEWORK
  59
  60    - **Telemetry retouch**: Refactored telemetry retrieval from DUTs and
  61      SUTs. Included VPP perfmon plugin telemetry with all perfmon
  62      bundles available in VPP release.
  63
  64    - **Upgrade to Ubuntu 20.04 LTS**: Re-installed base operating system
  65      to Ubuntu 20.04.2 LTS. Upgrade included also baseline Docker
  66      containers used for spawning topology.
  67
  68    - **CSIT test environment** version has been updated to ver. 7, see
  69      :ref:`test_environment_versioning`.
  70
  71    - **CSIT in AWS environment**: Added CSIT support for AWS c5n
  72      instances environment. Test results will be added in sub-sequent
  73      CSIT-2106 report.
  74
  75    - **CSIT PAPI support**: Due to issues with PAPI performance, VAT is
  76      still used in CSIT for all VPP scale tests. See known issues
  77      below.
  78
  79    - **General Code Housekeeping**: Ongoing code optimizations and bug
  80      fixes.
  81
  82 #. PRESENTATION AND ANALYTICS LAYER
  83
  84    - **Graphs improvements**: Updated Packet Latency graphs,
  85      see :ref:`latency_methodology`.
  86
  87 .. raw:: latex
  88
  89     \clearpage
  90
  91 .. _vpp_known_issues:
  92
  93 Known Issues
  94 ------------
  95
  96 List of known issues in |csit-release| for VPP performance tests:
  97
  98 +----+-----------------------------------------+-----------------------------------------------------------------------------------------------------------+
  99 | #  | JiraID                                  | Issue Description                                                                                         |
 100 +====+=========================================+===========================================================================================================+
 101 |  1 | `CSIT-1782                              | Multicore AVF tests are failing when trying to create interface.                                          |
 102 |    | <https://jira.fd.io/browse/CSIT-1782>`_ |                                                                                                           |
 103 +----+-----------------------------------------+-----------------------------------------------------------------------------------------------------------+
 104 |  2 | `CSIT-1763                              | Adapt ramp-up phase of nat44 tests for different frame sizes.                                             |
 105 |    | <https://jira.fd.io/browse/CSIT-1763>`_ | Currently ramp-up phase rate and duration values are correctly set for tests with 64B frame size.         |
 106 +----+-----------------------------------------+-----------------------------------------------------------------------------------------------------------+
 107 |  3 | `CSIT-1671                              | All CSIT scale tests can not use PAPI due to much slower performance compared to VAT/CLI (it takes much   |
 108 |    | <https://jira.fd.io/browse/CSIT-1671>`_ | longer to program VPP). This needs to be addressed on the PAPI side.                                      |
 109 |    +-----------------------------------------+ The usual PAPI library spends too much time parsing arguments, so even with async processing (hundreds of |
 110 |    | `VPP-1763                               | commands in flight over socket), the VPP configuration for large scale tests (millions of messages) takes |
 111 |    | <https://jira.fd.io/browse/VPP-1763>`_  | too long.                                                                                                 |
 112 +----+-----------------------------------------+-----------------------------------------------------------------------------------------------------------+
 113
 114 Root Cause Analysis for Performance Changes
 115 -------------------------------------------
 116
 117 List of RCAs in |csit-release| for VPP performance changes:
 118
 119 +----+-----------------------------------------+-----------------------------------------------------------------------------------------------------------+
 120 | #  | JiraID                                  | Issue Description                                                                                         |
 121 +====+=========================================+===========================================================================================================+
 122 |  1 | `VPP-1972                               | One VPP change has decreased performance of NAT44ed processing, both slow path and fast path.             |
 123 |    | <https://jira.fd.io/browse/VPP-1972>`_  |                                                                                                           |
 124 +----+-----------------------------------------+-----------------------------------------------------------------------------------------------------------+