Update report content
[csit.git] / docs / report / vpp_performance_tests / csit_release_notes.rst
index e7c61e6..8fd8a3b 100644 (file)
@@ -19,10 +19,9 @@ Changes in CSIT |release|
        to container, then via "horizontal" memif to next container, and so on\r
        until the last container, then back to VPP and NIC;\r
 \r
-   - **VPP TCP/IP stack**\r
+   - **MRR tests**\r
 \r
-     - Added tests for VPP TCP/IP stack using VPP built-in HTTP server.\r
-       WRK traffic generator is used as a client-side;\r
+     - <placeholder>;\r
 \r
    - **SRv6**\r
 \r
@@ -31,11 +30,6 @@ Changes in CSIT |release|
        lookups and rewrites based on configured End and End.DX6 SRv6 egress\r
        functions;\r
 \r
-   - **IPSecSW**\r
-\r
-     - SW computed IPSec encryption with AES-GCM, CBC-SHA1 ciphers, in\r
-       combination with IPv4 routed-forwarding;\r
-\r
 #. Presentation and Analytics Layer\r
 \r
      - Added throughput speedup analysis for multi-core and multi-thread\r
@@ -46,20 +40,7 @@ Changes in CSIT |release|
 \r
      - **Framework optimizations**\r
 \r
-       - Ability to run CSIT framework on ARM architecture;\r
-\r
-       - Overall stability improvements;\r
-\r
-     - **NDR and PDR throughput binary search change**\r
-\r
-       - Increased binary search resolution by reducing final step from\r
-         100kpps to 50kpps;\r
-\r
-     - **VPP plugin loaded as needed by tests**\r
-\r
-       - From this release only plugins required by tests are loaded at\r
-         VPP initialization time. Previously all plugins were loaded for\r
-         all tests;\r
+       - Performance test duration improvements and stability;\r
 \r
 Performance Changes\r
 -------------------\r
@@ -132,23 +113,15 @@ Here is the list of known issues in CSIT |release| for VPP performance tests:
 | 3 | Lower than expected NDR throughput with         | CSIT-571   | Suspected NIC firmware or DPDK driver issue affecting NDR and   |\r
 |   | xl710 and x710 NICs, compared to x520 NICs.     |            | PDR throughput. Applies to XL710 and X710 NICs.                 |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 4 | QAT IPSec scale with 1000 tunnels (interfaces)  | VPP-1121   | VPP crashes during configuration of 1000 IPsec tunnels.         |\r
-|   | in 2t2c config, all tests are failing.          |            | 1t1c tests are not affected                                     |\r
-+---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 5 | rls1801 plugin related performance regression   | CSIT-925   | With all plugins loaded NDR, PDR and MaxRates vary              |\r
+| 4 | rls1801 plugin related performance regression   | CSIT-925   | With all plugins loaded NDR, PDR and MaxRates vary              |\r
 |   |                                                 |            | intermittently from 3% to 5% across multiple test executions.   |\r
 |   |                                                 |            | Requires plugin code bisecting.                                 |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 6 | rls1801 generic small performance regression    | CSIT-926   | Generic performance regression of discovered NDR, PDR and       |\r
+| 5 | rls1801 generic small performance regression    | CSIT-926   | Generic performance regression of discovered NDR, PDR and       |\r
 |   | ip4base, l2xcbase, l2bdbase                     |            | MaxRates of -3%..-1% vs. rls1710, affects ip4base, l2xcbase,    |\r
 |   |                                                 |            | l2bdbase test suites. Not detected by CSIT performance trending |\r
 |   |                                                 |            | scheme as it was masked out by another issue CSIT-925.          |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 7 | rls1801 substantial NDR performance regression  | CSIT-927   | Much lower NDR for vhostvr1024 tests, with mean values          |\r
-|   | for vhost-user vring size of 1024               |            | regression of -17%..-42% vs. rls1710, but also very high        |\r
-|   |                                                 |            | standard deviation of up to 1.46 Mpps => poor repeatibility.    |\r
-|   |                                                 |            | Making mean values not fully representative.                    |\r
-+---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 8 | rls1801 substantial NDR/PDR regression for      | CSIT-928   | NDR regression of -7%..-15%, PDR regression of -3%..-15%        |\r
+| 6 | rls1801 substantial NDR/PDR regression for      | CSIT-928   | NDR regression of -7%..-15%, PDR regression of -3%..-15%        |\r
 |   | IPSec tunnel scale with HW QAT crypto-dev       |            | compared to rls1710.                                            |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r