rls1801 report: edits to static content for vpp and dpdk perf sections.
[csit.git] / docs / report / vpp_performance_tests / csit_release_notes.rst
index 754abc0..17003bc 100644 (file)
@@ -6,32 +6,32 @@ Changes in CSIT |release|
 #. Added VPP performance tests\r
-   - **Container Topologies Orchestrated by K8s with VPP memif tests**\r
-   - Added tests with VPP in L2 Cross-Connect and Bridge-Domain\r
-     configurations containers, with service chain topologies orchestrated by\r
-     Kubernetes. Added following forwarding topologies: i) "Parallel" with\r
-     packets flowing from NIC via VPP to container and back to VPP and NIC;\r
-     ii) "Chained" a.k.a. "Snake" with packets flowing via VPP to container,\r
-     back to VPP, to next container, back to VPP and so on until the last\r
-     container in chain, then back to VPP and NIC; iii) "Horizontal" with\r
-     packets flowing via VPP to container, then via "horizontal" memif to\r
-     next container, and so on until the last container, then back to VPP and\r
-     NIC;.\r
+   - **Container Service Chain Topologies Orchestrated by K8s with VPP Memif**\r
+     - Added tests with VPP vswitch in container connecting a number of VPP-\r
+       in-container service chain topologies with L2 Cross-Connect and L2\r
+       Bridge-Domain configurations, orchestrated by Kubernetes. Added\r
+       following forwarding topologies: i) "Parallel" with packets flowing from\r
+       NIC via VPP to container and back to VPP and NIC; ii) "Chained" (a.k.a.\r
+       "Snake") with packets flowing via VPP to container, back to VPP, to next\r
+       container, back to VPP and so on until the last container in a chain,\r
+       then back to VPP and NIC; iii) "Horizontal" with packets flowing via VPP\r
+       to container, then via "horizontal" memif to next container, and so on\r
+       until the last container, then back to VPP and NIC;\r
    - **VPP TCP/IP stack**\r
      - Added tests for VPP TCP/IP stack using VPP built-in HTTP server.\r
        WRK traffic generator is used as a client-side;\r
-   - **SRv6 tests**\r
+   - **SRv6**\r
      - Initial SRv6 (Segment Routing IPv6) tests verifying performance of\r
        IPv6 and SRH (Segment Routing Header) encapsulation, decapsulation,\r
        lookups and rewrites based on configured End and End.DX6 SRv6 egress\r
-   - **IPSecSW tests**\r
+   - **IPSecSW**\r
      - SW computed IPSec encryption with AES-GCM, CBC-SHA1 ciphers, in\r
        combination with IPv4 routed-forwarding;\r
@@ -42,7 +42,7 @@ Changes in CSIT |release|
        VPP tests into Presentation and Analytics Layer (PAL) for automated\r
        CSIT test results analysis;\r
-#. Other improvements\r
+#. Other changes\r
      - **Framework optimizations**\r
@@ -50,15 +50,30 @@ Changes in CSIT |release|
        - Overall stability improvements;\r
+     - **NDR and PDR throughput binary search change**\r
+       - Increased binary search resolution by reducing final step from\r
+         100kpps to 50kpps;\r
+     - **VPP plugin loaded as needed by tests**\r
+       - From this release only plugins required by tests are loaded at\r
+         VPP initialization time. Previously all plugins were loaded for\r
+         all tests;\r
 Performance Changes\r
-Substantial changes in measured packet throughput have been observed in a\r
-number of CSIT |release| tests listed below. Relative changes for this release\r
-are calculated against the test results listed in CSIT |release-1| report. The\r
-comparison is calculated between the mean values based on collected and\r
-archived test results' samples for involved VPP releases. Standard deviation\r
-has been also listed for CSIT |release|.\r
+Relative performance changes in measured packet throughput in CSIT\r
+|release| are calculated against the results from CSIT |release-1|\r
+report. Listed mean and standard deviation values are computed based on\r
+a series of the same tests executed against respective VPP releases to\r
+verify test results repeatibility, with percentage change calculated for\r
+mean values. Note that the standard deviation is quite high for a small\r
+number of packet throughput tests, what indicates poor test results\r
+repeatability and makes the relative change of mean throughput value not\r
+fully representative for these tests. The root causes behind poor\r
+results repeatibility vary between the test cases.\r
 NDR Throughput Changes\r
@@ -97,13 +112,14 @@ Here is the list of known issues in CSIT |release| for VPP performance tests:
 | 1 | Vic1385 and Vic1227 low performance.            | VPP-664    | Low NDR performance.                                            |\r
 |   |                                                 |            |                                                                 |\r
-| 2 | Sporadic NDR discovery test failures on x520.   | CSIT-750   | Suspected issue with HW combination of X710-X520 in LF          |\r
-|   |                                                 |            | infrastructure. Issue can't be replicated outside LF.           |\r
+| 2 | Sporadic (1 in 200) NDR discovery test failures | CSIT-570   | DPDK reporting rx-errors, indicating L1 issue. Suspected issue  |\r
+|   | on x520.                                        |            | with HW combination of X710-X520 in LF testbeds. Not observed   |\r
+|   |                                                 |            | outside of LF testbeds.                                         |\r
-| 3 | VPP in 2t2c setups - large variation            | CSIT-568   | Suspected NIC firmware or DPDK driver issue affecting NDR       |\r
-|   | of discovered NDR throughput values across      |            | throughput. Applies to XL710 and X710 NICs, x520 NICs are fine. |\r
-|   | multiple test runs with xl710 and x710 NICs.    |            |                                                                 |\r
-| 4 | Lower than expected NDR throughput with         | CSIT-569   | Suspected NIC firmware or DPDK driver issue affecting NDR and   |\r
+| 3 | Lower than expected NDR throughput with         | CSIT-571   | Suspected NIC firmware or DPDK driver issue affecting NDR and   |\r
 |   | xl710 and x710 NICs, compared to x520 NICs.     |            | PDR throughput. Applies to XL710 and X710 NICs.                 |\r
+| 4 | QAT IPSec scale with 1000 tunnels (interfaces)  | VPP-1121   | VPP crashes during configuration of 1000 IPsec tunnels.         |\r
+|   | in 2t2c config, all tests are failing.          |            | 1t1c tests are not affected                                     |\r

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.