Update static report content - performance tests, part I
[csit.git] / docs / report / vpp_performance_tests / csit_release_notes.rst
index 8499bca..3434182 100644 (file)
@@ -49,36 +49,16 @@ Changes in CSIT |release|
 \r
    - **Linux Container VPP memif virtual interface tests**\r
 \r
-     - VPP Memif virtual interface (shared memory interface) tests\r
-       interconnecting VPP instances over memif. VPP vswitch\r
-       instance runs in bare-metal user-mode handling Intel x520 NIC\r
-       10GbE interfaces and connecting over memif (Master side) virtual\r
-       interfaces to another instance of VPP running in bare-metal Linux\r
-       Container (LXC) with memif virtual interfaces (Slave side). LXC\r
-       runs in a priviliged mode with VPP data plane worker threads\r
-       pinned to dedicated physical CPU cores per usual CSIT practice.\r
-       Both VPP run the same version of software. This test topology is\r
-       equivalent to existing tests with vhost-user and VMs.\r
+     - New VPP Memif virtual interface (shared memory interface) tests\r
+       with L2 Bridge-Domain switched-forwarding;\r
 \r
    - **Stateful Security Groups**\r
 \r
-     - New tests of VPP stateful security-groups a.k.a. acl-plugin\r
-       functionally compatible with networking-vpp OpenStack;\r
+     - New m-thread m-core VPP stateful security-groups tests;\r
 \r
-     - New tested security-groups access-control-lists (acl)\r
-       configuration variants include: [iaclNsl] input acl stateless,\r
-       [oaclNsl] output acl stateless, [iaclNsf] input acl stateful\r
-       a.k.a. reflect, [oaclNsf] output acl stateful a.k.a. reflect,\r
-       where N is number of access-control-entries (ace) in the acl.\r
+   - **MAC-IP binding**\r
 \r
-     - Testing packet flows transmitted by TG: 100, 10k, 100k, always\r
-       hitting the last permit entry in acl.\r
-\r
-   - **VPP vhost and VM tests**\r
-\r
-     - New VPP vhost-user and VM test cases to benchmark performance of\r
-       VPP and VM topologies with Qemu and CFS policy combinations of\r
-       [vr256,vr1024] x [cfs,cfsrr1];\r
+     - New MACIP iACL single-thread single-core and m-thread m-core tests;\r
 \r
      - Statistical analysis of repeatibility of results;\r
 \r
@@ -111,7 +91,7 @@ Non-Drop Rate Throughput discovery tests:
 \r
       \makeatletter\r
       \csvset{\r
-        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
+        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
       }\r
       \makeatother\r
 \r
@@ -143,7 +123,7 @@ Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:
 \r
       \makeatletter\r
       \csvset{\r
-        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
+        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
       }\r
       \makeatother\r
 \r
@@ -159,8 +139,8 @@ Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:
 \r
 \r
 Measured improvements are in line with VPP code optimizations listed in\r
-`VPP-17.07 release notes\r
-<https://docs.fd.io/vpp/17.07/release_notes_1707.html>`_.\r
+`VPP-17.10 release notes\r
+<https://docs.fd.io/vpp/17.10/release_notes_1710.html>`_.\r
 \r
 Other Performance Changes\r
 -------------------------\r
@@ -187,7 +167,7 @@ Non-Drop Rate Throughput discovery tests:
 \r
       \makeatletter\r
       \csvset{\r
-        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
+        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
       }\r
       \makeatother\r
 \r
@@ -219,7 +199,7 @@ Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:
 \r
       \makeatletter\r
       \csvset{\r
-        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
+        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
       }\r
       \makeatother\r
 \r
@@ -242,27 +222,17 @@ Here is the list of known issues in CSIT |release| for VPP performance tests:
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 | # | Issue                                           | Jira ID    | Description                                                     |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 1 | Security-groups acl-plugin scale tests failure  | CSIT-731   | VPP with 2 worker threads crashes during security-groups        |\r
-|   | with stateful acls if VPP with 2 worker threads | VPP-912    | iaclNsf and oaclNsf tests with 100k flows.                      |\r
-+---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 2 | VPP fails memif tests in 4 worker 2 core setup  | CSIT-732   | VPP with 4 worker threads running on 2 physical cores crashes   |\r
-|   |                                                 | VPP-920    | during memif tests. Initial debugging points to DPDK code       |\r
-+---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 3 | NDR discovery test failures 1518B frame size    | VPP-663    | VPP reporting errors: dpdk-input Rx ip checksum errors.         |\r
-|   | for ip4scale200k, ip4scale2m scale IPv4 routed- |            | Observed frequency: all test runs.                              |\r
-|   | forwarding tests. ip4scale20k tests are fine.   |            |                                                                 |\r
-+---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 4 | Vic1385 and Vic1227 low performance.            | VPP-664    | Low NDR performance.                                            |\r
+| 1 | Vic1385 and Vic1227 low performance.            | VPP-664    | Low NDR performance.                                            |\r
 |   |                                                 |            |                                                                 |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 5 | Sporadic NDR discovery test failures on x520.   | CSIT-750   | Suspected issue with HW settings (BIOS, FW) in LF               |\r
+| 2 | Sporadic NDR discovery test failures on x520.   | CSIT-750   | Suspected issue with HW settings (BIOS, FW) in LF               |\r
 |   |                                                 |            | infrastructure. Issue can't be replicated outside LF.           |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 6 | VPP in 2t2c setups - large variation            | CSIT-568   | Suspected NIC firmware or DPDK driver issue affecting NDR       |\r
+| 3 | VPP in 2t2c setups - large variation            | CSIT-568   | Suspected NIC firmware or DPDK driver issue affecting NDR       |\r
 |   | of discovered NDR throughput values across      |            | throughput. Applies to XL710 and X710 NICs, x520 NICs are fine. |\r
 |   | multiple test runs with xl710 and x710 NICs.    |            |                                                                 |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
-| 7 | Lower than expected NDR and PDR throughput with | CSIT-569   | Suspected NIC firmware or DPDK driver issue affecting NDR and   |\r
+| 4 | Lower than expected NDR and PDR throughput with | CSIT-569   | Suspected NIC firmware or DPDK driver issue affecting NDR and   |\r
 |   | xl710 and x710 NICs, compared to x520 NICs.     |            | PDR throughput. Applies to XL710 and X710 NICs.                 |\r
 +---+-------------------------------------------------+------------+-----------------------------------------------------------------+\r
 \r