Report 2005: Fix comparison table hdr, add data 06/27706/3 oper-200629
authorTibor Frank <tifrank@cisco.com>
Fri, 26 Jun 2020 10:14:27 +0000 (12:14 +0200)
committerTibor Frank <tifrank@cisco.com>
Fri, 26 Jun 2020 11:08:09 +0000 (13:08 +0200)
Change-Id: I3ef6dfb1b3da4f91c77841536a840a439816e61f
Signed-off-by: Tibor Frank <tifrank@cisco.com>
12 files changed:
docs/report/dpdk_performance_tests/comparisons/2n-skx_vs_2n-clx_testbeds.rst
docs/report/dpdk_performance_tests/comparisons/3n-skx_vs_2n-skx_testbeds.rst
docs/report/dpdk_performance_tests/comparisons/3n-skx_vs_3n-hsw_testbeds.rst
docs/report/dpdk_performance_tests/comparisons/current_vs_previous_release.rst
docs/report/introduction/methodology_data_plane_throughput/methodology_data_plane_throughput.rst
docs/report/vpp_performance_tests/comparisons/2n-clx_vs_3n-hsw_testbeds.rst
docs/report/vpp_performance_tests/comparisons/2n-skx_vs_2n-clx_testbeds.rst
docs/report/vpp_performance_tests/comparisons/3n-skx_vs_2n-skx_testbeds.rst
docs/report/vpp_performance_tests/comparisons/3n-skx_vs_3n-hsw_testbeds.rst
docs/report/vpp_performance_tests/comparisons/current_vs_previous_release.rst
docs/report/vpp_performance_tests/comparisons/soak_vs_ndr.rst
resources/tools/presentation/specification.yaml

index 6e14312..ec7a9f3 100644 (file)
@@ -1,5 +1,5 @@
-2n-Skx vs. 2n-Clx Testbeds
---------------------------
+2n-Skx vs 2n-Clx Testbeds
+-------------------------
 
 Relative comparison of |dpdk-release| Testpmd and L3fwd packet
 throughput (NDR, PDR and MRR) is calculated for the same tests executed
index bafbb38..2eb1e7b 100644 (file)
@@ -1,8 +1,8 @@
 
 .. _dpdk_compare_topologies_3n-Skx_vs_2n-Skx:
 
-3n-Skx vs. 2n-Skx Testbeds
---------------------------
+3n-Skx vs 2n-Skx Testbeds
+-------------------------
 
 Relative comparison of |dpdk-release| Testpmd and L3fwd packet
 throughput (NDR, PDR and MRR) is calculated for the same tests executed
index e60606a..8b581f9 100644 (file)
@@ -1,5 +1,5 @@
-3n-Skx vs. 3n-Hsw Testbeds
---------------------------
+3n-Skx vs 3n-Hsw Testbeds
+-------------------------
 
 Relative comparison of |dpdk-release| Testpmd and L3fwd packet
 throughput (NDR, PDR and MRR) is calculated for the same tests executed
index 4557c43..6358185 100644 (file)
@@ -1,8 +1,8 @@
 
 .. _dpdk_compare_current_vs_previous_release:
 
-Current vs. Previous Release
-----------------------------
+Current vs Previous Release
+---------------------------
 
 Relative comparison of DPDK Testpmd and L3fwd packet throughput (NDR,
 PDR and MRR) between |dpdk-release| and |dpdk-release-1| (measured for
index 764e198..3df54b3 100644 (file)
@@ -75,7 +75,7 @@ trending jobs enabling detection of performance anomalies (regressions,
 progressions) resulting from data plane code changes.
 
 MRR tests are also used for VPP per patch performance jobs verifying
-patch performance vs. parent. CSIT reports include MRR throughput
+patch performance vs parent. CSIT reports include MRR throughput
 comparisons between releases and test environments. Small frame sizes
 only (64b/78B, IMIX).
 
index 5dccf34..4837b64 100644 (file)
@@ -1,5 +1,5 @@
-2n-Clx vs. 3n-Hsw Testbeds
---------------------------
+2n-Clx vs 3n-Hsw Testbeds
+-------------------------
 
 Relative comparison of |vpp-release| packet throughput (NDR, PDR and
 MRR) is calculated for the same tests executed on 3-Node Skylake (3n-
index 328fa19..3b9abb8 100644 (file)
@@ -1,5 +1,5 @@
-2n-Skx vs. 2n-Clx Testbeds
---------------------------
+2n-Skx vs 2n-Clx Testbeds
+-------------------------
 
 Relative comparison of |vpp-release| packet throughput (NDR, PDR and
 MRR) is calculated for the same tests executed on 2-Node Skylake (2n-
index b71e2bb..bb4a23e 100644 (file)
@@ -1,8 +1,8 @@
 
 .. _vpp_compare_topologies_3n-Skx_vs_2n-Skx:
 
-3n-Skx vs. 2n-Skx Testbeds
---------------------------
+3n-Skx vs 2n-Skx Testbeds
+-------------------------
 
 Relative comparison of |vpp-release| packet throughput (NDR, PDR and
 MRR) is calculated for the same tests executed on 3-Node Skylake (3n-
index dd7cb03..003f92c 100644 (file)
@@ -1,5 +1,5 @@
-3n-Skx vs. 3n-Hsw Testbeds
---------------------------
+3n-Skx vs 3n-Hsw Testbeds
+-------------------------
 
 Relative comparison of |vpp-release| packet throughput (NDR, PDR and
 MRR) is calculated for the same tests executed on 3-Node Skylake (3n-
index 50c4710..a65e5d1 100644 (file)
@@ -1,8 +1,8 @@
 
 .. _vpp_compare_current_vs_previous_release:
 
-Current vs. Previous Release
-----------------------------
+Current vs Previous Release
+---------------------------
 
 Relative comparison of VPP packet throughput (NDR, PDR and MRR) between
 |vpp-release| and |vpp-release-1| (measured for |csit-release| and
index c219ffd..b4de50b 100644 (file)
@@ -1,9 +1,9 @@
 .. _`soak vs ndr comparison`:
 
-Soak Tests vs. NDR Tests
-------------------------
+Soak Tests vs NDR Tests
+-----------------------
 
-Relative comparison of |vpp-release| Soak PLRSearch vs. NDR packet throughput
+Relative comparison of |vpp-release| Soak PLRSearch vs NDR packet throughput
 is calculated for the tests executed on 2-Node Skylake physical testbed types,
 in 1-core configurations.
 
@@ -20,11 +20,11 @@ Comparison tables in ASCII and CSV formats:
 2n-skx
 ~~~~~~
 
-  - `ASCII Soak vs. NDR comparison <../../_static/vpp/soak-vs-ndr-2n-skx.txt>`_
-  - `CSV Soak vs. NDR comparison <../../_static/vpp/soak-vs-ndr-2n-skx.csv>`_
+  - `ASCII Soak vs NDR comparison <../../_static/vpp/soak-vs-ndr-2n-skx.txt>`_
+  - `CSV Soak vs NDR comparison <../../_static/vpp/soak-vs-ndr-2n-skx.csv>`_
 
 2n-clx
 ~~~~~~
 
-  - `ASCII Soak vs. NDR comparison <../../_static/vpp/soak-vs-ndr-2n-clx.txt>`_
-  - `CSV Soak vs. NDR comparison <../../_static/vpp/soak-vs-ndr-2n-clx.csv>`_
+  - `ASCII Soak vs NDR comparison <../../_static/vpp/soak-vs-ndr-2n-clx.txt>`_
+  - `CSV Soak vs NDR comparison <../../_static/vpp/soak-vs-ndr-2n-clx.csv>`_
index a6ff3b0..1772b7c 100644 (file)
         - 41  # NDRPDR sel
     vpp-performance-changes-3n-skx-cmp-2:
       csit-vpp-perf-report-iterative-2005-3n-skx:
-        # TODO: Add data
         - 42  # NDRPDR sel env 4
         - 43  # NDRPDR sel env 4
+        - 45  # NDRPDR sel env 4
 
     vpp-performance-changes-2n-skx-h1:
       csit-vpp-perf-verify-1908_1-2n-skx:
         - 73  # NDRPDR sel
     vpp-performance-changes-2n-skx-cmp-2:
       csit-vpp-perf-report-iterative-2005-2n-skx:
-        # TODO: Add data
         - 88  # NDRPDR sel env 4
         - 89  # NDRPDR sel env 4
         - 90  # NDRPDR sel env 4
         - 14  # NDRPDR sel
         - 21  # NDRPDR sel
     vpp-performance-changes-3n-tsh-cmp-2:
-      # TODO: Add data:
       csit-vpp-perf-report-iterative-2005-3n-tsh:
         - 23  # NDRPDR sel env 4
 
       - 41  # NDRPDR sel
       - 42  # NDRPDR sel env 4
       - 43  # NDRPDR sel env 4
+      - 45  # NDRPDR sel env 4
       - 6   # MRR sel
     csit-vpp-perf-report-coverage-2005-3n-skx:
       - 10  # perf-full-3n-skx-crypto_I
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-hsw-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-hsw-1t1c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 3n-hsw with xl710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-hsw 2t2c pdr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-hsw-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-hsw-2t2c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 3n-hsw with xl710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-hsw 1t1c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-hsw-cmp-2"
   comparisons:
-    - title: "Diff1"
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-hsw-1t1c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 3n-hsw with xl710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-hsw 2t2c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-hsw-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-hsw-2t2c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 3n-hsw with xl710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-skx 2t1c pdr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-skx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-skx-2t1c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 3n-skx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-skx 4t2c pdr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-skx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-skx-4t2c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 3n-skx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-skx 2t1c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-skx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-skx-2t1c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 3n-skx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-skx 4t2c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-skx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-skx-4t2c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 3n-skx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 2n-skx 2t1c pdr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-2n-skx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-2n-skx-2t1c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 2n-skx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 2n-skx 4t2c pdr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-2n-skx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-2n-skx-4t2c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 2n-skx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 2n-skx 2t1c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-2n-skx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-2n-skx-2t1c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 2n-skx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 2n-skx 4t2c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-2n-skx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-2n-skx-4t2c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 2n-skx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 2n-clx-xxv710 2t1c pdr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-2n-clx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 3
-      compare: 2
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 2
+      compare: 3
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 1
       compare: 3
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-2n-clx-2t1c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 2n-clx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 2n-clx-xxv710 4t2c pdr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-2n-clx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 3
-      compare: 2
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 2
+      compare: 3
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 1
       compare: 3
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-2n-clx-4t2c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 2n-clx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 2n-clx-xxv710 2t1c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-2n-clx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 3
-      compare: 2
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 2
+      compare: 3
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 1
       compare: 3
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-2n-clx-2t1c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 2n-clx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 2n-clx-xxv710 4t2c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-2n-clx-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 3
-      compare: 2
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 2
+      compare: 3
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 1
       compare: 3
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-2n-clx-4t2c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 2n-clx with xxv710.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 2n-clx-x556 2t1c pdr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-tsh-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-tsh-1t1c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 3n-tsh with x520.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-tsh 2t2c pdr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-tsh-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-tsh-2t2c-pdr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: PDR throughput on 3n-tsh with x520.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-tsh 1t1c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-tsh-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-tsh-1t1c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 3n-tsh with x520.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Performance Changes 3n-tsh 2t2c ndr
 - type: "table"
     - title: "2005.0-4"
       data-set: "vpp-performance-changes-3n-tsh-cmp-2"
   comparisons:
-    - title: "Diff1"
-      reference: 4
-      compare: 3
-    - title: "Diff2"
+    - title: "2005.0-4 vs 2005.0-3"
+      reference: 3
+      compare: 4
+    - title: "2005.0-4 vs 2001.0-2"
       reference: 2
       compare: 4
 #  rca:
 #    - title: "RCA2"
 #      data: "rca/rca-2005-3n-tsh-2t2c-ndr-rca2.yaml"
   legend:
-    - "Legend to Table"
-    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
-    - 'Diff1 - difference between environment versions "3" and "4" for the same VPP version, 2005.0-3 relative to 2005.0-4. Version "3" was found to be incompatible with "2" due to different number of TRex workers used.'
-    - 'Diff2 - difference between the current and the previous VPP version in the compatible environment versions "2" and "4", 2005.0-4 relative to 2001.0-2.'
-#    - 'RCA1 - root cause analysis reference for Diff1.'
-#    - 'RCA2 - root cause analysis reference for Diff2.'
+    - 'Legend to Table:'
+    - ''
+    - '           Test Case: Test cases executed for: NDR throughput on 3n-tsh with x520.'
+    - '            YYMM.V-E: [Mpps +- StDev] results for VPP version (YY year, MM month, V minor version) tested in CSIT environment version (E environment version, "2" for 2020-03-27, "3" for 2020-06-11, "4" for 2020-06-24).'
+    - '2005.0-4 vs 2005.0-3: [% +- StDev] Relative difference, latter is the base. Environment version "3" was found to be incompatible with "2" due to higher number of TRex workers used.'
+    - '2005.0-4 vs 2001.0-2: [% +- StDev] Relative difference, latter is the base. Used as a reference to compare benchmark results of VPP current release v20.05.0 vs previous release v20.01.0.'
+#    - '                RCA1: root cause analysis reference for 2005.0-4 vs 2005.0-3.'
+#    - '                RCA2: root cause analysis reference for 2005.0-4 vs 2001.0-2.'
 
 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c ndr
 - type: "table"

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.