Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
CSIT-1350: Add new data to 1810 report
[csit.git] / resources / tools / presentation / specification.yaml
diff --git a/resources/tools/presentation/specification.yaml b/resources/tools/presentation/specification.yaml
index 6b162f1..a795b70 100644 (file)
--- a/resources/tools/presentation/specification.yaml
+++ b/resources/tools/presentation/specification.yaml
@@ -153,6 +153,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
 
     vpp-compare-testbeds:
       csit-vpp-perf-verify-1810-3n-hsw:
@@ -163,6 +164,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
       csit-vpp-perf-verify-1810-3n-skx:
       - 24  # NDRPDR full
       - 10  # NDRPDR sel
@@ -215,10 +217,10 @@
 
     vpp-perf-results-3n-hsw:
       csit-vpp-perf-verify-1810-3n-hsw:
-      # TODO: Add data
       - 20  # NDRPDR full
       - 21  # NDRPDR full
       - 22  # NDRPDR full
+      - 27  # NDRPDR full
 
     vpp-perf-results-3n-skx:
       csit-vpp-perf-verify-1810-3n-skx:
@@ -254,6 +256,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
 
     plot-throughput-speedup-analysis-3n-skx:
       csit-vpp-perf-verify-1810-3n-skx:
@@ -291,6 +294,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
 
     plot-vpp-throughput-latency-3n-skx:
       csit-vpp-perf-verify-1810-3n-skx:
@@ -320,7 +324,6 @@
       - 27  # NDRPDR sel
 
     plot-vpp-http-server-performance:
-      # TODO: Add data:
       csit-vpp-perf-verify-1810-3n-hsw:
       - 28  # WRK
       - 29  # WRK
@@ -330,6 +333,8 @@
       - 33  # WRK
       - 34  # WRK
       - 35  # WRK
+      - 36  # WRK
+      - 37  # WRK
 
     # VPP Functional
     vpp-func-results-ubuntu:
@@ -337,7 +342,6 @@
       - 44
 
     vpp-func-results-centos:
-      # TODO: Replace with 1810 data:
       csit-vpp-functional-1810-centos7-virl:
       - 44
 
@@ -347,21 +351,36 @@
 
     # VPP Ligato
     ligato-perf-results-3n-hsw:
-      # TODO: Replace with 1810 data:
-      csit-ligato-perf-1807-all:
-      - 3   # full ?
+      csit-ligato-perf-verify-1810-3n-hsw:
+      - 5   # full
 
     plot-ligato-throughput-speedup-analysis-3n-hsw:
-      # TODO: Replace with 1810 data:
-      csit-ligato-perf-1807-all:
-      - 3   # full ?
-      - 4   # sel
+      csit-ligato-perf-verify-1810-3n-hsw:
+      - 5   # full
+      - 6   # sel
+      - 8   # sel
+      - 9   # sel
+      - 11  # sel
+      - 12  # sel
+      - 13  # sel
+      - 14  # sel
+      - 16  # sel
+      - 17  # sel
+      - 18  # sel
 
     plot-ligato-throughput-latency-3n-hsw:
-      # TODO: Replace with 1810 data:
-      csit-ligato-perf-1807-all:
-      - 3   # full ?
-      - 4   # sel
+      csit-ligato-perf-verify-1810-3n-hsw:
+      - 5   # full
+      - 6   # sel
+      - 8   # sel
+      - 9   # sel
+      - 11  # sel
+      - 12  # sel
+      - 13  # sel
+      - 14  # sel
+      - 16  # sel
+      - 17  # sel
+      - 18  # sel
 
     # DPDK Performance
     dpdk-performance-changes:
@@ -392,9 +411,14 @@
       - 2   # NDRPDR sel
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
+      - 5   # NDRPDR sel
+      - 6   # NDRPDR sel
+      - 7   # NDRPDR sel
+      - 8   # NDRPDR sel
+      - 9   # NDRPDR sel
+      - 10  # NDRPDR sel
 
     dpdk-compare-testbeds:
-      # TODO: Add data
       csit-dpdk-perf-verify-1810-3n-skx:
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
@@ -404,11 +428,19 @@
       - 9   # NDRPDR sel
       - 10  # NDRPDR sel
       - 11  # NDRPDR sel
+      - 12  # NDRPDR sel
+      - 13  # NDRPDR sel
       csit-dpdk-perf-verify-1810-3n-hsw:
       - 1   # NDRPDR sel
       - 2   # NDRPDR sel
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
+      - 5   # NDRPDR sel
+      - 6   # NDRPDR sel
+      - 7   # NDRPDR sel
+      - 8   # NDRPDR sel
+      - 9   # NDRPDR sel
+      - 10  # NDRPDR sel
 
     dpdk-perf-results-3n-hsw:
       csit-dpdk-perf-verify-1810-3n-hsw:
@@ -423,15 +455,19 @@
       - 3
 
     plot-dpdk-throughput-latency-3n-hsw:
-      # TODO: Add data:
       csit-dpdk-perf-verify-1810-3n-hsw:
       - 1   # NDRPDR sel
       - 2   # NDRPDR sel
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
+      - 5   # NDRPDR sel
+      - 6   # NDRPDR sel
+      - 7   # NDRPDR sel
+      - 8   # NDRPDR sel
+      - 9   # NDRPDR sel
+      - 10  # NDRPDR sel
 
     plot-dpdk-throughput-latency-3n-skx:
-      # TODO: Add data:
       csit-dpdk-perf-verify-1810-3n-skx:
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
@@ -441,9 +477,10 @@
       - 9   # NDRPDR sel
       - 10  # NDRPDR sel
       - 11  # NDRPDR sel
+      - 12  # NDRPDR sel
+      - 13  # NDRPDR sel
 
     plot-dpdk-throughput-latency-2n-skx:
-      # TODO: Add data:
       csit-dpdk-perf-verify-1810-2n-skx:
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
@@ -846,12 +883,14 @@
     - 20  # NDRPDR full
     - 21  # NDRPDR full
     - 22  # NDRPDR full
+    - 27  # NDRPDR full
     - 8   # NDRPDR sel
     - 12  # NDRPDR sel
     - 14  # NDRPDR sel
     - 18  # NDRPDR sel
     - 23  # NDRPDR sel
     - 25  # NDRPDR sel
+    - 38  # NDRPDR sel
     - 28  # WRK
     - 29  # WRK
     - 30  # WRK
@@ -860,6 +899,8 @@
     - 33  # WRK
     - 34  # WRK
     - 35  # WRK
+    - 36  # WRK
+    - 37  # WRK
     csit-vpp-perf-verify-1807-3n-skx:
     - 31  # MRR full
     - 28  # MRR sel
@@ -955,21 +996,18 @@
     - 20  # mrr - sel
     - 21  # mrr - sel
     - 22  # mrr - sel
-    csit-ligato-perf-1804-all:
-    - 4   # full
-    - 5   # sel
+    csit-ligato-perf-verify-1810-3n-hsw:
+    - 5   # full
     - 6   # sel
-    - 7   # sel
     - 8   # sel
     - 9   # sel
-    - 10  # sel
     - 11  # sel
     - 12  # sel
     - 13  # sel
     - 14  # sel
-    csit-ligato-perf-1807-all:
-    - 3   # full ?
-    - 4   # sel
+    - 16  # sel
+    - 17  # sel
+    - 18  # sel
     csit-dpdk-perf-1804-all:
     - 4
     - 5
@@ -992,12 +1030,17 @@
     - 21
     - 22
     - 23
-    # TODO: Add data:
     csit-dpdk-perf-verify-1810-3n-hsw:
     - 1   # NDRPDR sel
     - 2   # NDRPDR sel
     - 3   # NDRPDR sel
     - 4   # NDRPDR sel
+    - 5   # NDRPDR sel
+    - 6   # NDRPDR sel
+    - 7   # NDRPDR sel
+    - 8   # NDRPDR sel
+    - 9   # NDRPDR sel
+    - 10  # NDRPDR sel
     csit-dpdk-perf-verify-1807-3n-skx:
     - 1
     - 2
@@ -1009,7 +1052,6 @@
     - 10
     - 11
     - 12
-    # TODO: Add data:
     csit-dpdk-perf-verify-1810-3n-skx:
     - 3   # NDRPDR sel
     - 4   # NDRPDR sel
@@ -1019,7 +1061,8 @@
     - 9   # NDRPDR sel
     - 10  # NDRPDR sel
     - 11  # NDRPDR sel
-    # TODO: Add data:
+    - 12  # NDRPDR sel
+    - 13  # NDRPDR sel
     csit-dpdk-perf-verify-1810-2n-skx:
     - 3   # NDRPDR sel
     - 4   # NDRPDR sel
@@ -1109,6 +1152,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
   data: "vpp-performance-changes"
   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -1165,6 +1209,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
   data: "vpp-performance-changes"
   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -1221,6 +1266,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
   data: "vpp-performance-changes"
   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -1277,6 +1323,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
   data: "vpp-performance-changes"
   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -1301,6 +1348,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
   compare:
     title: "3-Node Skx"
     data:
@@ -1339,6 +1387,7 @@
       - 18  # NDRPDR sel
       - 23  # NDRPDR sel
       - 25  # NDRPDR sel
+      - 38  # NDRPDR sel
   compare:
     title: "3-Node Skx"
     data:
@@ -2066,12 +2115,17 @@
   compare:
     title: "rls1810"
     data:
-      # TODO: Add data
       csit-dpdk-perf-verify-1810-3n-hsw:
       - 1   # NDRPDR sel
       - 2   # NDRPDR sel
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
+      - 5   # NDRPDR sel
+      - 6   # NDRPDR sel
+      - 7   # NDRPDR sel
+      - 8   # NDRPDR sel
+      - 9   # NDRPDR sel
+      - 10  # NDRPDR sel
   data: "dpdk-performance-changes"
   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -2118,12 +2172,17 @@
   compare:
     title: "rls1810"
     data:
-      # TODO: Add data
       csit-dpdk-perf-verify-1810-3n-hsw:
       - 1   # NDRPDR sel
       - 2   # NDRPDR sel
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
+      - 5   # NDRPDR sel
+      - 6   # NDRPDR sel
+      - 7   # NDRPDR sel
+      - 8   # NDRPDR sel
+      - 9   # NDRPDR sel
+      - 10  # NDRPDR sel
   data: "dpdk-performance-changes"
   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -2170,12 +2229,17 @@
   compare:
     title: "rls1810"
     data:
-      # TODO: Add data
       csit-dpdk-perf-verify-1810-3n-hsw:
       - 1   # NDRPDR sel
       - 2   # NDRPDR sel
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
+      - 5   # NDRPDR sel
+      - 6   # NDRPDR sel
+      - 7   # NDRPDR sel
+      - 8   # NDRPDR sel
+      - 9   # NDRPDR sel
+      - 10  # NDRPDR sel
   data: "dpdk-performance-changes"
   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -2222,12 +2286,17 @@
   compare:
     title: "rls1810"
     data:
-      # TODO: Add data
       csit-dpdk-perf-verify-1810-3n-hsw:
       - 1   # NDRPDR sel
       - 2   # NDRPDR sel
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
+      - 5   # NDRPDR sel
+      - 6   # NDRPDR sel
+      - 7   # NDRPDR sel
+      - 8   # NDRPDR sel
+      - 9   # NDRPDR sel
+      - 10  # NDRPDR sel
   data: "dpdk-performance-changes"
   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -2245,16 +2314,20 @@
   reference:
     title: "3-Node Hsw"
     data:
-      # TODO: Add data
       csit-dpdk-perf-verify-1810-3n-hsw:
       - 1   # NDRPDR sel
       - 2   # NDRPDR sel
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
+      - 5   # NDRPDR sel
+      - 6   # NDRPDR sel
+      - 7   # NDRPDR sel
+      - 8   # NDRPDR sel
+      - 9   # NDRPDR sel
+      - 10  # NDRPDR sel
   compare:
     title: "3-Node Skx"
     data:
-      # TODO: Add data
       csit-dpdk-perf-verify-1810-3n-skx:
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
@@ -2264,6 +2337,8 @@
       - 9   # NDRPDR sel
       - 10  # NDRPDR sel
       - 11  # NDRPDR sel
+      - 12  # NDRPDR sel
+      - 13  # NDRPDR sel
   data: "dpdk-compare-testbeds"
   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -2281,16 +2356,20 @@
   reference:
     title: "3-Node Hsw"
     data:
-      # TODO: Add data
       csit-dpdk-perf-verify-1810-3n-hsw:
       - 1   # NDRPDR sel
       - 2   # NDRPDR sel
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
+      - 5   # NDRPDR sel
+      - 6   # NDRPDR sel
+      - 7   # NDRPDR sel
+      - 8   # NDRPDR sel
+      - 9   # NDRPDR sel
+      - 10  # NDRPDR sel
   compare:
     title: "3-Node Skx"
     data:
-      # TODO: Add data
       csit-dpdk-perf-verify-1810-3n-skx:
       - 3   # NDRPDR sel
       - 4   # NDRPDR sel
@@ -2300,6 +2379,8 @@
       - 9   # NDRPDR sel
       - 10  # NDRPDR sel
       - 11  # NDRPDR sel
+      - 12  # NDRPDR sel
+      - 13  # NDRPDR sel
   data: "dpdk-compare-testbeds"
   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
@@ -2309,6 +2390,7 @@
   - "throughput"
 
 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr
+# NOTE: Not used in 18.10
 -
   type: "table"
   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
@@ -17020,7 +17102,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17054,7 +17136,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17085,7 +17167,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17115,7 +17197,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17147,7 +17229,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17176,7 +17258,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17206,7 +17288,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17235,7 +17317,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17325,7 +17407,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17359,7 +17441,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17390,7 +17472,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17420,7 +17502,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17452,7 +17534,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17481,7 +17563,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17511,7 +17593,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17540,7 +17622,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17687,7 +17769,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17721,7 +17803,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17752,7 +17834,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17782,7 +17864,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17814,7 +17896,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17843,7 +17925,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17873,7 +17955,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -17902,7 +17984,7 @@
            not 'IPSEC' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -18109,7 +18191,7 @@
            not 'VHOST' and
            not 'IPSECHW'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -18137,7 +18219,7 @@
            not 'VHOST' and
            not 'IPSECHW'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -18227,7 +18309,7 @@
            not 'VHOST' and
            not 'IPSECHW'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -18255,7 +18337,7 @@
            not 'VHOST' and
            not 'IPSECHW'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -18345,7 +18427,7 @@
            not 'VHOST' and
            not 'IPSECHW'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -18373,7 +18455,7 @@
            not 'VHOST' and
            not 'IPSECHW'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -18758,7 +18840,7 @@
            'LISP' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
@@ -18783,7 +18865,7 @@
            'LISP' and
            not 'VHOST'"
   parameters:
-  - "throughput"
+  - "latency"
   - "parent"
   - "tags"
   sort:
Integration tests