Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
diff --git a/resources/tools/presentation/specification.yaml b/resources/tools/presentation/specification.yaml
index fb97d1b..fac3b05 100644 (file)
--- a/resources/tools/presentation/specification.yaml
+++ b/resources/tools/presentation/specification.yaml
@@ -236,6 +236,8 @@
         - 20  # rls2101.rc1 NDRPDR iter env 6
         - 21  # rls2101.rc1 NDRPDR iter env 6
         - 22  # rls2101.rc1 NDRPDR iter env 6
+        - 25  # rls2101.rc1 NDRPDR iter env 6
+        - 26  # rls2101.rc1 NDRPDR iter env 6
 
     plot-dpdk-hdrh-lat-3n-skx:
       csit-dpdk-perf-report-iterative-2101-3n-skx:
@@ -249,14 +251,16 @@
         - 6   # rls2101.rc1 NDRPDR iter env 6
         - 7   # rls2101.rc1 NDRPDR iter env 6
         - 8   # rls2101.rc1 NDRPDR iter env 6
+        - 9   # rls2101.rc1 NDRPDR iter env 6
         - 10  # rls2101.rc1 NDRPDR iter env 6
         - 11  # rls2101.rc1 NDRPDR iter env 6
         - 12  # rls2101.rc1 NDRPDR iter env 6
         - 13  # rls2101.rc1 NDRPDR iter env 6
+        - 14  # rls2101.rc1 NDRPDR iter env 6
 
     plot-vpp-hdrh-lat-2n-skx:
       csit-vpp-perf-report-iterative-2101-2n-skx:
-        - 6   # rls2101.rc1 NDRPDR iter env 6
+        - 14  # rls2101.rc1 NDRPDR iter env 6
 
     plot-vpp-soak-2n-skx:
       # csit-vpp-perf-report-iterative-2101-2n-skx:
@@ -419,7 +423,9 @@
     plot-vpp-throughput-lat-tsa-3n-tsh:
       csit-vpp-perf-report-iterative-2101-3n-tsh:
         - 3   # rls2101.rc1 NDRPDR iter env 6
+        - 4   # rls2101.rc1 NDRPDR iter env 6
         - 5   # rls2101.rc1 NDRPDR iter env 6
+        - 6   # rls2101.rc1 NDRPDR iter env 6
 
     plot-vpp-hdrh-lat-3n-tsh:
       csit-vpp-perf-report-iterative-2101-3n-tsh:
@@ -499,10 +505,12 @@
         - 6   # rls2101.rc1 NDRPDR iter env 6
         - 7   # rls2101.rc1 NDRPDR iter env 6
         - 8   # rls2101.rc1 NDRPDR iter env 6
+        - 9   # rls2101.rc1 NDRPDR iter env 6
         - 10  # rls2101.rc1 NDRPDR iter env 6
         - 11  # rls2101.rc1 NDRPDR iter env 6
         - 12  # rls2101.rc1 NDRPDR iter env 6
         - 13  # rls2101.rc1 NDRPDR iter env 6
+        - 14  # rls2101.rc1 NDRPDR iter env 6
 
     vpp-nic-comparison-3n-skx-mrr:
       csit-vpp-perf-report-iterative-2101-3n-skx:
@@ -527,7 +535,7 @@
     vpp-perf-results-2n-skx:
       # csit-vpp-perf-report-coverage-2101-2n-skx:
       csit-vpp-perf-report-iterative-2101-2n-skx:
-        - 6   # rls2101.rc1 NDRPDR iter env 6
+        - 14  # rls2101.rc1 NDRPDR iter env 6
 
     vpp-perf-results-2n-zn2:
       csit-vpp-perf-report-iterative-2101-2n-zn2:
@@ -652,6 +660,15 @@
     vpp-performance-changes-3n-hsw-ref-env-new:
       csit-vpp-perf-report-iterative-2101-3n-hsw:
         - 19  # rls2009 NDRPDR iter env 6
+        - 20  # rls2009 NDRPDR iter env 6
+        - 21  # rls2009 NDRPDR iter env 6
+        - 22  # rls2009 NDRPDR iter env 6
+        - 23  # rls2009 NDRPDR iter env 6
+        - 24  # rls2009 NDRPDR iter env 6
+        - 25  # rls2009 NDRPDR iter env 6
+        - 26  # rls2009 NDRPDR iter env 6
+        - 27  # rls2009 NDRPDR iter env 6
+        - 28  # rls2009 NDRPDR iter env 6
     vpp-performance-changes-3n-hsw-cmp:
       csit-vpp-perf-report-iterative-2101-3n-hsw:
         - 4   # rls2101.rc1 NDRPDR iter env 6
@@ -690,18 +707,10 @@
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
     vpp-performance-changes-3n-skx-ref-env-new:
-      # TODO: Re-test in new env
-      csit-vpp-perf-report-iterative-2009-3n-skx:
-        - 26  # rls2009 NDRPDR iter env 5
-        - 27  # rls2009 NDRPDR iter env 5
-        - 28  # rls2009 NDRPDR iter env 5
-        - 29  # rls2009 NDRPDR iter env 5
-        - 35  # rls2009 NDRPDR iter env 5
-        - 36  # rls2009 NDRPDR iter env 5
-        - 37  # rls2009 NDRPDR iter env 5
-        - 38  # rls2009 NDRPDR iter env 5
-        - 39  # rls2009 NDRPDR iter env 5
-        - 40  # rls2009 NDRPDR iter env 5
+      csit-vpp-perf-report-iterative-2101-3n-skx:
+        - 14  # rls2009 NDRPDR iter env 6
+        - 15  # rls2009 NDRPDR iter env 6
+        - 16  # rls2009 NDRPDR iter env 6
     vpp-performance-changes-3n-skx-cmp:
       csit-vpp-perf-report-iterative-2101-3n-skx:
         - 5   # rls2101.rc1 NDRPDR iter env 6
@@ -745,38 +754,23 @@
         - 119 # rls2009 NDRPDR iter NAT44 env 5
         - 121 # rls2009 NDRPDR iter NAT44 env 5
     vpp-performance-changes-2n-skx-ref-env-new:
-      # TODO: Re-test in new env
-      csit-vpp-perf-report-iterative-2009-2n-skx:
-        - 35  # rls2009 NDRPDR iter env 5
-        - 36  # rls2009 NDRPDR iter env 5
-        - 37  # rls2009 NDRPDR iter env 5
-        - 39  # rls2009 NDRPDR iter env 5
-        - 40  # rls2009 NDRPDR iter env 5
-        - 42  # rls2009 NDRPDR iter env 5
-        - 43  # rls2009 NDRPDR iter env 5
-        - 44  # rls2009 NDRPDR iter env 5
-        - 46  # rls2009 NDRPDR iter env 5
-        - 48  # rls2009 NDRPDR iter env 5
-        - 110 # rls2009 NDRPDR iter NAT44 env 5
-        - 111 # rls2009 NDRPDR iter NAT44 env 5
-        - 112 # rls2009 NDRPDR iter NAT44 env 5
-        - 113 # rls2009 NDRPDR iter NAT44 env 5
-        - 114 # rls2009 NDRPDR iter NAT44 env 5
-        - 115 # rls2009 NDRPDR iter NAT44 env 5
-        - 116 # rls2009 NDRPDR iter NAT44 env 5
-        - 118 # rls2009 NDRPDR iter NAT44 env 5
-        - 119 # rls2009 NDRPDR iter NAT44 env 5
-        - 121 # rls2009 NDRPDR iter NAT44 env 5
+      csit-vpp-perf-report-iterative-2101-2n-skx:
+        - 22  # rls2009 NDRPDR iter env 6
+        - 23  # rls2009 NDRPDR iter env 6
+        - 24  # rls2009 NDRPDR iter env 6
+        - 25  # rls2009 NDRPDR iter env 6
     vpp-performance-changes-2n-skx-cmp:
       csit-vpp-perf-report-iterative-2101-2n-skx:
         - 5   # rls2101.rc1 NDRPDR iter env 6
         - 6   # rls2101.rc1 NDRPDR iter env 6
         - 7   # rls2101.rc1 NDRPDR iter env 6
         - 8   # rls2101.rc1 NDRPDR iter env 6
+        - 9   # rls2101.rc1 NDRPDR iter env 6
         - 10  # rls2101.rc1 NDRPDR iter env 6
         - 11  # rls2101.rc1 NDRPDR iter env 6
         - 12  # rls2101.rc1 NDRPDR iter env 6
         - 13  # rls2101.rc1 NDRPDR iter env 6
+        - 14  # rls2101.rc1 NDRPDR iter env 6
 
     vpp-performance-changes-2n-clx-h1:
       csit-vpp-perf-report-iterative-2009-2n-clx:
@@ -813,28 +807,12 @@
         - 123 # rls2009 NDRPDR iter NAT44 env 5
         - 126 # rls2009 NDRPDR iter NAT44 env 5
     vpp-performance-changes-2n-clx-ref-env-new:
-      # TODO: Re-test in new env
-      csit-vpp-perf-report-iterative-2009-2n-clx:
-        - 36  # rls2009 NDRPDR iter env 5
-        - 39  # rls2009 NDRPDR iter env 5
-        - 40  # rls2009 NDRPDR iter env 5
-        - 65  # rls2009 NDRPDR iter env 5
-        - 66  # rls2009 NDRPDR iter env 5
-        - 79  # rls2009 NDRPDR iter env 5
-        - 82  # rls2009 NDRPDR iter env 5
-        - 88  # rls2009 NDRPDR iter env 5
-        - 89  # rls2009 NDRPDR iter env 5
-        - 90  # rls2009 NDRPDR iter env 5
-        - 114 # rls2009 NDRPDR iter NAT44 env 5
-        - 115 # rls2009 NDRPDR iter NAT44 env 5
-        - 116 # rls2009 NDRPDR iter NAT44 env 5
-        - 117 # rls2009 NDRPDR iter NAT44 env 5
-        - 118 # rls2009 NDRPDR iter NAT44 env 5
-        - 119 # rls2009 NDRPDR iter NAT44 env 5
-        - 121 # rls2009 NDRPDR iter NAT44 env 5
-        - 122 # rls2009 NDRPDR iter NAT44 env 5
-        - 123 # rls2009 NDRPDR iter NAT44 env 5
-        - 126 # rls2009 NDRPDR iter NAT44 env 5
+      csit-vpp-perf-report-iterative-2101-2n-clx:
+        - 16  # rls2009 NDRPDR iter env 6
+        - 17  # rls2009 NDRPDR iter env 6
+        - 18  # rls2009 NDRPDR iter env 6
+        - 19  # rls2009 NDRPDR iter env 6
+        - 21  # rls2009 NDRPDR iter env 6
     vpp-performance-changes-2n-clx-cmp:
       csit-vpp-perf-report-iterative-2101-2n-clx:
         - 4   # rls2101.rc1 NDRPDR iter env 6
@@ -858,6 +836,9 @@
     vpp-performance-changes-2n-zn2-ref-env-new:
       csit-vpp-perf-report-iterative-2101-2n-zn2:
         - 9   # rls2009 NDRPDR iter env 6
+        - 10  # rls2009 NDRPDR iter env 6
+        - 11  # rls2009 NDRPDR iter env 6
+        - 12  # rls2009 NDRPDR iter env 6
     vpp-performance-changes-2n-zn2-cmp:
       csit-vpp-perf-report-iterative-2101-2n-zn2:
         - 4   # rls2101.rc1 NDRPDR iter env 6
@@ -1005,7 +986,9 @@
     vpp-performance-changes-3n-tsh-cmp:
       csit-vpp-perf-report-iterative-2101-3n-tsh:
         - 3   # rls2101.rc1 NDRPDR iter env 6
+        - 4   # rls2101.rc1 NDRPDR iter env 6
         - 5   # rls2101.rc1 NDRPDR iter env 6
+        - 6   # rls2101.rc1 NDRPDR iter env 6
 
     vpp-soak-vs-ndr-2n-skx-ref:
       # csit-vpp-perf-report-iterative-2101-2n-skx:
@@ -1108,9 +1091,8 @@
       csit-vpp-perf-report-iterative-2009-2n-skx:
         - 120 # rls2009 MRR iter env 5
     vpp-performance-changes-2n-skx-mrr-ref-env-new:
-      # TODO: Re-test in new env
-      csit-vpp-perf-report-iterative-2009-2n-skx:
-        - 120 # rls2009 MRR iter env 5
+      csit-vpp-perf-report-iterative-2101-2n-skx:
+        - 21  # rls2009 MRR iter env 6
     vpp-performance-changes-2n-skx-mrr-cmp:
       csit-vpp-perf-report-iterative-2101-2n-skx:
         - 3   # rls2101.rc1 MRR iter env 6
@@ -1122,9 +1104,8 @@
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 125 # rls2009 MRR iter env 5
     vpp-performance-changes-2n-clx-mrr-ref-env-new:
-      # TODO: Re-test in new env
-      csit-vpp-perf-report-iterative-2009-2n-clx:
-        - 125 # rls2009 MRR iter env 55
+      csit-vpp-perf-report-iterative-2101-2n-clx:
+        - 15  # rls2009 MRR iter env 6
     vpp-performance-changes-2n-clx-mrr-cmp:
       csit-vpp-perf-report-iterative-2101-2n-clx:
         - 3   # rls2101.rc1 MRR iter env 6
@@ -1252,6 +1233,8 @@
         - 20  # rls2101.rc1 NDRPDR iter env 6
         - 21  # rls2101.rc1 NDRPDR iter env 6
         - 22  # rls2101.rc1 NDRPDR iter env 6
+        - 25  # rls2101.rc1 NDRPDR iter env 6
+        - 26  # rls2101.rc1 NDRPDR iter env 6
 
     dpdk-performance-changes-2n-skx-h1:
       csit-dpdk-perf-report-iterative-2005-2n-skx:
@@ -1436,10 +1419,12 @@
         - 6   # rls2101.rc1 NDRPDR iter env 6
         - 7   # rls2101.rc1 NDRPDR iter env 6
         - 8   # rls2101.rc1 NDRPDR iter env 6
+        - 9   # rls2101.rc1 NDRPDR iter env 6
         - 10  # rls2101.rc1 NDRPDR iter env 6
         - 11  # rls2101.rc1 NDRPDR iter env 6
         - 12  # rls2101.rc1 NDRPDR iter env 6
         - 13  # rls2101.rc1 NDRPDR iter env 6
+        - 14  # rls2101.rc1 NDRPDR iter env 6
     vpp-compare-testbeds-skx-clx-cmp:
       csit-vpp-perf-report-iterative-2101-2n-clx:
         - 4   # rls2101.rc1 NDRPDR iter env 6
@@ -1521,6 +1506,8 @@
         - 20  # rls2101.rc1 NDRPDR iter env 6
         - 21  # rls2101.rc1 NDRPDR iter env 6
         - 22  # rls2101.rc1 NDRPDR iter env 6
+        - 25  # rls2101.rc1 NDRPDR iter env 6
+        - 26  # rls2101.rc1 NDRPDR iter env 6
 
     dpdk-compare-testbeds-skx-clx-ref:
       csit-dpdk-perf-report-iterative-2101-2n-skx:
@@ -1557,10 +1544,12 @@
         - 6   # rls2101.rc1 NDRPDR iter env 6
         - 7   # rls2101.rc1 NDRPDR iter env 6
         - 8   # rls2101.rc1 NDRPDR iter env 6
+        - 9   # rls2101.rc1 NDRPDR iter env 6
         - 10  # rls2101.rc1 NDRPDR iter env 6
         - 11  # rls2101.rc1 NDRPDR iter env 6
         - 12  # rls2101.rc1 NDRPDR iter env 6
         - 13  # rls2101.rc1 NDRPDR iter env 6
+        - 14  # rls2101.rc1 NDRPDR iter env 6
 
     vpp-compare-topologies-mrr-ref:
       csit-vpp-perf-report-iterative-2101-3n-skx:
@@ -1579,6 +1568,8 @@
         - 20  # rls2101.rc1 NDRPDR iter env 6
         - 21  # rls2101.rc1 NDRPDR iter env 6
         - 22  # rls2101.rc1 NDRPDR iter env 6
+        - 25  # rls2101.rc1 NDRPDR iter env 6
+        - 26  # rls2101.rc1 NDRPDR iter env 6
     dpdk-compare-topologies-cmp:
       csit-dpdk-perf-report-iterative-2101-2n-skx:
         - 11  # rls2101.rc1 NDRPDR iter env 6
@@ -2313,7 +2304,7 @@
         xanchor: "left"
         yanchor: "top"
         x: 0
-        y: -0.2
+        y: -0.5
         bgcolor: "rgba(255, 255, 255, 0)"
         bordercolor: "rgba(255, 255, 255, 0)"
       xaxis:
@@ -2330,10 +2321,12 @@
         showline: True
         showticklabels: True
         tickcolor: "rgb(220, 220, 220)"
-        tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
-        ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
+        tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8, 1e9]
+        ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999, 99.9999999]
         tickfont:
           size: 14
+        rangeslider:
+          visible: True
       yaxis:
         title: "<b>One-Way Latency per Direction [uSec]</b>"
         titlefont:
@@ -2477,6 +2470,15 @@
       - 13  # rls2101.rc1 NDRPDR iter env 6
       - 17  # rls2009 MRR iter env 6
       - 19  # rls2009 NDRPDR iter env 6
+      - 20  # rls2009 NDRPDR iter env 6
+      - 21  # rls2009 NDRPDR iter env 6
+      - 22  # rls2009 NDRPDR iter env 6
+      - 23  # rls2009 NDRPDR iter env 6
+      - 24  # rls2009 NDRPDR iter env 6
+      - 25  # rls2009 NDRPDR iter env 6
+      - 26  # rls2009 NDRPDR iter env 6
+      - 27  # rls2009 NDRPDR iter env 6
+      - 28  # rls2009 NDRPDR iter env 6
     # csit-vpp-perf-report-coverage-2101-3n-hsw:
 
 
@@ -2511,6 +2513,9 @@
       - 8   # rls2101.rc1 NDRPDR iter env 6
       - 9   # rls2101.rc1 NDRPDR iter env 6
       - 12  # rls2009 MRR iter env 6
+      - 14  # rls2009 NDRPDR iter env 6
+      - 15  # rls2009 NDRPDR iter env 6
+      - 16  # rls2009 NDRPDR iter env 6
     # csit-vpp-perf-report-coverage-2101-3n-skx:
 
 
@@ -2576,10 +2581,17 @@
       - 6   # rls2101.rc1 NDRPDR iter env 6
       - 7   # rls2101.rc1 NDRPDR iter env 6
       - 8   # rls2101.rc1 NDRPDR iter env 6
+      - 9   # rls2101.rc1 NDRPDR iter env 6
       - 10  # rls2101.rc1 NDRPDR iter env 6
       - 11  # rls2101.rc1 NDRPDR iter env 6
       - 12  # rls2101.rc1 NDRPDR iter env 6
       - 13  # rls2101.rc1 NDRPDR iter env 6
+      - 14  # rls2101.rc1 NDRPDR iter env 6
+      - 21  # rls2009 MRR iter env 6
+      - 22  # rls2009 NDRPDR iter env 6
+      - 23  # rls2009 NDRPDR iter env 6
+      - 24  # rls2009 NDRPDR iter env 6
+      - 25  # rls2009 NDRPDR iter env 6
     # csit-vpp-perf-report-coverage-2101-2n-skx:
 
 
@@ -2651,6 +2663,12 @@
       - 11  # rls2101.rc1 NDRPDR iter env 6
       - 12  # rls2101.rc1 NDRPDR iter env 6
       - 13  # rls2101.rc1 NDRPDR iter env 6
+      - 15  # rls2009 MRR iter env 6
+      - 16  # rls2009 NDRPDR iter env 6
+      - 17  # rls2009 NDRPDR iter env 6
+      - 18  # rls2009 NDRPDR iter env 6
+      - 19  # rls2009 NDRPDR iter env 6
+      - 21  # rls2009 NDRPDR iter env 6
     # csit-vpp-perf-report-coverage-2101-2n-clx:
 
 
@@ -2669,6 +2687,9 @@
       - 7   # rls2101.rc1 NDRPDR iter env 6
       - 8   # rls2009 MRR iter env6
       - 9   # rls2009 NDRPDR iter env 6
+      - 10  # rls2009 NDRPDR iter env 6
+      - 11  # rls2009 NDRPDR iter env 6
+      - 12  # rls2009 NDRPDR iter env 6
 
     csit-vpp-perf-report-iterative-2009-3n-tsh:
       - 8   # rls2005 NDRPDR iter env 5
@@ -2696,7 +2717,9 @@
     csit-vpp-perf-report-iterative-2101-3n-tsh:
       - 2   # rls2101.rc1 MRR iter env 6
       - 3   # rls2101.rc1 NDRPDR iter env 6
+      - 4   # rls2101.rc1 NDRPDR iter env 6
       - 5   # rls2101.rc1 NDRPDR iter env 6
+      - 6   # rls2101.rc1 NDRPDR iter env 6
 
     csit-vpp-perf-report-iterative-2009-3n-dnv:
       - 16  # rls2005 NDRPDR iter env 5
@@ -2839,6 +2862,8 @@
       - 20  # rls2101.rc1 NDRPDR iter env 6
       - 21  # rls2101.rc1 NDRPDR iter env 6
       - 22  # rls2101.rc1 NDRPDR iter env 6
+      - 25  # rls2101.rc1 NDRPDR iter env 6
+      - 26  # rls2101.rc1 NDRPDR iter env 6
 
     csit-dpdk-perf-report-iterative-2005-2n-skx:
       - 20  # NDRPDR iter
@@ -22546,20 +22571,20 @@
 
 ################################################################################
 
-# - type: "plot"
-#   title: "Latency by percentile x-log: 2n-clx"
-#   algorithm: "plot_hdrh_lat_by_percentile"
-#   output-file: "{DIR[STATIC,VPP]}/hdrh-lat-percentile-x-log-2n-clx"
-#   output-file-links: "{DIR[LAT,VPP]}/2n_clx.rst"
-#   target-links: "../../_static/vpp"
-#   data: "plot-vpp-hdrh-lat-2n-clx"
-#   filter: "'2T1C' and 'NIC_Intel-XXV710'"
-#   layout:
-#     layout: "plot-hdrh-latency-percentile-x-log"
+- type: "plot"
+  title: "Latency by percentile x-log: 2n-clx"
+  algorithm: "plot_hdrh_lat_by_percentile_x_log"
+  output-file: "{DIR[STATIC,VPP]}/hdrh-lat-percentile-x-log-2n-clx"
+  output-file-links: "{DIR[LAT,VPP]}/2n_clx.rst"
+  target-links: "../../_static/vpp"
+  data: "plot-vpp-hdrh-lat-2n-clx"
+  filter: "'2T1C' and 'NIC_Intel-XXV710'"
+  layout:
+    layout: "plot-hdrh-latency-percentile-x-log"
 
 - type: "plot"
   title: "Latency by percentile x-log: 2n-skx"
-  algorithm: "plot_hdrh_lat_by_percentile"
+  algorithm: "plot_hdrh_lat_by_percentile_x_log"
   output-file: "{DIR[STATIC,VPP]}/hdrh-lat-percentile-x-log-2n-skx"
   output-file-links: "{DIR[LAT,VPP]}/2n_skx.rst"
   target-links: "../../_static/vpp"
Integration tests