Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
diff --git a/resources/tools/presentation/specification.yaml b/resources/tools/presentation/specification.yaml
index 71b8342..d211055 100644 (file)
--- a/resources/tools/presentation/specification.yaml
+++ b/resources/tools/presentation/specification.yaml
@@ -255,16 +255,15 @@
         - 44  # rls2009 NDRPDR iter env 5
         - 46  # rls2009 NDRPDR iter env 5
         - 48  # rls2009 NDRPDR iter env 5
-        - 51  # rls2009 NDRPDR iter NAT44 env 5
-        - 52  # rls2009 NDRPDR iter NAT44 env 5
-        - 53  # rls2009 NDRPDR iter NAT44 env 5
-        - 54  # rls2009 NDRPDR iter NAT44 env 5
-        - 55  # rls2009 NDRPDR iter NAT44 env 5
-        - 56  # rls2009 NDRPDR iter NAT44 env 5
-        - 57  # rls2009 NDRPDR iter NAT44 env 5
-        - 58  # rls2009 NDRPDR iter NAT44 env 5
-        - 59  # rls2009 NDRPDR iter NAT44 env 5
-        - 60  # rls2009 NDRPDR iter NAT44 env 5
+        - 74  # rls2009 NDRPDR iter NAT44 env 5
+        - 75  # rls2009 NDRPDR iter NAT44 env 5
+        - 76  # rls2009 NDRPDR iter NAT44 env 5
+        - 77  # rls2009 NDRPDR iter NAT44 env 5
+        - 78  # rls2009 NDRPDR iter NAT44 env 5
+        - 79  # rls2009 NDRPDR iter NAT44 env 5
+        - 80  # rls2009 NDRPDR iter NAT44 env 5
+        - 82  # rls2009 NDRPDR iter NAT44 env 5
+        - 83  # rls2009 NDRPDR iter NAT44 env 5
 
     plot-vpp-hdrh-lat-2n-skx:
       csit-vpp-perf-report-iterative-2009-2n-skx:
@@ -272,7 +271,7 @@
 
     plot-vpp-hdrh-lat-2n-skx-nat44:
       csit-vpp-perf-report-iterative-2009-2n-skx:
-        - 51  # rls2009 NDRPDR iter NAT44 env 5
+        - 74  # rls2009 NDRPDR iter NAT44 env 5
 
     plot-vpp-soak-2n-skx:
       csit-vpp-perf-report-iterative-2009-2n-skx:
@@ -340,11 +339,24 @@
         - 88  # rls2009 NDRPDR iter env 5
         - 89  # rls2009 NDRPDR iter env 5
         - 90  # rls2009 NDRPDR iter env 5
+        - 91  # rls2009 NDRPDR iter NAT44 env 5
+        - 92  # rls2009 NDRPDR iter NAT44 env 5
+        - 94  # rls2009 NDRPDR iter NAT44 env 5
+        - 95  # rls2009 NDRPDR iter NAT44 env 5
+        - 96  # rls2009 NDRPDR iter NAT44 env 5
+        - 97  # rls2009 NDRPDR iter NAT44 env 5
+        - 98  # rls2009 NDRPDR iter NAT44 env 5
+        - 99  # rls2009 NDRPDR iter NAT44 env 5
+        - 101 # rls2009 NDRPDR iter NAT44 env 5
 
     plot-vpp-hdrh-lat-2n-clx:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 36  # rls2009 NDRPDR iter env 5
 
+    plot-vpp-hdrh-lat-2n-clx-nat44:
+      csit-vpp-perf-report-iterative-2009-2n-clx:
+        - 91  # rls2009 NDRPDR iter NAT44 env 5
+
     plot-vpp-nfv-2n-clx-ndrpdr:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 37  # rls2009 nf-density iter env 5
@@ -409,6 +421,7 @@
         - 23  # rls2009 NDRPDR iter env 5
         - 28  # rls2009 NDRPDR iter env 5
         - 30  # rls2009 NDRPDR iter env 5
+        - 33  # rls2009 NDRPDR iter env 5
 
     plot-vpp-hdrh-lat-3n-tsh:
       csit-vpp-perf-report-iterative-2009-3n-tsh:
@@ -499,16 +512,15 @@
         - 44  # rls2009 NDRPDR iter env 5
         - 46  # rls2009 NDRPDR iter env 5
         - 48  # rls2009 NDRPDR iter env 5
-        - 51  # rls2009 NDRPDR iter NAT44 env 5
-        - 52  # rls2009 NDRPDR iter NAT44 env 5
-        - 53  # rls2009 NDRPDR iter NAT44 env 5
-        - 54  # rls2009 NDRPDR iter NAT44 env 5
-        - 55  # rls2009 NDRPDR iter NAT44 env 5
-        - 56  # rls2009 NDRPDR iter NAT44 env 5
-        - 57  # rls2009 NDRPDR iter NAT44 env 5
-        - 58  # rls2009 NDRPDR iter NAT44 env 5
-        - 59  # rls2009 NDRPDR iter NAT44 env 5
-        - 60  # rls2009 NDRPDR iter NAT44 env 5
+        - 74  # rls2009 NDRPDR iter NAT44 env 5
+        - 75  # rls2009 NDRPDR iter NAT44 env 5
+        - 76  # rls2009 NDRPDR iter NAT44 env 5
+        - 77  # rls2009 NDRPDR iter NAT44 env 5
+        - 78  # rls2009 NDRPDR iter NAT44 env 5
+        - 79  # rls2009 NDRPDR iter NAT44 env 5
+        - 80  # rls2009 NDRPDR iter NAT44 env 5
+        - 82  # rls2009 NDRPDR iter NAT44 env 5
+        - 83  # rls2009 NDRPDR iter NAT44 env 5
 
     vpp-nic-comparison-3n-skx-mrr:
       csit-vpp-perf-report-iterative-2009-3n-skx:
@@ -604,7 +616,9 @@
         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
-        - 13  # rls2009 NDRPDR cov 2n-skx-ip4-05
+        - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
+        - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
+        - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
@@ -622,7 +636,9 @@
         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
-        - 7   # rls2009 NDRPDR cov 2n-clx-ip4-05
+        - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
+        - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
+        - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
@@ -798,6 +814,8 @@
         - 44  # rls2005 NDRPDR iter env 5
         - 45  # rls2005 NDRPDR iter env 5
         - 46  # rls2005 NDRPDR iter env 5
+        - 48  # rls2005 NDRPDR iter env 5
+        - 49  # rls2005 NDRPDR iter env 5
     vpp-performance-changes-3n-skx-cmp:
       csit-vpp-perf-report-iterative-2009-3n-skx:
         - 26  # rls2009 NDRPDR iter env 5
@@ -855,16 +873,15 @@
         - 44  # rls2009 NDRPDR iter env 5
         - 46  # rls2009 NDRPDR iter env 5
         - 48  # rls2009 NDRPDR iter env 5
-        - 51  # rls2009 NDRPDR iter NAT44 env 5
-        - 52  # rls2009 NDRPDR iter NAT44 env 5
-        - 53  # rls2009 NDRPDR iter NAT44 env 5
-        - 54  # rls2009 NDRPDR iter NAT44 env 5
-        - 55  # rls2009 NDRPDR iter NAT44 env 5
-        - 56  # rls2009 NDRPDR iter NAT44 env 5
-        - 57  # rls2009 NDRPDR iter NAT44 env 5
-        - 58  # rls2009 NDRPDR iter NAT44 env 5
-        - 59  # rls2009 NDRPDR iter NAT44 env 5
-        - 60  # rls2009 NDRPDR iter NAT44 env 5
+        - 74  # rls2009 NDRPDR iter NAT44 env 5
+        - 75  # rls2009 NDRPDR iter NAT44 env 5
+        - 76  # rls2009 NDRPDR iter NAT44 env 5
+        - 77  # rls2009 NDRPDR iter NAT44 env 5
+        - 78  # rls2009 NDRPDR iter NAT44 env 5
+        - 79  # rls2009 NDRPDR iter NAT44 env 5
+        - 80  # rls2009 NDRPDR iter NAT44 env 5
+        - 82  # rls2009 NDRPDR iter NAT44 env 5
+        - 83  # rls2009 NDRPDR iter NAT44 env 5
 
     vpp-performance-changes-2n-clx-h1:
       csit-vpp-perf-report-iterative-2005-2n-clx:
@@ -912,6 +929,15 @@
         - 88  # rls2009 NDRPDR iter env 5
         - 89  # rls2009 NDRPDR iter env 5
         - 90  # rls2009 NDRPDR iter env 5
+        - 91  # rls2009 NDRPDR iter NAT44 env 5
+        - 92  # rls2009 NDRPDR iter NAT44 env 5
+        - 94  # rls2009 NDRPDR iter NAT44 env 5
+        - 95  # rls2009 NDRPDR iter NAT44 env 5
+        - 96  # rls2009 NDRPDR iter NAT44 env 5
+        - 97  # rls2009 NDRPDR iter NAT44 env 5
+        - 98  # rls2009 NDRPDR iter NAT44 env 5
+        - 99  # rls2009 NDRPDR iter NAT44 env 5
+        - 101 # rls2009 NDRPDR iter NAT44 env 5
 
     vpp-performance-changes-2n-dnv-h1:
       csit-vpp-perf-verify-2001-2n-dnv:
@@ -1023,6 +1049,7 @@
         - 23  # rls2009 NDRPDR iter env 5
         - 28  # rls2009 NDRPDR iter env 5
         - 30  # rls2009 NDRPDR iter env 5
+        - 33  # rls2009 NDRPDR iter env 5
 
     vpp-soak-vs-ndr-2n-skx-ref:
       csit-vpp-perf-report-iterative-2009-2n-skx:
@@ -1464,16 +1491,15 @@
         - 44  # rls2009 NDRPDR iter env 5
         - 46  # rls2009 NDRPDR iter env 5
         - 48  # rls2009 NDRPDR iter env 5
-        - 51  # rls2009 NDRPDR iter NAT44 env 5
-        - 52  # rls2009 NDRPDR iter NAT44 env 5
-        - 53  # rls2009 NDRPDR iter NAT44 env 5
-        - 54  # rls2009 NDRPDR iter NAT44 env 5
-        - 55  # rls2009 NDRPDR iter NAT44 env 5
-        - 56  # rls2009 NDRPDR iter NAT44 env 5
-        - 57  # rls2009 NDRPDR iter NAT44 env 5
-        - 58  # rls2009 NDRPDR iter NAT44 env 5
-        - 59  # rls2009 NDRPDR iter NAT44 env 5
-        - 60  # rls2009 NDRPDR iter NAT44 env 5
+        - 74  # rls2009 NDRPDR iter NAT44 env 5
+        - 75  # rls2009 NDRPDR iter NAT44 env 5
+        - 76  # rls2009 NDRPDR iter NAT44 env 5
+        - 77  # rls2009 NDRPDR iter NAT44 env 5
+        - 78  # rls2009 NDRPDR iter NAT44 env 5
+        - 79  # rls2009 NDRPDR iter NAT44 env 5
+        - 80  # rls2009 NDRPDR iter NAT44 env 5
+        - 82  # rls2009 NDRPDR iter NAT44 env 5
+        - 83  # rls2009 NDRPDR iter NAT44 env 5
     vpp-compare-testbeds-skx-clx-cmp:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 36  # rls2009 NDRPDR iter env 5
@@ -1486,6 +1512,15 @@
         - 88  # rls2009 NDRPDR iter env 5
         - 89  # rls2009 NDRPDR iter env 5
         - 90  # rls2009 NDRPDR iter env 5
+        - 91  # rls2009 NDRPDR iter NAT44 env 5
+        - 92  # rls2009 NDRPDR iter NAT44 env 5
+        - 94  # rls2009 NDRPDR iter NAT44 env 5
+        - 95  # rls2009 NDRPDR iter NAT44 env 5
+        - 96  # rls2009 NDRPDR iter NAT44 env 5
+        - 97  # rls2009 NDRPDR iter NAT44 env 5
+        - 98  # rls2009 NDRPDR iter NAT44 env 5
+        - 99  # rls2009 NDRPDR iter NAT44 env 5
+        - 101 # rls2009 NDRPDR iter NAT44 env 5
 
     vpp-compare-testbeds-hsw-clx-ref:
       csit-vpp-perf-report-iterative-2009-3n-hsw:
@@ -2596,7 +2631,6 @@
       - 53  # NDRPDR sel 2001.0-4
       - 54  # NDRPDR sel 2001.0-4
       - 49  # MRR sel env 4
-    # TODO: Add:
     csit-vpp-perf-report-iterative-2009-3n-skx:
       - 17  # rls2005 MRR iter env 5
       - 13  # rls2005 NDRPDR iter env 5
@@ -2607,6 +2641,8 @@
       - 44  # rls2005 NDRPDR iter env 5
       - 45  # rls2005 NDRPDR iter env 5
       - 46  # rls2005 NDRPDR iter env 5
+      - 48  # rls2005 NDRPDR iter env 5
+      - 49  # rls2005 NDRPDR iter env 5
       - 24  # rls2009 MRR iter env 5
       - 26  # rls2009 NDRPDR iter env 5
       - 27  # rls2009 NDRPDR iter env 5
@@ -2700,16 +2736,25 @@
       - 44  # rls2009 NDRPDR iter env 5
       - 46  # rls2009 NDRPDR iter env 5
       - 48  # rls2009 NDRPDR iter env 5
-      - 51  # rls2009 NDRPDR iter NAT44 env 5
-      - 52  # rls2009 NDRPDR iter NAT44 env 5
-      - 53  # rls2009 NDRPDR iter NAT44 env 5
-      - 54  # rls2009 NDRPDR iter NAT44 env 5
-      - 55  # rls2009 NDRPDR iter NAT44 env 5
-      - 56  # rls2009 NDRPDR iter NAT44 env 5
-      - 57  # rls2009 NDRPDR iter NAT44 env 5
-      - 58  # rls2009 NDRPDR iter NAT44 env 5
-      - 59  # rls2009 NDRPDR iter NAT44 env 5
-      - 60  # rls2009 NDRPDR iter NAT44 env 5
+      - 74  # rls2009 NDRPDR iter NAT44 env 5
+      - 75  # rls2009 NDRPDR iter NAT44 env 5
+      - 76  # rls2009 NDRPDR iter NAT44 env 5
+      - 77  # rls2009 NDRPDR iter NAT44 env 5
+      - 78  # rls2009 NDRPDR iter NAT44 env 5
+      - 79  # rls2009 NDRPDR iter NAT44 env 5
+      - 80  # rls2009 NDRPDR iter NAT44 env 5
+      - 82  # rls2009 NDRPDR iter NAT44 env 5
+      - 83  # rls2009 NDRPDR iter NAT44 env 5
+#      - 51  # rls2009 NDRPDR iter NAT44 env 5
+#      - 52  # rls2009 NDRPDR iter NAT44 env 5
+#      - 53  # rls2009 NDRPDR iter NAT44 env 5
+#      - 54  # rls2009 NDRPDR iter NAT44 env 5
+#      - 55  # rls2009 NDRPDR iter NAT44 env 5
+#      - 56  # rls2009 NDRPDR iter NAT44 env 5
+#      - 57  # rls2009 NDRPDR iter NAT44 env 5
+#      - 58  # rls2009 NDRPDR iter NAT44 env 5
+#      - 59  # rls2009 NDRPDR iter NAT44 env 5
+#      - 60  # rls2009 NDRPDR iter NAT44 env 5
       - 38  # rls2009 nf-density iter env 5
       - 41  # rls2009 nf-density iter env 5
       - 45  # rls2009 nf-density iter env 5
@@ -2739,7 +2784,9 @@
       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
-      - 13  # rls2009 NDRPDR cov 2n-skx-ip4-05
+      - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
+      - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
+      - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
@@ -2795,6 +2842,15 @@
       - 88  # rls2009 NDRPDR iter env 5
       - 89  # rls2009 NDRPDR iter env 5
       - 90  # rls2009 NDRPDR iter env 5
+      - 91  # rls2009 NDRPDR iter NAT44 env 5
+      - 92  # rls2009 NDRPDR iter NAT44 env 5
+      - 94  # rls2009 NDRPDR iter NAT44 env 5
+      - 95  # rls2009 NDRPDR iter NAT44 env 5
+      - 96  # rls2009 NDRPDR iter NAT44 env 5
+      - 97  # rls2009 NDRPDR iter NAT44 env 5
+      - 98  # rls2009 NDRPDR iter NAT44 env 5
+      - 99  # rls2009 NDRPDR iter NAT44 env 5
+      - 101 # rls2009 NDRPDR iter NAT44 env 5
       - 37  # rls2009 nf-density iter env 5
       - 43  # rls2009 nf-density iter env 5
       - 69  # rls2009 nf-density iter env 5
@@ -2824,7 +2880,9 @@
       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
-      - 7   # rls2009 NDRPDR cov 2n-clx-ip4-05
+      - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
+      - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
+      - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
@@ -2869,6 +2927,7 @@
       - 23  # rls2009 NDRPDR iter env 5
       - 28  # rls2009 NDRPDR iter env 5
       - 30  # rls2009 NDRPDR iter env 5
+      - 33  # rls2009 NDRPDR iter env 5
       - 15  # rls2009 MRR iter env 5
 
     csit-vpp-perf-verify-2001-3n-dnv:
@@ -20320,6 +20379,17 @@
   layout:
     layout: "plot-hdrh-latency-by-percentile"
 
+- type: "plot"
+  title: "Latency by percentile: 2n-clx-nat44"
+  algorithm: "plot_hdrh_lat_by_percentile"
+  output-file: "{DIR[STATIC,VPP]}/hdrh-lat-percentile-2n-clx"
+  output-file-links: "{DIR[LAT,VPP]}/2n_clx.rst"
+  target-links: "../../_static/vpp"
+  data: "plot-vpp-hdrh-lat-2n-clx-nat44"
+  filter: "'2T1C' and 'NIC_Intel-XXV710'"
+  layout:
+    layout: "plot-hdrh-latency-by-percentile"
+
 - type: "plot"
   title: "Latency by percentile: 3n-hsw"
   algorithm: "plot_hdrh_lat_by_percentile"
Integration tests