Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
diff --git a/resources/tools/presentation/specification.yaml b/resources/tools/presentation/specification.yaml
index 16e6db5..251df8c 100644 (file)
--- a/resources/tools/presentation/specification.yaml
+++ b/resources/tools/presentation/specification.yaml
@@ -200,7 +200,6 @@
     # 3n-skx
 
     plot-vpp-throughput-lat-tsa-3n-skx:
-      # TODO: Add:
       csit-vpp-perf-report-iterative-2009-3n-skx:
         - 26  # rls2009 NDRPDR iter env 5
         - 27  # rls2009 NDRPDR iter env 5
@@ -209,6 +208,7 @@
         - 35  # rls2009 NDRPDR iter env 5
         - 36  # rls2009 NDRPDR iter env 5
         - 37  # rls2009 NDRPDR iter env 5
+        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
 
@@ -331,15 +331,15 @@
     plot-vpp-throughput-lat-tsa-2n-clx:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 36  # rls2009 NDRPDR iter env 5
-        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
-        - 41  # rls2009 NDRPDR iter env 5
         - 42  # rls2009 NDRPDR iter env 5
-        - 64  # rls2009 NDRPDR iter env 5
         - 65  # rls2009 NDRPDR iter env 5
         - 66  # rls2009 NDRPDR iter env 5
-        - 67  # rls2009 NDRPDR iter env 5
+        - 79  # rls2009 NDRPDR iter env 5
+        - 82  # rls2009 NDRPDR iter env 5
+        - 89  # rls2009 NDRPDR iter env 5
+        - 90  # rls2009 NDRPDR iter env 5
 
     plot-vpp-hdrh-lat-2n-clx:
       csit-vpp-perf-report-iterative-2009-2n-clx:
@@ -404,6 +404,7 @@
       csit-vpp-perf-report-iterative-2009-3n-tsh:
         - 14  # rls2009 NDRPDR iter env 5
         - 20  # rls2009 NDRPDR iter env 5
+        - 21  # rls2009 NDRPDR iter env 5
         - 22  # rls2009 NDRPDR iter env 5
         - 23  # rls2009 NDRPDR iter env 5
 
@@ -472,7 +473,6 @@
     # NIC Comparisons
 
     vpp-nic-comparison-3n-skx:
-      # TODO: Add:
       csit-vpp-perf-report-iterative-2009-3n-skx:
         - 26  # rls2009 NDRPDR iter env 5
         - 27  # rls2009 NDRPDR iter env 5
@@ -481,6 +481,7 @@
         - 35  # rls2009 NDRPDR iter env 5
         - 36  # rls2009 NDRPDR iter env 5
         - 37  # rls2009 NDRPDR iter env 5
+        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
 
@@ -559,11 +560,33 @@
       # TODO: Add:
       csit-vpp-perf-report-coverage-2009-3n-skx:
         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
+        - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
+        - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
+        - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
+        - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
+        - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
+        - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
+        - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
+        - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
+        - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
+        - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
+        - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
+        - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
+        - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
+        - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
+        - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
+        - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
+        - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
+        - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
+        - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
+        - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
+        - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
+        - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
 
     vpp-perf-results-2n-skx:
       csit-vpp-perf-report-coverage-2009-2n-skx:
@@ -602,11 +625,8 @@
         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
 
     vpp-perf-results-3n-tsh:
-      # TODO: Replace???
       csit-vpp-perf-report-iterative-2009-3n-tsh:
         - 14  # rls2009 NDRPDR iter env 5
-#      csit-vpp-perf-report-coverage-2009-3n-tsh:
-#        -
 
     vpp-perf-results-3n-dnv:
       csit-vpp-perf-report-coverage-2009-3n-dnv:
@@ -766,7 +786,6 @@
         - 19  # rls2005 NDRPDR iter env 5
         - 41  # rls2005 NDRPDR iter env 5
     vpp-performance-changes-3n-skx-cmp:
-      # TODO: Add:
       csit-vpp-perf-report-iterative-2009-3n-skx:
         - 26  # rls2009 NDRPDR iter env 5
         - 27  # rls2009 NDRPDR iter env 5
@@ -775,6 +794,7 @@
         - 35  # rls2009 NDRPDR iter env 5
         - 36  # rls2009 NDRPDR iter env 5
         - 37  # rls2009 NDRPDR iter env 5
+        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
 
@@ -870,15 +890,15 @@
     vpp-performance-changes-2n-clx-cmp:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 36  # rls2009 NDRPDR iter env 5
-        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
-        - 41  # rls2009 NDRPDR iter env 5
         - 42  # rls2009 NDRPDR iter env 5
-        - 64  # rls2009 NDRPDR iter env 5
         - 65  # rls2009 NDRPDR iter env 5
         - 66  # rls2009 NDRPDR iter env 5
-        - 67  # rls2009 NDRPDR iter env 5
+        - 79  # rls2009 NDRPDR iter env 5
+        - 82  # rls2009 NDRPDR iter env 5
+        - 89  # rls2009 NDRPDR iter env 5
+        - 90  # rls2009 NDRPDR iter env 5
 
     vpp-performance-changes-2n-dnv-h1:
       csit-vpp-perf-verify-2001-2n-dnv:
@@ -976,11 +996,14 @@
         - 8   # rls2005 NDRPDR iter env 5
         - 11  # rls2005 NDRPDR iter env 5
         - 12  # rls2005 NDRPDR iter env 5
+        - 24  # rls2005 NDRPDR iter env 5
+        - 27  # rls2005 NDRPDR iter env 5
     vpp-performance-changes-3n-tsh-cmp:
       # TODO: Add:
       csit-vpp-perf-report-iterative-2009-3n-tsh:
         - 14  # rls2009 NDRPDR iter env 5
         - 20  # rls2009 NDRPDR iter env 5
+        - 21  # rls2009 NDRPDR iter env 5
         - 22  # rls2009 NDRPDR iter env 5
         - 23  # rls2009 NDRPDR iter env 5
 
@@ -1018,15 +1041,15 @@
     vpp-soak-vs-ndr-2n-clx-ref:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 36  # rls2009 NDRPDR iter env 5
-        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
-        - 41  # rls2009 NDRPDR iter env 5
         - 42  # rls2009 NDRPDR iter env 5
-        - 64  # rls2009 NDRPDR iter env 5
         - 65  # rls2009 NDRPDR iter env 5
         - 66  # rls2009 NDRPDR iter env 5
-        - 67  # rls2009 NDRPDR iter env 5
+        - 79  # rls2009 NDRPDR iter env 5
+        - 82  # rls2009 NDRPDR iter env 5
+        - 89  # rls2009 NDRPDR iter env 5
+        - 90  # rls2009 NDRPDR iter env 5
     vpp-soak-vs-ndr-2n-clx-cmp:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 33  # rls2009 soak env 5
@@ -1034,15 +1057,15 @@
     vpp-soak-vs-ndr-2n-clx:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 36  # rls2009 NDRPDR iter env 5
-        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
-        - 41  # rls2009 NDRPDR iter env 5
         - 42  # rls2009 NDRPDR iter env 5
-        - 64  # rls2009 NDRPDR iter env 5
         - 65  # rls2009 NDRPDR iter env 5
         - 66  # rls2009 NDRPDR iter env 5
-        - 67  # rls2009 NDRPDR iter env 5
+        - 79  # rls2009 NDRPDR iter env 5
+        - 82  # rls2009 NDRPDR iter env 5
+        - 89  # rls2009 NDRPDR iter env 5
+        - 90  # rls2009 NDRPDR iter env 5
         - 33  # rls2009 soak env 5
         - 34  # rls2009 soak env 5
 
@@ -1400,7 +1423,6 @@
         - 30  # rls2009 NDRPDR iter env 5
         - 31  # rls2009 NDRPDR iter env 5
     vpp-compare-testbeds-cmp:
-      # TODO: Add:
       csit-vpp-perf-report-iterative-2009-3n-skx:
         - 26  # rls2009 NDRPDR iter env 5
         - 27  # rls2009 NDRPDR iter env 5
@@ -1409,6 +1431,7 @@
         - 35  # rls2009 NDRPDR iter env 5
         - 36  # rls2009 NDRPDR iter env 5
         - 37  # rls2009 NDRPDR iter env 5
+        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
 
@@ -1437,15 +1460,15 @@
     vpp-compare-testbeds-skx-clx-cmp:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 36  # rls2009 NDRPDR iter env 5
-        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
-        - 41  # rls2009 NDRPDR iter env 5
         - 42  # rls2009 NDRPDR iter env 5
-        - 64  # rls2009 NDRPDR iter env 5
         - 65  # rls2009 NDRPDR iter env 5
         - 66  # rls2009 NDRPDR iter env 5
-        - 67  # rls2009 NDRPDR iter env 5
+        - 79  # rls2009 NDRPDR iter env 5
+        - 82  # rls2009 NDRPDR iter env 5
+        - 89  # rls2009 NDRPDR iter env 5
+        - 90  # rls2009 NDRPDR iter env 5
 
     vpp-compare-testbeds-hsw-clx-ref:
       csit-vpp-perf-report-iterative-2009-3n-hsw:
@@ -1462,15 +1485,15 @@
     vpp-compare-testbeds-hsw-clx-cmp:
       csit-vpp-perf-report-iterative-2009-2n-clx:
         - 36  # rls2009 NDRPDR iter env 5
-        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
-        - 41  # rls2009 NDRPDR iter env 5
         - 42  # rls2009 NDRPDR iter env 5
-        - 64  # rls2009 NDRPDR iter env 5
         - 65  # rls2009 NDRPDR iter env 5
         - 66  # rls2009 NDRPDR iter env 5
-        - 67  # rls2009 NDRPDR iter env 5
+        - 79  # rls2009 NDRPDR iter env 5
+        - 82  # rls2009 NDRPDR iter env 5
+        - 89  # rls2009 NDRPDR iter env 5
+        - 90  # rls2009 NDRPDR iter env 5
 
     vpp-compare-testbeds-mrr-ref:
       csit-vpp-perf-report-iterative-2009-3n-hsw:
@@ -1546,7 +1569,6 @@
     # Compare topologies
 
     vpp-compare-topologies-ref:
-      # TODO: Add:
       csit-vpp-perf-report-iterative-2009-3n-skx:
         - 26  # rls2009 NDRPDR iter env 5
         - 27  # rls2009 NDRPDR iter env 5
@@ -1555,6 +1577,7 @@
         - 35  # rls2009 NDRPDR iter env 5
         - 36  # rls2009 NDRPDR iter env 5
         - 37  # rls2009 NDRPDR iter env 5
+        - 38  # rls2009 NDRPDR iter env 5
         - 39  # rls2009 NDRPDR iter env 5
         - 40  # rls2009 NDRPDR iter env 5
     vpp-compare-topologies-cmp:
@@ -2269,16 +2292,39 @@
       - 35  # rls2009 NDRPDR iter env 5
       - 36  # rls2009 NDRPDR iter env 5
       - 37  # rls2009 NDRPDR iter env 5
+      - 38  # rls2009 NDRPDR iter env 5
       - 39  # rls2009 NDRPDR iter env 5
       - 40  # rls2009 NDRPDR iter env 5
     # TODO: Add:
     csit-vpp-perf-report-coverage-2009-3n-skx:
       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
+      - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
+      - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
+      - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
+      - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
+      - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
+      - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
+      - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
+      - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
+      - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
+      - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
+      - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
+      - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
+      - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
+      - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
+      - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
+      - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
+      - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
+      - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
+      - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
+      - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
+      - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
+      - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
 
     csit-vpp-perf-verify-2001-2n-skx:
       - 101  # MRR sel - old
@@ -2410,15 +2456,15 @@
       - 24  # rls2005 NDRPDR iter env 5
       - 78  # rls2009 MRR iter env 5
       - 36  # rls2009 NDRPDR iter env 5
-      - 38  # rls2009 NDRPDR iter env 5
       - 39  # rls2009 NDRPDR iter env 5
       - 40  # rls2009 NDRPDR iter env 5
-      - 41  # rls2009 NDRPDR iter env 5
       - 42  # rls2009 NDRPDR iter env 5
-      - 64  # rls2009 NDRPDR iter env 5
       - 65  # rls2009 NDRPDR iter env 5
       - 66  # rls2009 NDRPDR iter env 5
-      - 67  # rls2009 NDRPDR iter env 5
+      - 79  # rls2009 NDRPDR iter env 5
+      - 82  # rls2009 NDRPDR iter env 5
+      - 89  # rls2009 NDRPDR iter env 5
+      - 90  # rls2009 NDRPDR iter env 5
       - 37  # rls2009 nf-density iter env 5
       - 43  # rls2009 nf-density iter env 5
       - 69  # rls2009 nf-density iter env 5
@@ -2481,14 +2527,15 @@
       - 8   # rls2005 NDRPDR iter env 5
       - 11  # rls2005 NDRPDR iter env 5
       - 12  # rls2005 NDRPDR iter env 5
+      - 24  # rls2005 NDRPDR iter env 5
+      - 27  # rls2005 NDRPDR iter env 5
       - 13  # rls2005 MRR iter env 5
       - 14  # rls2009 NDRPDR iter env 5
       - 20  # rls2009 NDRPDR iter env 5
+      - 21  # rls2009 NDRPDR iter env 5
       - 22  # rls2009 NDRPDR iter env 5
       - 23  # rls2009 NDRPDR iter env 5
       - 15  # rls2006 MRR iter env 5
-#    csit-vpp-perf-report-coverage-2009-3n-tsh:
-#      -
 
     csit-vpp-perf-verify-2001-3n-dnv:
       - 5   # NDRPDR sel
Integration tests