Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
CSIT-1488: Add data to the Report 1904
[csit.git] / resources / tools / presentation / specification.yaml
diff --git a/resources/tools/presentation/specification.yaml b/resources/tools/presentation/specification.yaml
index feb3fbb..74e33c1 100644 (file)
--- a/resources/tools/presentation/specification.yaml
+++ b/resources/tools/presentation/specification.yaml
@@ -241,6 +241,8 @@
         - 60  # NFV NDRPDR 64b
         - 65  # NFV NDRPDR 64b
         - 68  # NFV NDRPDR 64b
+        - 80  # NFV MRR NDRPDR 64b IMIX
+        - 81  # NFV MRR NDRPDR 64b IMIX
 
     plot-vpp-nfv-2n-skx-ndrpdr-imix:
       # TODO: Add 1904 data
@@ -248,6 +250,8 @@
         - 66  # NFV NDRPDR IMIX
         - 67  # NFV NDRPDR IMIX
         - 69  # NFV NDRPDR IMIX
+        - 80  # NFV MRR NDRPDR 64b IMIX
+        - 81  # NFV MRR NDRPDR 64b IMIX
 
     plot-vpp-nfv-2n-skx-mrr-64b:
       csit-vpp-perf-verify-1904-2n-skx:
@@ -256,6 +260,8 @@
         - 42  # NFV MRR 64b
         - 47  # NFV MRR 64b
         - 48  # NFV MRR 64b
+        - 80  # NFV MRR NDRPDR 64b IMIX
+        - 81  # NFV MRR NDRPDR 64b IMIX
 
     plot-vpp-nfv-2n-skx-mrr-imix:
       csit-vpp-perf-verify-1904-2n-skx:
@@ -264,6 +270,8 @@
         - 51  # NFV MRR IMIX
         - 54  # NFV MRR IMIX
         - 55  # NFV MRR IMIX
+        - 80  # NFV MRR NDRPDR 64b IMIX
+        - 81  # NFV MRR NDRPDR 64b IMIX
 
     plot-dpdk-throughput-latency-2n-skx:
       csit-dpdk-perf-verify-1904-2n-skx:
@@ -346,9 +354,10 @@
     # Results
 
     vpp-perf-results-3n-hsw:
-      # TODO: Replace with FULL 1904 data
+      # TODO: Add FULL 1904 data
       csit-vpp-perf-verify-1904-3n-hsw:
-        - 12  # NDRPDR sel
+        - 32  # NDRPDR full
+        - 33  # NDRPDR full
 
     vpp-perf-results-3n-skx:
       csit-vpp-perf-verify-1904-3n-skx:
@@ -952,8 +961,8 @@
         titlefont:
           size: 16
         gridcolor: "rgb(230, 230, 230)"
-        hoverformat: ".4s"
-        tickformat: ".3s"
+        hoverformat: ".4r"
+        tickformat: ".3r"
         linecolor: "rgb(220, 220, 220)"
         linewidth: 1
         showgrid: True
@@ -1137,8 +1146,8 @@
         titlefont:
           size: 16
         gridcolor: "rgb(230, 230, 230)"
-        hoverformat: ".4s"
-        tickformat: ".3s"
+        hoverformat: ".4r"
+        tickformat: ".3r"
         linecolor: "rgb(220, 220, 220)"
         linewidth: 1
         showgrid: True
@@ -1383,6 +1392,8 @@
     # TODO: Add 1904 Data
     csit-vpp-perf-verify-1904-3n-hsw:
       - 9   # MRR sel
+      - 32  # NDRPDR full
+      - 33  # NDRPDR full
       - 11  # NDRPDR sel
       - 12  # NDRPDR sel
       - 20  # NDRPDR sel
@@ -1510,6 +1521,8 @@
       - 66  # NFV NDRPDR IMIX
       - 67  # NFV NDRPDR IMIX
       - 69  # NFV NDRPDR IMIX
+      - 80  # NFV MRR NDRPDR 64b IMIX
+      - 81  # NFV MRR NDRPDR 64b IMIX
       - 70  # SOAK
       - 71  # SOAK
 
@@ -1650,8 +1663,8 @@
   format:
     html:
     - full
-#    pdf:
-#    - minimal
+    pdf:
+    - minimal
 
 ################################################################################
 ###                               T A B L E S                                ###
@@ -1659,14 +1672,14 @@
 
 # VPP SOAK vs NDR
 - type: "table"
-  title: "VPP SOAK vs NDR 2n-skx"
+  title: "VPP Soak vs NDR 2n-skx"
   algorithm: "table_soak_vs_ndr"
   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
   reference:
     title: "NDR"
     data: "vpp-soak-vs-ndr-2n-skx-ref"
   compare:
-    title: "SOAK"
+    title: "Soak"
     data: "vpp-soak-vs-ndr-2n-skx-cmp"
   data: "vpp-soak-vs-ndr-2n-skx"
   include-tests: "NDR"
@@ -4560,45 +4573,51 @@
 # Soak test - 30min Soak Test (PLRsearch), boxes
 - type: "plot"
   title: "VPP Throughput: 30min Soak Test (PLRsearch) boxes"
-  algorithm: "plot_soak_boxes"
+  algorithm: "plot_performance_box"
   output-file-type: ".html"
-  output-file: "{DIR[STATIC,VPP]}/example-soak-boxes"
+  output-file: "{DIR[STATIC,VPP]}/soak-test-1"
   data: "plot-vpp-soak-2n-skx"
-  filter: "'SOAK'"
+  filter: "('L2BDMACLRN' or 'L2PATCH' or 'L2XCBASE') and not 'VHOST' and not 'MEMIF'"
   parameters:
-  - "throughput"
-  - "parent"
-  - "tags"
-#  sort:
-#  - "L2PATCH"
-#  - "L2XCBASE"
-#  - "L2BDMACLRN"
-#  - "IP4FWD"
-#  - "IP6FWD"
-  - "VHOST"
+    - "throughput"
+    - "parent"
+    - "tags"
+  sort:
+    - "DRV_AVF"
+    - "DRV_AVF"
+    - "DRV_AVF"
+    - "L2BDMACLRN"
+    - "L2XCBASE"
+    - "L2PATCH"
+  traces:
+    hoverinfo: "x+y"
+    boxpoints: "all"
+    whiskerwidth: 0
   layout:
     title: "30min Soak Test (PLRsearch)"
     layout: "plot-soak-throughput"
 
-# Soak test - example, not used
+# Soak test - 30min Soak Test (PLRsearch), boxes
 - type: "plot"
-  title: "VPP Throughput: 30min Soak Test (PLRsearch) bars"
-  algorithm: "plot_soak_bars"
+  title: "VPP Throughput: 30min Soak Test (PLRsearch) boxes"
+  algorithm: "plot_performance_box"
   output-file-type: ".html"
-  output-file: "{DIR[STATIC,VPP]}/example-soak-bars"
+  output-file: "{DIR[STATIC,VPP]}/soak-test-2"
   data: "plot-vpp-soak-2n-skx"
-  filter: "'SOAK'"
+  filter: "'L2BDMACLRN' and ('VHOST' or 'MEMIF') or 'IP4BASE' or 'IP6BASE'"
   parameters:
-  - "throughput"
-  - "parent"
-  - "tags"
-#  sort:
-#  - "L2PATCH"
-#  - "L2XCBASE"
-#  - "L2BDMACLRN"
-#  - "IP4FWD"
-#  - "IP6FWD"
-  - "VHOST"
+    - "throughput"
+    - "parent"
+    - "tags"
+  sort:
+    - "VHOST"
+    - "MEMIF"
+    - "IP4FWD"
+    - "IP6FWD"
+  traces:
+    hoverinfo: "x+y"
+    boxpoints: "all"
+    whiskerwidth: 0
   layout:
     title: "30min Soak Test (PLRsearch)"
     layout: "plot-soak-throughput"
@@ -14310,7 +14329,6 @@
            'BASE' and
            '1T1C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14337,7 +14355,6 @@
            'BASE' and
            '1T1C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14364,7 +14381,6 @@
            'BASE' and
            '2T2C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14391,7 +14407,6 @@
            'BASE' and
            '2T2C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14419,7 +14434,6 @@
            'SCALE' and
            '1T1C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14446,7 +14460,6 @@
            'SCALE' and
            '1T1C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14473,7 +14486,6 @@
            'SCALE' and
            '2T2C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14500,7 +14512,6 @@
            'SCALE' and
            '2T2C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14527,7 +14538,6 @@
            'NDRPDR' and
            '1T1C' and
            'IPSECSW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14553,7 +14563,6 @@
            'NDRPDR' and
            '1T1C' and
            'IPSECSW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14579,7 +14588,6 @@
            'NDRPDR' and
            '2T2C' and
            'IPSECSW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -14605,7 +14613,6 @@
            'NDRPDR' and
            '2T2C' and
            'IPSECSW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -21472,7 +21479,6 @@
            'BASE' and
            '1T1C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "latency"
@@ -21495,7 +21501,6 @@
            'BASE' and
            '2T2C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "latency"
@@ -21519,7 +21524,6 @@
            'SCALE' and
            '1T1C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "latency"
@@ -21542,7 +21546,6 @@
            'SCALE' and
            '2T2C' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "latency"
@@ -21565,7 +21568,6 @@
            'NDRPDR' and
            '1T1C' and
            'IPSECSW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "latency"
@@ -21587,7 +21589,6 @@
            'NDRPDR' and
            '2T2C' and
            'IPSECSW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "latency"
@@ -25754,7 +25755,6 @@
            'NDRPDR' and
            'BASE' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -25776,7 +25776,6 @@
            'NDRPDR' and
            'BASE' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -25799,7 +25798,6 @@
            'NDRPDR' and
            'SCALE' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -25821,7 +25819,6 @@
            'NDRPDR' and
            'SCALE' and
            'IPSECHW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -25843,7 +25840,6 @@
            'IP4FWD' and
            'NDRPDR' and
            'IPSECSW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
@@ -25864,7 +25860,6 @@
            'IP4FWD' and
            'NDRPDR' and
            'IPSECSW' and
-           ('IPSECTRAN' or 'IPSECTUN') and
            not 'VHOST'"
   parameters:
   - "throughput"
Integration tests