Report: Disable pdf
[csit.git] / resources / tools / presentation / specification.yaml
index 4a941e0..6f4fbd8 100644 (file)
@@ -32,6 +32,7 @@
     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
+    DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
         - 5   # NDRPDR sel
         - 9   # NDRPDR sel
         - 10  # NDRPDR sel
+        - 11  # NDRPDR sel
+        - 12  # NDRPDR sel
 
     plot-dpdk-hdrh-lat-3n-tsh:
       csit-dpdk-perf-verify-2001-3n-tsh:
         - 18  # NDRPDR full
         - 20  # NDRPDR full
         - 28  # NDRPDR full
+        - 35  # NDRPDR full
+        - 46  # NDRPDR full
 
     vpp-perf-results-3n-skx:
       # TODO: Replace
 
     vpp-perf-results-3n-dnv:
       csit-vpp-perf-verify-2001-3n-dnv:
-        - 13  # NDRPDR full
-        - 15  # NDRPDR full
         - 19  # NDRPDR full
         - 20  # NDRPDR full
         - 21  # NDRPDR full
         - 23  # NDRPDR full
         - 24  # NDRPDR full
         - 25  # NDRPDR full
+        - 26  # NDRPDR full
 
     vpp-perf-results-2n-dnv:
       csit-vpp-perf-verify-2001-2n-dnv:
 
     dpdk-perf-results-3n-hsw:
       csit-dpdk-perf-verify-2001-3n-hsw:
-        - 13  # NDRPDR sel
-        - 24  # NDRPDR sel
+        - 25  # NDRPDR full
+        - 26  # NDRPDR full
 
     dpdk-perf-results-3n-skx:
       csit-dpdk-perf-verify-2001-3n-skx:
       - 18  # NDRPDR full
       - 20  # NDRPDR full
       - 28  # NDRPDR full
+      - 35  # NDRPDR full
+      - 46  # NDRPDR full
 
 #    csit-vpp-perf-verify-1904-3n-skx:
 #      - 7   # MRR sel
       - 17  # NDRPDR sel
       - 18  # NDRPDR sel
       - 11  # MRR sel
-      - 13  # NDRPDR full
-      - 15  # NDRPDR full
       - 19  # NDRPDR full
       - 20  # NDRPDR full
       - 21  # NDRPDR full
       - 23  # NDRPDR full
       - 24  # NDRPDR full
       - 25  # NDRPDR full
+      - 26  # NDRPDR full
 
     csit-vpp-perf-verify-1908-2n-dnv:
       - 1   # NDRPDR sel
       - 22  # NDRPDR sel
       - 23  # NDRPDR sel
       - 24  # NDRPDR sel
+      - 25  # NDRPDR full
+      - 26  # NDRPDR full
 
 #    csit-dpdk-perf-verify-1904-3n-skx:
 #      - 2   # NDRPDR sel
       - 5   # NDRPDR sel
       - 9   # NDRPDR sel
       - 10  # NDRPDR sel
+      - 11  # NDRPDR sel
+      - 12  # NDRPDR sel
 
     csit-vpp-device-2001-ubuntu1804-1n-skx:
       - 57
   format:
     html:
     - full
-# TODO: Enable for release runs:
 #    pdf:
 #    - minimal
 
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-3n-hsw"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-perf-results-3n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-perf-results-2n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-perf-results-2n-clx"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-3n-tsh"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-3n-dnv"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-2n-dnv"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: "Status"
+  - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-mrr-results-3n-hsw"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: "Status"
+#  - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-mrr-results-3n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: "Status"
+#  - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-mrr-results-2n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: "Status"
+#  - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-mrr-results-2n-clx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: "Status"
+#  - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-mrr-results-3n-tsh"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: "Status"
+  - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-mrr-results-3n-dnv"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: "Status"
+  - title: " |prein| Maximum Receive Rate trial [Mpps] |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-mrr-results-2n-dnv"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-3n-hsw"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "dpdk-perf-results-3n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "dpdk-perf-results-2n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "dpdk-perf-results-2n-clx"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-2n-dnv"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-3n-dnv"
   - "parent"
   - "msg"
 
+# Detailed Test Results - DPDK Performance Results 3n-tsh
+- type: "table"
+  title: "Detailed Test Results - DPDK Performance Results 3n-tsh"
+  algorithm: "table_details"
+  output-file-ext: ".csv"
+  output-file: "{DIR[DTR,PERF,DPDK,3N,TSH]}/dpdk_performance_results_3n_tsh"
+  columns:
+  - title: " |prein| Test Name |preout| "
+    data: "data name"
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
+    data: "data msg"
+  rows: "generated"
+  data: "dpdk-perf-results-3n-tsh"
+  filter: "all"
+  parameters:
+  - "name"
+  - "parent"
+  - "msg"
+
 ################################################################################
 ###                                F I L E S                                 ###
 ################################################################################
   - "doc"
   - "level"
   - "parent"
-  data-start-level: 2
+  data-start-level: 3
 
 # VPP Device Configuration - Ubuntu
 - type: "file"
   - "doc"
   - "level"
   - "parent"
-  data-start-level: 2
+  data-start-level: 3
 
 # DPDK Performance Results 3n-hsw
 - type: "file"
   - "parent"
   data-start-level: 3
 
+# DPDK Performance Results 3n-tsh
+- type: "file"
+  title: "DPDK Performance Results 3n-tsh"
+  algorithm: "file_test_results"
+  output-file-ext: ".rst"
+  output-file: "{DIR[DTR,PERF,DPDK,3N,TSH]}/dpdk_performance_results_3n_tsh"
+  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
+  dir-tables: "{DIR[DTR,PERF,DPDK,3N,TSH]}"
+  data: "dpdk-perf-results-3n-tsh"
+  filter: "all"
+  parameters:
+  - "name"
+  - "doc"
+  - "level"
+  - "parent"
+  data-start-level: 3
+
 ################################################################################
 ###                                P L O T S                                 ###
 ################################################################################