CSIT-1350: Add new data to 1810 report
[csit.git] / resources / tools / presentation / specification.yaml
index 95833a5..a71b035 100644 (file)
@@ -39,6 +39,7 @@
     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
+    DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
@@ -54,6 +55,7 @@
     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
+    DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
 
     # Detailed tests operational data
     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
       - 20  # NDRPDR sel
       - 21  # NDRPDR sel
       - 22  # NDRPDR sel
+      - 25  # NDRPDR sel
 
     vpp-compare-testbeds-mrr:
       csit-vpp-perf-verify-1810-3n-hsw:
 
     vpp-perf-results-3n-hsw:
       csit-vpp-perf-verify-1810-3n-hsw:
-      # TODO: Replace with full
-      - 8   # NDRPDR sel
+      # TODO: Add data
+      - 20  # NDRPDR full
+      - 21  # NDRPDR full
+      - 22  # NDRPDR full
 
     vpp-perf-results-3n-skx:
       csit-vpp-perf-verify-1810-3n-skx:
-      # TODO: Add data
+      - 23  # NDRPDR full
       - 24  # NDRPDR full
 
     vpp-perf-results-2n-skx:
       - 20  # NDRPDR sel
       - 21  # NDRPDR sel
       - 22  # NDRPDR sel
+      - 25  # NDRPDR sel
 
     plot-throughput-speedup-analysis-2n-skx:
       csit-vpp-perf-verify-1810-2n-skx:
       - 22  # NDRPDR sel
       - 23  # NDRPDR sel
       - 24  # NDRPDR sel
+      - 27  # NDRPDR sel
 
     plot-vpp-throughput-latency-3n-hsw:
       csit-vpp-perf-verify-1810-3n-hsw:
       - 20  # NDRPDR sel
       - 21  # NDRPDR sel
       - 22  # NDRPDR sel
+      - 25  # NDRPDR sel
 
     plot-vpp-throughput-latency-2n-skx:
       csit-vpp-perf-verify-1810-2n-skx:
       - 22  # NDRPDR sel
       - 23  # NDRPDR sel
       - 24  # NDRPDR sel
+      - 27  # NDRPDR sel
 
     plot-vpp-http-server-performance:
       # TODO: Replace with 1810 data:
       - 12
 
     dpdk-perf-results-2n-skx:
-      # TODO: Replace with 1810 data:
-      csit-dpdk-perf-verify-1807-2n-skx:
-      - 10
+      # TODO: Replace with full data:
+      csit-dpdk-perf-verify-1810-2n-skx:
+      - 3
 
     plot-dpdk-throughput-latency-3n-hsw:
       # TODO: Replace with 1810 data:
       - 12
 
     plot-dpdk-throughput-latency-2n-skx:
-      # TODO: Replace with 1810 data:
-      csit-dpdk-perf-verify-1807-2n-skx:
-      - 1
-      - 2
-      - 3
-      - 4
-      - 5
-      - 6
-      - 7
-      - 8
-      - 9
-      - 10
+      # TODO: Add data:
+      csit-dpdk-perf-verify-1810-2n-skx:
+      - 3   # NDRPDR sel
+      - 4   # NDRPDR sel
 
     # HoneyComb Functional
     hc-func-results:
     # TODO: Add data:
     csit-vpp-perf-verify-1810-3n-hsw:
     - 9   # MRR sel
+    - 20  # NDRPDR full
+    - 21  # NDRPDR full
+    - 22  # NDRPDR full
     - 8   # NDRPDR sel
     - 12  # NDRPDR sel
     - 14  # NDRPDR sel
     - 11  # MRR sel
     - 12  # MRR sel
     - 13  # MRR sel
+    - 23  # NDRPDR full
     - 24  # NDRPDR full
     - 10  # NDRPDR sel
     - 14  # NDRPDR sel
     - 20  # NDRPDR sel
     - 21  # NDRPDR sel
     - 22  # NDRPDR sel
+    - 25  # NDRPDR sel
     csit-vpp-perf-verify-1807-2n-skx:
     - 27  # MRR full
     - 31  # MRR sel
     - 22  # NDRPDR sel
     - 23  # NDRPDR sel
     - 24  # NDRPDR sel
+    - 27  # NDRPDR sel
     csit-vpp-perf-check-1804:
     - 5   # mrr - full
     - 6   # mrr - sel
     - 10
     - 11
     - 12
-    csit-dpdk-perf-verify-1807-2n-skx:
-    - 1
-    - 2
-    - 3
-    - 4
-    - 5
-    - 6
-    - 7
-    - 8
-    - 9
-    - 10
+    csit-dpdk-perf-verify-1810-2n-skx:
+    - 3   # NDRPDR sel
+    - 4   # NDRPDR sel
     csit-vpp-functional-1810-ubuntu1604-virl:
     - 44
     csit-vpp-functional-1810-centos7-virl:
 
 ################################################################################
 # VPP
+
+# VPP Performance Changes 1t1c pdr
 -
   type: "table"
   title: "VPP Performance Changes 1t1c pdr"
   - "parent"
   - "throughput"
 
+# VPP Performance Changes 2t2c pdr
 -
   type: "table"
   title: "VPP Performance Changes 2t2c pdr"
   - "parent"
   - "throughput"
 
+# VPP Performance Changes 1t1c ndr
 -
   type: "table"
   title: "VPP Performance Changes 1t1c ndr"
   - "parent"
   - "throughput"
 
+# VPP Performance Changes 2t2c ndr
 -
   type: "table"
   title: "VPP Performance Changes 2t2c ndr"
   - "parent"
   - "throughput"
 
+# VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr
 -
   type: "table"
   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
       - 20  # NDRPDR sel
       - 21  # NDRPDR sel
       - 22  # NDRPDR sel
+      - 25  # NDRPDR sel
   data: "vpp-compare-testbeds"
   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
   filter: "'NIC_Intel-X710' and 'NDRPDR'"
   - "parent"
   - "throughput"
 
+# VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr
 -
   type: "table"
   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
       - 20  # NDRPDR sel
       - 21  # NDRPDR sel
       - 22  # NDRPDR sel
+      - 25  # NDRPDR sel
   data: "vpp-compare-testbeds"
   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
   filter: "'NIC_Intel-X710' and 'NDRPDR'"
   - "parent"
   - "throughput"
 
+# VPP Performance Changes - 1t1c MRR
 -
   type: "table"
   title: "VPP Performance Changes - 1t1c MRR"
   - "parent"
   - "result"
 
+# VPP Performance Changes - 2t2c MRR
 -
   type: "table"
   title: "VPP Performance Changes - 2t2c MRR"
   - "parent"
   - "result"
 
+# VPP Performance Changes - 4t4c MRR
 -
   type: "table"
   title: "VPP Performance Changes - 4t4c MRR"
   - "parent"
   - "result"
 
+# VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr
 -
   type: "table"
   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
   - "parent"
   - "result"
 
+# Detailed Test Results - VPP Performance Results 3n-hsw
 -
   type: "table"
   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
   - "parent"
   - "msg"
 
+# Detailed Test Results - VPP Performance Results 3n-skx
 -
   type: "table"
   title: "Detailed Test Results - VPP Performance Results 3n-skx"
   - "parent"
   - "msg"
 
+# Detailed Test Results - VPP Performance Results 2n-skx
 -
   type: "table"
   title: "Detailed Test Results - VPP Performance Results 2n-skx"
   - "parent"
   - "msg"
 
+# Test configuration - VPP Performance Test Configs 3n-hsw
 -
   type: "table"
   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
   - "name"
   - "vat-history"
 
+# Test configuration - VPP Performance Test Configs 3n-skx
 -
   type: "table"
   title: "Test configuration - VPP Performance Test Configs 3n-skx"
   - "name"
   - "vat-history"
 
+# Test configuration - VPP Performance Test Configs 2n-skx
 -
   type: "table"
   title: "Test configuration - VPP Performance Test Configs 2n-skx"
   - "name"
   - "vat-history"
 
+# Test Operational Data - VPP Performance Operational Data 3n-hsw
 -
   type: "table"
   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
   - "name"
   - "show-run"
 
+# Test Operational Data - VPP Performance Operational Data 3n-skx
 -
   type: "table"
   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
   - "name"
   - "show-run"
 
+# Test Operational Data - VPP Performance Operational Data 2n-skx
 -
   type: "table"
   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
   - "name"
   - "show-run"
 
+# Detailed Test Results - VPP MRR Results 3n-hsw
 -
   type: "table"
   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
   - "parent"
   - "msg"
 
+# Detailed Test Results - VPP MRR Results 3n-skx
 -
   type: "table"
   title: "Detailed Test Results - VPP MRR Results 3n-skx"
   - "parent"
   - "msg"
 
+# Detailed Test Results - VPP MRR Results 2n-skx
 -
   type: "table"
   title: "Detailed Test Results - VPP MRR Results 2n-skx"
   - "parent"
   - "msg"
 
+# Test configuration - VPP MRR Test Configs 3n-hsw
 -
   type: "table"
   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
   - "name"
   - "vat-history"
 
+# Test configuration - VPP MRR Test Configs 3n-skx
 -
   type: "table"
   title: "Test configuration - VPP MRR Test Configs 3n-skx"
   - "name"
   - "vat-history"
 
+# Test configuration - VPP MRR Test Configs 2n-skx
 -
   type: "table"
   title: "Test configuration - VPP MRR Test Configs 2n-skx"
   - "name"
   - "vat-history"
 
+# Detailed Test Results - VPP Functional Results - Ubuntu
 -
   type: "table"
   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
   - "doc"
   - "status"
 
+# Detailed Test Results - VPP Functional Results - CentOS
 -
   type: "table"
   title: "Detailed Test Results - VPP Functional Results - CentOS"
   - "doc"
   - "status"
 
+# Test configuration - VPP Functional Test Configs - Ubuntu
 -
   type: "table"
   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
   - "name"
   - "vat-history"
 
+# Test configuration - VPP Functional Test Configs - CentOS
 -
   type: "table"
   title: "Test configuration - VPP Functional Test Configs - CentOS"
   - "name"
   - "vat-history"
 
+# Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw
 -
   type: "table"
   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
   - "parent"
   - "msg"
 
+# Detailed Test Results - VPP Device Results - Ubuntu
+-
+  type: "table"
+  title: "Detailed Test Results - VPP Device Results - Ubuntu"
+  algorithm: "table_details"
+  output-file-ext: ".csv"
+  output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
+  columns:
+  -
+    title: "Name"
+    data: "data name"
+  -
+    title: "Documentation"
+    data: "data doc"
+  -
+    title: "Status"
+    data: "data status"
+  rows: "generated"
+  data: "vpp-device-results-ubuntu"
+  filter: "all"
+  parameters:
+  - "name"
+  - "parent"
+  - "doc"
+  - "status"
+
+# Test configuration - VPP Device Test Configs - Ubuntu
+-
+  type: "table"
+  title: "Test configuration - VPP Device Test Configs - Ubuntu"
+  algorithm: "table_details"
+  output-file-ext: ".csv"
+  output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
+  columns:
+  -
+    title: "Name"
+    data: "data name"
+  -
+    title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
+    data: "data vat-history"
+  rows: "generated"
+  data: "vpp-device-results-ubuntu"
+  filter: "all"
+  parameters:
+  - "parent"
+  - "name"
+  - "vat-history"
+
 ################################################################################
-# DPDK
+
+# DPDK Performance Changes 1t1c pdr
 -
   type: "table"
   title: "DPDK Performance Changes 1t1c pdr"
   - "parent"
   - "throughput"
 
+# DPDK Performance Changes 2t2c pdr
 -
   type: "table"
   title: "DPDK Performance Changes 2t2c pdr"
   - "parent"
   - "throughput"
 
+# DPDK Performance Changes 1t1c ndr
 -
   type: "table"
   title: "DPDK Performance Changes 1t1c ndr"
   - "parent"
   - "throughput"
 
+# DPDK Performance Changes 2t2c ndr
 -
   type: "table"
   title: "DPDK Performance Changes 2t2c ndr"
   - "parent"
   - "throughput"
 
+# DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr
 -
   type: "table"
   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
   - "parent"
   - "throughput"
 
+# DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr
 -
   type: "table"
   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
   - "parent"
   - "throughput"
 
+# DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr
 -
   type: "table"
   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
   parameters:
   - "name"
   - "parent"
-  - "throughput"
+  - "result"
 
+# Detailed Test Results - DPDK Performance Results 3n-hsw
 -
   type: "table"
   title: "Detailed Test Results - DPDK Performance Results 3n-hsw"
   - "parent"
   - "msg"
 
+# Detailed Test Results - DPDK Performance Results 3n-skx
 -
   type: "table"
   title: "Detailed Test Results - DPDK Performance Results 3n-skx"
   - "parent"
   - "msg"
 
+# Detailed Test Results - DPDK Performance Results 2n-skx
 -
   type: "table"
   title: "Detailed Test Results - DPDK Performance Results 2n-skx"
   - "parent"
   - "msg"
 
-
 ################################################################################
 # HoneyComb
 -
 ###                                F I L E S                                 ###
 ################################################################################
 
+# VPP Performance Results 3n-hsw
 -
   type: "file"
   title: "VPP Performance Results 3n-hsw"
   - "parent"
   data-start-level: 3
 
+# VPP Performance Results 3n-skx
 -
   type: "file"
   title: "VPP Performance Results 3n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP Performance Results 2n-skx
 -
   type: "file"
   title: "VPP Performance Results 2n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP Performance Configuration 3n-hsw
 -
   type: "file"
   title: "VPP Performance Configuration 3n-hsw"
   - "parent"
   data-start-level: 3
 
+# VPP Performance Configuration 3n-skx
 -
   type: "file"
   title: "VPP Performance Configuration 3n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP Performance Configuration 2n-skx
 -
   type: "file"
   title: "VPP Performance Configuration 2n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP Performance Operational Data 3n-hsw
 -
   type: "file"
   title: "VPP Performance Operational Data 3n-hsw"
   - "parent"
   data-start-level: 3
 
+# VPP Performance Operational Data 3n-skx
 -
   type: "file"
   title: "VPP Performance Operational Data 3n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP Performance Operational Data 2n-skx
 -
   type: "file"
   title: "VPP Performance Operational Data 2n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP MRR Results 3n-hsw
 -
   type: "file"
   title: "VPP MRR Results 3n-hsw"
   - "parent"
   data-start-level: 3
 
+# VPP MRR Results 3n-skx
 -
   type: "file"
   title: "VPP MRR Results 3n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP MRR Results 2n-skx
 -
   type: "file"
   title: "VPP MRR Results 2n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP MRR Configuration 3n-hsw
 -
   type: "file"
   title: "VPP MRR Configuration 3n-hsw"
   - "parent"
   data-start-level: 3
 
+# VPP MRR Configuration 3n-skx
 -
   type: "file"
   title: "VPP MRR Configuration 3n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP MRR Configuration 2n-skx
 -
   type: "file"
   title: "VPP MRR Configuration 2n-skx"
   - "parent"
   data-start-level: 3
 
+# VPP Functional Results - Ubuntu
 -
   type: "file"
   title: "VPP Functional Results - Ubuntu"
   - "doc"
   - "level"
   - "parent"
-  data-start-level: 4
+  data-start-level: 3
 
+# VPP Functional Results - CentOS
 -
   type: "file"
   title: "VPP Functional Results - CentOS"
   - "doc"
   - "level"
   - "parent"
-  data-start-level: 4
+  data-start-level: 3
 
+# VPP Functional Configuration - Ubuntu
 -
   type: "file"
   title: "VPP Functional Configuration - Ubuntu"
   - "doc"
   - "level"
   - "parent"
-  data-start-level: 4
+  data-start-level: 3
 
+# VPP Functional Configuration - CentOS
 -
   type: "file"
   title: "VPP Functional Configuration - CentOS"
   - "doc"
   - "level"
   - "parent"
-  data-start-level: 4
+  data-start-level: 3
+
+# VPP Device Results - Ubuntu
+-
+  type: "file"
+  title: "VPP Device Results - Ubuntu"
+  algorithm: "file_test_results"
+  output-file-ext: ".rst"
+  output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
+  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
+  dir-tables: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}"
+  data: "vpp-device-results-ubuntu"
+  filter: "all"
+  parameters:
+  - "name"
+  - "doc"
+  - "level"
+  - "parent"
+  data-start-level: 2
+
+# VPP Device Configuration - Ubuntu
+-
+  type: "file"
+  title: "VPP Device Configuration - Ubuntu"
+  algorithm: "file_test_results"
+  output-file-ext: ".rst"
+  output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
+  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
+  dir-tables: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}"
+  data: "vpp-device-results-ubuntu"
+  filter: "all"
+  parameters:
+  - "name"
+  - "doc"
+  - "level"
+  - "parent"
+  data-start-level: 2
 
+# Container Orchestrated Performance Results 3n-hsw
 -
   type: "file"
   title: "Container Orchestrated Performance Results 3n-hsw"
   - "parent"
   data-start-level: 3
 
+# DPDK Performance Results 3n-hsw
 -
   type: "file"
   title: "DPDK Performance Results 3n-hsw"
   - "parent"
   data-start-level: 3
 
+# DPDK Performance Results 3n-skx
 -
   type: "file"
   title: "DPDK Performance Results 3n-skx"
   - "parent"
   data-start-level: 3
 
+# DPDK Performance Results 2n-skx
 -
   type: "file"
   title: "DPDK Performance Results 2n-skx"
   - "parent"
   data-start-level: 3
 
+# Honeycomb Functional Results
 -
   type: "file"
   title: "Honeycomb Functional Results"
   - "parent"
   data-start-level: 3
 
+# NSH SFC Functional Results
 -
   type: "file"
   title: "NSH SFC Functional Results"
   - "parent"
   data-start-level: 3
 
+# DMM Functional Results
 -
   type: "file"
   title: "DMM Functional Results"