Code Review / csit.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
diff --git a/resources/tools/presentation/specification.yaml b/resources/tools/presentation/specification.yaml
index b07d513..ab54aa1 100644 (file)
--- a/resources/tools/presentation/specification.yaml
+++ b/resources/tools/presentation/specification.yaml
@@ -670,6 +670,15 @@
         - 87  # NDRPDR full - ip6-1
         - 88  # NDRPDR full - ip6-2
         - 90  # NDRPDR full - memif
+        - 95  # NDRPDR full - l2-1
+        - 96  # NDRPDR full - ip4-2
+        - 97  # NDRPDR full - vhost-1
+        - 102 # NDRPDR full - crypto-2
+        - 104 # NDRPDR full - ip4tunnels-1
+        - 105 # NDRPDR full - ip4tunnels-2
+        - 106 # NDRPDR full - ip4tunnels-3
+        - 107 # NDRPDR full - ip6tunnels-1
+        - 108 # NDRPDR full - ip4-1
 
     vpp-perf-results-2n-skx:
       csit-vpp-perf-verify-2001-2n-skx:
@@ -2472,6 +2481,15 @@
       - 87  # NDRPDR full - ip6-1
       - 88  # NDRPDR full - ip6-2
       - 90  # NDRPDR full - memif
+      - 95  # NDRPDR full - l2-1
+      - 96  # NDRPDR full - ip4-2
+      - 97  # NDRPDR full - vhost-1
+      - 102 # NDRPDR full - crypto-2
+      - 104 # NDRPDR full - ip4tunnels-1
+      - 105 # NDRPDR full - ip4tunnels-2
+      - 106 # NDRPDR full - ip4tunnels-3
+      - 107 # NDRPDR full - ip6tunnels-1
+      - 108 # NDRPDR full - ip4-1
       - 50  # MRR sel
       - 53  # MRR sel addition
 
@@ -3544,7 +3562,7 @@
       data-set: "vpp-perf-changes-3n-skx-old1908_1"
     - title: "1908.1-2"
       data-set: "vpp-perf-changes-3n-skx-new1908_1"
-    - title: "2001.0-1"
+    - title: "2001.0-2"
       data-set: "vpp-perf-changes-3n-skx-new2001_0"
   comparisons:
     - title: "Diff1"
@@ -3555,12 +3573,12 @@
       reference: 3
       compare: 4
   legend:
-    - "Legend to Table"
-    - "YYMM.MV-EV - tested VPP version (YY year, MM month, MV minor version) and CSIT test environment version (EV environment version), covered versions are 1908.0-1, 1908.1-1, 1908.1-2, 2001.0-2."
-    - "Diff1 - difference between the previous and the current environment for the same VPP version, 1908.1-2 vs. 1908.1-1 (if latter results not available, 1908.0-1 is used)."
-    - "Diff2 - difference between the previous and the current VPP version in the current environment, 2001.0-1 vs. 1908.1-2."
-    - "RCA1 - root cause analysis reference for Diff1."
-    - "RCA2 - root cause analysis reference for Diff2."
+    - 'Legend to Table:'
+    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "1" for 2019-08-21, "2" for 2020-03-27).'
+    - 'Diff1 - difference between environment versions "2" and "1" for the same VPP version, 1908.1-2 vs. 1908.1-1 (if data for the latter not present, 1908.0-1 is used).'
+    - 'Diff2 - difference between the current and the previous VPP version in the current environment version "2", 2001.0-2 vs. 1908.1-2.'
+    - 'RCA1 - root cause analysis reference for Diff1.'
+    - 'RCA2 - root cause analysis reference for Diff2.'
 
 # VPP Root Cause Analysis 3n-skx-xxv710 2t1c ndr
 - type: "table"
@@ -3571,9 +3589,9 @@
   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
   rca:
     - title: "RCA1"
-      data: "rca/rca-3n-skx-2t1c-pdr-rca1.yaml"  # For now we'll use PDR RCAs
+      data: "rca/rca-3n-skx-2t1c-ndr-rca1.yaml"
     - title: "RCA2"
-      data: "rca/rca-3n-skx-2t1c-pdr-rca2.yaml"  # For now we'll use PDR RCAs
+      data: "rca/rca-3n-skx-2t1c-ndr-rca2.yaml"
   columns:
     - title: "1908.0-1"
       data-set: "vpp-perf-changes-3n-skx-old1908_0"
@@ -3582,7 +3600,7 @@
       data-set: "vpp-perf-changes-3n-skx-old1908_1"
     - title: "1908.1-2"
       data-set: "vpp-perf-changes-3n-skx-new1908_1"
-    - title: "2001.0-1"
+    - title: "2001.0-2"
       data-set: "vpp-perf-changes-3n-skx-new2001_0"
   comparisons:
     - title: "Diff1"
@@ -3593,12 +3611,12 @@
       reference: 3
       compare: 4
   legend:
-    - "Legend to Table"
-    - "YYMM.MV-EV - tested VPP version (YY year, MM month, MV minor version) and CSIT test environment version (EV environment version), covered versions are 1908.0-1, 1908.1-1, 1908.1-2, 2001.0-2."
-    - "Diff1 - difference between the previous and the current environment for the same VPP version, 1908.1-2 vs. 1908.1-1 (if latter results not available, 1908.0-1 is used)."
-    - "Diff2 - difference between the previous and the current VPP version in the current environment, 2001.0-1 vs. 1908.1-2."
-    - "RCA1 - root cause analysis reference for Diff1."
-    - "RCA2 - root cause analysis reference for Diff2."
+    - 'Legend to Table:'
+    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "1" for 2019-08-21, "2" for 2020-03-27).'
+    - 'Diff1 - difference between environment versions "2" and "1" for the same VPP version, 1908.1-2 vs. 1908.1-1 (if data for the latter not present, 1908.0-1 is used).'
+    - 'Diff2 - difference between the current and the previous VPP version in the current environment version "2", 2001.0-2 vs. 1908.1-2.'
+    - 'RCA1 - root cause analysis reference for Diff1.'
+    - 'RCA2 - root cause analysis reference for Diff2.'
 
 # VPP Performance Changes 3n-skx 2t1c pdr
 - type: "table"
@@ -3728,7 +3746,7 @@
       data-set: "vpp-perf-changes-2n-skx-old1908_1"
     - title: "1908.1-2"
       data-set: "vpp-perf-changes-2n-skx-new1908_1"
-    - title: "2001.0-1"
+    - title: "2001.0-2"
       data-set: "vpp-perf-changes-2n-skx-new2001_0"
   comparisons:
     - title: "Diff1"
@@ -3739,12 +3757,12 @@
       reference: 3
       compare: 4
   legend:
-    - "Legend to Table"
-    - "YYMM.MV-EV - tested VPP version (YY year, MM month, MV minor version) and CSIT test environment version (EV environment version), covered versions are 1908.0-1, 1908.1-1, 1908.1-2, 2001.0-2."
-    - "Diff1 - difference between the previous and the current environment for the same VPP version, 1908.1-2 vs. 1908.1-1 (if latter results not available, 1908.0-1 is used)."
-    - "Diff2 - difference between the previous and the current VPP version in the current environment, 2001.0-1 vs. 1908.1-2."
-    - "RCA1 - root cause analysis reference for Diff1."
-    - "RCA2 - root cause analysis reference for Diff2."
+    - 'Legend to Table:'
+    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "1" for 2019-08-21, "2" for 2020-03-27).'
+    - 'Diff1 - difference between environment versions "2" and "1" for the same VPP version, 1908.1-2 vs. 1908.1-1 (if data for the latter not present, 1908.0-1 is used).'
+    - 'Diff2 - difference between the current and the previous VPP version in the current environment version "2", 2001.0-2 vs. 1908.1-2.'
+    - 'RCA1 - root cause analysis reference for Diff1.'
+    - 'RCA2 - root cause analysis reference for Diff2.'
 
 # VPP Root Cause Analysis 2n-skx-xxv710 2t1c ndr
 - type: "table"
@@ -3755,9 +3773,9 @@
   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
   rca:
     - title: "RCA1"
-      data: "rca/rca-2n-skx-2t1c-pdr-rca1.yaml"  # For now we'll use PDR RCAs
+      data: "rca/rca-2n-skx-2t1c-ndr-rca1.yaml"
     - title: "RCA2"
-      data: "rca/rca-2n-skx-2t1c-pdr-rca2.yaml"  # For now we'll use PDR RCAs
+      data: "rca/rca-2n-skx-2t1c-ndr-rca2.yaml"
   columns:
     - title: "1908.0-1"
       data-set: "vpp-perf-changes-2n-skx-old1908_0"
@@ -3766,7 +3784,7 @@
       data-set: "vpp-perf-changes-2n-skx-old1908_1"
     - title: "1908.1-2"
       data-set: "vpp-perf-changes-2n-skx-new1908_1"
-    - title: "2001.0-1"
+    - title: "2001.0-2"
       data-set: "vpp-perf-changes-2n-skx-new2001_0"
   comparisons:
     - title: "Diff1"
@@ -3777,12 +3795,12 @@
       reference: 3
       compare: 4
   legend:
-    - "Legend to Table"
-    - "YYMM.MV-EV - tested VPP version (YY year, MM month, MV minor version) and CSIT test environment version (EV environment version), covered versions are 1908.0-1, 1908.1-1, 1908.1-2, 2001.0-2."
-    - "Diff1 - difference between the previous and the current environment for the same VPP version, 1908.1-2 vs. 1908.1-1 (if latter results not available, 1908.0-1 is used)."
-    - "Diff2 - difference between the previous and the current VPP version in the current environment, 2001.0-1 vs. 1908.1-2."
-    - "RCA1 - root cause analysis reference for Diff1."
-    - "RCA2 - root cause analysis reference for Diff2."
+    - 'Legend to Table:'
+    - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "1" for 2019-08-21, "2" for 2020-03-27).'
+    - 'Diff1 - difference between environment versions "2" and "1" for the same VPP version, 1908.1-2 vs. 1908.1-1 (if data for the latter not present, 1908.0-1 is used).'
+    - 'Diff2 - difference between the current and the previous VPP version in the current environment version "2", 2001.0-2 vs. 1908.1-2.'
+    - 'RCA1 - root cause analysis reference for Diff1.'
+    - 'RCA2 - root cause analysis reference for Diff2.'
 
 # VPP Performance Changes 2n-skx 2t1c pdr
 - type: "table"
@@ -10624,7 +10642,7 @@
            'NF_DENSITY' and
            'VHOST' and
            'VXLAN' and
-           'CHAIN' a
+           'CHAIN' and
            'IMIX' and
            '2T1C' and
            'NDRPDR'"
Integration tests