Report: Detailed test results table 28/25128/1
authorTibor Frank <tifrank@cisco.com>
Fri, 14 Feb 2020 06:42:29 +0000 (07:42 +0100)
committerTibor Frank <tifrank@cisco.com>
Fri, 14 Feb 2020 06:42:29 +0000 (07:42 +0100)
Change-Id: I2fd223ac522d8a88546269db0752995d0c77e4fe
Signed-off-by: Tibor Frank <tifrank@cisco.com>
resources/tools/presentation/generator_tables.py
resources/tools/presentation/input_data_parser.py
resources/tools/presentation/specification.yaml

index f703e4b..b7f2678 100644 (file)
@@ -317,9 +317,16 @@ def table_details(table, input_data):
                 try:
                     col_data = str(data[job][build][test][column[
                         u"data"].split(" ")[1]]).replace(u'"', u'""')
                 try:
                     col_data = str(data[job][build][test][column[
                         u"data"].split(" ")[1]]).replace(u'"', u'""')
-                    if column[u"data"].split(u" ")[1] in (u"name", u"msg"):
+                    if column[u"data"].split(u" ")[1] in (u"name", ):
+                        if len(col_data) > 30:
+                            col_data_lst = col_data.split(u"-")
+                            half = int(len(col_data_lst) / 2)
+                            col_data = f"{u'-'.join(col_data_lst[:half])}\n" \
+                                       f"{u'-'.join(col_data_lst[half:])}"
                         col_data = f" |prein| {col_data} |preout| "
                         col_data = f" |prein| {col_data} |preout| "
-                    if column[u"data"].split(u" ")[1] in \
+                    elif column[u"data"].split(u" ")[1] in (u"msg", ):
+                        col_data = f" |prein| {col_data} |preout| "
+                    elif column[u"data"].split(u" ")[1] in \
                         (u"conf-history", u"show-run"):
                         col_data = col_data.replace(u" |br| ", u"", 1)
                         col_data = f" |prein| {col_data[:-5]} |preout| "
                         (u"conf-history", u"show-run"):
                         col_data = col_data.replace(u" |br| ", u"", 1)
                         col_data = f" |prein| {col_data[:-5]} |preout| "
index 6ce71ae..60c5af2 100644 (file)
@@ -454,7 +454,7 @@ class ExecutionChecker(ResultVisitor):
                 if (hdr_lat_1_50 + hdr_lat_1_90 + hdr_lat_1_99 +
                         hdr_lat_2_50 + hdr_lat_2_90 + hdr_lat_2_99):
                     return (
                 if (hdr_lat_1_50 + hdr_lat_1_90 + hdr_lat_1_99 +
                         hdr_lat_2_50 + hdr_lat_2_90 + hdr_lat_2_99):
                     return (
-                        f"{hdr_lat_1_50} {hdr_lat_1_90} {hdr_lat_1_99} , "
+                        f"{hdr_lat_1_50} {hdr_lat_1_90} {hdr_lat_1_99}    "
                         f"{hdr_lat_2_50} {hdr_lat_2_90} {hdr_lat_2_99}"
                     )
 
                         f"{hdr_lat_2_50} {hdr_lat_2_90} {hdr_lat_2_99}"
                     )
 
@@ -467,13 +467,15 @@ class ExecutionChecker(ResultVisitor):
                                       data[u'pdr_lat_50_2'])
             pdr_lat_90 = _process_lat(data[u'pdr_lat_90_1'],
                                       data[u'pdr_lat_90_2'])
                                       data[u'pdr_lat_50_2'])
             pdr_lat_90 = _process_lat(data[u'pdr_lat_90_1'],
                                       data[u'pdr_lat_90_2'])
-            pdr_lat_10 = f"\n3. {pdr_lat_10}" if pdr_lat_10 else u""
-            pdr_lat_50 = f"\n4. {pdr_lat_50}" if pdr_lat_50 else u""
-            pdr_lat_90 = f"\n5. {pdr_lat_90}" if pdr_lat_90 else u""
+            pdr_lat_10 = f"\n3. {pdr_lat_10} (10% PDR)" if pdr_lat_10 else u""
+            pdr_lat_50 = f"\n4. {pdr_lat_50} (50% PDR)" if pdr_lat_50 else u""
+            pdr_lat_90 = f"\n5. {pdr_lat_90} (90% PDR)" if pdr_lat_90 else u""
 
             return (
 
             return (
-                f"1. {(data[u'ndr_low'] / 1e6):.2f} {data[u'ndr_low_b']:.2f}"
-                f"\n2. {(data[u'pdr_low'] / 1e6):.2f} {data[u'pdr_low_b']:.2f}"
+                f"1. {(data[u'ndr_low'] / 1e6):.2f} {data[u'ndr_low_b']:.2f} "
+                f"(NDR)"
+                f"\n2. {(data[u'pdr_low'] / 1e6):.2f} {data[u'pdr_low_b']:.2f} "
+                f"(PDR)"
                 f"{pdr_lat_10}"
                 f"{pdr_lat_50}"
                 f"{pdr_lat_90}"
                 f"{pdr_lat_10}"
                 f"{pdr_lat_50}"
                 f"{pdr_lat_90}"
index aa81d71..a254885 100644 (file)
 
     dpdk-perf-results-3n-hsw:
       csit-dpdk-perf-verify-2001-3n-hsw:
 
     dpdk-perf-results-3n-hsw:
       csit-dpdk-perf-verify-2001-3n-hsw:
-        - 13  # NDRPDR sel
-        - 24  # NDRPDR sel
+        - 25  # NDRPDR full
+        - 26  # NDRPDR full
 
     dpdk-perf-results-3n-skx:
       csit-dpdk-perf-verify-2001-3n-skx:
 
     dpdk-perf-results-3n-skx:
       csit-dpdk-perf-verify-2001-3n-skx:
       - 22  # NDRPDR sel
       - 23  # NDRPDR sel
       - 24  # NDRPDR sel
       - 22  # NDRPDR sel
       - 23  # NDRPDR sel
       - 24  # NDRPDR sel
+      - 25  # NDRPDR full
+      - 26  # NDRPDR full
 
 #    csit-dpdk-perf-verify-1904-3n-skx:
 #      - 2   # NDRPDR sel
 
 #    csit-dpdk-perf-verify-1904-3n-skx:
 #      - 2   # NDRPDR sel
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-3n-hsw"
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-3n-hsw"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-perf-results-3n-skx"
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-perf-results-3n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-perf-results-2n-skx"
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-perf-results-2n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-perf-results-2n-clx"
 #    data: "data msg"
 #  rows: "generated"
 #  data: "vpp-perf-results-2n-clx"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-3n-tsh"
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-3n-tsh"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-3n-dnv"
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-3n-dnv"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-2n-dnv"
     data: "data msg"
   rows: "generated"
   data: "vpp-perf-results-2n-dnv"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-3n-hsw"
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-3n-hsw"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "dpdk-perf-results-3n-skx"
 #    data: "data msg"
 #  rows: "generated"
 #  data: "dpdk-perf-results-3n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "dpdk-perf-results-2n-skx"
 #    data: "data msg"
 #  rows: "generated"
 #  data: "dpdk-perf-results-2n-skx"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
 #  columns:
 #  - title: " |prein| Test Name |preout| "
 #    data: "data name"
-#  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+#  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
 #    data: "data msg"
 #  rows: "generated"
 #  data: "dpdk-perf-results-2n-clx"
 #    data: "data msg"
 #  rows: "generated"
 #  data: "dpdk-perf-results-2n-clx"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-2n-dnv"
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-2n-dnv"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-3n-dnv"
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-3n-dnv"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
   columns:
   - title: " |prein| Test Name |preout| "
     data: "data name"
-  - title: " |prein| 1. Mpps Gbps (NDR Throughput) |br| 2. Mpps Gbps (PDR Throughput) |br| 3. P50 P90 P99 , P50 P90 P99 (10% PDR Uni-Dir Latency in uSec) |br| 4. P50 P90 P99 , P50 P90 P99 (50% PDR Uni-Dir Latency in uSec) |br| 5. P50 P90 P99 , P50 P90 P99 (90% PDR Uni-Dir Latency in uSec) |preout| "
+  - title: " |prein| Throughput: |br| 1. Mpps Gbps (NDR) |br| 2. Mpps Gbps (PDR) |br| |br| Two sets of Uni-Dir Latency Percentiles in uSec at %PDR load: |br| 3. P50 P90 P99    P50 P90 P99 (10% PDR) |br| 4. P50 P90 P99    P50 P90 P99 (50% PDR) |br| 5. P50 P90 P99    P50 P90 P99 (90% PDR) |preout| "
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-3n-tsh"
     data: "data msg"
   rows: "generated"
   data: "dpdk-perf-results-3n-tsh"