Report: Add data 96/9096/2
authorTibor Frank <tifrank@cisco.com>
Mon, 30 Oct 2017 08:42:44 +0000 (09:42 +0100)
committerTibor Frank <tifrank@cisco.com>
Mon, 30 Oct 2017 08:43:45 +0000 (08:43 +0000)
Change-Id: Ib09d9dc12ecd349b467e87f190e035d39306812e
Signed-off-by: Tibor Frank <tifrank@cisco.com>
docs/report/vpp_performance_tests/csit_release_notes.rst
resources/tools/presentation/generator_tables.py
resources/tools/presentation/specification.yaml

index 3434182..1c1bce1 100644 (file)
@@ -91,7 +91,7 @@ Non-Drop Rate Throughput discovery tests:
 \r
       \makeatletter\r
       \csvset{\r
 \r
       \makeatletter\r
       \csvset{\r
-        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
+        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{4cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
       }\r
       \makeatother\r
 \r
       }\r
       \makeatother\r
 \r
@@ -123,7 +123,7 @@ Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:
 \r
       \makeatletter\r
       \csvset{\r
 \r
       \makeatletter\r
       \csvset{\r
-        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
+        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{4cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
       }\r
       \makeatother\r
 \r
       }\r
       \makeatother\r
 \r
@@ -167,7 +167,7 @@ Non-Drop Rate Throughput discovery tests:
 \r
       \makeatletter\r
       \csvset{\r
 \r
       \makeatletter\r
       \csvset{\r
-        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
+        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{4cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
       }\r
       \makeatother\r
 \r
       }\r
       \makeatother\r
 \r
@@ -199,7 +199,7 @@ Partial Drop Rate thoughput discovery tests with packet Loss Tolerance of 0.5%:
 \r
       \makeatletter\r
       \csvset{\r
 \r
       \makeatletter\r
       \csvset{\r
-        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{5cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
+        perfimprovements column width/.style={after head=\csv@pretable\begin{longtable}{ m{1.5cm} m{4cm} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1} m{#1}}\csv@tablehead},\r
       }\r
       \makeatother\r
 \r
       }\r
       \makeatother\r
 \r
index 195380f..b98f32c 100644 (file)
@@ -184,9 +184,11 @@ def table_performance_improvements(table, input_data):
                                               ["value"]) / 1000000)
                     except (KeyError, TypeError):
                         # No data, ignore
                                               ["value"]) / 1000000)
                     except (KeyError, TypeError):
                         # No data, ignore
-                        pass
+                        continue
                 if data_lst:
                     tbl_item.append({"data": eval(operation)(data_lst)})
                 if data_lst:
                     tbl_item.append({"data": eval(operation)(data_lst)})
+                else:
+                    tbl_item.append({"data": None})
             elif cmd == "operation":
                 operation = args[0]
                 try:
             elif cmd == "operation":
                 operation = args[0]
                 try:
@@ -197,7 +199,7 @@ def table_performance_improvements(table, input_data):
                     else:
                         tbl_item.append({"data": None})
                 except IndexError:
                     else:
                         tbl_item.append({"data": None})
                 except IndexError:
-                    logging.error("No data for {0}".format(tbl_item[0]))
+                    logging.error("No data for {0}".format(tbl_item[1]["data"]))
                     tbl_item.append({"data": None})
                     continue
             else:
                     tbl_item.append({"data": None})
                     continue
             else:
index ef19592..dd72d42 100644 (file)
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
     csit-dpdk-perf-1710-all:
     - 2
     - 3
     csit-dpdk-perf-1710-all:
     - 2
     - 3
     csit-ligato-perf-1710-all:
     - 1
     csit-vpp-functional-1710-ubuntu1604-virl:
     csit-ligato-perf-1710-all:
     - 1
     csit-vpp-functional-1710-ubuntu1604-virl:
-    - 91
+    - 102
     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
     - 7
     csit-hc2vpp-verify-func-1710-ubuntu1604:
     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
     - 7
     csit-hc2vpp-verify-func-1710-ubuntu1604:
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "template"
   parameters:
   - "throughput"
   filter: "template"
   parameters:
   - "throughput"
   rows: "generated"
   data:
     csit-vpp-perf-1710-all:
   rows: "generated"
   data:
     csit-vpp-perf-1710-all:
-    - 13
+    - 15
   filter: "all"
   parameters:
   - "name"
   filter: "all"
   parameters:
   - "name"
   rows: "generated"
   data:
     csit-vpp-perf-1710-all:
   rows: "generated"
   data:
     csit-vpp-perf-1710-all:
-    - 13
+    - 15
   filter: "all"
   parameters:
   - "parent"
   filter: "all"
   parameters:
   - "parent"
   rows: "generated"
   data:
     csit-vpp-perf-1710-all:
   rows: "generated"
   data:
     csit-vpp-perf-1710-all:
-    - 13
+    - 15
   filter: "all"
   parameters:
   - "parent"
   filter: "all"
   parameters:
   - "parent"
   rows: "generated"
   data:
     csit-vpp-functional-1710-ubuntu1604-virl:
   rows: "generated"
   data:
     csit-vpp-functional-1710-ubuntu1604-virl:
-    - 91
+    - 102
   filter: "all"
   parameters:
   - "name"
   filter: "all"
   parameters:
   - "name"
   rows: "generated"
   data:
     csit-vpp-functional-1710-ubuntu1604-virl:
   rows: "generated"
   data:
     csit-vpp-functional-1710-ubuntu1604-virl:
-    - 91
+    - 102
   filter: "all"
   parameters:
   - "parent"
   filter: "all"
   parameters:
   - "parent"
   dir-tables: "{DIR[DTC,PERF,VPP]}"
   data:
     csit-vpp-perf-1710-all:
   dir-tables: "{DIR[DTC,PERF,VPP]}"
   data:
     csit-vpp-perf-1710-all:
-    - 13
+    - 15
   filter: "all"
   parameters:
   - "name"
   filter: "all"
   parameters:
   - "name"
   dir-tables: "{DIR[DTO,PERF,VPP]}"
   data:
     csit-vpp-perf-1710-all:
   dir-tables: "{DIR[DTO,PERF,VPP]}"
   data:
     csit-vpp-perf-1710-all:
-    - 13
+    - 15
   filter: "all"
   parameters:
   - "name"
   filter: "all"
   parameters:
   - "name"
   dir-tables: "{DIR[DTR,FUNC,VPP]}"
   data:
     csit-vpp-functional-1710-ubuntu1604-virl:
   dir-tables: "{DIR[DTR,FUNC,VPP]}"
   data:
     csit-vpp-functional-1710-ubuntu1604-virl:
-    - 91
+    - 102
   filter: "all"
   parameters:
   - "name"
   filter: "all"
   parameters:
   - "name"
   dir-tables: "{DIR[DTC,FUNC,VPP]}"
   data:
     csit-vpp-functional-1710-ubuntu1604-virl:
   dir-tables: "{DIR[DTC,FUNC,VPP]}"
   data:
     csit-vpp-functional-1710-ubuntu1604-virl:
-    - 91
+    - 102
   filter: "all"
   parameters:
   - "name"
   filter: "all"
   parameters:
   - "name"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   # Keep this formatting, the filter is enclosed with " (quotation mark) and
   # each tag is enclosed with ' (apostrophe).
   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   # Keep this formatting, the filter is enclosed with " (quotation mark) and
   # each tag is enclosed with ' (apostrophe).
   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "throughput"
   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "throughput"
   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "throughput"
   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "throughput"
   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "throughput"
   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "throughput"
   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "throughput"
   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "throughput"
   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "throughput"
   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "throughput"
   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "throughput"
   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "throughput"
   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "throughput"
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "throughput"
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "throughput"
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "throughput"
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "latency"
   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "latency"
   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "latency"
   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "latency"
   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "latency"
   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "latency"
   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "latency"
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "latency"
   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "throughput"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
     - 11
     - 12
     - 13
     - 11
     - 12
     - 13
+    - 14
+    - 15
+    - 16
+    - 17
   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"
   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
   parameters:
   - "latency"