ef1959243195e05c4ae0c1dd7ec02eb8fd7b05e6
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64
65   make-dirs:
66   # List the directories which are created while preparing the environment.
67   # All directories MUST be defined in "paths" section.
68   - "DIR[WORKING,DATA]"
69   - "DIR[STATIC,VPP]"
70   - "DIR[STATIC,DPDK]"
71   - "DIR[STATIC,ARCH]"
72   - "DIR[BUILD,LATEX]"
73   - "DIR[WORKING,SRC]"
74   - "DIR[WORKING,SRC,STATIC]"
75
76   remove-dirs:
77   # List the directories which are deleted while cleaning the environment.
78   # All directories MUST be defined in "paths" section.
79   #- "DIR[BUILD,HTML]"
80
81   build-dirs:
82   # List the directories where the results (build) is stored.
83   # All directories MUST be defined in "paths" section.
84   - "DIR[BUILD,HTML]"
85   - "DIR[BUILD,LATEX]"
86
87 -
88   type: "debug"
89   general:
90     input-format: "xml"  # zip or xml
91     extract: "robot-plugin/output.xml"  # Only for zip
92   builds:
93     # The files must be in the directory DIR[WORKING,DATA]
94     csit-dpdk-perf-1707-all:
95     -
96       build: 10
97       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
98     -
99       build: 9
100       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
101     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
102     -
103       build: 2
104       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
105     csit-vpp-functional-1707-ubuntu1604-virl:
106     -
107       build: lastSuccessfulBuild
108       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
109     hc2vpp-csit-integration-1707-ubuntu1604:
110     -
111       build: lastSuccessfulBuild
112       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
113     csit-vpp-perf-1707-all:
114     -
115       build: 16
116       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
117     -
118       build: 17
119       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
120
121 -
122   type: "static"
123   src-path: "{DIR[RST]}"
124   dst-path: "{DIR[WORKING,SRC]}"
125
126 -
127   type: "input"  # Ignored in debug mode
128   general:
129     file-name: "robot-plugin.zip"
130     file-format: ".zip"
131     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
132     extract: "robot-plugin/output.xml"
133   builds:
134     csit-vpp-perf-1707-all:
135     - 9
136     - 10
137     - 13
138     - 14
139     - 15
140     - 16
141     - 17
142     - 18
143     - 19
144     - 21
145     csit-vpp-perf-1710-all:
146     - 11
147     - 12
148     - 13
149     csit-dpdk-perf-1710-all:
150     - 2
151     - 3
152     - 5
153     - 6
154     - 7
155     - 8
156     - 9
157     - 10
158     - 11
159     - 13
160     csit-ligato-perf-1710-all:
161     - 1
162     csit-vpp-functional-1710-ubuntu1604-virl:
163     - 91
164     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
165     - 7
166     csit-hc2vpp-verify-func-1710-ubuntu1604:
167     - lastSuccessfulBuild
168 #    hc2vpp-csit-perf-master-ubuntu1604:  # REMOVE???
169 #    - 8
170 #    - 9
171
172 -
173   type: "output"
174   format:
175     html:
176     - full
177     pdf:
178     - minimal
179
180 ################################################################################
181 ###                               T A B L E S                                ###
182 ################################################################################
183 #
184 -
185   type: "table"
186   title: "Performance improvements"
187   algorithm: "table_performance_improvements"
188   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
189   output-file-ext: ".csv"
190   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
191   columns:
192   -
193     title: "Functionality"
194     data: "template 1"
195   -
196     title: "Test Name"
197     data: "template 2"
198   -
199     title: "16.09 mean [Mpps]"
200     data: "template 3"
201   -
202     title: "17.01 mean [Mpps]"
203     data: "template 4"
204   -
205     title: "17.04 mean [Mpps]"
206     data: "template 5"
207   -
208     title: "17.07 mean [Mpps]"
209     data: "data csit-vpp-perf-1707-all mean"
210   -
211     title: "17.10 mean [Mpps]"
212     data: "data csit-vpp-perf-1710-all mean"
213   -
214     title: "17.10 stdev [Mpps]"
215     data: "data csit-vpp-perf-1710-all stdev"
216   -
217     title: "17.07 to 17.10 change [%]"
218     data: "operation relative_change 6 5"
219   rows: "generated"
220   data:
221     csit-vpp-perf-1707-all:
222     - 9
223     - 10
224     - 13
225     - 14
226     - 15
227     - 16
228     - 17
229     - 18
230     - 19
231     - 21
232     csit-vpp-perf-1710-all:
233     - 11
234     - 12
235     - 13
236   filter: "template"
237   parameters:
238   - "throughput"
239
240 -
241   type: "table"
242   title: "Detailed Test Results - VPP Performance Results"
243   algorithm: "table_details"
244   output-file-ext: ".csv"
245   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
246   columns:
247   -
248     title: "Name"
249     data: "data name"
250   -
251     title: "Documentation"
252     data: "data doc"
253   -
254     title: "Status"
255     data: "data msg"
256   rows: "generated"
257   data:
258     csit-vpp-perf-1710-all:
259     - 13
260   filter: "all"
261   parameters:
262   - "name"
263   - "parent"
264   - "doc"
265   - "msg"
266
267 -
268   type: "table"
269   title: "Test configuration - VPP Performance Test Configs"
270   algorithm: "table_details"
271   output-file-ext: ".csv"
272   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
273   columns:
274   -
275     title: "Name"
276     data: "data name"
277   -
278     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
279     data: "data vat-history"
280   rows: "generated"
281   data:
282     csit-vpp-perf-1710-all:
283     - 13
284   filter: "all"
285   parameters:
286   - "parent"
287   - "name"
288   - "vat-history"
289
290 -
291   type: "table"
292   title: "Test Operational Data - VPP Performance Operational Data"
293   algorithm: "table_details"
294   output-file-ext: ".csv"
295   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
296   columns:
297   -
298     title: "Name"
299     data: "data name"
300   -
301     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
302     data: "data show-run"
303   rows: "generated"
304   data:
305     csit-vpp-perf-1710-all:
306     - 13
307   filter: "all"
308   parameters:
309   - "parent"
310   - "name"
311   - "show-run"
312
313 -
314   type: "table"
315   title: "Detailed Test Results - VPP Functional Results"
316   algorithm: "table_details"
317   output-file-ext: ".csv"
318   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
319   columns:
320   -
321     title: "Name"
322     data: "data name"
323   -
324     title: "Documentation"
325     data: "data doc"
326   -
327     title: "Status"
328     data: "data status"
329   rows: "generated"
330   data:
331     csit-vpp-functional-1710-ubuntu1604-virl:
332     - 91
333   filter: "all"
334   parameters:
335   - "name"
336   - "parent"
337   - "doc"
338   - "status"
339
340 -
341   type: "table"
342   title: "Test configuration - VPP Functional Test Configs"
343   algorithm: "table_details"
344   output-file-ext: ".csv"
345   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
346   columns:
347   -
348     title: "Name"
349     data: "data name"
350   -
351     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
352     data: "data vat-history"
353   rows: "generated"
354   data:
355     csit-vpp-functional-1710-ubuntu1604-virl:
356     - 91
357   filter: "all"
358   parameters:
359   - "parent"
360   - "name"
361   - "vat-history"
362
363 -
364   type: "table"
365   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
366   algorithm: "table_details"
367   output-file-ext: ".csv"
368   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
369   columns:
370   -
371     title: "Name"
372     data: "data name"
373   -
374     title: "Documentation"
375     data: "data doc"
376   -
377     title: "Status"
378     data: "data msg"
379   rows: "generated"
380   data:
381     csit-ligato-perf-1710-all:
382     - 1
383   filter: "all"
384   parameters:
385   - "name"
386   - "parent"
387   - "doc"
388   - "msg"
389
390 -
391   type: "table"
392   title: "Detailed Test Results - DPDK Performance Results"
393   algorithm: "table_details"
394   output-file-ext: ".csv"
395   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
396   columns:
397   -
398     title: "Name"
399     data: "data name"
400   -
401     title: "Documentation"
402     data: "data doc"
403   -
404     title: "Status"
405     data: "data msg"
406   rows: "generated"
407   data:
408     csit-dpdk-perf-1710-all:
409     - 13
410   filter: "all"
411   parameters:
412   - "name"
413   - "parent"
414   - "doc"
415   - "msg"
416
417 -
418   type: "table"
419   title: "Detailed Test Results - Honeycomb Functional Results"
420   algorithm: "table_details"
421   output-file-ext: ".csv"
422   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
423   columns:
424   -
425     title: "Name"
426     data: "data name"
427   -
428     title: "Documentation"
429     data: "data doc"
430   -
431     title: "Status"
432     data: "data status"
433   rows: "generated"
434   data:
435     csit-hc2vpp-verify-func-1710-ubuntu1604:
436     - "lastSuccessfulBuild"
437   filter: "all"
438   parameters:
439   - "name"
440   - "parent"
441   - "doc"
442   - "status"
443
444 -
445   type: "table"
446   title: "Detailed Test Results - NSH SFC Functional Results"
447   algorithm: "table_details"
448   output-file-ext: ".csv"
449   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
450   columns:
451   -
452     title: "Name"
453     data: "data name"
454   -
455     title: "Documentation"
456     data: "data doc"
457   -
458     title: "Status"
459     data: "data status"
460   rows: "generated"
461   data:
462     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
463     - 7
464   filter: "all"
465   parameters:
466   - "name"
467   - "parent"
468   - "doc"
469   - "status"
470
471 ################################################################################
472 ###                                F I L E S                                 ###
473 ################################################################################
474
475 -
476   type: "file"
477   title: "VPP Performance Results"
478   algorithm: "file_test_results"
479   output-file-ext: ".rst"
480   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
481   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
482   dir-tables: "{DIR[DTR,PERF,VPP]}"
483   data:
484     csit-vpp-perf-1710-all:
485     - 13
486   filter: "all"
487   parameters:
488   - "name"
489   - "doc"
490   - "level"
491   data-start-level: 2  # 0, 1, 2, ...
492   chapters-start-level: 2  # 0, 1, 2, ...
493
494 -
495   type: "file"
496   title: "VPP Performance Configuration"
497   algorithm: "file_test_results"
498   output-file-ext: ".rst"
499   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
500   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
501   dir-tables: "{DIR[DTC,PERF,VPP]}"
502   data:
503     csit-vpp-perf-1710-all:
504     - 13
505   filter: "all"
506   parameters:
507   - "name"
508   - "doc"
509   - "level"
510   data-start-level: 2  # 0, 1, 2, ...
511   chapters-start-level: 2  # 0, 1, 2, ...
512
513 -
514   type: "file"
515   title: "VPP Performance Operational Data"
516   algorithm: "file_test_results"
517   output-file-ext: ".rst"
518   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
519   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
520   dir-tables: "{DIR[DTO,PERF,VPP]}"
521   data:
522     csit-vpp-perf-1710-all:
523     - 13
524   filter: "all"
525   parameters:
526   - "name"
527   - "doc"
528   - "level"
529   data-start-level: 2  # 0, 1, 2, ...
530   chapters-start-level: 2  # 0, 1, 2, ...
531
532 -
533   type: "file"
534   title: "VPP Functional Results"
535   algorithm: "file_test_results"
536   output-file-ext: ".rst"
537   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
538   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
539   dir-tables: "{DIR[DTR,FUNC,VPP]}"
540   data:
541     csit-vpp-functional-1710-ubuntu1604-virl:
542     - 91
543   filter: "all"
544   parameters:
545   - "name"
546   - "doc"
547   - "level"
548   data-start-level: 3  # 0, 1, 2, ...
549   chapters-start-level: 2  # 0, 1, 2, ...
550
551 -
552   type: "file"
553   title: "VPP Functional Configuration"
554   algorithm: "file_test_results"
555   output-file-ext: ".rst"
556   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
557   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
558   dir-tables: "{DIR[DTC,FUNC,VPP]}"
559   data:
560     csit-vpp-functional-1710-ubuntu1604-virl:
561     - 91
562   filter: "all"
563   parameters:
564   - "name"
565   - "doc"
566   - "level"
567   data-start-level: 3  # 0, 1, 2, ...
568   chapters-start-level: 2  # 0, 1, 2, ...
569
570 -
571   type: "file"
572   title: "Container Orchestrated Performance Results"
573   algorithm: "file_test_results"
574   output-file-ext: ".rst"
575   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
576   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
577   dir-tables: "{DIR[DTR,PERF,COT]}"
578   data:
579     csit-ligato-perf-1710-all:
580     - 1
581   filter: "all"
582   parameters:
583   - "name"
584   - "doc"
585   - "level"
586   data-start-level: 2  # 0, 1, 2, ...
587   chapters-start-level: 2  # 0, 1, 2, ...
588
589 -
590   type: "file"
591   title: "DPDK Performance Results"
592   algorithm: "file_test_results"
593   output-file-ext: ".rst"
594   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
595   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
596   dir-tables: "{DIR[DTR,PERF,DPDK]}"
597   data:
598     csit-dpdk-perf-1710-all:
599     - 13
600   filter: "all"
601   parameters:
602   - "name"
603   - "doc"
604   - "level"
605   chapters:
606   - "suites"
607   data-start-level: 2  # 0, 1, 2, ...
608   chapters-start-level: 2  # 0, 1, 2, ...
609
610 -
611   type: "file"
612   title: "Honeycomb Functional Results"
613   algorithm: "file_test_results"
614   output-file-ext: ".rst"
615   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
616   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
617   dir-tables: "{DIR[DTR,FUNC,HC]}"
618   data:
619     csit-hc2vpp-verify-func-1710-ubuntu1604:
620     - "lastSuccessfulBuild"
621   filter: "all"
622   parameters:
623   - "name"
624   - "doc"
625   - "level"
626   chapters:
627   - "suites"
628   data-start-level: 3  # 0, 1, 2, ...
629   chapters-start-level: 2  # 0, 1, 2, ...
630
631 -
632   type: "file"
633   title: "NSH SFC Functional Results"
634   algorithm: "file_test_results"
635   output-file-ext: ".rst"
636   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
637   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
638   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
639   data:
640     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
641     - 7
642   filter: "all"
643   parameters:
644   - "name"
645   - "doc"
646   - "level"
647   chapters:
648   - "suites"
649   data-start-level: 2  # 0, 1, 2, ...
650   chapters-start-level: 2  # 0, 1, 2, ...
651
652 ################################################################################
653 ###                                P L O T S                                 ###
654 ################################################################################
655
656 # Plot packets per second
657
658 # VPP L2 sel1
659 -
660   type: "plot"
661   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
662   algorithm: "plot_performance_box"
663   output-file-type: ".html"
664   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
665   data:
666     csit-vpp-perf-1710-all:
667     - 11
668     - 12
669     - 13
670   # Keep this formatting, the filter is enclosed with " (quotation mark) and
671   # each tag is enclosed with ' (apostrophe).
672   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
673   parameters:
674   - "throughput"
675   - "parent"
676   traces:
677     hoverinfo: "x+y"
678     boxpoints: "outliers"
679     whiskerwidth: 0
680   layout:
681     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
682     xaxis:
683       autorange: True
684       autotick: False
685       fixedrange: False
686       gridcolor: "rgb(238, 238, 238)"
687       linecolor: "rgb(238, 238, 238)"
688       linewidth: 1
689       showgrid: True
690       showline: True
691       showticklabels: True
692       tickcolor: "rgb(238, 238, 238)"
693       tickmode: "linear"
694       title: "Indexed Test Cases"
695       zeroline: False
696     yaxis:
697       gridcolor: "rgb(238, 238, 238)'"
698       hoverformat: ".4s"
699       linecolor: "rgb(238, 238, 238)"
700       linewidth: 1
701       range: []
702       showgrid: True
703       showline: True
704       showticklabels: True
705       tickcolor: "rgb(238, 238, 238)"
706       title: "Packets Per Second [pps]"
707       zeroline: False
708     boxmode: "group"
709     boxgroupgap: 0.5
710     autosize: False
711     margin:
712       t: 50
713       b: 20
714       l: 50
715       r: 20
716     showlegend: True
717     legend:
718       orientation: "h"
719     width: 700
720     height: 1000
721
722 -
723   type: "plot"
724   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
725   algorithm: "plot_performance_box"
726   output-file-type: ".html"
727   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
728   data:
729     csit-vpp-perf-1710-all:
730     - 11
731     - 12
732     - 13
733   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
734   parameters:
735   - "throughput"
736   - "parent"
737   traces:
738     hoverinfo: "x+y"
739     boxpoints: "outliers"
740     whiskerwidth: 0
741   layout:
742     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
743     xaxis:
744       autorange: True
745       autotick: False
746       fixedrange: False
747       gridcolor: "rgb(238, 238, 238)"
748       linecolor: "rgb(238, 238, 238)"
749       linewidth: 1
750       showgrid: True
751       showline: True
752       showticklabels: True
753       tickcolor: "rgb(238, 238, 238)"
754       tickmode: "linear"
755       title: "Indexed Test Cases"
756       zeroline: False
757     yaxis:
758       gridcolor: "rgb(238, 238, 238)'"
759       hoverformat: ".4s"
760       linecolor: "rgb(238, 238, 238)"
761       linewidth: 1
762       range: []
763       showgrid: True
764       showline: True
765       showticklabels: True
766       tickcolor: "rgb(238, 238, 238)"
767       title: "Packets Per Second [pps]"
768       zeroline: False
769     boxmode: "group"
770     boxgroupgap: 0.5
771     autosize: False
772     margin:
773       t: 50
774       b: 20
775       l: 50
776       r: 20
777     showlegend: True
778     legend:
779       orientation: "h"
780     width: 700
781     height: 1000
782
783 -
784   type: "plot"
785   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
786   algorithm: "plot_performance_box"
787   output-file-type: ".html"
788   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
789   data:
790     csit-vpp-perf-1710-all:
791     - 11
792     - 12
793     - 13
794   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
795   parameters:
796   - "throughput"
797   - "parent"
798   traces:
799     hoverinfo: "x+y"
800     boxpoints: "outliers"
801     whiskerwidth: 0
802   layout:
803     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
804     xaxis:
805       autorange: True
806       autotick: False
807       fixedrange: False
808       gridcolor: "rgb(238, 238, 238)"
809       linecolor: "rgb(238, 238, 238)"
810       linewidth: 1
811       showgrid: True
812       showline: True
813       showticklabels: True
814       tickcolor: "rgb(238, 238, 238)"
815       tickmode: "linear"
816       title: "Indexed Test Cases"
817       zeroline: False
818     yaxis:
819       gridcolor: "rgb(238, 238, 238)'"
820       hoverformat: ".4s"
821       linecolor: "rgb(238, 238, 238)"
822       linewidth: 1
823       range: []
824       showgrid: True
825       showline: True
826       showticklabels: True
827       tickcolor: "rgb(238, 238, 238)"
828       title: "Packets Per Second [pps]"
829       zeroline: False
830     boxmode: "group"
831     boxgroupgap: 0.5
832     autosize: False
833     margin:
834       t: 50
835       b: 20
836       l: 50
837       r: 20
838     showlegend: True
839     legend:
840       orientation: "h"
841     width: 700
842     height: 1000
843
844 -
845   type: "plot"
846   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
847   algorithm: "plot_performance_box"
848   output-file-type: ".html"
849   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
850   data:
851     csit-vpp-perf-1710-all:
852     - 11
853     - 12
854     - 13
855   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
856   parameters:
857   - "throughput"
858   - "parent"
859   traces:
860     hoverinfo: "x+y"
861     boxpoints: "outliers"
862     whiskerwidth: 0
863   layout:
864     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
865     xaxis:
866       autorange: True
867       autotick: False
868       fixedrange: False
869       gridcolor: "rgb(238, 238, 238)"
870       linecolor: "rgb(238, 238, 238)"
871       linewidth: 1
872       showgrid: True
873       showline: True
874       showticklabels: True
875       tickcolor: "rgb(238, 238, 238)"
876       tickmode: "linear"
877       title: "Indexed Test Cases"
878       zeroline: False
879     yaxis:
880       gridcolor: "rgb(238, 238, 238)'"
881       hoverformat: ".4s"
882       linecolor: "rgb(238, 238, 238)"
883       linewidth: 1
884       range: []
885       showgrid: True
886       showline: True
887       showticklabels: True
888       tickcolor: "rgb(238, 238, 238)"
889       title: "Packets Per Second [pps]"
890       zeroline: False
891     boxmode: "group"
892     boxgroupgap: 0.5
893     autosize: False
894     margin:
895       t: 50
896       b: 20
897       l: 50
898       r: 20
899     showlegend: True
900     legend:
901       orientation: "h"
902     width: 700
903     height: 1000
904
905 # VPP L2 sel2
906 -
907   type: "plot"
908   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
909   algorithm: "plot_performance_box"
910   output-file-type: ".html"
911   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
912   data:
913     csit-vpp-perf-1710-all:
914     - 11
915     - 12
916     - 13
917   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
918   parameters:
919   - "throughput"
920   - "parent"
921   traces:
922     hoverinfo: "x+y"
923     boxpoints: "outliers"
924     whiskerwidth: 0
925   layout:
926     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
927     xaxis:
928       autorange: True
929       autotick: False
930       fixedrange: False
931       gridcolor: "rgb(238, 238, 238)"
932       linecolor: "rgb(238, 238, 238)"
933       linewidth: 1
934       showgrid: True
935       showline: True
936       showticklabels: True
937       tickcolor: "rgb(238, 238, 238)"
938       tickmode: "linear"
939       title: "Indexed Test Cases"
940       zeroline: False
941     yaxis:
942       gridcolor: "rgb(238, 238, 238)'"
943       hoverformat: ".4s"
944       linecolor: "rgb(238, 238, 238)"
945       linewidth: 1
946       range: [0, 8000000]
947       showgrid: True
948       showline: True
949       showticklabels: True
950       tickcolor: "rgb(238, 238, 238)"
951       title: "Packets Per Second [pps]"
952       zeroline: False
953     boxmode: "group"
954     boxgroupgap: 0.5
955     autosize: False
956     margin:
957       t: 50
958       b: 20
959       l: 50
960       r: 20
961     showlegend: True
962     legend:
963       orientation: "h"
964     width: 700
965     height: 1000
966
967 -
968   type: "plot"
969   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
970   algorithm: "plot_performance_box"
971   output-file-type: ".html"
972   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
973   data:
974     csit-vpp-perf-1710-all:
975     - 11
976     - 12
977     - 13
978   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
979   parameters:
980   - "throughput"
981   - "parent"
982   traces:
983     hoverinfo: "x+y"
984     boxpoints: "outliers"
985     whiskerwidth: 0
986   layout:
987     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
988     xaxis:
989       autorange: True
990       autotick: False
991       fixedrange: False
992       gridcolor: "rgb(238, 238, 238)"
993       linecolor: "rgb(238, 238, 238)"
994       linewidth: 1
995       showgrid: True
996       showline: True
997       showticklabels: True
998       tickcolor: "rgb(238, 238, 238)"
999       tickmode: "linear"
1000       title: "Indexed Test Cases"
1001       zeroline: False
1002     yaxis:
1003       gridcolor: "rgb(238, 238, 238)'"
1004       hoverformat: ".4s"
1005       linecolor: "rgb(238, 238, 238)"
1006       linewidth: 1
1007       range: [5000000, 12000000]
1008       showgrid: True
1009       showline: True
1010       showticklabels: True
1011       tickcolor: "rgb(238, 238, 238)"
1012       title: "Packets Per Second [pps]"
1013       zeroline: False
1014     boxmode: "group"
1015     boxgroupgap: 0.5
1016     autosize: False
1017     margin:
1018       t: 50
1019       b: 20
1020       l: 50
1021       r: 20
1022     showlegend: True
1023     legend:
1024       orientation: "h"
1025     width: 700
1026     height: 1000
1027
1028 -
1029   type: "plot"
1030   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1031   algorithm: "plot_performance_box"
1032   output-file-type: ".html"
1033   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1034   data:
1035     csit-vpp-perf-1710-all:
1036     - 11
1037     - 12
1038     - 13
1039   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1040   parameters:
1041   - "throughput"
1042   - "parent"
1043   traces:
1044     hoverinfo: "x+y"
1045     boxpoints: "outliers"
1046     whiskerwidth: 0
1047   layout:
1048     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1049     xaxis:
1050       autorange: True
1051       autotick: False
1052       fixedrange: False
1053       gridcolor: "rgb(238, 238, 238)"
1054       linecolor: "rgb(238, 238, 238)"
1055       linewidth: 1
1056       showgrid: True
1057       showline: True
1058       showticklabels: True
1059       tickcolor: "rgb(238, 238, 238)"
1060       tickmode: "linear"
1061       title: "Indexed Test Cases"
1062       zeroline: False
1063     yaxis:
1064       gridcolor: "rgb(238, 238, 238)'"
1065       hoverformat: ".4s"
1066       linecolor: "rgb(238, 238, 238)"
1067       linewidth: 1
1068       range: [0, 8000000]
1069       showgrid: True
1070       showline: True
1071       showticklabels: True
1072       tickcolor: "rgb(238, 238, 238)"
1073       title: "Packets Per Second [pps]"
1074       zeroline: False
1075     boxmode: "group"
1076     boxgroupgap: 0.5
1077     autosize: False
1078     margin:
1079       t: 50
1080       b: 20
1081       l: 50
1082       r: 20
1083     showlegend: True
1084     legend:
1085       orientation: "h"
1086     width: 700
1087     height: 1000
1088
1089 -
1090   type: "plot"
1091   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1092   algorithm: "plot_performance_box"
1093   output-file-type: ".html"
1094   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1095   data:
1096     csit-vpp-perf-1710-all:
1097     - 11
1098     - 12
1099     - 13
1100   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1101   parameters:
1102   - "throughput"
1103   - "parent"
1104   traces:
1105     hoverinfo: "x+y"
1106     boxpoints: "outliers"
1107     whiskerwidth: 0
1108   layout:
1109     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1110     xaxis:
1111       autorange: True
1112       autotick: False
1113       fixedrange: False
1114       gridcolor: "rgb(238, 238, 238)"
1115       linecolor: "rgb(238, 238, 238)"
1116       linewidth: 1
1117       showgrid: True
1118       showline: True
1119       showticklabels: True
1120       tickcolor: "rgb(238, 238, 238)"
1121       tickmode: "linear"
1122       title: "Indexed Test Cases"
1123       zeroline: False
1124     yaxis:
1125       gridcolor: "rgb(238, 238, 238)'"
1126       hoverformat: ".4s"
1127       linecolor: "rgb(238, 238, 238)"
1128       linewidth: 1
1129       range: [5000000, 12000000]
1130       showgrid: True
1131       showline: True
1132       showticklabels: True
1133       tickcolor: "rgb(238, 238, 238)"
1134       title: "Packets Per Second [pps]"
1135       zeroline: False
1136     boxmode: "group"
1137     boxgroupgap: 0.5
1138     autosize: False
1139     margin:
1140       t: 50
1141       b: 20
1142       l: 50
1143       r: 20
1144     showlegend: True
1145     legend:
1146       orientation: "h"
1147     width: 700
1148     height: 1000
1149
1150 # VPP IP4
1151 -
1152   type: "plot"
1153   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1154   algorithm: "plot_performance_box"
1155   output-file-type: ".html"
1156   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1157   data:
1158     csit-vpp-perf-1710-all:
1159     - 11
1160     - 12
1161     - 13
1162   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1163   parameters:
1164   - "throughput"
1165   - "parent"
1166   traces:
1167     hoverinfo: "x+y"
1168     boxpoints: "outliers"
1169     whiskerwidth: 0
1170   layout:
1171     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1172     xaxis:
1173       autorange: True
1174       autotick: False
1175       fixedrange: False
1176       gridcolor: "rgb(238, 238, 238)"
1177       linecolor: "rgb(238, 238, 238)"
1178       linewidth: 1
1179       showgrid: True
1180       showline: True
1181       showticklabels: True
1182       tickcolor: "rgb(238, 238, 238)"
1183       tickmode: "linear"
1184       title: "Indexed Test Cases"
1185       zeroline: False
1186     yaxis:
1187       gridcolor: "rgb(238, 238, 238)'"
1188       hoverformat: ".4s"
1189       linecolor: "rgb(238, 238, 238)"
1190       linewidth: 1
1191       range: []
1192       showgrid: True
1193       showline: True
1194       showticklabels: True
1195       tickcolor: "rgb(238, 238, 238)"
1196       title: "Packets Per Second [pps]"
1197       zeroline: False
1198     boxmode: "group"
1199     boxgroupgap: 0.5
1200     autosize: False
1201     margin:
1202       t: 50
1203       b: 20
1204       l: 50
1205       r: 20
1206     showlegend: True
1207     legend:
1208       orientation: "h"
1209     width: 700
1210     height: 1000
1211
1212 -
1213   type: "plot"
1214   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1215   algorithm: "plot_performance_box"
1216   output-file-type: ".html"
1217   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1218   data:
1219     csit-vpp-perf-1710-all:
1220     - 11
1221     - 12
1222     - 13
1223   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1224   parameters:
1225   - "throughput"
1226   - "parent"
1227   traces:
1228     hoverinfo: "x+y"
1229     boxpoints: "outliers"
1230     whiskerwidth: 0
1231   layout:
1232     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1233     xaxis:
1234       autorange: True
1235       autotick: False
1236       fixedrange: False
1237       gridcolor: "rgb(238, 238, 238)"
1238       linecolor: "rgb(238, 238, 238)"
1239       linewidth: 1
1240       showgrid: True
1241       showline: True
1242       showticklabels: True
1243       tickcolor: "rgb(238, 238, 238)"
1244       tickmode: "linear"
1245       title: "Indexed Test Cases"
1246       zeroline: False
1247     yaxis:
1248       gridcolor: "rgb(238, 238, 238)'"
1249       hoverformat: ".4s"
1250       linecolor: "rgb(238, 238, 238)"
1251       linewidth: 1
1252       range: []
1253       showgrid: True
1254       showline: True
1255       showticklabels: True
1256       tickcolor: "rgb(238, 238, 238)"
1257       title: "Packets Per Second [pps]"
1258       zeroline: False
1259     boxmode: "group"
1260     boxgroupgap: 0.5
1261     autosize: False
1262     margin:
1263       t: 50
1264       b: 20
1265       l: 50
1266       r: 20
1267     showlegend: True
1268     legend:
1269       orientation: "h"
1270     width: 700
1271     height: 1000
1272
1273 -
1274   type: "plot"
1275   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1276   algorithm: "plot_performance_box"
1277   output-file-type: ".html"
1278   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1279   data:
1280     csit-vpp-perf-1710-all:
1281     - 11
1282     - 12
1283     - 13
1284   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1285   parameters:
1286   - "throughput"
1287   - "parent"
1288   traces:
1289     hoverinfo: "x+y"
1290     boxpoints: "outliers"
1291     whiskerwidth: 0
1292   layout:
1293     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1294     xaxis:
1295       autorange: True
1296       autotick: False
1297       fixedrange: False
1298       gridcolor: "rgb(238, 238, 238)"
1299       linecolor: "rgb(238, 238, 238)"
1300       linewidth: 1
1301       showgrid: True
1302       showline: True
1303       showticklabels: True
1304       tickcolor: "rgb(238, 238, 238)"
1305       tickmode: "linear"
1306       title: "Indexed Test Cases"
1307       zeroline: False
1308     yaxis:
1309       gridcolor: "rgb(238, 238, 238)'"
1310       hoverformat: ".4s"
1311       linecolor: "rgb(238, 238, 238)"
1312       linewidth: 1
1313       range: []
1314       showgrid: True
1315       showline: True
1316       showticklabels: True
1317       tickcolor: "rgb(238, 238, 238)"
1318       title: "Packets Per Second [pps]"
1319       zeroline: False
1320     boxmode: "group"
1321     boxgroupgap: 0.5
1322     autosize: False
1323     margin:
1324       t: 50
1325       b: 20
1326       l: 50
1327       r: 20
1328     showlegend: True
1329     legend:
1330       orientation: "h"
1331     width: 700
1332     height: 1000
1333
1334 -
1335   type: "plot"
1336   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1337   algorithm: "plot_performance_box"
1338   output-file-type: ".html"
1339   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1340   data:
1341     csit-vpp-perf-1710-all:
1342     - 11
1343     - 12
1344     - 13
1345   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1346   parameters:
1347   - "throughput"
1348   - "parent"
1349   traces:
1350     hoverinfo: "x+y"
1351     boxpoints: "outliers"
1352     whiskerwidth: 0
1353   layout:
1354     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1355     xaxis:
1356       autorange: True
1357       autotick: False
1358       fixedrange: False
1359       gridcolor: "rgb(238, 238, 238)"
1360       linecolor: "rgb(238, 238, 238)"
1361       linewidth: 1
1362       showgrid: True
1363       showline: True
1364       showticklabels: True
1365       tickcolor: "rgb(238, 238, 238)"
1366       tickmode: "linear"
1367       title: "Indexed Test Cases"
1368       zeroline: False
1369     yaxis:
1370       gridcolor: "rgb(238, 238, 238)'"
1371       hoverformat: ".4s"
1372       linecolor: "rgb(238, 238, 238)"
1373       linewidth: 1
1374       range: []
1375       showgrid: True
1376       showline: True
1377       showticklabels: True
1378       tickcolor: "rgb(238, 238, 238)"
1379       title: "Packets Per Second [pps]"
1380       zeroline: False
1381     boxmode: "group"
1382     boxgroupgap: 0.5
1383     autosize: False
1384     margin:
1385       t: 50
1386       b: 20
1387       l: 50
1388       r: 20
1389     showlegend: True
1390     legend:
1391       orientation: "h"
1392     width: 700
1393     height: 1000
1394
1395 # VPP IP6
1396 -
1397   type: "plot"
1398   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1399   algorithm: "plot_performance_box"
1400   output-file-type: ".html"
1401   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1402   data:
1403     csit-vpp-perf-1710-all:
1404     - 11
1405     - 12
1406     - 13
1407   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1408   parameters:
1409   - "throughput"
1410   - "parent"
1411   traces:
1412     hoverinfo: "x+y"
1413     boxpoints: "outliers"
1414     whiskerwidth: 0
1415   layout:
1416     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1417     xaxis:
1418       autorange: True
1419       autotick: False
1420       fixedrange: False
1421       gridcolor: "rgb(238, 238, 238)"
1422       linecolor: "rgb(238, 238, 238)"
1423       linewidth: 1
1424       showgrid: True
1425       showline: True
1426       showticklabels: True
1427       tickcolor: "rgb(238, 238, 238)"
1428       tickmode: "linear"
1429       title: "Indexed Test Cases"
1430       zeroline: False
1431     yaxis:
1432       gridcolor: "rgb(238, 238, 238)'"
1433       hoverformat: ".4s"
1434       linecolor: "rgb(238, 238, 238)"
1435       linewidth: 1
1436       range: []
1437       showgrid: True
1438       showline: True
1439       showticklabels: True
1440       tickcolor: "rgb(238, 238, 238)"
1441       title: "Packets Per Second [pps]"
1442       zeroline: False
1443     boxmode: "group"
1444     boxgroupgap: 0.5
1445     autosize: False
1446     margin:
1447       t: 50
1448       b: 20
1449       l: 50
1450       r: 20
1451     showlegend: True
1452     legend:
1453       orientation: "h"
1454     width: 700
1455     height: 1000
1456
1457 -
1458   type: "plot"
1459   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1460   algorithm: "plot_performance_box"
1461   output-file-type: ".html"
1462   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1463   data:
1464     csit-vpp-perf-1710-all:
1465     - 11
1466     - 12
1467     - 13
1468   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1469   parameters:
1470   - "throughput"
1471   - "parent"
1472   traces:
1473     hoverinfo: "x+y"
1474     boxpoints: "outliers"
1475     whiskerwidth: 0
1476   layout:
1477     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1478     xaxis:
1479       autorange: True
1480       autotick: False
1481       fixedrange: False
1482       gridcolor: "rgb(238, 238, 238)"
1483       linecolor: "rgb(238, 238, 238)"
1484       linewidth: 1
1485       showgrid: True
1486       showline: True
1487       showticklabels: True
1488       tickcolor: "rgb(238, 238, 238)"
1489       tickmode: "linear"
1490       title: "Indexed Test Cases"
1491       zeroline: False
1492     yaxis:
1493       gridcolor: "rgb(238, 238, 238)'"
1494       hoverformat: ".4s"
1495       linecolor: "rgb(238, 238, 238)"
1496       linewidth: 1
1497       range: []
1498       showgrid: True
1499       showline: True
1500       showticklabels: True
1501       tickcolor: "rgb(238, 238, 238)"
1502       title: "Packets Per Second [pps]"
1503       zeroline: False
1504     boxmode: "group"
1505     boxgroupgap: 0.5
1506     autosize: False
1507     margin:
1508       t: 50
1509       b: 20
1510       l: 50
1511       r: 20
1512     showlegend: True
1513     legend:
1514       orientation: "h"
1515     width: 700
1516     height: 1000
1517
1518 -
1519   type: "plot"
1520   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1521   algorithm: "plot_performance_box"
1522   output-file-type: ".html"
1523   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1524   data:
1525     csit-vpp-perf-1710-all:
1526     - 11
1527     - 12
1528     - 13
1529   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1530   parameters:
1531   - "throughput"
1532   - "parent"
1533   traces:
1534     hoverinfo: "x+y"
1535     boxpoints: "outliers"
1536     whiskerwidth: 0
1537   layout:
1538     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1539     xaxis:
1540       autorange: True
1541       autotick: False
1542       fixedrange: False
1543       gridcolor: "rgb(238, 238, 238)"
1544       linecolor: "rgb(238, 238, 238)"
1545       linewidth: 1
1546       showgrid: True
1547       showline: True
1548       showticklabels: True
1549       tickcolor: "rgb(238, 238, 238)"
1550       tickmode: "linear"
1551       title: "Indexed Test Cases"
1552       zeroline: False
1553     yaxis:
1554       gridcolor: "rgb(238, 238, 238)'"
1555       hoverformat: ".4s"
1556       linecolor: "rgb(238, 238, 238)"
1557       linewidth: 1
1558       range: []
1559       showgrid: True
1560       showline: True
1561       showticklabels: True
1562       tickcolor: "rgb(238, 238, 238)"
1563       title: "Packets Per Second [pps]"
1564       zeroline: False
1565     boxmode: "group"
1566     boxgroupgap: 0.5
1567     autosize: False
1568     margin:
1569       t: 50
1570       b: 20
1571       l: 50
1572       r: 20
1573     showlegend: True
1574     legend:
1575       orientation: "h"
1576     width: 700
1577     height: 1000
1578
1579 -
1580   type: "plot"
1581   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1582   algorithm: "plot_performance_box"
1583   output-file-type: ".html"
1584   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1585   data:
1586     csit-vpp-perf-1710-all:
1587     - 11
1588     - 12
1589     - 13
1590   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1591   parameters:
1592   - "throughput"
1593   - "parent"
1594   traces:
1595     hoverinfo: "x+y"
1596     boxpoints: "outliers"
1597     whiskerwidth: 0
1598   layout:
1599     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1600     xaxis:
1601       autorange: True
1602       autotick: False
1603       fixedrange: False
1604       gridcolor: "rgb(238, 238, 238)"
1605       linecolor: "rgb(238, 238, 238)"
1606       linewidth: 1
1607       showgrid: True
1608       showline: True
1609       showticklabels: True
1610       tickcolor: "rgb(238, 238, 238)"
1611       tickmode: "linear"
1612       title: "Indexed Test Cases"
1613       zeroline: False
1614     yaxis:
1615       gridcolor: "rgb(238, 238, 238)'"
1616       hoverformat: ".4s"
1617       linecolor: "rgb(238, 238, 238)"
1618       linewidth: 1
1619       range: []
1620       showgrid: True
1621       showline: True
1622       showticklabels: True
1623       tickcolor: "rgb(238, 238, 238)"
1624       title: "Packets Per Second [pps]"
1625       zeroline: False
1626     boxmode: "group"
1627     boxgroupgap: 0.5
1628     autosize: False
1629     margin:
1630       t: 50
1631       b: 20
1632       l: 50
1633       r: 20
1634     showlegend: True
1635     legend:
1636       orientation: "h"
1637     width: 700
1638     height: 1000
1639
1640 # VPP IP4_overlay
1641 -
1642   type: "plot"
1643   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1644   algorithm: "plot_performance_box"
1645   output-file-type: ".html"
1646   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1647   data:
1648     csit-vpp-perf-1710-all:
1649     - 11
1650     - 12
1651     - 13
1652   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1653   parameters:
1654   - "throughput"
1655   - "parent"
1656   traces:
1657     hoverinfo: "x+y"
1658     boxpoints: "outliers"
1659     whiskerwidth: 0
1660   layout:
1661     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1662     xaxis:
1663       autorange: True
1664       autotick: False
1665       fixedrange: False
1666       gridcolor: "rgb(238, 238, 238)"
1667       linecolor: "rgb(238, 238, 238)"
1668       linewidth: 1
1669       showgrid: True
1670       showline: True
1671       showticklabels: True
1672       tickcolor: "rgb(238, 238, 238)"
1673       tickmode: "linear"
1674       title: "Indexed Test Cases"
1675       zeroline: False
1676     yaxis:
1677       gridcolor: "rgb(238, 238, 238)'"
1678       hoverformat: ".4s"
1679       linecolor: "rgb(238, 238, 238)"
1680       linewidth: 1
1681       range: []
1682       showgrid: True
1683       showline: True
1684       showticklabels: True
1685       tickcolor: "rgb(238, 238, 238)"
1686       title: "Packets Per Second [pps]"
1687       zeroline: False
1688     boxmode: "group"
1689     boxgroupgap: 0.5
1690     autosize: False
1691     margin:
1692       t: 50
1693       b: 20
1694       l: 50
1695       r: 20
1696     showlegend: True
1697     legend:
1698       orientation: "h"
1699     width: 700
1700     height: 1000
1701
1702 -
1703   type: "plot"
1704   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1705   algorithm: "plot_performance_box"
1706   output-file-type: ".html"
1707   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1708   data:
1709     csit-vpp-perf-1710-all:
1710     - 11
1711     - 12
1712     - 13
1713   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1714   parameters:
1715   - "throughput"
1716   - "parent"
1717   traces:
1718     hoverinfo: "x+y"
1719     boxpoints: "outliers"
1720     whiskerwidth: 0
1721   layout:
1722     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1723     xaxis:
1724       autorange: True
1725       autotick: False
1726       fixedrange: False
1727       gridcolor: "rgb(238, 238, 238)"
1728       linecolor: "rgb(238, 238, 238)"
1729       linewidth: 1
1730       showgrid: True
1731       showline: True
1732       showticklabels: True
1733       tickcolor: "rgb(238, 238, 238)"
1734       tickmode: "linear"
1735       title: "Indexed Test Cases"
1736       zeroline: False
1737     yaxis:
1738       gridcolor: "rgb(238, 238, 238)'"
1739       hoverformat: ".4s"
1740       linecolor: "rgb(238, 238, 238)"
1741       linewidth: 1
1742       range: []
1743       showgrid: True
1744       showline: True
1745       showticklabels: True
1746       tickcolor: "rgb(238, 238, 238)"
1747       title: "Packets Per Second [pps]"
1748       zeroline: False
1749     boxmode: "group"
1750     boxgroupgap: 0.5
1751     autosize: False
1752     margin:
1753       t: 50
1754       b: 20
1755       l: 50
1756       r: 20
1757     showlegend: True
1758     legend:
1759       orientation: "h"
1760     width: 700
1761     height: 1000
1762
1763 -
1764   type: "plot"
1765   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1766   algorithm: "plot_performance_box"
1767   output-file-type: ".html"
1768   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1769   data:
1770     csit-vpp-perf-1710-all:
1771     - 11
1772     - 12
1773     - 13
1774   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1775   parameters:
1776   - "throughput"
1777   - "parent"
1778   traces:
1779     hoverinfo: "x+y"
1780     boxpoints: "outliers"
1781     whiskerwidth: 0
1782   layout:
1783     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1784     xaxis:
1785       autorange: True
1786       autotick: False
1787       fixedrange: False
1788       gridcolor: "rgb(238, 238, 238)"
1789       linecolor: "rgb(238, 238, 238)"
1790       linewidth: 1
1791       showgrid: True
1792       showline: True
1793       showticklabels: True
1794       tickcolor: "rgb(238, 238, 238)"
1795       tickmode: "linear"
1796       title: "Indexed Test Cases"
1797       zeroline: False
1798     yaxis:
1799       gridcolor: "rgb(238, 238, 238)'"
1800       hoverformat: ".4s"
1801       linecolor: "rgb(238, 238, 238)"
1802       linewidth: 1
1803       range: []
1804       showgrid: True
1805       showline: True
1806       showticklabels: True
1807       tickcolor: "rgb(238, 238, 238)"
1808       title: "Packets Per Second [pps]"
1809       zeroline: False
1810     boxmode: "group"
1811     boxgroupgap: 0.5
1812     autosize: False
1813     margin:
1814       t: 50
1815       b: 20
1816       l: 50
1817       r: 20
1818     showlegend: True
1819     legend:
1820       orientation: "h"
1821     width: 700
1822     height: 1000
1823
1824 -
1825   type: "plot"
1826   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1827   algorithm: "plot_performance_box"
1828   output-file-type: ".html"
1829   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1830   data:
1831     csit-vpp-perf-1710-all:
1832     - 11
1833     - 12
1834     - 13
1835   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1836   parameters:
1837   - "throughput"
1838   - "parent"
1839   traces:
1840     hoverinfo: "x+y"
1841     boxpoints: "outliers"
1842     whiskerwidth: 0
1843   layout:
1844     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1845     xaxis:
1846       autorange: True
1847       autotick: False
1848       fixedrange: False
1849       gridcolor: "rgb(238, 238, 238)"
1850       linecolor: "rgb(238, 238, 238)"
1851       linewidth: 1
1852       showgrid: True
1853       showline: True
1854       showticklabels: True
1855       tickcolor: "rgb(238, 238, 238)"
1856       tickmode: "linear"
1857       title: "Indexed Test Cases"
1858       zeroline: False
1859     yaxis:
1860       gridcolor: "rgb(238, 238, 238)'"
1861       hoverformat: ".4s"
1862       linecolor: "rgb(238, 238, 238)"
1863       linewidth: 1
1864       range: []
1865       showgrid: True
1866       showline: True
1867       showticklabels: True
1868       tickcolor: "rgb(238, 238, 238)"
1869       title: "Packets Per Second [pps]"
1870       zeroline: False
1871     boxmode: "group"
1872     boxgroupgap: 0.5
1873     autosize: False
1874     margin:
1875       t: 50
1876       b: 20
1877       l: 50
1878       r: 20
1879     showlegend: True
1880     legend:
1881       orientation: "h"
1882     width: 700
1883     height: 1000
1884
1885 # VPP IP6_overlay
1886 -
1887   type: "plot"
1888   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1889   algorithm: "plot_performance_box"
1890   output-file-type: ".html"
1891   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1892   data:
1893     csit-vpp-perf-1710-all:
1894     - 11
1895     - 12
1896     - 13
1897   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1898   parameters:
1899   - "throughput"
1900   - "parent"
1901   traces:
1902     hoverinfo: "x+y"
1903     boxpoints: "outliers"
1904     whiskerwidth: 0
1905   layout:
1906     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1907     xaxis:
1908       autorange: True
1909       autotick: False
1910       fixedrange: False
1911       gridcolor: "rgb(238, 238, 238)"
1912       linecolor: "rgb(238, 238, 238)"
1913       linewidth: 1
1914       showgrid: True
1915       showline: True
1916       showticklabels: True
1917       tickcolor: "rgb(238, 238, 238)"
1918       tickmode: "linear"
1919       title: "Indexed Test Cases"
1920       zeroline: False
1921     yaxis:
1922       gridcolor: "rgb(238, 238, 238)'"
1923       hoverformat: ".4s"
1924       linecolor: "rgb(238, 238, 238)"
1925       linewidth: 1
1926       range: []
1927       showgrid: True
1928       showline: True
1929       showticklabels: True
1930       tickcolor: "rgb(238, 238, 238)"
1931       title: "Packets Per Second [pps]"
1932       zeroline: False
1933     boxmode: "group"
1934     boxgroupgap: 0.5
1935     autosize: False
1936     margin:
1937       t: 50
1938       b: 20
1939       l: 50
1940       r: 20
1941     showlegend: True
1942     legend:
1943       orientation: "h"
1944     width: 700
1945     height: 1000
1946
1947 -
1948   type: "plot"
1949   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1950   algorithm: "plot_performance_box"
1951   output-file-type: ".html"
1952   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1953   data:
1954     csit-vpp-perf-1710-all:
1955     - 11
1956     - 12
1957     - 13
1958   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1959   parameters:
1960   - "throughput"
1961   - "parent"
1962   traces:
1963     hoverinfo: "x+y"
1964     boxpoints: "outliers"
1965     whiskerwidth: 0
1966   layout:
1967     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1968     xaxis:
1969       autorange: True
1970       autotick: False
1971       fixedrange: False
1972       gridcolor: "rgb(238, 238, 238)"
1973       linecolor: "rgb(238, 238, 238)"
1974       linewidth: 1
1975       showgrid: True
1976       showline: True
1977       showticklabels: True
1978       tickcolor: "rgb(238, 238, 238)"
1979       tickmode: "linear"
1980       title: "Indexed Test Cases"
1981       zeroline: False
1982     yaxis:
1983       gridcolor: "rgb(238, 238, 238)'"
1984       hoverformat: ".4s"
1985       linecolor: "rgb(238, 238, 238)"
1986       linewidth: 1
1987       range: []
1988       showgrid: True
1989       showline: True
1990       showticklabels: True
1991       tickcolor: "rgb(238, 238, 238)"
1992       title: "Packets Per Second [pps]"
1993       zeroline: False
1994     boxmode: "group"
1995     boxgroupgap: 0.5
1996     autosize: False
1997     margin:
1998       t: 50
1999       b: 20
2000       l: 50
2001       r: 20
2002     showlegend: True
2003     legend:
2004       orientation: "h"
2005     width: 700
2006     height: 1000
2007
2008 -
2009   type: "plot"
2010   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2011   algorithm: "plot_performance_box"
2012   output-file-type: ".html"
2013   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2014   data:
2015     csit-vpp-perf-1710-all:
2016     - 11
2017     - 12
2018     - 13
2019   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2020   parameters:
2021   - "throughput"
2022   - "parent"
2023   traces:
2024     hoverinfo: "x+y"
2025     boxpoints: "outliers"
2026     whiskerwidth: 0
2027   layout:
2028     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2029     xaxis:
2030       autorange: True
2031       autotick: False
2032       fixedrange: False
2033       gridcolor: "rgb(238, 238, 238)"
2034       linecolor: "rgb(238, 238, 238)"
2035       linewidth: 1
2036       showgrid: True
2037       showline: True
2038       showticklabels: True
2039       tickcolor: "rgb(238, 238, 238)"
2040       tickmode: "linear"
2041       title: "Indexed Test Cases"
2042       zeroline: False
2043     yaxis:
2044       gridcolor: "rgb(238, 238, 238)'"
2045       hoverformat: ".4s"
2046       linecolor: "rgb(238, 238, 238)"
2047       linewidth: 1
2048       range: []
2049       showgrid: True
2050       showline: True
2051       showticklabels: True
2052       tickcolor: "rgb(238, 238, 238)"
2053       title: "Packets Per Second [pps]"
2054       zeroline: False
2055     boxmode: "group"
2056     boxgroupgap: 0.5
2057     autosize: False
2058     margin:
2059       t: 50
2060       b: 20
2061       l: 50
2062       r: 20
2063     showlegend: True
2064     legend:
2065       orientation: "h"
2066     width: 700
2067     height: 1000
2068
2069 -
2070   type: "plot"
2071   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2072   algorithm: "plot_performance_box"
2073   output-file-type: ".html"
2074   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2075   data:
2076     csit-vpp-perf-1710-all:
2077     - 11
2078     - 12
2079     - 13
2080   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2081   parameters:
2082   - "throughput"
2083   - "parent"
2084   traces:
2085     hoverinfo: "x+y"
2086     boxpoints: "outliers"
2087     whiskerwidth: 0
2088   layout:
2089     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2090     xaxis:
2091       autorange: True
2092       autotick: False
2093       fixedrange: False
2094       gridcolor: "rgb(238, 238, 238)"
2095       linecolor: "rgb(238, 238, 238)"
2096       linewidth: 1
2097       showgrid: True
2098       showline: True
2099       showticklabels: True
2100       tickcolor: "rgb(238, 238, 238)"
2101       tickmode: "linear"
2102       title: "Indexed Test Cases"
2103       zeroline: False
2104     yaxis:
2105       gridcolor: "rgb(238, 238, 238)'"
2106       hoverformat: ".4s"
2107       linecolor: "rgb(238, 238, 238)"
2108       linewidth: 1
2109       range: []
2110       showgrid: True
2111       showline: True
2112       showticklabels: True
2113       tickcolor: "rgb(238, 238, 238)"
2114       title: "Packets Per Second [pps]"
2115       zeroline: False
2116     boxmode: "group"
2117     boxgroupgap: 0.5
2118     autosize: False
2119     margin:
2120       t: 50
2121       b: 20
2122       l: 50
2123       r: 20
2124     showlegend: True
2125     legend:
2126       orientation: "h"
2127     width: 700
2128     height: 1000
2129
2130 # VPP VM VHOST
2131 -
2132   type: "plot"
2133   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2134   algorithm: "plot_performance_box"
2135   output-file-type: ".html"
2136   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2137   data:
2138     csit-vpp-perf-1710-all:
2139     - 11
2140     - 12
2141     - 13
2142   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2143   parameters:
2144   - "throughput"
2145   - "parent"
2146   traces:
2147     hoverinfo: "x+y"
2148     boxpoints: "outliers"
2149     whiskerwidth: 0
2150   layout:
2151     title: "64B-1t1c-.*vhost.*-ndrdisc"
2152     xaxis:
2153       autorange: True
2154       autotick: False
2155       fixedrange: False
2156       gridcolor: "rgb(238, 238, 238)"
2157       linecolor: "rgb(238, 238, 238)"
2158       linewidth: 1
2159       showgrid: True
2160       showline: True
2161       showticklabels: True
2162       tickcolor: "rgb(238, 238, 238)"
2163       tickmode: "linear"
2164       title: "Indexed Test Cases"
2165       zeroline: False
2166     yaxis:
2167       gridcolor: "rgb(238, 238, 238)'"
2168       hoverformat: ".4s"
2169       linecolor: "rgb(238, 238, 238)"
2170       linewidth: 1
2171       range: []
2172       showgrid: True
2173       showline: True
2174       showticklabels: True
2175       tickcolor: "rgb(238, 238, 238)"
2176       title: "Packets Per Second [pps]"
2177       zeroline: False
2178     boxmode: "group"
2179     boxgroupgap: 0.5
2180     autosize: False
2181     margin:
2182       t: 50
2183       b: 20
2184       l: 50
2185       r: 20
2186     showlegend: True
2187     legend:
2188       orientation: "h"
2189     width: 700
2190     height: 1000
2191
2192 -
2193   type: "plot"
2194   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2195   algorithm: "plot_performance_box"
2196   output-file-type: ".html"
2197   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2198   data:
2199     csit-vpp-perf-1710-all:
2200     - 11
2201     - 12
2202     - 13
2203   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2204   parameters:
2205   - "throughput"
2206   - "parent"
2207   traces:
2208     hoverinfo: "x+y"
2209     boxpoints: "outliers"
2210     whiskerwidth: 0
2211   layout:
2212     title: "64B-2t2c-.*vhost.*-ndrdisc"
2213     xaxis:
2214       autorange: True
2215       autotick: False
2216       fixedrange: False
2217       gridcolor: "rgb(238, 238, 238)"
2218       linecolor: "rgb(238, 238, 238)"
2219       linewidth: 1
2220       showgrid: True
2221       showline: True
2222       showticklabels: True
2223       tickcolor: "rgb(238, 238, 238)"
2224       tickmode: "linear"
2225       title: "Indexed Test Cases"
2226       zeroline: False
2227     yaxis:
2228       gridcolor: "rgb(238, 238, 238)'"
2229       hoverformat: ".4s"
2230       linecolor: "rgb(238, 238, 238)"
2231       linewidth: 1
2232       range: []
2233       showgrid: True
2234       showline: True
2235       showticklabels: True
2236       tickcolor: "rgb(238, 238, 238)"
2237       title: "Packets Per Second [pps]"
2238       zeroline: False
2239     boxmode: "group"
2240     boxgroupgap: 0.5
2241     autosize: False
2242     margin:
2243       t: 50
2244       b: 20
2245       l: 50
2246       r: 20
2247     showlegend: True
2248     legend:
2249       orientation: "h"
2250     width: 700
2251     height: 1000
2252
2253 -
2254   type: "plot"
2255   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2256   algorithm: "plot_performance_box"
2257   output-file-type: ".html"
2258   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2259   data:
2260     csit-vpp-perf-1710-all:
2261     - 11
2262     - 12
2263     - 13
2264   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2265   parameters:
2266   - "throughput"
2267   - "parent"
2268   traces:
2269     hoverinfo: "x+y"
2270     boxpoints: "outliers"
2271     whiskerwidth: 0
2272   layout:
2273     title: "64B-1t1c-.*vhost.*-pdrdisc"
2274     xaxis:
2275       autorange: True
2276       autotick: False
2277       fixedrange: False
2278       gridcolor: "rgb(238, 238, 238)"
2279       linecolor: "rgb(238, 238, 238)"
2280       linewidth: 1
2281       showgrid: True
2282       showline: True
2283       showticklabels: True
2284       tickcolor: "rgb(238, 238, 238)"
2285       tickmode: "linear"
2286       title: "Indexed Test Cases"
2287       zeroline: False
2288     yaxis:
2289       gridcolor: "rgb(238, 238, 238)'"
2290       hoverformat: ".4s"
2291       linecolor: "rgb(238, 238, 238)"
2292       linewidth: 1
2293       range: []
2294       showgrid: True
2295       showline: True
2296       showticklabels: True
2297       tickcolor: "rgb(238, 238, 238)"
2298       title: "Packets Per Second [pps]"
2299       zeroline: False
2300     boxmode: "group"
2301     boxgroupgap: 0.5
2302     autosize: False
2303     margin:
2304       t: 50
2305       b: 20
2306       l: 50
2307       r: 20
2308     showlegend: True
2309     legend:
2310       orientation: "h"
2311     width: 700
2312     height: 1000
2313
2314 -
2315   type: "plot"
2316   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2317   algorithm: "plot_performance_box"
2318   output-file-type: ".html"
2319   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2320   data:
2321     csit-vpp-perf-1710-all:
2322     - 11
2323     - 12
2324     - 13
2325   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2326   parameters:
2327   - "throughput"
2328   - "parent"
2329   traces:
2330     hoverinfo: "x+y"
2331     boxpoints: "outliers"
2332     whiskerwidth: 0
2333   layout:
2334     title: "64B-2t2c-.*vhost.*-pdrdisc"
2335     xaxis:
2336       autorange: True
2337       autotick: False
2338       fixedrange: False
2339       gridcolor: "rgb(238, 238, 238)"
2340       linecolor: "rgb(238, 238, 238)"
2341       linewidth: 1
2342       showgrid: True
2343       showline: True
2344       showticklabels: True
2345       tickcolor: "rgb(238, 238, 238)"
2346       tickmode: "linear"
2347       title: "Indexed Test Cases"
2348       zeroline: False
2349     yaxis:
2350       gridcolor: "rgb(238, 238, 238)'"
2351       hoverformat: ".4s"
2352       linecolor: "rgb(238, 238, 238)"
2353       linewidth: 1
2354       range: []
2355       showgrid: True
2356       showline: True
2357       showticklabels: True
2358       tickcolor: "rgb(238, 238, 238)"
2359       title: "Packets Per Second [pps]"
2360       zeroline: False
2361     boxmode: "group"
2362     boxgroupgap: 0.5
2363     autosize: False
2364     margin:
2365       t: 50
2366       b: 20
2367       l: 50
2368       r: 20
2369     showlegend: True
2370     legend:
2371       orientation: "h"
2372     width: 700
2373     height: 1000
2374
2375 # VPP VM VHOST SELECTION
2376 -
2377   type: "plot"
2378   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2379   algorithm: "plot_performance_box"
2380   output-file-type: ".html"
2381   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2382   data:
2383     csit-vpp-perf-1710-all:
2384     - 11
2385     - 12
2386     - 13
2387   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2388   parameters:
2389   - "throughput"
2390   - "parent"
2391   traces:
2392     hoverinfo: "x+y"
2393     boxpoints: "outliers"
2394     whiskerwidth: 0
2395   layout:
2396     title: "64B-1t1c-.*vhost.*-ndrdisc"
2397     xaxis:
2398       autorange: True
2399       autotick: False
2400       fixedrange: False
2401       gridcolor: "rgb(238, 238, 238)"
2402       linecolor: "rgb(238, 238, 238)"
2403       linewidth: 1
2404       showgrid: True
2405       showline: True
2406       showticklabels: True
2407       tickcolor: "rgb(238, 238, 238)"
2408       tickmode: "linear"
2409       title: "Indexed Test Cases"
2410       zeroline: False
2411     yaxis:
2412       gridcolor: "rgb(238, 238, 238)'"
2413       hoverformat: ".4s"
2414       linecolor: "rgb(238, 238, 238)"
2415       linewidth: 1
2416       range: []
2417       showgrid: True
2418       showline: True
2419       showticklabels: True
2420       tickcolor: "rgb(238, 238, 238)"
2421       title: "Packets Per Second [pps]"
2422       zeroline: False
2423     boxmode: "group"
2424     boxgroupgap: 0.5
2425     autosize: False
2426     margin:
2427       t: 50
2428       b: 20
2429       l: 50
2430       r: 20
2431     showlegend: True
2432     legend:
2433       orientation: "h"
2434     width: 700
2435     height: 1000
2436
2437 -
2438   type: "plot"
2439   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2440   algorithm: "plot_performance_box"
2441   output-file-type: ".html"
2442   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2443   data:
2444     csit-vpp-perf-1710-all:
2445     - 11
2446     - 12
2447     - 13
2448   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2449   parameters:
2450   - "throughput"
2451   - "parent"
2452   traces:
2453     hoverinfo: "x+y"
2454     boxpoints: "outliers"
2455     whiskerwidth: 0
2456   layout:
2457     title: "64B-2t2c-.*vhost.*-ndrdisc"
2458     xaxis:
2459       autorange: True
2460       autotick: False
2461       fixedrange: False
2462       gridcolor: "rgb(238, 238, 238)"
2463       linecolor: "rgb(238, 238, 238)"
2464       linewidth: 1
2465       showgrid: True
2466       showline: True
2467       showticklabels: True
2468       tickcolor: "rgb(238, 238, 238)"
2469       tickmode: "linear"
2470       title: "Indexed Test Cases"
2471       zeroline: False
2472     yaxis:
2473       gridcolor: "rgb(238, 238, 238)'"
2474       hoverformat: ".4s"
2475       linecolor: "rgb(238, 238, 238)"
2476       linewidth: 1
2477       range: []
2478       showgrid: True
2479       showline: True
2480       showticklabels: True
2481       tickcolor: "rgb(238, 238, 238)"
2482       title: "Packets Per Second [pps]"
2483       zeroline: False
2484     boxmode: "group"
2485     boxgroupgap: 0.5
2486     autosize: False
2487     margin:
2488       t: 50
2489       b: 20
2490       l: 50
2491       r: 20
2492     showlegend: True
2493     legend:
2494       orientation: "h"
2495     width: 700
2496     height: 1000
2497
2498 -
2499   type: "plot"
2500   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2501   algorithm: "plot_performance_box"
2502   output-file-type: ".html"
2503   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2504   data:
2505     csit-vpp-perf-1710-all:
2506     - 11
2507     - 12
2508     - 13
2509   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2510   parameters:
2511   - "throughput"
2512   - "parent"
2513   traces:
2514     hoverinfo: "x+y"
2515     boxpoints: "outliers"
2516     whiskerwidth: 0
2517   layout:
2518     title: "64B-1t1c-.*vhost.*-pdrdisc"
2519     xaxis:
2520       autorange: True
2521       autotick: False
2522       fixedrange: False
2523       gridcolor: "rgb(238, 238, 238)"
2524       linecolor: "rgb(238, 238, 238)"
2525       linewidth: 1
2526       showgrid: True
2527       showline: True
2528       showticklabels: True
2529       tickcolor: "rgb(238, 238, 238)"
2530       tickmode: "linear"
2531       title: "Indexed Test Cases"
2532       zeroline: False
2533     yaxis:
2534       gridcolor: "rgb(238, 238, 238)'"
2535       hoverformat: ".4s"
2536       linecolor: "rgb(238, 238, 238)"
2537       linewidth: 1
2538       range: []
2539       showgrid: True
2540       showline: True
2541       showticklabels: True
2542       tickcolor: "rgb(238, 238, 238)"
2543       title: "Packets Per Second [pps]"
2544       zeroline: False
2545     boxmode: "group"
2546     boxgroupgap: 0.5
2547     autosize: False
2548     margin:
2549       t: 50
2550       b: 20
2551       l: 50
2552       r: 20
2553     showlegend: True
2554     legend:
2555       orientation: "h"
2556     width: 700
2557     height: 1000
2558
2559 -
2560   type: "plot"
2561   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2562   algorithm: "plot_performance_box"
2563   output-file-type: ".html"
2564   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2565   data:
2566     csit-vpp-perf-1710-all:
2567     - 11
2568     - 12
2569     - 13
2570   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2571   parameters:
2572   - "throughput"
2573   - "parent"
2574   traces:
2575     hoverinfo: "x+y"
2576     boxpoints: "outliers"
2577     whiskerwidth: 0
2578   layout:
2579     title: "64B-2t2c-.*vhost.*-pdrdisc"
2580     xaxis:
2581       autorange: True
2582       autotick: False
2583       fixedrange: False
2584       gridcolor: "rgb(238, 238, 238)"
2585       linecolor: "rgb(238, 238, 238)"
2586       linewidth: 1
2587       showgrid: True
2588       showline: True
2589       showticklabels: True
2590       tickcolor: "rgb(238, 238, 238)"
2591       tickmode: "linear"
2592       title: "Indexed Test Cases"
2593       zeroline: False
2594     yaxis:
2595       gridcolor: "rgb(238, 238, 238)'"
2596       hoverformat: ".4s"
2597       linecolor: "rgb(238, 238, 238)"
2598       linewidth: 1
2599       range: []
2600       showgrid: True
2601       showline: True
2602       showticklabels: True
2603       tickcolor: "rgb(238, 238, 238)"
2604       title: "Packets Per Second [pps]"
2605       zeroline: False
2606     boxmode: "group"
2607     boxgroupgap: 0.5
2608     autosize: False
2609     margin:
2610       t: 50
2611       b: 20
2612       l: 50
2613       r: 20
2614     showlegend: True
2615     legend:
2616       orientation: "h"
2617     width: 700
2618     height: 1000
2619
2620 # VPP CRYPTO
2621 -
2622   type: "plot"
2623   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2624   algorithm: "plot_performance_box"
2625   output-file-type: ".html"
2626   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2627   data:
2628     csit-vpp-perf-1710-all:
2629     - 11
2630     - 12
2631     - 13
2632   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2633   parameters:
2634   - "throughput"
2635   - "parent"
2636   traces:
2637     hoverinfo: "x+y"
2638     boxpoints: "outliers"
2639     whiskerwidth: 0
2640   layout:
2641     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2642     xaxis:
2643       autorange: True
2644       autotick: False
2645       fixedrange: False
2646       gridcolor: "rgb(238, 238, 238)"
2647       linecolor: "rgb(238, 238, 238)"
2648       linewidth: 1
2649       showgrid: True
2650       showline: True
2651       showticklabels: True
2652       tickcolor: "rgb(238, 238, 238)"
2653       tickmode: "linear"
2654       title: "Indexed Test Cases"
2655       zeroline: False
2656     yaxis:
2657       gridcolor: "rgb(238, 238, 238)'"
2658       hoverformat: ".4s"
2659       linecolor: "rgb(238, 238, 238)"
2660       linewidth: 1
2661       range: []
2662       showgrid: True
2663       showline: True
2664       showticklabels: True
2665       tickcolor: "rgb(238, 238, 238)"
2666       title: "Packets Per Second [pps]"
2667       zeroline: False
2668     boxmode: "group"
2669     boxgroupgap: 0.5
2670     autosize: False
2671     margin:
2672       t: 50
2673       b: 20
2674       l: 50
2675       r: 20
2676     showlegend: True
2677     legend:
2678       orientation: "h"
2679     width: 700
2680     height: 1000
2681
2682 -
2683   type: "plot"
2684   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2685   algorithm: "plot_performance_box"
2686   output-file-type: ".html"
2687   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2688   data:
2689     csit-vpp-perf-1710-all:
2690     - 11
2691     - 12
2692     - 13
2693   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2694   parameters:
2695   - "throughput"
2696   - "parent"
2697   traces:
2698     hoverinfo: "x+y"
2699     boxpoints: "outliers"
2700     whiskerwidth: 0
2701   layout:
2702     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2703     xaxis:
2704       autorange: True
2705       autotick: False
2706       fixedrange: False
2707       gridcolor: "rgb(238, 238, 238)"
2708       linecolor: "rgb(238, 238, 238)"
2709       linewidth: 1
2710       showgrid: True
2711       showline: True
2712       showticklabels: True
2713       tickcolor: "rgb(238, 238, 238)"
2714       tickmode: "linear"
2715       title: "Indexed Test Cases"
2716       zeroline: False
2717     yaxis:
2718       gridcolor: "rgb(238, 238, 238)'"
2719       hoverformat: ".4s"
2720       linecolor: "rgb(238, 238, 238)"
2721       linewidth: 1
2722       range: []
2723       showgrid: True
2724       showline: True
2725       showticklabels: True
2726       tickcolor: "rgb(238, 238, 238)"
2727       title: "Packets Per Second [pps]"
2728       zeroline: False
2729     boxmode: "group"
2730     boxgroupgap: 0.5
2731     autosize: False
2732     margin:
2733       t: 50
2734       b: 20
2735       l: 50
2736       r: 20
2737     showlegend: True
2738     legend:
2739       orientation: "h"
2740     width: 700
2741     height: 1000
2742
2743 -
2744   type: "plot"
2745   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2746   algorithm: "plot_performance_box"
2747   output-file-type: ".html"
2748   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2749   data:
2750     csit-vpp-perf-1710-all:
2751     - 11
2752     - 12
2753     - 13
2754   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2755   parameters:
2756   - "throughput"
2757   - "parent"
2758   traces:
2759     hoverinfo: "x+y"
2760     boxpoints: "outliers"
2761     whiskerwidth: 0
2762   layout:
2763     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2764     xaxis:
2765       autorange: True
2766       autotick: False
2767       fixedrange: False
2768       gridcolor: "rgb(238, 238, 238)"
2769       linecolor: "rgb(238, 238, 238)"
2770       linewidth: 1
2771       showgrid: True
2772       showline: True
2773       showticklabels: True
2774       tickcolor: "rgb(238, 238, 238)"
2775       tickmode: "linear"
2776       title: "Indexed Test Cases"
2777       zeroline: False
2778     yaxis:
2779       gridcolor: "rgb(238, 238, 238)'"
2780       hoverformat: ".4s"
2781       linecolor: "rgb(238, 238, 238)"
2782       linewidth: 1
2783       range: []
2784       showgrid: True
2785       showline: True
2786       showticklabels: True
2787       tickcolor: "rgb(238, 238, 238)"
2788       title: "Packets Per Second [pps]"
2789       zeroline: False
2790     boxmode: "group"
2791     boxgroupgap: 0.5
2792     autosize: False
2793     margin:
2794       t: 50
2795       b: 20
2796       l: 50
2797       r: 20
2798     showlegend: True
2799     legend:
2800       orientation: "h"
2801     width: 700
2802     height: 1000
2803
2804 -
2805   type: "plot"
2806   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2807   algorithm: "plot_performance_box"
2808   output-file-type: ".html"
2809   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2810   data:
2811     csit-vpp-perf-1710-all:
2812     - 11
2813     - 12
2814     - 13
2815   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2816   parameters:
2817   - "throughput"
2818   - "parent"
2819   traces:
2820     hoverinfo: "x+y"
2821     boxpoints: "outliers"
2822     whiskerwidth: 0
2823   layout:
2824     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2825     xaxis:
2826       autorange: True
2827       autotick: False
2828       fixedrange: False
2829       gridcolor: "rgb(238, 238, 238)"
2830       linecolor: "rgb(238, 238, 238)"
2831       linewidth: 1
2832       showgrid: True
2833       showline: True
2834       showticklabels: True
2835       tickcolor: "rgb(238, 238, 238)"
2836       tickmode: "linear"
2837       title: "Indexed Test Cases"
2838       zeroline: False
2839     yaxis:
2840       gridcolor: "rgb(238, 238, 238)'"
2841       hoverformat: ".4s"
2842       linecolor: "rgb(238, 238, 238)"
2843       linewidth: 1
2844       range: []
2845       showgrid: True
2846       showline: True
2847       showticklabels: True
2848       tickcolor: "rgb(238, 238, 238)"
2849       title: "Packets Per Second [pps]"
2850       zeroline: False
2851     boxmode: "group"
2852     boxgroupgap: 0.5
2853     autosize: False
2854     margin:
2855       t: 50
2856       b: 20
2857       l: 50
2858       r: 20
2859     showlegend: True
2860     legend:
2861       orientation: "h"
2862     width: 700
2863     height: 1000
2864
2865 # DPDK
2866 -
2867   type: "plot"
2868   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2869   algorithm: "plot_performance_box"
2870   output-file-type: ".html"
2871   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2872   data:
2873     csit-dpdk-perf-1710-all:
2874     - 2
2875     - 3
2876     - 5
2877     - 6
2878     - 7
2879     - 8
2880     - 9
2881     - 10
2882     - 11
2883     - 13
2884   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2885   parameters:
2886   - "throughput"
2887   - "parent"
2888   traces:
2889     hoverinfo: "x+y"
2890     boxpoints: "outliers"
2891     whiskerwidth: 0
2892   layout:
2893     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2894     xaxis:
2895       autorange: True
2896       autotick: False
2897       fixedrange: False
2898       gridcolor: "rgb(238, 238, 238)"
2899       linecolor: "rgb(238, 238, 238)"
2900       linewidth: 1
2901       showgrid: True
2902       showline: True
2903       showticklabels: True
2904       tickcolor: "rgb(238, 238, 238)"
2905       tickmode: "linear"
2906       title: "Indexed Test Cases"
2907       zeroline: False
2908     yaxis:
2909       gridcolor: "rgb(238, 238, 238)'"
2910       hoverformat: ".4s"
2911       linecolor: "rgb(238, 238, 238)"
2912       linewidth: 1
2913       range: []
2914       showgrid: True
2915       showline: True
2916       showticklabels: True
2917       tickcolor: "rgb(238, 238, 238)"
2918       title: "Packets Per Second [pps]"
2919       zeroline: False
2920     boxmode: "group"
2921     boxgroupgap: 0.5
2922     autosize: False
2923     margin:
2924       t: 50
2925       b: 20
2926       l: 50
2927       r: 20
2928     showlegend: True
2929     legend:
2930       orientation: "h"
2931     width: 700
2932     height: 1000
2933
2934 -
2935   type: "plot"
2936   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2937   algorithm: "plot_performance_box"
2938   output-file-type: ".html"
2939   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2940   data:
2941     csit-dpdk-perf-1710-all:
2942     - 2
2943     - 3
2944     - 5
2945     - 6
2946     - 7
2947     - 8
2948     - 9
2949     - 10
2950     - 11
2951     - 13
2952   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2953   parameters:
2954   - "throughput"
2955   - "parent"
2956   traces:
2957     hoverinfo: "x+y"
2958     boxpoints: "outliers"
2959     whiskerwidth: 0
2960   layout:
2961     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2962     xaxis:
2963       autorange: True
2964       autotick: False
2965       fixedrange: False
2966       gridcolor: "rgb(238, 238, 238)"
2967       linecolor: "rgb(238, 238, 238)"
2968       linewidth: 1
2969       showgrid: True
2970       showline: True
2971       showticklabels: True
2972       tickcolor: "rgb(238, 238, 238)"
2973       tickmode: "linear"
2974       title: "Indexed Test Cases"
2975       zeroline: False
2976     yaxis:
2977       gridcolor: "rgb(238, 238, 238)'"
2978       hoverformat: ".4s"
2979       linecolor: "rgb(238, 238, 238)"
2980       linewidth: 1
2981       range: []
2982       showgrid: True
2983       showline: True
2984       showticklabels: True
2985       tickcolor: "rgb(238, 238, 238)"
2986       title: "Packets Per Second [pps]"
2987       zeroline: False
2988     boxmode: "group"
2989     boxgroupgap: 0.5
2990     autosize: False
2991     margin:
2992       t: 50
2993       b: 20
2994       l: 50
2995       r: 20
2996     showlegend: True
2997     legend:
2998       orientation: "h"
2999     width: 700
3000     height: 1000
3001
3002 -
3003   type: "plot"
3004   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3005   algorithm: "plot_performance_box"
3006   output-file-type: ".html"
3007   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3008   data:
3009     csit-dpdk-perf-1710-all:
3010     - 2
3011     - 3
3012     - 5
3013     - 6
3014     - 7
3015     - 8
3016     - 9
3017     - 10
3018     - 11
3019     - 13
3020   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3021   parameters:
3022   - "throughput"
3023   - "parent"
3024   traces:
3025     hoverinfo: "x+y"
3026     boxpoints: "outliers"
3027     whiskerwidth: 0
3028   layout:
3029     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3030     xaxis:
3031       autorange: True
3032       autotick: False
3033       fixedrange: False
3034       gridcolor: "rgb(238, 238, 238)"
3035       linecolor: "rgb(238, 238, 238)"
3036       linewidth: 1
3037       showgrid: True
3038       showline: True
3039       showticklabels: True
3040       tickcolor: "rgb(238, 238, 238)"
3041       tickmode: "linear"
3042       title: "Indexed Test Cases"
3043       zeroline: False
3044     yaxis:
3045       gridcolor: "rgb(238, 238, 238)'"
3046       hoverformat: ".4s"
3047       linecolor: "rgb(238, 238, 238)"
3048       linewidth: 1
3049       range: [2000000, 12000000]
3050       showgrid: True
3051       showline: True
3052       showticklabels: True
3053       tickcolor: "rgb(238, 238, 238)"
3054       title: "Packets Per Second [pps]"
3055       zeroline: False
3056     boxmode: "group"
3057     boxgroupgap: 0.5
3058     autosize: False
3059     margin:
3060       t: 50
3061       b: 20
3062       l: 50
3063       r: 20
3064     showlegend: True
3065     legend:
3066       orientation: "h"
3067     width: 700
3068     height: 1000
3069
3070 -
3071   type: "plot"
3072   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3073   algorithm: "plot_performance_box"
3074   output-file-type: ".html"
3075   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3076   data:
3077     csit-dpdk-perf-1710-all:
3078     - 2
3079     - 3
3080     - 5
3081     - 6
3082     - 7
3083     - 8
3084     - 9
3085     - 10
3086     - 11
3087     - 13
3088   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3089   parameters:
3090   - "throughput"
3091   - "parent"
3092   traces:
3093     hoverinfo: "x+y"
3094     boxpoints: "outliers"
3095     whiskerwidth: 0
3096   layout:
3097     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3098     xaxis:
3099       autorange: True
3100       autotick: False
3101       fixedrange: False
3102       gridcolor: "rgb(238, 238, 238)"
3103       linecolor: "rgb(238, 238, 238)"
3104       linewidth: 1
3105       showgrid: True
3106       showline: True
3107       showticklabels: True
3108       tickcolor: "rgb(238, 238, 238)"
3109       tickmode: "linear"
3110       title: "Indexed Test Cases"
3111       zeroline: False
3112     yaxis:
3113       gridcolor: "rgb(238, 238, 238)'"
3114       hoverformat: ".4s"
3115       linecolor: "rgb(238, 238, 238)"
3116       linewidth: 1
3117       range: [2000000, 12000000]
3118       showgrid: True
3119       showline: True
3120       showticklabels: True
3121       tickcolor: "rgb(238, 238, 238)"
3122       title: "Packets Per Second [pps]"
3123       zeroline: False
3124     boxmode: "group"
3125     boxgroupgap: 0.5
3126     autosize: False
3127     margin:
3128       t: 50
3129       b: 20
3130       l: 50
3131       r: 20
3132     showlegend: True
3133     legend:
3134       orientation: "h"
3135     width: 700
3136     height: 1000
3137
3138 -
3139   type: "plot"
3140   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3141   algorithm: "plot_performance_box"
3142   output-file-type: ".html"
3143   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3144   data:
3145     csit-dpdk-perf-1710-all:
3146     - 2
3147     - 3
3148     - 5
3149     - 6
3150     - 7
3151     - 8
3152     - 9
3153     - 10
3154     - 11
3155     - 13
3156   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3157   parameters:
3158   - "throughput"
3159   - "parent"
3160   traces:
3161     hoverinfo: "x+y"
3162     boxpoints: "outliers"
3163     whiskerwidth: 0
3164   layout:
3165     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3166     xaxis:
3167       autorange: True
3168       autotick: False
3169       fixedrange: False
3170       gridcolor: "rgb(238, 238, 238)"
3171       linecolor: "rgb(238, 238, 238)"
3172       linewidth: 1
3173       showgrid: True
3174       showline: True
3175       showticklabels: True
3176       tickcolor: "rgb(238, 238, 238)"
3177       tickmode: "linear"
3178       title: "Indexed Test Cases"
3179       zeroline: False
3180     yaxis:
3181       gridcolor: "rgb(238, 238, 238)'"
3182       hoverformat: ".4s"
3183       linecolor: "rgb(238, 238, 238)"
3184       linewidth: 1
3185       range: []
3186       showgrid: True
3187       showline: True
3188       showticklabels: True
3189       tickcolor: "rgb(238, 238, 238)"
3190       title: "Packets Per Second [pps]"
3191       zeroline: False
3192     boxmode: "group"
3193     boxgroupgap: 0.5
3194     autosize: False
3195     margin:
3196       t: 50
3197       b: 20
3198       l: 50
3199       r: 20
3200     showlegend: True
3201     legend:
3202       orientation: "h"
3203     width: 700
3204     height: 1000
3205
3206 -
3207   type: "plot"
3208   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3209   algorithm: "plot_performance_box"
3210   output-file-type: ".html"
3211   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3212   data:
3213     csit-dpdk-perf-1710-all:
3214     - 2
3215     - 3
3216     - 5
3217     - 6
3218     - 7
3219     - 8
3220     - 9
3221     - 10
3222     - 11
3223     - 13
3224   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3225   parameters:
3226   - "throughput"
3227   - "parent"
3228   traces:
3229     hoverinfo: "x+y"
3230     boxpoints: "outliers"
3231     whiskerwidth: 0
3232   layout:
3233     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3234     xaxis:
3235       autorange: True
3236       autotick: False
3237       fixedrange: False
3238       gridcolor: "rgb(238, 238, 238)"
3239       linecolor: "rgb(238, 238, 238)"
3240       linewidth: 1
3241       showgrid: True
3242       showline: True
3243       showticklabels: True
3244       tickcolor: "rgb(238, 238, 238)"
3245       tickmode: "linear"
3246       title: "Indexed Test Cases"
3247       zeroline: False
3248     yaxis:
3249       gridcolor: "rgb(238, 238, 238)'"
3250       hoverformat: ".4s"
3251       linecolor: "rgb(238, 238, 238)"
3252       linewidth: 1
3253       range: []
3254       showgrid: True
3255       showline: True
3256       showticklabels: True
3257       tickcolor: "rgb(238, 238, 238)"
3258       title: "Packets Per Second [pps]"
3259       zeroline: False
3260     boxmode: "group"
3261     boxgroupgap: 0.5
3262     autosize: False
3263     margin:
3264       t: 50
3265       b: 20
3266       l: 50
3267       r: 20
3268     showlegend: True
3269     legend:
3270       orientation: "h"
3271     width: 700
3272     height: 1000
3273
3274 -
3275   type: "plot"
3276   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3277   algorithm: "plot_performance_box"
3278   output-file-type: ".html"
3279   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3280   data:
3281     csit-dpdk-perf-1710-all:
3282     - 2
3283     - 3
3284     - 5
3285     - 6
3286     - 7
3287     - 8
3288     - 9
3289     - 10
3290     - 11
3291     - 13
3292   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3293   parameters:
3294   - "throughput"
3295   - "parent"
3296   traces:
3297     hoverinfo: "x+y"
3298     boxpoints: "outliers"
3299     whiskerwidth: 0
3300   layout:
3301     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3302     xaxis:
3303       autorange: True
3304       autotick: False
3305       fixedrange: False
3306       gridcolor: "rgb(238, 238, 238)"
3307       linecolor: "rgb(238, 238, 238)"
3308       linewidth: 1
3309       showgrid: True
3310       showline: True
3311       showticklabels: True
3312       tickcolor: "rgb(238, 238, 238)"
3313       tickmode: "linear"
3314       title: "Indexed Test Cases"
3315       zeroline: False
3316     yaxis:
3317       gridcolor: "rgb(238, 238, 238)'"
3318       hoverformat: ".4s"
3319       linecolor: "rgb(238, 238, 238)"
3320       linewidth: 1
3321       range: [20000000, 30000000]
3322       showgrid: True
3323       showline: True
3324       showticklabels: True
3325       tickcolor: "rgb(238, 238, 238)"
3326       title: "Packets Per Second [pps]"
3327       zeroline: False
3328     boxmode: "group"
3329     boxgroupgap: 0.5
3330     autosize: False
3331     margin:
3332       t: 50
3333       b: 20
3334       l: 50
3335       r: 20
3336     showlegend: True
3337     legend:
3338       orientation: "h"
3339     width: 700
3340     height: 1000
3341
3342 -
3343   type: "plot"
3344   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3345   algorithm: "plot_performance_box"
3346   output-file-type: ".html"
3347   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3348   data:
3349     csit-dpdk-perf-1710-all:
3350     - 2
3351     - 3
3352     - 5
3353     - 6
3354     - 7
3355     - 8
3356     - 9
3357     - 10
3358     - 11
3359     - 13
3360   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3361   parameters:
3362   - "throughput"
3363   - "parent"
3364   traces:
3365     hoverinfo: "x+y"
3366     boxpoints: "outliers"
3367     whiskerwidth: 0
3368   layout:
3369     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3370     xaxis:
3371       autorange: True
3372       autotick: False
3373       fixedrange: False
3374       gridcolor: "rgb(238, 238, 238)"
3375       linecolor: "rgb(238, 238, 238)"
3376       linewidth: 1
3377       showgrid: True
3378       showline: True
3379       showticklabels: True
3380       tickcolor: "rgb(238, 238, 238)"
3381       tickmode: "linear"
3382       title: "Indexed Test Cases"
3383       zeroline: False
3384     yaxis:
3385       gridcolor: "rgb(238, 238, 238)'"
3386       hoverformat: ".4s"
3387       linecolor: "rgb(238, 238, 238)"
3388       linewidth: 1
3389       range: [20000000, 30000000]
3390       showgrid: True
3391       showline: True
3392       showticklabels: True
3393       tickcolor: "rgb(238, 238, 238)"
3394       title: "Packets Per Second [pps]"
3395       zeroline: False
3396     boxmode: "group"
3397     boxgroupgap: 0.5
3398     autosize: False
3399     margin:
3400       t: 50
3401       b: 20
3402       l: 50
3403       r: 20
3404     showlegend: True
3405     legend:
3406       orientation: "h"
3407     width: 700
3408     height: 1000
3409
3410 # Plot latency
3411
3412 # VPP L2 sel1
3413 -
3414   type: "plot"
3415   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3416   algorithm: "plot_latency_box"
3417   output-file-type: ".html"
3418   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3419   data:
3420     csit-vpp-perf-1710-all:
3421     - 11
3422     - 12
3423     - 13
3424   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3425   parameters:
3426   - "latency"
3427   - "parent"
3428   traces:
3429     boxmean: False
3430   layout:
3431     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3432     xaxis:
3433       autorange: True
3434       autotick: False
3435       fixedrange: False
3436       gridcolor: "rgb(238, 238, 238)"
3437       linecolor: "rgb(238, 238, 238)"
3438       linewidth: 1
3439       showgrid: True
3440       showline: True
3441       showticklabels: True
3442       tickcolor: "rgb(238, 238, 238)"
3443       tickmode: "linear"
3444       title: "Indexed Test Cases"
3445       zeroline: False
3446     yaxis:
3447       gridcolor: "rgb(238, 238, 238)'"
3448       hoverformat: ""
3449       linecolor: "rgb(238, 238, 238)"
3450       linewidth: 1
3451       range: []
3452       showgrid: True
3453       showline: True
3454       showticklabels: True
3455       tickcolor: "rgb(238, 238, 238)"
3456       title: "Latency min/avg/max [uSec]"
3457       zeroline: False
3458     boxmode: "group"
3459     boxgroupgap: 0.5
3460     autosize: False
3461     margin:
3462       t: 50
3463       b: 20
3464       l: 50
3465       r: 20
3466     showlegend: True
3467     legend:
3468       orientation: "h"
3469     width: 700
3470     height: 1000
3471
3472 -
3473   type: "plot"
3474   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3475   algorithm: "plot_latency_box"
3476   output-file-type: ".html"
3477   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3478   data:
3479     csit-vpp-perf-1710-all:
3480     - 11
3481     - 12
3482     - 13
3483   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3484   parameters:
3485   - "latency"
3486   - "parent"
3487   traces:
3488     boxmean: False
3489   layout:
3490     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3491     xaxis:
3492       autorange: True
3493       autotick: False
3494       fixedrange: False
3495       gridcolor: "rgb(238, 238, 238)"
3496       linecolor: "rgb(238, 238, 238)"
3497       linewidth: 1
3498       showgrid: True
3499       showline: True
3500       showticklabels: True
3501       tickcolor: "rgb(238, 238, 238)"
3502       tickmode: "linear"
3503       title: "Indexed Test Cases"
3504       zeroline: False
3505     yaxis:
3506       gridcolor: "rgb(238, 238, 238)'"
3507       hoverformat: ""
3508       linecolor: "rgb(238, 238, 238)"
3509       linewidth: 1
3510       range: []
3511       showgrid: True
3512       showline: True
3513       showticklabels: True
3514       tickcolor: "rgb(238, 238, 238)"
3515       title: "Latency min/avg/max [uSec]"
3516       zeroline: False
3517     boxmode: "group"
3518     boxgroupgap: 0.5
3519     autosize: False
3520     margin:
3521       t: 50
3522       b: 20
3523       l: 50
3524       r: 20
3525     showlegend: True
3526     legend:
3527       orientation: "h"
3528     width: 700
3529     height: 1000
3530
3531 # VPP L2 sel2
3532 -
3533   type: "plot"
3534   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3535   algorithm: "plot_latency_box"
3536   output-file-type: ".html"
3537   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3538   data:
3539     csit-vpp-perf-1710-all:
3540     - 11
3541     - 12
3542     - 13
3543   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3544   parameters:
3545   - "latency"
3546   - "parent"
3547   traces:
3548     boxmean: False
3549   layout:
3550     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3551     xaxis:
3552       autorange: True
3553       autotick: False
3554       fixedrange: False
3555       gridcolor: "rgb(238, 238, 238)"
3556       linecolor: "rgb(238, 238, 238)"
3557       linewidth: 1
3558       showgrid: True
3559       showline: True
3560       showticklabels: True
3561       tickcolor: "rgb(238, 238, 238)"
3562       tickmode: "linear"
3563       title: "Indexed Test Cases"
3564       zeroline: False
3565     yaxis:
3566       gridcolor: "rgb(238, 238, 238)'"
3567       hoverformat: ""
3568       linecolor: "rgb(238, 238, 238)"
3569       linewidth: 1
3570       range: []
3571       showgrid: True
3572       showline: True
3573       showticklabels: True
3574       tickcolor: "rgb(238, 238, 238)"
3575       title: "Latency min/avg/max [uSec]"
3576       zeroline: False
3577     boxmode: "group"
3578     boxgroupgap: 0.5
3579     autosize: False
3580     margin:
3581       t: 50
3582       b: 20
3583       l: 50
3584       r: 20
3585     showlegend: True
3586     legend:
3587       orientation: "h"
3588     width: 700
3589     height: 1000
3590
3591 -
3592   type: "plot"
3593   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3594   algorithm: "plot_latency_box"
3595   output-file-type: ".html"
3596   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3597   data:
3598     csit-vpp-perf-1710-all:
3599     - 11
3600     - 12
3601     - 13
3602   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3603   parameters:
3604   - "latency"
3605   - "parent"
3606   traces:
3607     boxmean: False
3608   layout:
3609     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3610     xaxis:
3611       autorange: True
3612       autotick: False
3613       fixedrange: False
3614       gridcolor: "rgb(238, 238, 238)"
3615       linecolor: "rgb(238, 238, 238)"
3616       linewidth: 1
3617       showgrid: True
3618       showline: True
3619       showticklabels: True
3620       tickcolor: "rgb(238, 238, 238)"
3621       tickmode: "linear"
3622       title: "Indexed Test Cases"
3623       zeroline: False
3624     yaxis:
3625       gridcolor: "rgb(238, 238, 238)'"
3626       hoverformat: ""
3627       linecolor: "rgb(238, 238, 238)"
3628       linewidth: 1
3629       range: []
3630       showgrid: True
3631       showline: True
3632       showticklabels: True
3633       tickcolor: "rgb(238, 238, 238)"
3634       title: "Latency min/avg/max [uSec]"
3635       zeroline: False
3636     boxmode: "group"
3637     boxgroupgap: 0.5
3638     autosize: False
3639     margin:
3640       t: 50
3641       b: 20
3642       l: 50
3643       r: 20
3644     showlegend: True
3645     legend:
3646       orientation: "h"
3647     width: 700
3648     height: 1000
3649
3650 # VPP IP4
3651 -
3652   type: "plot"
3653   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3654   algorithm: "plot_latency_box"
3655   output-file-type: ".html"
3656   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3657   data:
3658     csit-vpp-perf-1710-all:
3659     - 11
3660     - 12
3661     - 13
3662   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3663   parameters:
3664   - "latency"
3665   - "parent"
3666   traces:
3667     boxmean: False
3668   layout:
3669     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3670     xaxis:
3671       autorange: True
3672       autotick: False
3673       fixedrange: False
3674       gridcolor: "rgb(238, 238, 238)"
3675       linecolor: "rgb(238, 238, 238)"
3676       linewidth: 1
3677       showgrid: True
3678       showline: True
3679       showticklabels: True
3680       tickcolor: "rgb(238, 238, 238)"
3681       tickmode: "linear"
3682       title: "Indexed Test Cases"
3683       zeroline: False
3684     yaxis:
3685       gridcolor: "rgb(238, 238, 238)'"
3686       hoverformat: ""
3687       linecolor: "rgb(238, 238, 238)"
3688       linewidth: 1
3689       range: []
3690       showgrid: True
3691       showline: True
3692       showticklabels: True
3693       tickcolor: "rgb(238, 238, 238)"
3694       title: "Latency min/avg/max [uSec]"
3695       zeroline: False
3696     boxmode: "group"
3697     boxgroupgap: 0.5
3698     autosize: False
3699     margin:
3700       t: 50
3701       b: 20
3702       l: 50
3703       r: 20
3704     showlegend: True
3705     legend:
3706       orientation: "h"
3707     width: 700
3708     height: 1000
3709
3710 -
3711   type: "plot"
3712   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3713   algorithm: "plot_latency_box"
3714   output-file-type: ".html"
3715   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3716   data:
3717     csit-vpp-perf-1710-all:
3718     - 11
3719     - 12
3720     - 13
3721   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3722   parameters:
3723   - "latency"
3724   - "parent"
3725   traces:
3726     boxmean: False
3727   layout:
3728     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3729     xaxis:
3730       autorange: True
3731       autotick: False
3732       fixedrange: False
3733       gridcolor: "rgb(238, 238, 238)"
3734       linecolor: "rgb(238, 238, 238)"
3735       linewidth: 1
3736       showgrid: True
3737       showline: True
3738       showticklabels: True
3739       tickcolor: "rgb(238, 238, 238)"
3740       tickmode: "linear"
3741       title: "Indexed Test Cases"
3742       zeroline: False
3743     yaxis:
3744       gridcolor: "rgb(238, 238, 238)'"
3745       hoverformat: ""
3746       linecolor: "rgb(238, 238, 238)"
3747       linewidth: 1
3748       range: []
3749       showgrid: True
3750       showline: True
3751       showticklabels: True
3752       tickcolor: "rgb(238, 238, 238)"
3753       title: "Latency min/avg/max [uSec]"
3754       zeroline: False
3755     boxmode: "group"
3756     boxgroupgap: 0.5
3757     autosize: False
3758     margin:
3759       t: 50
3760       b: 20
3761       l: 50
3762       r: 20
3763     showlegend: True
3764     legend:
3765       orientation: "h"
3766     width: 700
3767     height: 1000
3768
3769 # VPP IP6
3770 -
3771   type: "plot"
3772   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3773   algorithm: "plot_latency_box"
3774   output-file-type: ".html"
3775   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3776   data:
3777     csit-vpp-perf-1710-all:
3778     - 11
3779     - 12
3780     - 13
3781   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3782   parameters:
3783   - "latency"
3784   - "parent"
3785   traces:
3786     boxmean: False
3787   layout:
3788     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3789     xaxis:
3790       autorange: True
3791       autotick: False
3792       fixedrange: False
3793       gridcolor: "rgb(238, 238, 238)"
3794       linecolor: "rgb(238, 238, 238)"
3795       linewidth: 1
3796       showgrid: True
3797       showline: True
3798       showticklabels: True
3799       tickcolor: "rgb(238, 238, 238)"
3800       tickmode: "linear"
3801       title: "Indexed Test Cases"
3802       zeroline: False
3803     yaxis:
3804       gridcolor: "rgb(238, 238, 238)'"
3805       hoverformat: ""
3806       linecolor: "rgb(238, 238, 238)"
3807       linewidth: 1
3808       range: []
3809       showgrid: True
3810       showline: True
3811       showticklabels: True
3812       tickcolor: "rgb(238, 238, 238)"
3813       title: "Latency min/avg/max [uSec]"
3814       zeroline: False
3815     boxmode: "group"
3816     boxgroupgap: 0.5
3817     autosize: False
3818     margin:
3819       t: 50
3820       b: 20
3821       l: 50
3822       r: 20
3823     showlegend: True
3824     legend:
3825       orientation: "h"
3826     width: 700
3827     height: 1000
3828
3829 -
3830   type: "plot"
3831   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3832   algorithm: "plot_latency_box"
3833   output-file-type: ".html"
3834   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3835   data:
3836     csit-vpp-perf-1710-all:
3837     - 11
3838     - 12
3839     - 13
3840   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3841   parameters:
3842   - "latency"
3843   - "parent"
3844   traces:
3845     boxmean: False
3846   layout:
3847     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3848     xaxis:
3849       autorange: True
3850       autotick: False
3851       fixedrange: False
3852       gridcolor: "rgb(238, 238, 238)"
3853       linecolor: "rgb(238, 238, 238)"
3854       linewidth: 1
3855       showgrid: True
3856       showline: True
3857       showticklabels: True
3858       tickcolor: "rgb(238, 238, 238)"
3859       tickmode: "linear"
3860       title: "Indexed Test Cases"
3861       zeroline: False
3862     yaxis:
3863       gridcolor: "rgb(238, 238, 238)'"
3864       hoverformat: ""
3865       linecolor: "rgb(238, 238, 238)"
3866       linewidth: 1
3867       range: []
3868       showgrid: True
3869       showline: True
3870       showticklabels: True
3871       tickcolor: "rgb(238, 238, 238)"
3872       title: "Latency min/avg/max [uSec]"
3873       zeroline: False
3874     boxmode: "group"
3875     boxgroupgap: 0.5
3876     autosize: False
3877     margin:
3878       t: 50
3879       b: 20
3880       l: 50
3881       r: 20
3882     showlegend: True
3883     legend:
3884       orientation: "h"
3885     width: 700
3886     height: 1000
3887
3888 # VPP IP4_overlay
3889 -
3890   type: "plot"
3891   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3892   algorithm: "plot_latency_box"
3893   output-file-type: ".html"
3894   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3895   data:
3896     csit-vpp-perf-1710-all:
3897     - 11
3898     - 12
3899     - 13
3900   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3901   parameters:
3902   - "latency"
3903   - "parent"
3904   traces:
3905     boxmean: False
3906   layout:
3907     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3908     xaxis:
3909       autorange: True
3910       autotick: False
3911       fixedrange: False
3912       gridcolor: "rgb(238, 238, 238)"
3913       linecolor: "rgb(238, 238, 238)"
3914       linewidth: 1
3915       showgrid: True
3916       showline: True
3917       showticklabels: True
3918       tickcolor: "rgb(238, 238, 238)"
3919       tickmode: "linear"
3920       title: "Indexed Test Cases"
3921       zeroline: False
3922     yaxis:
3923       gridcolor: "rgb(238, 238, 238)'"
3924       hoverformat: ""
3925       linecolor: "rgb(238, 238, 238)"
3926       linewidth: 1
3927       range: []
3928       showgrid: True
3929       showline: True
3930       showticklabels: True
3931       tickcolor: "rgb(238, 238, 238)"
3932       title: "Latency min/avg/max [uSec]"
3933       zeroline: False
3934     boxmode: "group"
3935     boxgroupgap: 0.5
3936     autosize: False
3937     margin:
3938       t: 50
3939       b: 20
3940       l: 50
3941       r: 20
3942     showlegend: True
3943     legend:
3944       orientation: "h"
3945     width: 700
3946     height: 1000
3947
3948 -
3949   type: "plot"
3950   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3951   algorithm: "plot_latency_box"
3952   output-file-type: ".html"
3953   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3954   data:
3955     csit-vpp-perf-1710-all:
3956     - 11
3957     - 12
3958     - 13
3959   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3960   parameters:
3961   - "latency"
3962   - "parent"
3963   traces:
3964     boxmean: False
3965   layout:
3966     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3967     xaxis:
3968       autorange: True
3969       autotick: False
3970       fixedrange: False
3971       gridcolor: "rgb(238, 238, 238)"
3972       linecolor: "rgb(238, 238, 238)"
3973       linewidth: 1
3974       showgrid: True
3975       showline: True
3976       showticklabels: True
3977       tickcolor: "rgb(238, 238, 238)"
3978       tickmode: "linear"
3979       title: "Indexed Test Cases"
3980       zeroline: False
3981     yaxis:
3982       gridcolor: "rgb(238, 238, 238)'"
3983       hoverformat: ""
3984       linecolor: "rgb(238, 238, 238)"
3985       linewidth: 1
3986       range: []
3987       showgrid: True
3988       showline: True
3989       showticklabels: True
3990       tickcolor: "rgb(238, 238, 238)"
3991       title: "Latency min/avg/max [uSec]"
3992       zeroline: False
3993     boxmode: "group"
3994     boxgroupgap: 0.5
3995     autosize: False
3996     margin:
3997       t: 50
3998       b: 20
3999       l: 50
4000       r: 20
4001     showlegend: True
4002     legend:
4003       orientation: "h"
4004     width: 700
4005     height: 1000
4006
4007 # VPP IP6_overlay
4008 -
4009   type: "plot"
4010   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
4011   algorithm: "plot_latency_box"
4012   output-file-type: ".html"
4013   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
4014   data:
4015     csit-vpp-perf-1710-all:
4016     - 11
4017     - 12
4018     - 13
4019   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
4020   parameters:
4021   - "latency"
4022   - "parent"
4023   traces:
4024     boxmean: False
4025   layout:
4026     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
4027     xaxis:
4028       autorange: True
4029       autotick: False
4030       fixedrange: False
4031       gridcolor: "rgb(238, 238, 238)"
4032       linecolor: "rgb(238, 238, 238)"
4033       linewidth: 1
4034       showgrid: True
4035       showline: True
4036       showticklabels: True
4037       tickcolor: "rgb(238, 238, 238)"
4038       tickmode: "linear"
4039       title: "Indexed Test Cases"
4040       zeroline: False
4041     yaxis:
4042       gridcolor: "rgb(238, 238, 238)'"
4043       hoverformat: ""
4044       linecolor: "rgb(238, 238, 238)"
4045       linewidth: 1
4046       range: []
4047       showgrid: True
4048       showline: True
4049       showticklabels: True
4050       tickcolor: "rgb(238, 238, 238)"
4051       title: "Latency min/avg/max [uSec]"
4052       zeroline: False
4053     boxmode: "group"
4054     boxgroupgap: 0.5
4055     autosize: False
4056     margin:
4057       t: 50
4058       b: 20
4059       l: 50
4060       r: 20
4061     showlegend: True
4062     legend:
4063       orientation: "h"
4064     width: 700
4065     height: 1000
4066
4067 -
4068   type: "plot"
4069   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
4070   algorithm: "plot_latency_box"
4071   output-file-type: ".html"
4072   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
4073   data:
4074     csit-vpp-perf-1710-all:
4075     - 11
4076     - 12
4077     - 13
4078   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
4079   parameters:
4080   - "latency"
4081   - "parent"
4082   traces:
4083     boxmean: False
4084   layout:
4085     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
4086     xaxis:
4087       autorange: True
4088       autotick: False
4089       fixedrange: False
4090       gridcolor: "rgb(238, 238, 238)"
4091       linecolor: "rgb(238, 238, 238)"
4092       linewidth: 1
4093       showgrid: True
4094       showline: True
4095       showticklabels: True
4096       tickcolor: "rgb(238, 238, 238)"
4097       tickmode: "linear"
4098       title: "Indexed Test Cases"
4099       zeroline: False
4100     yaxis:
4101       gridcolor: "rgb(238, 238, 238)'"
4102       hoverformat: ""
4103       linecolor: "rgb(238, 238, 238)"
4104       linewidth: 1
4105       range: []
4106       showgrid: True
4107       showline: True
4108       showticklabels: True
4109       tickcolor: "rgb(238, 238, 238)"
4110       title: "Latency min/avg/max [uSec]"
4111       zeroline: False
4112     boxmode: "group"
4113     boxgroupgap: 0.5
4114     autosize: False
4115     margin:
4116       t: 50
4117       b: 20
4118       l: 50
4119       r: 20
4120     showlegend: True
4121     legend:
4122       orientation: "h"
4123     width: 700
4124     height: 1000
4125
4126 # VPP VM VHOST
4127 -
4128   type: "plot"
4129   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
4130   algorithm: "plot_latency_box"
4131   output-file-type: ".html"
4132   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
4133   data:
4134     csit-vpp-perf-1710-all:
4135     - 11
4136     - 12
4137     - 13
4138   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
4139   parameters:
4140   - "latency"
4141   - "parent"
4142   traces:
4143     boxmean: False
4144   layout:
4145     title: "64B-1t1c-.*vhost.*-ndrdisc"
4146     xaxis:
4147       autorange: True
4148       autotick: False
4149       fixedrange: False
4150       gridcolor: "rgb(238, 238, 238)"
4151       linecolor: "rgb(238, 238, 238)"
4152       linewidth: 1
4153       showgrid: True
4154       showline: True
4155       showticklabels: True
4156       tickcolor: "rgb(238, 238, 238)"
4157       tickmode: "linear"
4158       title: "Indexed Test Cases"
4159       zeroline: False
4160     yaxis:
4161       gridcolor: "rgb(238, 238, 238)'"
4162       hoverformat: ""