CSIT-755: Presentation and analytics layer
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
42     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
43     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
44     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
45     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
46
47     # Detailed test configurations
48     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
49     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
50     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
51
52     # Detailed tests operational data
53     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
54     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
55
56     # .css patch file to fix tables generated by Sphinx
57     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
58     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
59
60   urls:
61     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
62     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
63
64   make-dirs:
65   # List the directories which are created while preparing the environment.
66   # All directories MUST be defined in "paths" section.
67   - "DIR[WORKING,DATA]"
68   - "DIR[STATIC,VPP]"
69   - "DIR[STATIC,DPDK]"
70   - "DIR[STATIC,ARCH]"
71   - "DIR[BUILD,LATEX]"
72   - "DIR[WORKING,SRC]"
73   - "DIR[WORKING,SRC,STATIC]"
74
75   remove-dirs:
76   # List the directories which are deleted while cleaning the environment.
77   # All directories MUST be defined in "paths" section.
78   #- "DIR[BUILD,HTML]"
79
80   build-dirs:
81   # List the directories where the results (build) is stored.
82   # All directories MUST be defined in "paths" section.
83   - "DIR[BUILD,HTML]"
84   - "DIR[BUILD,LATEX]"
85
86 -
87   type: "debug"
88   general:
89     input-format: "xml"  # zip or xml
90     extract: "robot-plugin/output.xml"  # Only for zip
91   builds:
92     # The files must be in the directory DIR[WORKING,DATA]
93     csit-dpdk-perf-1707-all:
94     -
95       build: 10
96       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
97     -
98       build: 9
99       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
100     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
101     -
102       build: 2
103       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
104     csit-vpp-functional-1707-ubuntu1604-virl:
105     -
106       build: lastSuccessfulBuild
107       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
108     hc2vpp-csit-integration-1707-ubuntu1604:
109     -
110       build: lastSuccessfulBuild
111       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
112     csit-vpp-perf-1707-all:
113     -
114       build: 16
115       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
116     -
117       build: 17
118       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
119
120 -
121   type: "static"
122   src-path: "{DIR[RST]}"
123   dst-path: "{DIR[WORKING,SRC]}"
124
125 -
126   type: "input"  # Ignored in debug mode
127   general:
128     file-name: "robot-plugin.zip"
129     file-format: ".zip"
130     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
131     extract: "robot-plugin/output.xml"
132   builds:
133     csit-vpp-perf-1707-all:
134     - 9
135     - 10
136     - 13
137     - 14
138     - 15
139     - 16
140     - 17
141     - 18
142     - 19
143     - 21
144     - 22
145     csit-dpdk-perf-1707-all:
146     - 1
147     - 2
148     - 3
149     - 4
150     - 5
151     - 6
152     - 7
153     - 8
154     - 9
155     - 10
156     csit-vpp-functional-1707-ubuntu1604-virl:
157     - lastSuccessfulBuild
158     hc2vpp-csit-perf-master-ubuntu1604:
159     - 8
160     - 9
161     hc2vpp-csit-integration-1707-ubuntu1604:
162     - lastSuccessfulBuild
163     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
164     - 2
165
166 -
167   type: "output"
168   format:
169     html:
170     - full
171     pdf:
172     - full
173
174 ################################################################################
175 ###                               T A B L E S                                ###
176 ################################################################################
177
178 -
179   type: "table"
180   title: "Performance improvements"
181   algorithm: "table_performance_improvements"
182   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
183   output-file-ext: ".csv"
184   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
185   columns:
186   -
187     title: "VPP Functionality"
188     data: "template 1"
189   -
190     title: "Test Name"
191     data: "template 2"
192   -
193     title: "VPP-16.09 mean [Mpps]"
194     data: "template 3"
195   -
196     title: "VPP-17.01 mean [Mpps]"
197     data: "template 4"
198   -
199     title: "VPP-17.04 mean [Mpps]"
200     data: "template 5"
201   -
202     title: "VPP-17.07 mean [Mpps]"
203     data: "data csit-vpp-perf-1707-all mean"
204   -
205     title: "VPP-17.07 stdev [Mpps]"
206     data: "data csit-vpp-perf-1707-all stdev"
207   -
208     title: "17.04 to 17.07 change [%]"
209     data: "operation relative_change 5 4"
210   rows: "generated"
211   data:
212     csit-vpp-perf-1707-all:
213     - 9
214     - 10
215     - 13
216     - 14
217     - 15
218     - 16
219     - 17
220     - 18
221     - 19
222     - 21
223   filter: "template"
224   parameters:
225   - "throughput"
226
227 -
228   type: "table"
229   title: "Detailed Test Results - VPP Performance Results"
230   algorithm: "table_details"
231   output-file-ext: ".csv"
232   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
233   columns:
234   -
235     title: "Name"
236     data: "data name"
237   -
238     title: "Documentation"
239     data: "data doc"
240   -
241     title: "Status"
242     data: "data msg"
243   rows: "generated"
244   data:
245     csit-vpp-perf-1707-all:
246     - 22
247   filter: "all"
248   parameters:
249   - "name"
250   - "parent"
251   - "doc"
252   - "msg"
253
254 -
255   type: "table"
256   title: "Test configuration - VPP Performance Test Configs"
257   algorithm: "table_details"
258   output-file-ext: ".csv"
259   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
260   columns:
261   -
262     title: "Name"
263     data: "data name"
264   -
265     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
266     data: "data vat-history"
267   rows: "generated"
268   data:
269     csit-vpp-perf-1707-all:
270     - 22
271   filter: "all"
272   parameters:
273   - "parent"
274   - "name"
275   - "vat-history"
276
277 -
278   type: "table"
279   title: "Test Operational Data - VPP Performance Operational Data"
280   algorithm: "table_details"
281   output-file-ext: ".csv"
282   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
283   columns:
284   -
285     title: "Name"
286     data: "data name"
287   -
288     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
289     data: "data show-run"
290   rows: "generated"
291   data:
292     csit-vpp-perf-1707-all:
293     - 22
294   filter: "all"
295   parameters:
296   - "parent"
297   - "name"
298   - "show-run"
299
300 -
301   type: "table"
302   title: "Detailed Test Results - VPP Functional Results"
303   algorithm: "table_details"
304   output-file-ext: ".csv"
305   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
306   columns:
307   -
308     title: "Name"
309     data: "data name"
310   -
311     title: "Documentation"
312     data: "data doc"
313   -
314     title: "Status"
315     data: "data status"
316   rows: "generated"
317   data:
318     csit-vpp-functional-1707-ubuntu1604-virl:
319     - "lastSuccessfulBuild"
320   filter: "all"
321   parameters:
322   - "name"
323   - "parent"
324   - "doc"
325   - "status"
326
327 -
328   type: "table"
329   title: "Test configuration - VPP Functional Test Configs"
330   algorithm: "table_details"
331   output-file-ext: ".csv"
332   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
333   columns:
334   -
335     title: "Name"
336     data: "data name"
337   -
338     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
339     data: "data vat-history"
340   rows: "generated"
341   data:
342     csit-vpp-functional-1707-ubuntu1604-virl:
343     - "lastSuccessfulBuild"
344   filter: "all"
345   parameters:
346   - "parent"
347   - "name"
348   - "vat-history"
349
350 -
351   type: "table"
352   title: "Detailed Test Results - DPDK Performance Results"
353   algorithm: "table_details"
354   output-file-ext: ".csv"
355   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
356   columns:
357   -
358     title: "Name"
359     data: "data name"
360   -
361     title: "Documentation"
362     data: "data doc"
363   -
364     title: "Status"
365     data: "data msg"
366   rows: "generated"
367   data:
368     csit-dpdk-perf-1707-all:
369     - 10
370   filter: "all"
371   parameters:
372   - "name"
373   - "parent"
374   - "doc"
375   - "msg"
376
377 -
378   type: "table"
379   title: "Detailed Test Results - Honeycomb Functional Results"
380   algorithm: "table_details"
381   output-file-ext: ".csv"
382   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
383   columns:
384   -
385     title: "Name"
386     data: "data name"
387   -
388     title: "Documentation"
389     data: "data doc"
390   -
391     title: "Status"
392     data: "data status"
393   rows: "generated"
394   data:
395     hc2vpp-csit-integration-1707-ubuntu1604:
396     - "lastSuccessfulBuild"
397   filter: "all"
398   parameters:
399   - "name"
400   - "parent"
401   - "doc"
402   - "status"
403
404 -
405   type: "table"
406   title: "Detailed Test Results - NSH SFC Functional Results"
407   algorithm: "table_details"
408   output-file-ext: ".csv"
409   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
410   columns:
411   -
412     title: "Name"
413     data: "data name"
414   -
415     title: "Documentation"
416     data: "data doc"
417   -
418     title: "Status"
419     data: "data status"
420   rows: "generated"
421   data:
422     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
423     - 2
424   filter: "all"
425   parameters:
426   - "name"
427   - "parent"
428   - "doc"
429   - "status"
430
431 ################################################################################
432 ###                                F I L E S                                 ###
433 ################################################################################
434
435 -
436   type: "file"
437   title: "VPP Performance Results"
438   algorithm: "file_test_results"
439   output-file-ext: ".rst"
440   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
441   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
442   dir-tables: "{DIR[DTR,PERF,VPP]}"
443   data:
444     csit-vpp-perf-1707-all:
445     - 22
446   filter: "all"
447   parameters:
448   - "name"
449   - "doc"
450   - "level"
451   data-start-level: 2  # 0, 1, 2, ...
452   chapters-start-level: 2  # 0, 1, 2, ...
453
454 -
455   type: "file"
456   title: "VPP Performance Configuration"
457   algorithm: "file_test_results"
458   output-file-ext: ".rst"
459   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
460   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
461   dir-tables: "{DIR[DTC,PERF,VPP]}"
462   data:
463     csit-vpp-perf-1707-all:
464     - 22
465   filter: "all"
466   parameters:
467   - "name"
468   - "doc"
469   - "level"
470   data-start-level: 2  # 0, 1, 2, ...
471   chapters-start-level: 2  # 0, 1, 2, ...
472
473 -
474   type: "file"
475   title: "VPP Performance Operational Data"
476   algorithm: "file_test_results"
477   output-file-ext: ".rst"
478   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
479   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
480   dir-tables: "{DIR[DTO,PERF,VPP]}"
481   data:
482     csit-vpp-perf-1707-all:
483     - 22
484   filter: "all"
485   parameters:
486   - "name"
487   - "doc"
488   - "level"
489   data-start-level: 2  # 0, 1, 2, ...
490   chapters-start-level: 2  # 0, 1, 2, ...
491
492 -
493   type: "file"
494   title: "VPP Functional Results"
495   algorithm: "file_test_results"
496   output-file-ext: ".rst"
497   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
498   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
499   dir-tables: "{DIR[DTR,FUNC,VPP]}"
500   data:
501     csit-vpp-functional-1707-ubuntu1604-virl:
502     - "lastSuccessfulBuild"
503   filter: "all"
504   parameters:
505   - "name"
506   - "doc"
507   - "level"
508   data-start-level: 3  # 0, 1, 2, ...
509   chapters-start-level: 2  # 0, 1, 2, ...
510
511 -
512   type: "file"
513   title: "VPP Functional Configuration"
514   algorithm: "file_test_results"
515   output-file-ext: ".rst"
516   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
517   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
518   dir-tables: "{DIR[DTC,FUNC,VPP]}"
519   data:
520     csit-vpp-functional-1707-ubuntu1604-virl:
521     - "lastSuccessfulBuild"
522   filter: "all"
523   parameters:
524   - "name"
525   - "doc"
526   - "level"
527   data-start-level: 3  # 0, 1, 2, ...
528   chapters-start-level: 2  # 0, 1, 2, ...
529
530 -
531   type: "file"
532   title: "DPDK Performance Results"
533   algorithm: "file_test_results"
534   output-file-ext: ".rst"
535   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
536   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
537   dir-tables: "{DIR[DTR,PERF,DPDK]}"
538   data:
539     csit-dpdk-perf-1707-all:
540     - 10
541   filter: "all"
542   parameters:
543   - "name"
544   - "doc"
545   - "level"
546   chapters:
547   - "suites"
548   data-start-level: 2  # 0, 1, 2, ...
549   chapters-start-level: 2  # 0, 1, 2, ...
550
551 -
552   type: "file"
553   title: "Honeycomb Functional Results"
554   algorithm: "file_test_results"
555   output-file-ext: ".rst"
556   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
557   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
558   dir-tables: "{DIR[DTR,FUNC,HC]}"
559   data:
560     hc2vpp-csit-integration-1707-ubuntu1604:
561     - "lastSuccessfulBuild"
562   filter: "all"
563   parameters:
564   - "name"
565   - "doc"
566   - "level"
567   chapters:
568   - "suites"
569   data-start-level: 3  # 0, 1, 2, ...
570   chapters-start-level: 2  # 0, 1, 2, ...
571
572 -
573   type: "file"
574   title: "NSH SFC Functional Results"
575   algorithm: "file_test_results"
576   output-file-ext: ".rst"
577   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
578   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
579   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
580   data:
581     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
582     - 2
583   filter: "all"
584   parameters:
585   - "name"
586   - "doc"
587   - "level"
588   chapters:
589   - "suites"
590   data-start-level: 2  # 0, 1, 2, ...
591   chapters-start-level: 2  # 0, 1, 2, ...
592
593 ################################################################################
594 ###                                P L O T S                                 ###
595 ################################################################################
596
597 # Plot packets per second
598
599 # VPP L2 sel1
600 -
601   type: "plot"
602   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
603   algorithm: "plot_performance_box"
604   output-file-type: ".html"
605   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
606   data:
607     csit-vpp-perf-1707-all:
608     - 9
609     - 10
610     - 13
611     - 14
612     - 15
613     - 16
614     - 17
615     - 18
616     - 19
617     - 21
618   # Keep this formatting, the filter is enclosed with " (quotation mark) and
619   # each tag is enclosed with ' (apostrophe).
620   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
621   parameters:
622   - "throughput"
623   - "parent"
624   traces:
625     hoverinfo: "x+y"
626     boxpoints: "outliers"
627     whiskerwidth: 0
628   layout:
629     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
630     xaxis:
631       autorange: True
632       autotick: False
633       fixedrange: False
634       gridcolor: "rgb(238, 238, 238)"
635       linecolor: "rgb(238, 238, 238)"
636       linewidth: 1
637       showgrid: True
638       showline: True
639       showticklabels: True
640       tickcolor: "rgb(238, 238, 238)"
641       tickmode: "linear"
642       title: "Indexed Test Cases"
643       zeroline: False
644     yaxis:
645       gridcolor: "rgb(238, 238, 238)'"
646       hoverformat: ".4s"
647       linecolor: "rgb(238, 238, 238)"
648       linewidth: 1
649       range: []
650       showgrid: True
651       showline: True
652       showticklabels: True
653       tickcolor: "rgb(238, 238, 238)"
654       title: "Packets Per Second [pps]"
655       zeroline: False
656     boxmode: "group"
657     boxgroupgap: 0.5
658     autosize: False
659     margin:
660       t: 50
661       b: 20
662       l: 50
663       r: 20
664     showlegend: True
665     legend:
666       orientation: "h"
667     width: 700
668     height: 1000
669
670 -
671   type: "plot"
672   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
673   algorithm: "plot_performance_box"
674   output-file-type: ".html"
675   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
676   data:
677     csit-vpp-perf-1707-all:
678     - 9
679     - 10
680     - 13
681     - 14
682     - 15
683     - 16
684     - 17
685     - 18
686     - 19
687     - 21
688   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
689   parameters:
690   - "throughput"
691   - "parent"
692   traces:
693     hoverinfo: "x+y"
694     boxpoints: "outliers"
695     whiskerwidth: 0
696   layout:
697     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
698     xaxis:
699       autorange: True
700       autotick: False
701       fixedrange: False
702       gridcolor: "rgb(238, 238, 238)"
703       linecolor: "rgb(238, 238, 238)"
704       linewidth: 1
705       showgrid: True
706       showline: True
707       showticklabels: True
708       tickcolor: "rgb(238, 238, 238)"
709       tickmode: "linear"
710       title: "Indexed Test Cases"
711       zeroline: False
712     yaxis:
713       gridcolor: "rgb(238, 238, 238)'"
714       hoverformat: ".4s"
715       linecolor: "rgb(238, 238, 238)"
716       linewidth: 1
717       range: []
718       showgrid: True
719       showline: True
720       showticklabels: True
721       tickcolor: "rgb(238, 238, 238)"
722       title: "Packets Per Second [pps]"
723       zeroline: False
724     boxmode: "group"
725     boxgroupgap: 0.5
726     autosize: False
727     margin:
728       t: 50
729       b: 20
730       l: 50
731       r: 20
732     showlegend: True
733     legend:
734       orientation: "h"
735     width: 700
736     height: 1000
737
738 -
739   type: "plot"
740   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
741   algorithm: "plot_performance_box"
742   output-file-type: ".html"
743   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
744   data:
745     csit-vpp-perf-1707-all:
746     - 9
747     - 10
748     - 13
749     - 14
750     - 15
751     - 16
752     - 17
753     - 18
754     - 19
755     - 21
756   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
757   parameters:
758   - "throughput"
759   - "parent"
760   traces:
761     hoverinfo: "x+y"
762     boxpoints: "outliers"
763     whiskerwidth: 0
764   layout:
765     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
766     xaxis:
767       autorange: True
768       autotick: False
769       fixedrange: False
770       gridcolor: "rgb(238, 238, 238)"
771       linecolor: "rgb(238, 238, 238)"
772       linewidth: 1
773       showgrid: True
774       showline: True
775       showticklabels: True
776       tickcolor: "rgb(238, 238, 238)"
777       tickmode: "linear"
778       title: "Indexed Test Cases"
779       zeroline: False
780     yaxis:
781       gridcolor: "rgb(238, 238, 238)'"
782       hoverformat: ".4s"
783       linecolor: "rgb(238, 238, 238)"
784       linewidth: 1
785       range: []
786       showgrid: True
787       showline: True
788       showticklabels: True
789       tickcolor: "rgb(238, 238, 238)"
790       title: "Packets Per Second [pps]"
791       zeroline: False
792     boxmode: "group"
793     boxgroupgap: 0.5
794     autosize: False
795     margin:
796       t: 50
797       b: 20
798       l: 50
799       r: 20
800     showlegend: True
801     legend:
802       orientation: "h"
803     width: 700
804     height: 1000
805
806 -
807   type: "plot"
808   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
809   algorithm: "plot_performance_box"
810   output-file-type: ".html"
811   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
812   data:
813     csit-vpp-perf-1707-all:
814     - 9
815     - 10
816     - 13
817     - 14
818     - 15
819     - 16
820     - 17
821     - 18
822     - 19
823     - 21
824   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
825   parameters:
826   - "throughput"
827   - "parent"
828   traces:
829     hoverinfo: "x+y"
830     boxpoints: "outliers"
831     whiskerwidth: 0
832   layout:
833     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
834     xaxis:
835       autorange: True
836       autotick: False
837       fixedrange: False
838       gridcolor: "rgb(238, 238, 238)"
839       linecolor: "rgb(238, 238, 238)"
840       linewidth: 1
841       showgrid: True
842       showline: True
843       showticklabels: True
844       tickcolor: "rgb(238, 238, 238)"
845       tickmode: "linear"
846       title: "Indexed Test Cases"
847       zeroline: False
848     yaxis:
849       gridcolor: "rgb(238, 238, 238)'"
850       hoverformat: ".4s"
851       linecolor: "rgb(238, 238, 238)"
852       linewidth: 1
853       range: []
854       showgrid: True
855       showline: True
856       showticklabels: True
857       tickcolor: "rgb(238, 238, 238)"
858       title: "Packets Per Second [pps]"
859       zeroline: False
860     boxmode: "group"
861     boxgroupgap: 0.5
862     autosize: False
863     margin:
864       t: 50
865       b: 20
866       l: 50
867       r: 20
868     showlegend: True
869     legend:
870       orientation: "h"
871     width: 700
872     height: 1000
873
874 # VPP L2 sel2
875 -
876   type: "plot"
877   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
878   algorithm: "plot_performance_box"
879   output-file-type: ".html"
880   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
881   data:
882     csit-vpp-perf-1707-all:
883     - 9
884     - 10
885     - 13
886     - 14
887     - 15
888     - 16
889     - 17
890     - 18
891     - 19
892     - 21
893   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
894   parameters:
895   - "throughput"
896   - "parent"
897   traces:
898     hoverinfo: "x+y"
899     boxpoints: "outliers"
900     whiskerwidth: 0
901   layout:
902     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
903     xaxis:
904       autorange: True
905       autotick: False
906       fixedrange: False
907       gridcolor: "rgb(238, 238, 238)"
908       linecolor: "rgb(238, 238, 238)"
909       linewidth: 1
910       showgrid: True
911       showline: True
912       showticklabels: True
913       tickcolor: "rgb(238, 238, 238)"
914       tickmode: "linear"
915       title: "Indexed Test Cases"
916       zeroline: False
917     yaxis:
918       gridcolor: "rgb(238, 238, 238)'"
919       hoverformat: ".4s"
920       linecolor: "rgb(238, 238, 238)"
921       linewidth: 1
922       range: [0, 8000000]
923       showgrid: True
924       showline: True
925       showticklabels: True
926       tickcolor: "rgb(238, 238, 238)"
927       title: "Packets Per Second [pps]"
928       zeroline: False
929     boxmode: "group"
930     boxgroupgap: 0.5
931     autosize: False
932     margin:
933       t: 50
934       b: 20
935       l: 50
936       r: 20
937     showlegend: True
938     legend:
939       orientation: "h"
940     width: 700
941     height: 1000
942
943 -
944   type: "plot"
945   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
946   algorithm: "plot_performance_box"
947   output-file-type: ".html"
948   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
949   data:
950     csit-vpp-perf-1707-all:
951     - 9
952     - 10
953     - 13
954     - 14
955     - 15
956     - 16
957     - 17
958     - 18
959     - 19
960     - 21
961   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
962   parameters:
963   - "throughput"
964   - "parent"
965   traces:
966     hoverinfo: "x+y"
967     boxpoints: "outliers"
968     whiskerwidth: 0
969   layout:
970     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
971     xaxis:
972       autorange: True
973       autotick: False
974       fixedrange: False
975       gridcolor: "rgb(238, 238, 238)"
976       linecolor: "rgb(238, 238, 238)"
977       linewidth: 1
978       showgrid: True
979       showline: True
980       showticklabels: True
981       tickcolor: "rgb(238, 238, 238)"
982       tickmode: "linear"
983       title: "Indexed Test Cases"
984       zeroline: False
985     yaxis:
986       gridcolor: "rgb(238, 238, 238)'"
987       hoverformat: ".4s"
988       linecolor: "rgb(238, 238, 238)"
989       linewidth: 1
990       range: [5000000, 12000000]
991       showgrid: True
992       showline: True
993       showticklabels: True
994       tickcolor: "rgb(238, 238, 238)"
995       title: "Packets Per Second [pps]"
996       zeroline: False
997     boxmode: "group"
998     boxgroupgap: 0.5
999     autosize: False
1000     margin:
1001       t: 50
1002       b: 20
1003       l: 50
1004       r: 20
1005     showlegend: True
1006     legend:
1007       orientation: "h"
1008     width: 700
1009     height: 1000
1010
1011 -
1012   type: "plot"
1013   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1014   algorithm: "plot_performance_box"
1015   output-file-type: ".html"
1016   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1017   data:
1018     csit-vpp-perf-1707-all:
1019     - 9
1020     - 10
1021     - 13
1022     - 14
1023     - 15
1024     - 16
1025     - 17
1026     - 18
1027     - 19
1028     - 21
1029   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1030   parameters:
1031   - "throughput"
1032   - "parent"
1033   traces:
1034     hoverinfo: "x+y"
1035     boxpoints: "outliers"
1036     whiskerwidth: 0
1037   layout:
1038     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1039     xaxis:
1040       autorange: True
1041       autotick: False
1042       fixedrange: False
1043       gridcolor: "rgb(238, 238, 238)"
1044       linecolor: "rgb(238, 238, 238)"
1045       linewidth: 1
1046       showgrid: True
1047       showline: True
1048       showticklabels: True
1049       tickcolor: "rgb(238, 238, 238)"
1050       tickmode: "linear"
1051       title: "Indexed Test Cases"
1052       zeroline: False
1053     yaxis:
1054       gridcolor: "rgb(238, 238, 238)'"
1055       hoverformat: ".4s"
1056       linecolor: "rgb(238, 238, 238)"
1057       linewidth: 1
1058       range: [0, 8000000]
1059       showgrid: True
1060       showline: True
1061       showticklabels: True
1062       tickcolor: "rgb(238, 238, 238)"
1063       title: "Packets Per Second [pps]"
1064       zeroline: False
1065     boxmode: "group"
1066     boxgroupgap: 0.5
1067     autosize: False
1068     margin:
1069       t: 50
1070       b: 20
1071       l: 50
1072       r: 20
1073     showlegend: True
1074     legend:
1075       orientation: "h"
1076     width: 700
1077     height: 1000
1078
1079 -
1080   type: "plot"
1081   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1082   algorithm: "plot_performance_box"
1083   output-file-type: ".html"
1084   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1085   data:
1086     csit-vpp-perf-1707-all:
1087     - 9
1088     - 10
1089     - 13
1090     - 14
1091     - 15
1092     - 16
1093     - 17
1094     - 18
1095     - 19
1096     - 21
1097   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1098   parameters:
1099   - "throughput"
1100   - "parent"
1101   traces:
1102     hoverinfo: "x+y"
1103     boxpoints: "outliers"
1104     whiskerwidth: 0
1105   layout:
1106     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1107     xaxis:
1108       autorange: True
1109       autotick: False
1110       fixedrange: False
1111       gridcolor: "rgb(238, 238, 238)"
1112       linecolor: "rgb(238, 238, 238)"
1113       linewidth: 1
1114       showgrid: True
1115       showline: True
1116       showticklabels: True
1117       tickcolor: "rgb(238, 238, 238)"
1118       tickmode: "linear"
1119       title: "Indexed Test Cases"
1120       zeroline: False
1121     yaxis:
1122       gridcolor: "rgb(238, 238, 238)'"
1123       hoverformat: ".4s"
1124       linecolor: "rgb(238, 238, 238)"
1125       linewidth: 1
1126       range: [5000000, 12000000]
1127       showgrid: True
1128       showline: True
1129       showticklabels: True
1130       tickcolor: "rgb(238, 238, 238)"
1131       title: "Packets Per Second [pps]"
1132       zeroline: False
1133     boxmode: "group"
1134     boxgroupgap: 0.5
1135     autosize: False
1136     margin:
1137       t: 50
1138       b: 20
1139       l: 50
1140       r: 20
1141     showlegend: True
1142     legend:
1143       orientation: "h"
1144     width: 700
1145     height: 1000
1146
1147 # VPP IP4
1148 -
1149   type: "plot"
1150   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1151   algorithm: "plot_performance_box"
1152   output-file-type: ".html"
1153   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1154   data:
1155     csit-vpp-perf-1707-all:
1156     - 9
1157     - 10
1158     - 13
1159     - 14
1160     - 15
1161     - 16
1162     - 17
1163     - 18
1164     - 19
1165     - 21
1166   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1167   parameters:
1168   - "throughput"
1169   - "parent"
1170   traces:
1171     hoverinfo: "x+y"
1172     boxpoints: "outliers"
1173     whiskerwidth: 0
1174   layout:
1175     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1176     xaxis:
1177       autorange: True
1178       autotick: False
1179       fixedrange: False
1180       gridcolor: "rgb(238, 238, 238)"
1181       linecolor: "rgb(238, 238, 238)"
1182       linewidth: 1
1183       showgrid: True
1184       showline: True
1185       showticklabels: True
1186       tickcolor: "rgb(238, 238, 238)"
1187       tickmode: "linear"
1188       title: "Indexed Test Cases"
1189       zeroline: False
1190     yaxis:
1191       gridcolor: "rgb(238, 238, 238)'"
1192       hoverformat: ".4s"
1193       linecolor: "rgb(238, 238, 238)"
1194       linewidth: 1
1195       range: []
1196       showgrid: True
1197       showline: True
1198       showticklabels: True
1199       tickcolor: "rgb(238, 238, 238)"
1200       title: "Packets Per Second [pps]"
1201       zeroline: False
1202     boxmode: "group"
1203     boxgroupgap: 0.5
1204     autosize: False
1205     margin:
1206       t: 50
1207       b: 20
1208       l: 50
1209       r: 20
1210     showlegend: True
1211     legend:
1212       orientation: "h"
1213     width: 700
1214     height: 1000
1215
1216 -
1217   type: "plot"
1218   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1219   algorithm: "plot_performance_box"
1220   output-file-type: ".html"
1221   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1222   data:
1223     csit-vpp-perf-1707-all:
1224     - 9
1225     - 10
1226     - 13
1227     - 14
1228     - 15
1229     - 16
1230     - 17
1231     - 18
1232     - 19
1233     - 21
1234   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1235   parameters:
1236   - "throughput"
1237   - "parent"
1238   traces:
1239     hoverinfo: "x+y"
1240     boxpoints: "outliers"
1241     whiskerwidth: 0
1242   layout:
1243     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1244     xaxis:
1245       autorange: True
1246       autotick: False
1247       fixedrange: False
1248       gridcolor: "rgb(238, 238, 238)"
1249       linecolor: "rgb(238, 238, 238)"
1250       linewidth: 1
1251       showgrid: True
1252       showline: True
1253       showticklabels: True
1254       tickcolor: "rgb(238, 238, 238)"
1255       tickmode: "linear"
1256       title: "Indexed Test Cases"
1257       zeroline: False
1258     yaxis:
1259       gridcolor: "rgb(238, 238, 238)'"
1260       hoverformat: ".4s"
1261       linecolor: "rgb(238, 238, 238)"
1262       linewidth: 1
1263       range: []
1264       showgrid: True
1265       showline: True
1266       showticklabels: True
1267       tickcolor: "rgb(238, 238, 238)"
1268       title: "Packets Per Second [pps]"
1269       zeroline: False
1270     boxmode: "group"
1271     boxgroupgap: 0.5
1272     autosize: False
1273     margin:
1274       t: 50
1275       b: 20
1276       l: 50
1277       r: 20
1278     showlegend: True
1279     legend:
1280       orientation: "h"
1281     width: 700
1282     height: 1000
1283
1284 -
1285   type: "plot"
1286   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1287   algorithm: "plot_performance_box"
1288   output-file-type: ".html"
1289   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1290   data:
1291     csit-vpp-perf-1707-all:
1292     - 9
1293     - 10
1294     - 13
1295     - 14
1296     - 15
1297     - 16
1298     - 17
1299     - 18
1300     - 19
1301     - 21
1302   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1303   parameters:
1304   - "throughput"
1305   - "parent"
1306   traces:
1307     hoverinfo: "x+y"
1308     boxpoints: "outliers"
1309     whiskerwidth: 0
1310   layout:
1311     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1312     xaxis:
1313       autorange: True
1314       autotick: False
1315       fixedrange: False
1316       gridcolor: "rgb(238, 238, 238)"
1317       linecolor: "rgb(238, 238, 238)"
1318       linewidth: 1
1319       showgrid: True
1320       showline: True
1321       showticklabels: True
1322       tickcolor: "rgb(238, 238, 238)"
1323       tickmode: "linear"
1324       title: "Indexed Test Cases"
1325       zeroline: False
1326     yaxis:
1327       gridcolor: "rgb(238, 238, 238)'"
1328       hoverformat: ".4s"
1329       linecolor: "rgb(238, 238, 238)"
1330       linewidth: 1
1331       range: []
1332       showgrid: True
1333       showline: True
1334       showticklabels: True
1335       tickcolor: "rgb(238, 238, 238)"
1336       title: "Packets Per Second [pps]"
1337       zeroline: False
1338     boxmode: "group"
1339     boxgroupgap: 0.5
1340     autosize: False
1341     margin:
1342       t: 50
1343       b: 20
1344       l: 50
1345       r: 20
1346     showlegend: True
1347     legend:
1348       orientation: "h"
1349     width: 700
1350     height: 1000
1351
1352 -
1353   type: "plot"
1354   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1355   algorithm: "plot_performance_box"
1356   output-file-type: ".html"
1357   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1358   data:
1359     csit-vpp-perf-1707-all:
1360     - 9
1361     - 10
1362     - 13
1363     - 14
1364     - 15
1365     - 16
1366     - 17
1367     - 18
1368     - 19
1369     - 21
1370   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1371   parameters:
1372   - "throughput"
1373   - "parent"
1374   traces:
1375     hoverinfo: "x+y"
1376     boxpoints: "outliers"
1377     whiskerwidth: 0
1378   layout:
1379     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1380     xaxis:
1381       autorange: True
1382       autotick: False
1383       fixedrange: False
1384       gridcolor: "rgb(238, 238, 238)"
1385       linecolor: "rgb(238, 238, 238)"
1386       linewidth: 1
1387       showgrid: True
1388       showline: True
1389       showticklabels: True
1390       tickcolor: "rgb(238, 238, 238)"
1391       tickmode: "linear"
1392       title: "Indexed Test Cases"
1393       zeroline: False
1394     yaxis:
1395       gridcolor: "rgb(238, 238, 238)'"
1396       hoverformat: ".4s"
1397       linecolor: "rgb(238, 238, 238)"
1398       linewidth: 1
1399       range: []
1400       showgrid: True
1401       showline: True
1402       showticklabels: True
1403       tickcolor: "rgb(238, 238, 238)"
1404       title: "Packets Per Second [pps]"
1405       zeroline: False
1406     boxmode: "group"
1407     boxgroupgap: 0.5
1408     autosize: False
1409     margin:
1410       t: 50
1411       b: 20
1412       l: 50
1413       r: 20
1414     showlegend: True
1415     legend:
1416       orientation: "h"
1417     width: 700
1418     height: 1000
1419
1420 # VPP IP6
1421 -
1422   type: "plot"
1423   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1424   algorithm: "plot_performance_box"
1425   output-file-type: ".html"
1426   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1427   data:
1428     csit-vpp-perf-1707-all:
1429     - 9
1430     - 10
1431     - 13
1432     - 14
1433     - 15
1434     - 16
1435     - 17
1436     - 18
1437     - 19
1438     - 21
1439   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1440   parameters:
1441   - "throughput"
1442   - "parent"
1443   traces:
1444     hoverinfo: "x+y"
1445     boxpoints: "outliers"
1446     whiskerwidth: 0
1447   layout:
1448     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1449     xaxis:
1450       autorange: True
1451       autotick: False
1452       fixedrange: False
1453       gridcolor: "rgb(238, 238, 238)"
1454       linecolor: "rgb(238, 238, 238)"
1455       linewidth: 1
1456       showgrid: True
1457       showline: True
1458       showticklabels: True
1459       tickcolor: "rgb(238, 238, 238)"
1460       tickmode: "linear"
1461       title: "Indexed Test Cases"
1462       zeroline: False
1463     yaxis:
1464       gridcolor: "rgb(238, 238, 238)'"
1465       hoverformat: ".4s"
1466       linecolor: "rgb(238, 238, 238)"
1467       linewidth: 1
1468       range: []
1469       showgrid: True
1470       showline: True
1471       showticklabels: True
1472       tickcolor: "rgb(238, 238, 238)"
1473       title: "Packets Per Second [pps]"
1474       zeroline: False
1475     boxmode: "group"
1476     boxgroupgap: 0.5
1477     autosize: False
1478     margin:
1479       t: 50
1480       b: 20
1481       l: 50
1482       r: 20
1483     showlegend: True
1484     legend:
1485       orientation: "h"
1486     width: 700
1487     height: 1000
1488
1489 -
1490   type: "plot"
1491   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1492   algorithm: "plot_performance_box"
1493   output-file-type: ".html"
1494   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1495   data:
1496     csit-vpp-perf-1707-all:
1497     - 9
1498     - 10
1499     - 13
1500     - 14
1501     - 15
1502     - 16
1503     - 17
1504     - 18
1505     - 19
1506     - 21
1507   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1508   parameters:
1509   - "throughput"
1510   - "parent"
1511   traces:
1512     hoverinfo: "x+y"
1513     boxpoints: "outliers"
1514     whiskerwidth: 0
1515   layout:
1516     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1517     xaxis:
1518       autorange: True
1519       autotick: False
1520       fixedrange: False
1521       gridcolor: "rgb(238, 238, 238)"
1522       linecolor: "rgb(238, 238, 238)"
1523       linewidth: 1
1524       showgrid: True
1525       showline: True
1526       showticklabels: True
1527       tickcolor: "rgb(238, 238, 238)"
1528       tickmode: "linear"
1529       title: "Indexed Test Cases"
1530       zeroline: False
1531     yaxis:
1532       gridcolor: "rgb(238, 238, 238)'"
1533       hoverformat: ".4s"
1534       linecolor: "rgb(238, 238, 238)"
1535       linewidth: 1
1536       range: []
1537       showgrid: True
1538       showline: True
1539       showticklabels: True
1540       tickcolor: "rgb(238, 238, 238)"
1541       title: "Packets Per Second [pps]"
1542       zeroline: False
1543     boxmode: "group"
1544     boxgroupgap: 0.5
1545     autosize: False
1546     margin:
1547       t: 50
1548       b: 20
1549       l: 50
1550       r: 20
1551     showlegend: True
1552     legend:
1553       orientation: "h"
1554     width: 700
1555     height: 1000
1556
1557 -
1558   type: "plot"
1559   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1560   algorithm: "plot_performance_box"
1561   output-file-type: ".html"
1562   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1563   data:
1564     csit-vpp-perf-1707-all:
1565     - 9
1566     - 10
1567     - 13
1568     - 14
1569     - 15
1570     - 16
1571     - 17
1572     - 18
1573     - 19
1574     - 21
1575   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1576   parameters:
1577   - "throughput"
1578   - "parent"
1579   traces:
1580     hoverinfo: "x+y"
1581     boxpoints: "outliers"
1582     whiskerwidth: 0
1583   layout:
1584     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1585     xaxis:
1586       autorange: True
1587       autotick: False
1588       fixedrange: False
1589       gridcolor: "rgb(238, 238, 238)"
1590       linecolor: "rgb(238, 238, 238)"
1591       linewidth: 1
1592       showgrid: True
1593       showline: True
1594       showticklabels: True
1595       tickcolor: "rgb(238, 238, 238)"
1596       tickmode: "linear"
1597       title: "Indexed Test Cases"
1598       zeroline: False
1599     yaxis:
1600       gridcolor: "rgb(238, 238, 238)'"
1601       hoverformat: ".4s"
1602       linecolor: "rgb(238, 238, 238)"
1603       linewidth: 1
1604       range: []
1605       showgrid: True
1606       showline: True
1607       showticklabels: True
1608       tickcolor: "rgb(238, 238, 238)"
1609       title: "Packets Per Second [pps]"
1610       zeroline: False
1611     boxmode: "group"
1612     boxgroupgap: 0.5
1613     autosize: False
1614     margin:
1615       t: 50
1616       b: 20
1617       l: 50
1618       r: 20
1619     showlegend: True
1620     legend:
1621       orientation: "h"
1622     width: 700
1623     height: 1000
1624
1625 -
1626   type: "plot"
1627   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1628   algorithm: "plot_performance_box"
1629   output-file-type: ".html"
1630   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1631   data:
1632     csit-vpp-perf-1707-all:
1633     - 9
1634     - 10
1635     - 13
1636     - 14
1637     - 15
1638     - 16
1639     - 17
1640     - 18
1641     - 19
1642     - 21
1643   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1644   parameters:
1645   - "throughput"
1646   - "parent"
1647   traces:
1648     hoverinfo: "x+y"
1649     boxpoints: "outliers"
1650     whiskerwidth: 0
1651   layout:
1652     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1653     xaxis:
1654       autorange: True
1655       autotick: False
1656       fixedrange: False
1657       gridcolor: "rgb(238, 238, 238)"
1658       linecolor: "rgb(238, 238, 238)"
1659       linewidth: 1
1660       showgrid: True
1661       showline: True
1662       showticklabels: True
1663       tickcolor: "rgb(238, 238, 238)"
1664       tickmode: "linear"
1665       title: "Indexed Test Cases"
1666       zeroline: False
1667     yaxis:
1668       gridcolor: "rgb(238, 238, 238)'"
1669       hoverformat: ".4s"
1670       linecolor: "rgb(238, 238, 238)"
1671       linewidth: 1
1672       range: []
1673       showgrid: True
1674       showline: True
1675       showticklabels: True
1676       tickcolor: "rgb(238, 238, 238)"
1677       title: "Packets Per Second [pps]"
1678       zeroline: False
1679     boxmode: "group"
1680     boxgroupgap: 0.5
1681     autosize: False
1682     margin:
1683       t: 50
1684       b: 20
1685       l: 50
1686       r: 20
1687     showlegend: True
1688     legend:
1689       orientation: "h"
1690     width: 700
1691     height: 1000
1692
1693 # VPP IP4_overlay
1694 -
1695   type: "plot"
1696   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1697   algorithm: "plot_performance_box"
1698   output-file-type: ".html"
1699   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1700   data:
1701     csit-vpp-perf-1707-all:
1702     - 9
1703     - 10
1704     - 13
1705     - 14
1706     - 15
1707     - 16
1708     - 17
1709     - 18
1710     - 19
1711     - 21
1712   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1713   parameters:
1714   - "throughput"
1715   - "parent"
1716   traces:
1717     hoverinfo: "x+y"
1718     boxpoints: "outliers"
1719     whiskerwidth: 0
1720   layout:
1721     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1722     xaxis:
1723       autorange: True
1724       autotick: False
1725       fixedrange: False
1726       gridcolor: "rgb(238, 238, 238)"
1727       linecolor: "rgb(238, 238, 238)"
1728       linewidth: 1
1729       showgrid: True
1730       showline: True
1731       showticklabels: True
1732       tickcolor: "rgb(238, 238, 238)"
1733       tickmode: "linear"
1734       title: "Indexed Test Cases"
1735       zeroline: False
1736     yaxis:
1737       gridcolor: "rgb(238, 238, 238)'"
1738       hoverformat: ".4s"
1739       linecolor: "rgb(238, 238, 238)"
1740       linewidth: 1
1741       range: []
1742       showgrid: True
1743       showline: True
1744       showticklabels: True
1745       tickcolor: "rgb(238, 238, 238)"
1746       title: "Packets Per Second [pps]"
1747       zeroline: False
1748     boxmode: "group"
1749     boxgroupgap: 0.5
1750     autosize: False
1751     margin:
1752       t: 50
1753       b: 20
1754       l: 50
1755       r: 20
1756     showlegend: True
1757     legend:
1758       orientation: "h"
1759     width: 700
1760     height: 1000
1761
1762 -
1763   type: "plot"
1764   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1765   algorithm: "plot_performance_box"
1766   output-file-type: ".html"
1767   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1768   data:
1769     csit-vpp-perf-1707-all:
1770     - 9
1771     - 10
1772     - 13
1773     - 14
1774     - 15
1775     - 16
1776     - 17
1777     - 18
1778     - 19
1779     - 21
1780   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1781   parameters:
1782   - "throughput"
1783   - "parent"
1784   traces:
1785     hoverinfo: "x+y"
1786     boxpoints: "outliers"
1787     whiskerwidth: 0
1788   layout:
1789     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1790     xaxis:
1791       autorange: True
1792       autotick: False
1793       fixedrange: False
1794       gridcolor: "rgb(238, 238, 238)"
1795       linecolor: "rgb(238, 238, 238)"
1796       linewidth: 1
1797       showgrid: True
1798       showline: True
1799       showticklabels: True
1800       tickcolor: "rgb(238, 238, 238)"
1801       tickmode: "linear"
1802       title: "Indexed Test Cases"
1803       zeroline: False
1804     yaxis:
1805       gridcolor: "rgb(238, 238, 238)'"
1806       hoverformat: ".4s"
1807       linecolor: "rgb(238, 238, 238)"
1808       linewidth: 1
1809       range: []
1810       showgrid: True
1811       showline: True
1812       showticklabels: True
1813       tickcolor: "rgb(238, 238, 238)"
1814       title: "Packets Per Second [pps]"
1815       zeroline: False
1816     boxmode: "group"
1817     boxgroupgap: 0.5
1818     autosize: False
1819     margin:
1820       t: 50
1821       b: 20
1822       l: 50
1823       r: 20
1824     showlegend: True
1825     legend:
1826       orientation: "h"
1827     width: 700
1828     height: 1000
1829
1830 -
1831   type: "plot"
1832   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1833   algorithm: "plot_performance_box"
1834   output-file-type: ".html"
1835   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1836   data:
1837     csit-vpp-perf-1707-all:
1838     - 9
1839     - 10
1840     - 13
1841     - 14
1842     - 15
1843     - 16
1844     - 17
1845     - 18
1846     - 19
1847     - 21
1848   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1849   parameters:
1850   - "throughput"
1851   - "parent"
1852   traces:
1853     hoverinfo: "x+y"
1854     boxpoints: "outliers"
1855     whiskerwidth: 0
1856   layout:
1857     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1858     xaxis:
1859       autorange: True
1860       autotick: False
1861       fixedrange: False
1862       gridcolor: "rgb(238, 238, 238)"
1863       linecolor: "rgb(238, 238, 238)"
1864       linewidth: 1
1865       showgrid: True
1866       showline: True
1867       showticklabels: True
1868       tickcolor: "rgb(238, 238, 238)"
1869       tickmode: "linear"
1870       title: "Indexed Test Cases"
1871       zeroline: False
1872     yaxis:
1873       gridcolor: "rgb(238, 238, 238)'"
1874       hoverformat: ".4s"
1875       linecolor: "rgb(238, 238, 238)"
1876       linewidth: 1
1877       range: []
1878       showgrid: True
1879       showline: True
1880       showticklabels: True
1881       tickcolor: "rgb(238, 238, 238)"
1882       title: "Packets Per Second [pps]"
1883       zeroline: False
1884     boxmode: "group"
1885     boxgroupgap: 0.5
1886     autosize: False
1887     margin:
1888       t: 50
1889       b: 20
1890       l: 50
1891       r: 20
1892     showlegend: True
1893     legend:
1894       orientation: "h"
1895     width: 700
1896     height: 1000
1897
1898 -
1899   type: "plot"
1900   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1901   algorithm: "plot_performance_box"
1902   output-file-type: ".html"
1903   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1904   data:
1905     csit-vpp-perf-1707-all:
1906     - 9
1907     - 10
1908     - 13
1909     - 14
1910     - 15
1911     - 16
1912     - 17
1913     - 18
1914     - 19
1915     - 21
1916   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1917   parameters:
1918   - "throughput"
1919   - "parent"
1920   traces:
1921     hoverinfo: "x+y"
1922     boxpoints: "outliers"
1923     whiskerwidth: 0
1924   layout:
1925     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1926     xaxis:
1927       autorange: True
1928       autotick: False
1929       fixedrange: False
1930       gridcolor: "rgb(238, 238, 238)"
1931       linecolor: "rgb(238, 238, 238)"
1932       linewidth: 1
1933       showgrid: True
1934       showline: True
1935       showticklabels: True
1936       tickcolor: "rgb(238, 238, 238)"
1937       tickmode: "linear"
1938       title: "Indexed Test Cases"
1939       zeroline: False
1940     yaxis:
1941       gridcolor: "rgb(238, 238, 238)'"
1942       hoverformat: ".4s"
1943       linecolor: "rgb(238, 238, 238)"
1944       linewidth: 1
1945       range: []
1946       showgrid: True
1947       showline: True
1948       showticklabels: True
1949       tickcolor: "rgb(238, 238, 238)"
1950       title: "Packets Per Second [pps]"
1951       zeroline: False
1952     boxmode: "group"
1953     boxgroupgap: 0.5
1954     autosize: False
1955     margin:
1956       t: 50
1957       b: 20
1958       l: 50
1959       r: 20
1960     showlegend: True
1961     legend:
1962       orientation: "h"
1963     width: 700
1964     height: 1000
1965
1966 # VPP IP6_overlay
1967 -
1968   type: "plot"
1969   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1970   algorithm: "plot_performance_box"
1971   output-file-type: ".html"
1972   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1973   data:
1974     csit-vpp-perf-1707-all:
1975     - 9
1976     - 10
1977     - 13
1978     - 14
1979     - 15
1980     - 16
1981     - 17
1982     - 18
1983     - 19
1984     - 21
1985   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1986   parameters:
1987   - "throughput"
1988   - "parent"
1989   traces:
1990     hoverinfo: "x+y"
1991     boxpoints: "outliers"
1992     whiskerwidth: 0
1993   layout:
1994     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1995     xaxis:
1996       autorange: True
1997       autotick: False
1998       fixedrange: False
1999       gridcolor: "rgb(238, 238, 238)"
2000       linecolor: "rgb(238, 238, 238)"
2001       linewidth: 1
2002       showgrid: True
2003       showline: True
2004       showticklabels: True
2005       tickcolor: "rgb(238, 238, 238)"
2006       tickmode: "linear"
2007       title: "Indexed Test Cases"
2008       zeroline: False
2009     yaxis:
2010       gridcolor: "rgb(238, 238, 238)'"
2011       hoverformat: ".4s"
2012       linecolor: "rgb(238, 238, 238)"
2013       linewidth: 1
2014       range: []
2015       showgrid: True
2016       showline: True
2017       showticklabels: True
2018       tickcolor: "rgb(238, 238, 238)"
2019       title: "Packets Per Second [pps]"
2020       zeroline: False
2021     boxmode: "group"
2022     boxgroupgap: 0.5
2023     autosize: False
2024     margin:
2025       t: 50
2026       b: 20
2027       l: 50
2028       r: 20
2029     showlegend: True
2030     legend:
2031       orientation: "h"
2032     width: 700
2033     height: 1000
2034
2035 -
2036   type: "plot"
2037   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2038   algorithm: "plot_performance_box"
2039   output-file-type: ".html"
2040   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2041   data:
2042     csit-vpp-perf-1707-all:
2043     - 9
2044     - 10
2045     - 13
2046     - 14
2047     - 15
2048     - 16
2049     - 17
2050     - 18
2051     - 19
2052     - 21
2053   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2054   parameters:
2055   - "throughput"
2056   - "parent"
2057   traces:
2058     hoverinfo: "x+y"
2059     boxpoints: "outliers"
2060     whiskerwidth: 0
2061   layout:
2062     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2063     xaxis:
2064       autorange: True
2065       autotick: False
2066       fixedrange: False
2067       gridcolor: "rgb(238, 238, 238)"
2068       linecolor: "rgb(238, 238, 238)"
2069       linewidth: 1
2070       showgrid: True
2071       showline: True
2072       showticklabels: True
2073       tickcolor: "rgb(238, 238, 238)"
2074       tickmode: "linear"
2075       title: "Indexed Test Cases"
2076       zeroline: False
2077     yaxis:
2078       gridcolor: "rgb(238, 238, 238)'"
2079       hoverformat: ".4s"
2080       linecolor: "rgb(238, 238, 238)"
2081       linewidth: 1
2082       range: []
2083       showgrid: True
2084       showline: True
2085       showticklabels: True
2086       tickcolor: "rgb(238, 238, 238)"
2087       title: "Packets Per Second [pps]"
2088       zeroline: False
2089     boxmode: "group"
2090     boxgroupgap: 0.5
2091     autosize: False
2092     margin:
2093       t: 50
2094       b: 20
2095       l: 50
2096       r: 20
2097     showlegend: True
2098     legend:
2099       orientation: "h"
2100     width: 700
2101     height: 1000
2102
2103 -
2104   type: "plot"
2105   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2106   algorithm: "plot_performance_box"
2107   output-file-type: ".html"
2108   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2109   data:
2110     csit-vpp-perf-1707-all:
2111     - 9
2112     - 10
2113     - 13
2114     - 14
2115     - 15
2116     - 16
2117     - 17
2118     - 18
2119     - 19
2120     - 21
2121   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2122   parameters:
2123   - "throughput"
2124   - "parent"
2125   traces:
2126     hoverinfo: "x+y"
2127     boxpoints: "outliers"
2128     whiskerwidth: 0
2129   layout:
2130     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2131     xaxis:
2132       autorange: True
2133       autotick: False
2134       fixedrange: False
2135       gridcolor: "rgb(238, 238, 238)"
2136       linecolor: "rgb(238, 238, 238)"
2137       linewidth: 1
2138       showgrid: True
2139       showline: True
2140       showticklabels: True
2141       tickcolor: "rgb(238, 238, 238)"
2142       tickmode: "linear"
2143       title: "Indexed Test Cases"
2144       zeroline: False
2145     yaxis:
2146       gridcolor: "rgb(238, 238, 238)'"
2147       hoverformat: ".4s"
2148       linecolor: "rgb(238, 238, 238)"
2149       linewidth: 1
2150       range: []
2151       showgrid: True
2152       showline: True
2153       showticklabels: True
2154       tickcolor: "rgb(238, 238, 238)"
2155       title: "Packets Per Second [pps]"
2156       zeroline: False
2157     boxmode: "group"
2158     boxgroupgap: 0.5
2159     autosize: False
2160     margin:
2161       t: 50
2162       b: 20
2163       l: 50
2164       r: 20
2165     showlegend: True
2166     legend:
2167       orientation: "h"
2168     width: 700
2169     height: 1000
2170
2171 -
2172   type: "plot"
2173   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2174   algorithm: "plot_performance_box"
2175   output-file-type: ".html"
2176   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2177   data:
2178     csit-vpp-perf-1707-all:
2179     - 9
2180     - 10
2181     - 13
2182     - 14
2183     - 15
2184     - 16
2185     - 17
2186     - 18
2187     - 19
2188     - 21
2189   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2190   parameters:
2191   - "throughput"
2192   - "parent"
2193   traces:
2194     hoverinfo: "x+y"
2195     boxpoints: "outliers"
2196     whiskerwidth: 0
2197   layout:
2198     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2199     xaxis:
2200       autorange: True
2201       autotick: False
2202       fixedrange: False
2203       gridcolor: "rgb(238, 238, 238)"
2204       linecolor: "rgb(238, 238, 238)"
2205       linewidth: 1
2206       showgrid: True
2207       showline: True
2208       showticklabels: True
2209       tickcolor: "rgb(238, 238, 238)"
2210       tickmode: "linear"
2211       title: "Indexed Test Cases"
2212       zeroline: False
2213     yaxis:
2214       gridcolor: "rgb(238, 238, 238)'"
2215       hoverformat: ".4s"
2216       linecolor: "rgb(238, 238, 238)"
2217       linewidth: 1
2218       range: []
2219       showgrid: True
2220       showline: True
2221       showticklabels: True
2222       tickcolor: "rgb(238, 238, 238)"
2223       title: "Packets Per Second [pps]"
2224       zeroline: False
2225     boxmode: "group"
2226     boxgroupgap: 0.5
2227     autosize: False
2228     margin:
2229       t: 50
2230       b: 20
2231       l: 50
2232       r: 20
2233     showlegend: True
2234     legend:
2235       orientation: "h"
2236     width: 700
2237     height: 1000
2238
2239 # VPP VM VHOST
2240 -
2241   type: "plot"
2242   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2243   algorithm: "plot_performance_box"
2244   output-file-type: ".html"
2245   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2246   data:
2247     csit-vpp-perf-1707-all:
2248     - 9
2249     - 10
2250     - 13
2251     - 14
2252     - 15
2253     - 16
2254     - 17
2255     - 18
2256     - 19
2257     - 21
2258   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2259   parameters:
2260   - "throughput"
2261   - "parent"
2262   traces:
2263     hoverinfo: "x+y"
2264     boxpoints: "outliers"
2265     whiskerwidth: 0
2266   layout:
2267     title: "64B-1t1c-.*vhost.*-ndrdisc"
2268     xaxis:
2269       autorange: True
2270       autotick: False
2271       fixedrange: False
2272       gridcolor: "rgb(238, 238, 238)"
2273       linecolor: "rgb(238, 238, 238)"
2274       linewidth: 1
2275       showgrid: True
2276       showline: True
2277       showticklabels: True
2278       tickcolor: "rgb(238, 238, 238)"
2279       tickmode: "linear"
2280       title: "Indexed Test Cases"
2281       zeroline: False
2282     yaxis:
2283       gridcolor: "rgb(238, 238, 238)'"
2284       hoverformat: ".4s"
2285       linecolor: "rgb(238, 238, 238)"
2286       linewidth: 1
2287       range: []
2288       showgrid: True
2289       showline: True
2290       showticklabels: True
2291       tickcolor: "rgb(238, 238, 238)"
2292       title: "Packets Per Second [pps]"
2293       zeroline: False
2294     boxmode: "group"
2295     boxgroupgap: 0.5
2296     autosize: False
2297     margin:
2298       t: 50
2299       b: 20
2300       l: 50
2301       r: 20
2302     showlegend: True
2303     legend:
2304       orientation: "h"
2305     width: 700
2306     height: 1000
2307
2308 -
2309   type: "plot"
2310   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2311   algorithm: "plot_performance_box"
2312   output-file-type: ".html"
2313   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2314   data:
2315     csit-vpp-perf-1707-all:
2316     - 9
2317     - 10
2318     - 13
2319     - 14
2320     - 15
2321     - 16
2322     - 17
2323     - 18
2324     - 19
2325     - 21
2326   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2327   parameters:
2328   - "throughput"
2329   - "parent"
2330   traces:
2331     hoverinfo: "x+y"
2332     boxpoints: "outliers"
2333     whiskerwidth: 0
2334   layout:
2335     title: "64B-2t2c-.*vhost.*-ndrdisc"
2336     xaxis:
2337       autorange: True
2338       autotick: False
2339       fixedrange: False
2340       gridcolor: "rgb(238, 238, 238)"
2341       linecolor: "rgb(238, 238, 238)"
2342       linewidth: 1
2343       showgrid: True
2344       showline: True
2345       showticklabels: True
2346       tickcolor: "rgb(238, 238, 238)"
2347       tickmode: "linear"
2348       title: "Indexed Test Cases"
2349       zeroline: False
2350     yaxis:
2351       gridcolor: "rgb(238, 238, 238)'"
2352       hoverformat: ".4s"
2353       linecolor: "rgb(238, 238, 238)"
2354       linewidth: 1
2355       range: []
2356       showgrid: True
2357       showline: True
2358       showticklabels: True
2359       tickcolor: "rgb(238, 238, 238)"
2360       title: "Packets Per Second [pps]"
2361       zeroline: False
2362     boxmode: "group"
2363     boxgroupgap: 0.5
2364     autosize: False
2365     margin:
2366       t: 50
2367       b: 20
2368       l: 50
2369       r: 20
2370     showlegend: True
2371     legend:
2372       orientation: "h"
2373     width: 700
2374     height: 1000
2375
2376 -
2377   type: "plot"
2378   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2379   algorithm: "plot_performance_box"
2380   output-file-type: ".html"
2381   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2382   data:
2383     csit-vpp-perf-1707-all:
2384     - 9
2385     - 10
2386     - 13
2387     - 14
2388     - 15
2389     - 16
2390     - 17
2391     - 18
2392     - 19
2393     - 21
2394   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2395   parameters:
2396   - "throughput"
2397   - "parent"
2398   traces:
2399     hoverinfo: "x+y"
2400     boxpoints: "outliers"
2401     whiskerwidth: 0
2402   layout:
2403     title: "64B-1t1c-.*vhost.*-pdrdisc"
2404     xaxis:
2405       autorange: True
2406       autotick: False
2407       fixedrange: False
2408       gridcolor: "rgb(238, 238, 238)"
2409       linecolor: "rgb(238, 238, 238)"
2410       linewidth: 1
2411       showgrid: True
2412       showline: True
2413       showticklabels: True
2414       tickcolor: "rgb(238, 238, 238)"
2415       tickmode: "linear"
2416       title: "Indexed Test Cases"
2417       zeroline: False
2418     yaxis:
2419       gridcolor: "rgb(238, 238, 238)'"
2420       hoverformat: ".4s"
2421       linecolor: "rgb(238, 238, 238)"
2422       linewidth: 1
2423       range: []
2424       showgrid: True
2425       showline: True
2426       showticklabels: True
2427       tickcolor: "rgb(238, 238, 238)"
2428       title: "Packets Per Second [pps]"
2429       zeroline: False
2430     boxmode: "group"
2431     boxgroupgap: 0.5
2432     autosize: False
2433     margin:
2434       t: 50
2435       b: 20
2436       l: 50
2437       r: 20
2438     showlegend: True
2439     legend:
2440       orientation: "h"
2441     width: 700
2442     height: 1000
2443
2444 -
2445   type: "plot"
2446   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2447   algorithm: "plot_performance_box"
2448   output-file-type: ".html"
2449   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2450   data:
2451     csit-vpp-perf-1707-all:
2452     - 9
2453     - 10
2454     - 13
2455     - 14
2456     - 15
2457     - 16
2458     - 17
2459     - 18
2460     - 19
2461     - 21
2462   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2463   parameters:
2464   - "throughput"
2465   - "parent"
2466   traces:
2467     hoverinfo: "x+y"
2468     boxpoints: "outliers"
2469     whiskerwidth: 0
2470   layout:
2471     title: "64B-2t2c-.*vhost.*-pdrdisc"
2472     xaxis:
2473       autorange: True
2474       autotick: False
2475       fixedrange: False
2476       gridcolor: "rgb(238, 238, 238)"
2477       linecolor: "rgb(238, 238, 238)"
2478       linewidth: 1
2479       showgrid: True
2480       showline: True
2481       showticklabels: True
2482       tickcolor: "rgb(238, 238, 238)"
2483       tickmode: "linear"
2484       title: "Indexed Test Cases"
2485       zeroline: False
2486     yaxis:
2487       gridcolor: "rgb(238, 238, 238)'"
2488       hoverformat: ".4s"
2489       linecolor: "rgb(238, 238, 238)"
2490       linewidth: 1
2491       range: []
2492       showgrid: True
2493       showline: True
2494       showticklabels: True
2495       tickcolor: "rgb(238, 238, 238)"
2496       title: "Packets Per Second [pps]"
2497       zeroline: False
2498     boxmode: "group"
2499     boxgroupgap: 0.5
2500     autosize: False
2501     margin:
2502       t: 50
2503       b: 20
2504       l: 50
2505       r: 20
2506     showlegend: True
2507     legend:
2508       orientation: "h"
2509     width: 700
2510     height: 1000
2511
2512 # VPP VM VHOST SELECTION
2513 -
2514   type: "plot"
2515   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2516   algorithm: "plot_performance_box"
2517   output-file-type: ".html"
2518   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2519   data:
2520     csit-vpp-perf-1707-all:
2521     - 9
2522     - 10
2523     - 13
2524     - 14
2525     - 15
2526     - 16
2527     - 17
2528     - 18
2529     - 19
2530     - 21
2531   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2532   parameters:
2533   - "throughput"
2534   - "parent"
2535   traces:
2536     hoverinfo: "x+y"
2537     boxpoints: "outliers"
2538     whiskerwidth: 0
2539   layout:
2540     title: "64B-1t1c-.*vhost.*-ndrdisc"
2541     xaxis:
2542       autorange: True
2543       autotick: False
2544       fixedrange: False
2545       gridcolor: "rgb(238, 238, 238)"
2546       linecolor: "rgb(238, 238, 238)"
2547       linewidth: 1
2548       showgrid: True
2549       showline: True
2550       showticklabels: True
2551       tickcolor: "rgb(238, 238, 238)"
2552       tickmode: "linear"
2553       title: "Indexed Test Cases"
2554       zeroline: False
2555     yaxis:
2556       gridcolor: "rgb(238, 238, 238)'"
2557       hoverformat: ".4s"
2558       linecolor: "rgb(238, 238, 238)"
2559       linewidth: 1
2560       range: []
2561       showgrid: True
2562       showline: True
2563       showticklabels: True
2564       tickcolor: "rgb(238, 238, 238)"
2565       title: "Packets Per Second [pps]"
2566       zeroline: False
2567     boxmode: "group"
2568     boxgroupgap: 0.5
2569     autosize: False
2570     margin:
2571       t: 50
2572       b: 20
2573       l: 50
2574       r: 20
2575     showlegend: True
2576     legend:
2577       orientation: "h"
2578     width: 700
2579     height: 1000
2580
2581 -
2582   type: "plot"
2583   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2584   algorithm: "plot_performance_box"
2585   output-file-type: ".html"
2586   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2587   data:
2588     csit-vpp-perf-1707-all:
2589     - 9
2590     - 10
2591     - 13
2592     - 14
2593     - 15
2594     - 16
2595     - 17
2596     - 18
2597     - 19
2598     - 21
2599   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2600   parameters:
2601   - "throughput"
2602   - "parent"
2603   traces:
2604     hoverinfo: "x+y"
2605     boxpoints: "outliers"
2606     whiskerwidth: 0
2607   layout:
2608     title: "64B-2t2c-.*vhost.*-ndrdisc"
2609     xaxis:
2610       autorange: True
2611       autotick: False
2612       fixedrange: False
2613       gridcolor: "rgb(238, 238, 238)"
2614       linecolor: "rgb(238, 238, 238)"
2615       linewidth: 1
2616       showgrid: True
2617       showline: True
2618       showticklabels: True
2619       tickcolor: "rgb(238, 238, 238)"
2620       tickmode: "linear"
2621       title: "Indexed Test Cases"
2622       zeroline: False
2623     yaxis:
2624       gridcolor: "rgb(238, 238, 238)'"
2625       hoverformat: ".4s"
2626       linecolor: "rgb(238, 238, 238)"
2627       linewidth: 1
2628       range: []
2629       showgrid: True
2630       showline: True
2631       showticklabels: True
2632       tickcolor: "rgb(238, 238, 238)"
2633       title: "Packets Per Second [pps]"
2634       zeroline: False
2635     boxmode: "group"
2636     boxgroupgap: 0.5
2637     autosize: False
2638     margin:
2639       t: 50
2640       b: 20
2641       l: 50
2642       r: 20
2643     showlegend: True
2644     legend:
2645       orientation: "h"
2646     width: 700
2647     height: 1000
2648
2649 -
2650   type: "plot"
2651   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2652   algorithm: "plot_performance_box"
2653   output-file-type: ".html"
2654   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2655   data:
2656     csit-vpp-perf-1707-all:
2657     - 9
2658     - 10
2659     - 13
2660     - 14
2661     - 15
2662     - 16
2663     - 17
2664     - 18
2665     - 19
2666     - 21
2667   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2668   parameters:
2669   - "throughput"
2670   - "parent"
2671   traces:
2672     hoverinfo: "x+y"
2673     boxpoints: "outliers"
2674     whiskerwidth: 0
2675   layout:
2676     title: "64B-1t1c-.*vhost.*-pdrdisc"
2677     xaxis:
2678       autorange: True
2679       autotick: False
2680       fixedrange: False
2681       gridcolor: "rgb(238, 238, 238)"
2682       linecolor: "rgb(238, 238, 238)"
2683       linewidth: 1
2684       showgrid: True
2685       showline: True
2686       showticklabels: True
2687       tickcolor: "rgb(238, 238, 238)"
2688       tickmode: "linear"
2689       title: "Indexed Test Cases"
2690       zeroline: False
2691     yaxis:
2692       gridcolor: "rgb(238, 238, 238)'"
2693       hoverformat: ".4s"
2694       linecolor: "rgb(238, 238, 238)"
2695       linewidth: 1
2696       range: []
2697       showgrid: True
2698       showline: True
2699       showticklabels: True
2700       tickcolor: "rgb(238, 238, 238)"
2701       title: "Packets Per Second [pps]"
2702       zeroline: False
2703     boxmode: "group"
2704     boxgroupgap: 0.5
2705     autosize: False
2706     margin:
2707       t: 50
2708       b: 20
2709       l: 50
2710       r: 20
2711     showlegend: True
2712     legend:
2713       orientation: "h"
2714     width: 700
2715     height: 1000
2716
2717 -
2718   type: "plot"
2719   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2720   algorithm: "plot_performance_box"
2721   output-file-type: ".html"
2722   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2723   data:
2724     csit-vpp-perf-1707-all:
2725     - 9
2726     - 10
2727     - 13
2728     - 14
2729     - 15
2730     - 16
2731     - 17
2732     - 18
2733     - 19
2734     - 21
2735   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2736   parameters:
2737   - "throughput"
2738   - "parent"
2739   traces:
2740     hoverinfo: "x+y"
2741     boxpoints: "outliers"
2742     whiskerwidth: 0
2743   layout:
2744     title: "64B-2t2c-.*vhost.*-pdrdisc"
2745     xaxis:
2746       autorange: True
2747       autotick: False
2748       fixedrange: False
2749       gridcolor: "rgb(238, 238, 238)"
2750       linecolor: "rgb(238, 238, 238)"
2751       linewidth: 1
2752       showgrid: True
2753       showline: True
2754       showticklabels: True
2755       tickcolor: "rgb(238, 238, 238)"
2756       tickmode: "linear"
2757       title: "Indexed Test Cases"
2758       zeroline: False
2759     yaxis:
2760       gridcolor: "rgb(238, 238, 238)'"
2761       hoverformat: ".4s"
2762       linecolor: "rgb(238, 238, 238)"
2763       linewidth: 1
2764       range: []
2765       showgrid: True
2766       showline: True
2767       showticklabels: True
2768       tickcolor: "rgb(238, 238, 238)"
2769       title: "Packets Per Second [pps]"
2770       zeroline: False
2771     boxmode: "group"
2772     boxgroupgap: 0.5
2773     autosize: False
2774     margin:
2775       t: 50
2776       b: 20
2777       l: 50
2778       r: 20
2779     showlegend: True
2780     legend:
2781       orientation: "h"
2782     width: 700
2783     height: 1000
2784
2785 # VPP CRYPTO
2786 -
2787   type: "plot"
2788   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2789   algorithm: "plot_performance_box"
2790   output-file-type: ".html"
2791   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2792   data:
2793     csit-vpp-perf-1707-all:
2794     - 9
2795     - 10
2796     - 13
2797     - 14
2798     - 15
2799     - 16
2800     - 17
2801     - 18
2802     - 19
2803     - 21
2804   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2805   parameters:
2806   - "throughput"
2807   - "parent"
2808   traces:
2809     hoverinfo: "x+y"
2810     boxpoints: "outliers"
2811     whiskerwidth: 0
2812   layout:
2813     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2814     xaxis:
2815       autorange: True
2816       autotick: False
2817       fixedrange: False
2818       gridcolor: "rgb(238, 238, 238)"
2819       linecolor: "rgb(238, 238, 238)"
2820       linewidth: 1
2821       showgrid: True
2822       showline: True
2823       showticklabels: True
2824       tickcolor: "rgb(238, 238, 238)"
2825       tickmode: "linear"
2826       title: "Indexed Test Cases"
2827       zeroline: False
2828     yaxis:
2829       gridcolor: "rgb(238, 238, 238)'"
2830       hoverformat: ".4s"
2831       linecolor: "rgb(238, 238, 238)"
2832       linewidth: 1
2833       range: []
2834       showgrid: True
2835       showline: True
2836       showticklabels: True
2837       tickcolor: "rgb(238, 238, 238)"
2838       title: "Packets Per Second [pps]"
2839       zeroline: False
2840     boxmode: "group"
2841     boxgroupgap: 0.5
2842     autosize: False
2843     margin:
2844       t: 50
2845       b: 20
2846       l: 50
2847       r: 20
2848     showlegend: True
2849     legend:
2850       orientation: "h"
2851     width: 700
2852     height: 1000
2853
2854 -
2855   type: "plot"
2856   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2857   algorithm: "plot_performance_box"
2858   output-file-type: ".html"
2859   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2860   data:
2861     csit-vpp-perf-1707-all:
2862     - 9
2863     - 10
2864     - 13
2865     - 14
2866     - 15
2867     - 16
2868     - 17
2869     - 18
2870     - 19
2871     - 21
2872   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2873   parameters:
2874   - "throughput"
2875   - "parent"
2876   traces:
2877     hoverinfo: "x+y"
2878     boxpoints: "outliers"
2879     whiskerwidth: 0
2880   layout:
2881     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2882     xaxis:
2883       autorange: True
2884       autotick: False
2885       fixedrange: False
2886       gridcolor: "rgb(238, 238, 238)"
2887       linecolor: "rgb(238, 238, 238)"
2888       linewidth: 1
2889       showgrid: True
2890       showline: True
2891       showticklabels: True
2892       tickcolor: "rgb(238, 238, 238)"
2893       tickmode: "linear"
2894       title: "Indexed Test Cases"
2895       zeroline: False
2896     yaxis:
2897       gridcolor: "rgb(238, 238, 238)'"
2898       hoverformat: ".4s"
2899       linecolor: "rgb(238, 238, 238)"
2900       linewidth: 1
2901       range: []
2902       showgrid: True
2903       showline: True
2904       showticklabels: True
2905       tickcolor: "rgb(238, 238, 238)"
2906       title: "Packets Per Second [pps]"
2907       zeroline: False
2908     boxmode: "group"
2909     boxgroupgap: 0.5
2910     autosize: False
2911     margin:
2912       t: 50
2913       b: 20
2914       l: 50
2915       r: 20
2916     showlegend: True
2917     legend:
2918       orientation: "h"
2919     width: 700
2920     height: 1000
2921
2922 -
2923   type: "plot"
2924   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2925   algorithm: "plot_performance_box"
2926   output-file-type: ".html"
2927   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2928   data:
2929     csit-vpp-perf-1707-all:
2930     - 9
2931     - 10
2932     - 13
2933     - 14
2934     - 15
2935     - 16
2936     - 17
2937     - 18
2938     - 19
2939     - 21
2940   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2941   parameters:
2942   - "throughput"
2943   - "parent"
2944   traces:
2945     hoverinfo: "x+y"
2946     boxpoints: "outliers"
2947     whiskerwidth: 0
2948   layout:
2949     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2950     xaxis:
2951       autorange: True
2952       autotick: False
2953       fixedrange: False
2954       gridcolor: "rgb(238, 238, 238)"
2955       linecolor: "rgb(238, 238, 238)"
2956       linewidth: 1
2957       showgrid: True
2958       showline: True
2959       showticklabels: True
2960       tickcolor: "rgb(238, 238, 238)"
2961       tickmode: "linear"
2962       title: "Indexed Test Cases"
2963       zeroline: False
2964     yaxis:
2965       gridcolor: "rgb(238, 238, 238)'"
2966       hoverformat: ".4s"
2967       linecolor: "rgb(238, 238, 238)"
2968       linewidth: 1
2969       range: []
2970       showgrid: True
2971       showline: True
2972       showticklabels: True
2973       tickcolor: "rgb(238, 238, 238)"
2974       title: "Packets Per Second [pps]"
2975       zeroline: False
2976     boxmode: "group"
2977     boxgroupgap: 0.5
2978     autosize: False
2979     margin:
2980       t: 50
2981       b: 20
2982       l: 50
2983       r: 20
2984     showlegend: True
2985     legend:
2986       orientation: "h"
2987     width: 700
2988     height: 1000
2989
2990 -
2991   type: "plot"
2992   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2993   algorithm: "plot_performance_box"
2994   output-file-type: ".html"
2995   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2996   data:
2997     csit-vpp-perf-1707-all:
2998     - 9
2999     - 10
3000     - 13
3001     - 14
3002     - 15
3003     - 16
3004     - 17
3005     - 18
3006     - 19
3007     - 21
3008   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3009   parameters:
3010   - "throughput"
3011   - "parent"
3012   traces:
3013     hoverinfo: "x+y"
3014     boxpoints: "outliers"
3015     whiskerwidth: 0
3016   layout:
3017     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3018     xaxis:
3019       autorange: True
3020       autotick: False
3021       fixedrange: False
3022       gridcolor: "rgb(238, 238, 238)"
3023       linecolor: "rgb(238, 238, 238)"
3024       linewidth: 1
3025       showgrid: True
3026       showline: True
3027       showticklabels: True
3028       tickcolor: "rgb(238, 238, 238)"
3029       tickmode: "linear"
3030       title: "Indexed Test Cases"
3031       zeroline: False
3032     yaxis:
3033       gridcolor: "rgb(238, 238, 238)'"
3034       hoverformat: ".4s"
3035       linecolor: "rgb(238, 238, 238)"
3036       linewidth: 1
3037       range: []
3038       showgrid: True
3039       showline: True
3040       showticklabels: True
3041       tickcolor: "rgb(238, 238, 238)"
3042       title: "Packets Per Second [pps]"
3043       zeroline: False
3044     boxmode: "group"
3045     boxgroupgap: 0.5
3046     autosize: False
3047     margin:
3048       t: 50
3049       b: 20
3050       l: 50
3051       r: 20
3052     showlegend: True
3053     legend:
3054       orientation: "h"
3055     width: 700
3056     height: 1000
3057
3058 # DPDK
3059 -
3060   type: "plot"
3061   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3062   algorithm: "plot_performance_box"
3063   output-file-type: ".html"
3064   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3065   data:
3066     csit-dpdk-perf-1707-all:
3067     - 1
3068     - 2
3069     - 3
3070     - 4
3071     - 5
3072     - 6
3073     - 7
3074     - 8
3075     - 9
3076     - 10
3077   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3078   parameters:
3079   - "throughput"
3080   - "parent"
3081   traces:
3082     hoverinfo: "x+y"
3083     boxpoints: "outliers"
3084     whiskerwidth: 0
3085   layout:
3086     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3087     xaxis:
3088       autorange: True
3089       autotick: False
3090       fixedrange: False
3091       gridcolor: "rgb(238, 238, 238)"
3092       linecolor: "rgb(238, 238, 238)"
3093       linewidth: 1
3094       showgrid: True
3095       showline: True
3096       showticklabels: True
3097       tickcolor: "rgb(238, 238, 238)"
3098       tickmode: "linear"
3099       title: "Indexed Test Cases"
3100       zeroline: False
3101     yaxis:
3102       gridcolor: "rgb(238, 238, 238)'"
3103       hoverformat: ".4s"
3104       linecolor: "rgb(238, 238, 238)"
3105       linewidth: 1
3106       range: []
3107       showgrid: True
3108       showline: True
3109       showticklabels: True
3110       tickcolor: "rgb(238, 238, 238)"
3111       title: "Packets Per Second [pps]"
3112       zeroline: False
3113     boxmode: "group"
3114     boxgroupgap: 0.5
3115     autosize: False
3116     margin:
3117       t: 50
3118       b: 20
3119       l: 50
3120       r: 20
3121     showlegend: True
3122     legend:
3123       orientation: "h"
3124     width: 700
3125     height: 1000
3126
3127 -
3128   type: "plot"
3129   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3130   algorithm: "plot_performance_box"
3131   output-file-type: ".html"
3132   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3133   data:
3134     csit-dpdk-perf-1707-all:
3135     - 1
3136     - 2
3137     - 3
3138     - 4
3139     - 5
3140     - 6
3141     - 7
3142     - 8
3143     - 9
3144     - 10
3145   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3146   parameters:
3147   - "throughput"
3148   - "parent"
3149   traces:
3150     hoverinfo: "x+y"
3151     boxpoints: "outliers"
3152     whiskerwidth: 0
3153   layout:
3154     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3155     xaxis:
3156       autorange: True
3157       autotick: False
3158       fixedrange: False
3159       gridcolor: "rgb(238, 238, 238)"
3160       linecolor: "rgb(238, 238, 238)"
3161       linewidth: 1
3162       showgrid: True
3163       showline: True
3164       showticklabels: True
3165       tickcolor: "rgb(238, 238, 238)"
3166       tickmode: "linear"
3167       title: "Indexed Test Cases"
3168       zeroline: False
3169     yaxis:
3170       gridcolor: "rgb(238, 238, 238)'"
3171       hoverformat: ".4s"
3172       linecolor: "rgb(238, 238, 238)"
3173       linewidth: 1
3174       range: []
3175       showgrid: True
3176       showline: True
3177       showticklabels: True
3178       tickcolor: "rgb(238, 238, 238)"
3179       title: "Packets Per Second [pps]"
3180       zeroline: False
3181     boxmode: "group"
3182     boxgroupgap: 0.5
3183     autosize: False
3184     margin:
3185       t: 50
3186       b: 20
3187       l: 50
3188       r: 20
3189     showlegend: True
3190     legend:
3191       orientation: "h"
3192     width: 700
3193     height: 1000
3194
3195 -
3196   type: "plot"
3197   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3198   algorithm: "plot_performance_box"
3199   output-file-type: ".html"
3200   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3201   data:
3202     csit-dpdk-perf-1707-all:
3203     - 1
3204     - 2
3205     - 3
3206     - 4
3207     - 5
3208     - 6
3209     - 7
3210     - 8
3211     - 9
3212     - 10
3213   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3214   parameters:
3215   - "throughput"
3216   - "parent"
3217   traces:
3218     hoverinfo: "x+y"
3219     boxpoints: "outliers"
3220     whiskerwidth: 0
3221   layout:
3222     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3223     xaxis:
3224       autorange: True
3225       autotick: False
3226       fixedrange: False
3227       gridcolor: "rgb(238, 238, 238)"
3228       linecolor: "rgb(238, 238, 238)"
3229       linewidth: 1
3230       showgrid: True
3231       showline: True
3232       showticklabels: True
3233       tickcolor: "rgb(238, 238, 238)"
3234       tickmode: "linear"
3235       title: "Indexed Test Cases"
3236       zeroline: False
3237     yaxis:
3238       gridcolor: "rgb(238, 238, 238)'"
3239       hoverformat: ".4s"
3240       linecolor: "rgb(238, 238, 238)"
3241       linewidth: 1
3242       range: [2000000, 12000000]
3243       showgrid: True
3244       showline: True
3245       showticklabels: True
3246       tickcolor: "rgb(238, 238, 238)"
3247       title: "Packets Per Second [pps]"
3248       zeroline: False
3249     boxmode: "group"
3250     boxgroupgap: 0.5
3251     autosize: False
3252     margin:
3253       t: 50
3254       b: 20
3255       l: 50
3256       r: 20
3257     showlegend: True
3258     legend:
3259       orientation: "h"
3260     width: 700
3261     height: 1000
3262
3263 -
3264   type: "plot"
3265   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3266   algorithm: "plot_performance_box"
3267   output-file-type: ".html"
3268   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3269   data:
3270     csit-dpdk-perf-1707-all:
3271     - 1
3272     - 2
3273     - 3
3274     - 4
3275     - 5
3276     - 6
3277     - 7
3278     - 8
3279     - 9
3280     - 10
3281   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3282   parameters:
3283   - "throughput"
3284   - "parent"
3285   traces:
3286     hoverinfo: "x+y"
3287     boxpoints: "outliers"
3288     whiskerwidth: 0
3289   layout:
3290     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3291     xaxis:
3292       autorange: True
3293       autotick: False
3294       fixedrange: False
3295       gridcolor: "rgb(238, 238, 238)"
3296       linecolor: "rgb(238, 238, 238)"
3297       linewidth: 1
3298       showgrid: True
3299       showline: True
3300       showticklabels: True
3301       tickcolor: "rgb(238, 238, 238)"
3302       tickmode: "linear"
3303       title: "Indexed Test Cases"
3304       zeroline: False
3305     yaxis:
3306       gridcolor: "rgb(238, 238, 238)'"
3307       hoverformat: ".4s"
3308       linecolor: "rgb(238, 238, 238)"
3309       linewidth: 1
3310       range: [2000000, 12000000]
3311       showgrid: True
3312       showline: True
3313       showticklabels: True
3314       tickcolor: "rgb(238, 238, 238)"
3315       title: "Packets Per Second [pps]"
3316       zeroline: False
3317     boxmode: "group"
3318     boxgroupgap: 0.5
3319     autosize: False
3320     margin:
3321       t: 50
3322       b: 20
3323       l: 50
3324       r: 20
3325     showlegend: True
3326     legend:
3327       orientation: "h"
3328     width: 700
3329     height: 1000
3330
3331 -
3332   type: "plot"
3333   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3334   algorithm: "plot_performance_box"
3335   output-file-type: ".html"
3336   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3337   data:
3338     csit-dpdk-perf-1707-all:
3339     - 1
3340     - 2
3341     - 3
3342     - 4
3343     - 5
3344     - 6
3345     - 7
3346     - 8
3347     - 9
3348     - 10
3349   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3350   parameters:
3351   - "throughput"
3352   - "parent"
3353   traces:
3354     hoverinfo: "x+y"
3355     boxpoints: "outliers"
3356     whiskerwidth: 0
3357   layout:
3358     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3359     xaxis:
3360       autorange: True
3361       autotick: False
3362       fixedrange: False
3363       gridcolor: "rgb(238, 238, 238)"
3364       linecolor: "rgb(238, 238, 238)"
3365       linewidth: 1
3366       showgrid: True
3367       showline: True
3368       showticklabels: True
3369       tickcolor: "rgb(238, 238, 238)"
3370       tickmode: "linear"
3371       title: "Indexed Test Cases"
3372       zeroline: False
3373     yaxis:
3374       gridcolor: "rgb(238, 238, 238)'"
3375       hoverformat: ".4s"
3376       linecolor: "rgb(238, 238, 238)"
3377       linewidth: 1
3378       range: []
3379       showgrid: True
3380       showline: True
3381       showticklabels: True
3382       tickcolor: "rgb(238, 238, 238)"
3383       title: "Packets Per Second [pps]"
3384       zeroline: False
3385     boxmode: "group"
3386     boxgroupgap: 0.5
3387     autosize: False
3388     margin:
3389       t: 50
3390       b: 20
3391       l: 50
3392       r: 20
3393     showlegend: True
3394     legend:
3395       orientation: "h"
3396     width: 700
3397     height: 1000
3398
3399 -
3400   type: "plot"
3401   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3402   algorithm: "plot_performance_box"
3403   output-file-type: ".html"
3404   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3405   data:
3406     csit-dpdk-perf-1707-all:
3407     - 1
3408     - 2
3409     - 3
3410     - 4
3411     - 5
3412     - 6
3413     - 7
3414     - 8
3415     - 9
3416     - 10
3417   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3418   parameters:
3419   - "throughput"
3420   - "parent"
3421   traces:
3422     hoverinfo: "x+y"
3423     boxpoints: "outliers"
3424     whiskerwidth: 0
3425   layout:
3426     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3427     xaxis:
3428       autorange: True
3429       autotick: False
3430       fixedrange: False
3431       gridcolor: "rgb(238, 238, 238)"
3432       linecolor: "rgb(238, 238, 238)"
3433       linewidth: 1
3434       showgrid: True
3435       showline: True
3436       showticklabels: True
3437       tickcolor: "rgb(238, 238, 238)"
3438       tickmode: "linear"
3439       title: "Indexed Test Cases"
3440       zeroline: False
3441     yaxis:
3442       gridcolor: "rgb(238, 238, 238)'"
3443       hoverformat: ".4s"
3444       linecolor: "rgb(238, 238, 238)"
3445       linewidth: 1
3446       range: []
3447       showgrid: True
3448       showline: True
3449       showticklabels: True
3450       tickcolor: "rgb(238, 238, 238)"
3451       title: "Packets Per Second [pps]"
3452       zeroline: False
3453     boxmode: "group"
3454     boxgroupgap: 0.5
3455     autosize: False
3456     margin:
3457       t: 50
3458       b: 20
3459       l: 50
3460       r: 20
3461     showlegend: True
3462     legend:
3463       orientation: "h"
3464     width: 700
3465     height: 1000
3466
3467 -
3468   type: "plot"
3469   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3470   algorithm: "plot_performance_box"
3471   output-file-type: ".html"
3472   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3473   data:
3474     csit-dpdk-perf-1707-all:
3475     - 1
3476     - 2
3477     - 3
3478     - 4
3479     - 5
3480     - 6
3481     - 7
3482     - 8
3483     - 9
3484     - 10
3485   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3486   parameters:
3487   - "throughput"
3488   - "parent"
3489   traces:
3490     hoverinfo: "x+y"
3491     boxpoints: "outliers"
3492     whiskerwidth: 0
3493   layout:
3494     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3495     xaxis:
3496       autorange: True
3497       autotick: False
3498       fixedrange: False
3499       gridcolor: "rgb(238, 238, 238)"
3500       linecolor: "rgb(238, 238, 238)"
3501       linewidth: 1
3502       showgrid: True
3503       showline: True
3504       showticklabels: True
3505       tickcolor: "rgb(238, 238, 238)"
3506       tickmode: "linear"
3507       title: "Indexed Test Cases"
3508       zeroline: False
3509     yaxis:
3510       gridcolor: "rgb(238, 238, 238)'"
3511       hoverformat: ".4s"
3512       linecolor: "rgb(238, 238, 238)"
3513       linewidth: 1
3514       range: [20000000, 30000000]
3515       showgrid: True
3516       showline: True
3517       showticklabels: True
3518       tickcolor: "rgb(238, 238, 238)"
3519       title: "Packets Per Second [pps]"
3520       zeroline: False
3521     boxmode: "group"
3522     boxgroupgap: 0.5
3523     autosize: False
3524     margin:
3525       t: 50
3526       b: 20
3527       l: 50
3528       r: 20
3529     showlegend: True
3530     legend:
3531       orientation: "h"
3532     width: 700
3533     height: 1000
3534
3535 -
3536   type: "plot"
3537   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3538   algorithm: "plot_performance_box"
3539   output-file-type: ".html"
3540   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3541   data:
3542     csit-dpdk-perf-1707-all:
3543     - 1
3544     - 2
3545     - 3
3546     - 4
3547     - 5
3548     - 6
3549     - 7
3550     - 8
3551     - 9
3552     - 10
3553   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3554   parameters:
3555   - "throughput"
3556   - "parent"
3557   traces:
3558     hoverinfo: "x+y"
3559     boxpoints: "outliers"
3560     whiskerwidth: 0
3561   layout:
3562     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3563     xaxis:
3564       autorange: True
3565       autotick: False
3566       fixedrange: False
3567       gridcolor: "rgb(238, 238, 238)"
3568       linecolor: "rgb(238, 238, 238)"
3569       linewidth: 1
3570       showgrid: True
3571       showline: True
3572       showticklabels: True
3573       tickcolor: "rgb(238, 238, 238)"
3574       tickmode: "linear"
3575       title: "Indexed Test Cases"
3576       zeroline: False
3577     yaxis:
3578       gridcolor: "rgb(238, 238, 238)'"
3579       hoverformat: ".4s"
3580       linecolor: "rgb(238, 238, 238)"
3581       linewidth: 1
3582       range: [20000000, 30000000]
3583       showgrid: True
3584       showline: True
3585       showticklabels: True
3586       tickcolor: "rgb(238, 238, 238)"
3587       title: "Packets Per Second [pps]"
3588       zeroline: False
3589     boxmode: "group"
3590     boxgroupgap: 0.5
3591     autosize: False
3592     margin:
3593       t: 50
3594       b: 20
3595       l: 50
3596       r: 20
3597     showlegend: True
3598     legend:
3599       orientation: "h"
3600     width: 700
3601     height: 1000
3602
3603 # Plot latency
3604
3605 # VPP L2 sel1
3606 -
3607   type: "plot"
3608   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3609   algorithm: "plot_latency_box"
3610   output-file-type: ".html"
3611   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3612   data:
3613     csit-vpp-perf-1707-all:
3614     - 9
3615     - 10
3616     - 13
3617     - 14
3618     - 15
3619     - 16
3620     - 17
3621     - 18
3622     - 19
3623     - 21
3624   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3625   parameters:
3626   - "latency"
3627   - "parent"
3628   traces:
3629     boxmean: False
3630   layout:
3631     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3632     xaxis:
3633       autorange: True
3634       autotick: False
3635       fixedrange: False
3636       gridcolor: "rgb(238, 238, 238)"
3637       linecolor: "rgb(238, 238, 238)"
3638       linewidth: 1
3639       showgrid: True
3640       showline: True
3641       showticklabels: True
3642       tickcolor: "rgb(238, 238, 238)"
3643       tickmode: "linear"
3644       title: "Indexed Test Cases"
3645       zeroline: False
3646     yaxis:
3647       gridcolor: "rgb(238, 238, 238)'"
3648       hoverformat: ""
3649       linecolor: "rgb(238, 238, 238)"
3650       linewidth: 1
3651       range: []
3652       showgrid: True
3653       showline: True
3654       showticklabels: True
3655       tickcolor: "rgb(238, 238, 238)"
3656       title: "Latency min/avg/max [uSec]"
3657       zeroline: False
3658     boxmode: "group"
3659     boxgroupgap: 0.5
3660     autosize: False
3661     margin:
3662       t: 50
3663       b: 20
3664       l: 50
3665       r: 20
3666     showlegend: True
3667     legend:
3668       orientation: "h"
3669     width: 700
3670     height: 1000
3671
3672 -
3673   type: "plot"
3674   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3675   algorithm: "plot_latency_box"
3676   output-file-type: ".html"
3677   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3678   data:
3679     csit-vpp-perf-1707-all:
3680     - 9
3681     - 10
3682     - 13
3683     - 14
3684     - 15
3685     - 16
3686     - 17
3687     - 18
3688     - 19
3689     - 21
3690   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3691   parameters:
3692   - "latency"
3693   - "parent"
3694   traces:
3695     boxmean: False
3696   layout:
3697     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3698     xaxis:
3699       autorange: True
3700       autotick: False
3701       fixedrange: False
3702       gridcolor: "rgb(238, 238, 238)"
3703       linecolor: "rgb(238, 238, 238)"
3704       linewidth: 1
3705       showgrid: True
3706       showline: True
3707       showticklabels: True
3708       tickcolor: "rgb(238, 238, 238)"
3709       tickmode: "linear"
3710       title: "Indexed Test Cases"
3711       zeroline: False
3712     yaxis:
3713       gridcolor: "rgb(238, 238, 238)'"
3714       hoverformat: ""
3715       linecolor: "rgb(238, 238, 238)"
3716       linewidth: 1
3717       range: []
3718       showgrid: True
3719       showline: True
3720       showticklabels: True
3721       tickcolor: "rgb(238, 238, 238)"
3722       title: "Latency min/avg/max [uSec]"
3723       zeroline: False
3724     boxmode: "group"
3725     boxgroupgap: 0.5
3726     autosize: False
3727     margin:
3728       t: 50
3729       b: 20
3730       l: 50
3731       r: 20
3732     showlegend: True
3733     legend:
3734       orientation: "h"
3735     width: 700
3736     height: 1000
3737
3738 # VPP L2 sel2
3739 -
3740   type: "plot"
3741   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3742   algorithm: "plot_latency_box"
3743   output-file-type: ".html"
3744   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3745   data:
3746     csit-vpp-perf-1707-all:
3747     - 9
3748     - 10
3749     - 13
3750     - 14
3751     - 15
3752     - 16
3753     - 17
3754     - 18
3755     - 19
3756     - 21
3757   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3758   parameters:
3759   - "latency"
3760   - "parent"
3761   traces:
3762     boxmean: False
3763   layout:
3764     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3765     xaxis:
3766       autorange: True
3767       autotick: False
3768       fixedrange: False
3769       gridcolor: "rgb(238, 238, 238)"
3770       linecolor: "rgb(238, 238, 238)"
3771       linewidth: 1
3772       showgrid: True
3773       showline: True
3774       showticklabels: True
3775       tickcolor: "rgb(238, 238, 238)"
3776       tickmode: "linear"
3777       title: "Indexed Test Cases"
3778       zeroline: False
3779     yaxis:
3780       gridcolor: "rgb(238, 238, 238)'"
3781       hoverformat: ""
3782       linecolor: "rgb(238, 238, 238)"
3783       linewidth: 1
3784       range: []
3785       showgrid: True
3786       showline: True
3787       showticklabels: True
3788       tickcolor: "rgb(238, 238, 238)"
3789       title: "Latency min/avg/max [uSec]"
3790       zeroline: False
3791     boxmode: "group"
3792     boxgroupgap: 0.5
3793     autosize: False
3794     margin:
3795       t: 50
3796       b: 20
3797       l: 50
3798       r: 20
3799     showlegend: True
3800     legend:
3801       orientation: "h"
3802     width: 700
3803     height: 1000
3804
3805 -
3806   type: "plot"
3807   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3808   algorithm: "plot_latency_box"
3809   output-file-type: ".html"
3810   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3811   data:
3812     csit-vpp-perf-1707-all:
3813     - 9
3814     - 10
3815     - 13
3816     - 14
3817     - 15
3818     - 16
3819     - 17
3820     - 18
3821     - 19
3822     - 21
3823   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3824   parameters:
3825   - "latency"
3826   - "parent"
3827   traces:
3828     boxmean: False
3829   layout:
3830     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3831     xaxis:
3832       autorange: True
3833       autotick: False
3834       fixedrange: False
3835       gridcolor: "rgb(238, 238, 238)"
3836       linecolor: "rgb(238, 238, 238)"
3837       linewidth: 1
3838       showgrid: True
3839       showline: True
3840       showticklabels: True
3841       tickcolor: "rgb(238, 238, 238)"
3842       tickmode: "linear"
3843       title: "Indexed Test Cases"
3844       zeroline: False
3845     yaxis:
3846       gridcolor: "rgb(238, 238, 238)'"
3847       hoverformat: ""
3848       linecolor: "rgb(238, 238, 238)"
3849       linewidth: 1
3850       range: []
3851       showgrid: True
3852       showline: True
3853       showticklabels: True
3854       tickcolor: "rgb(238, 238, 238)"
3855       title: "Latency min/avg/max [uSec]"
3856       zeroline: False
3857     boxmode: "group"
3858     boxgroupgap: 0.5
3859     autosize: False
3860     margin:
3861       t: 50
3862       b: 20
3863       l: 50
3864       r: 20
3865     showlegend: True
3866     legend:
3867       orientation: "h"
3868     width: 700
3869     height: 1000
3870
3871 # VPP IP4
3872 -
3873   type: "plot"
3874   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3875   algorithm: "plot_latency_box"
3876   output-file-type: ".html"
3877   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3878   data:
3879     csit-vpp-perf-1707-all:
3880     - 9
3881     - 10
3882     - 13
3883     - 14
3884     - 15
3885     - 16
3886     - 17
3887     - 18
3888     - 19
3889     - 21
3890   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3891   parameters:
3892   - "latency"
3893   - "parent"
3894   traces:
3895     boxmean: False
3896   layout:
3897     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3898     xaxis:
3899       autorange: True
3900       autotick: False
3901       fixedrange: False
3902       gridcolor: "rgb(238, 238, 238)"
3903       linecolor: "rgb(238, 238, 238)"
3904       linewidth: 1
3905       showgrid: True
3906       showline: True
3907       showticklabels: True
3908       tickcolor: "rgb(238, 238, 238)"
3909       tickmode: "linear"
3910       title: "Indexed Test Cases"
3911       zeroline: False
3912     yaxis:
3913       gridcolor: "rgb(238, 238, 238)'"
3914       hoverformat: ""
3915       linecolor: "rgb(238, 238, 238)"
3916       linewidth: 1
3917       range: []
3918       showgrid: True
3919       showline: True
3920       showticklabels: True
3921       tickcolor: "rgb(238, 238, 238)"
3922       title: "Latency min/avg/max [uSec]"
3923       zeroline: False
3924     boxmode: "group"
3925     boxgroupgap: 0.5
3926     autosize: False
3927     margin:
3928       t: 50
3929       b: 20
3930       l: 50
3931       r: 20
3932     showlegend: True
3933     legend:
3934       orientation: "h"
3935     width: 700
3936     height: 1000
3937
3938 -
3939   type: "plot"
3940   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3941   algorithm: "plot_latency_box"
3942   output-file-type: ".html"
3943   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3944   data:
3945     csit-vpp-perf-1707-all:
3946     - 9
3947     - 10
3948     - 13
3949     - 14
3950     - 15
3951     - 16
3952     - 17
3953     - 18
3954     - 19
3955     - 21
3956   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3957   parameters:
3958   - "latency"
3959   - "parent"
3960   traces:
3961     boxmean: False
3962   layout:
3963     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3964     xaxis:
3965       autorange: True
3966       autotick: False
3967       fixedrange: False
3968       gridcolor: "rgb(238, 238, 238)"
3969       linecolor: "rgb(238, 238, 238)"
3970       linewidth: 1
3971       showgrid: True
3972       showline: True
3973       showticklabels: True
3974       tickcolor: "rgb(238, 238, 238)"
3975       tickmode: "linear"
3976       title: "Indexed Test Cases"
3977       zeroline: False
3978     yaxis:
3979       gridcolor: "rgb(238, 238, 238)'"
3980       hoverformat: ""
3981       linecolor: "rgb(238, 238, 238)"
3982       linewidth: 1
3983       range: []
3984       showgrid: True
3985       showline: True
3986       showticklabels: True
3987       tickcolor: "rgb(238, 238, 238)"
3988       title: "Latency min/avg/max [uSec]"
3989       zeroline: False
3990     boxmode: "group"
3991     boxgroupgap: 0.5
3992     autosize: False
3993     margin:
3994       t: 50
3995       b: 20
3996       l: 50
3997       r: 20
3998     showlegend: True
3999     legend:
4000       orientation: "h"
4001     width: 700
4002     height: 1000
4003
4004 # VPP IP6
4005 -
4006   type: "plot"
4007   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
4008   algorithm: "plot_latency_box"
4009   output-file-type: ".html"
4010   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
4011   data:
4012     csit-vpp-perf-1707-all:
4013     - 9
4014     - 10
4015     - 13
4016     - 14
4017     - 15
4018     - 16
4019     - 17
4020     - 18
4021     - 19
4022     - 21
4023   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
4024   parameters:
4025   - "latency"
4026   - "parent"
4027   traces:
4028     boxmean: False
4029   layout:
4030     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
4031     xaxis:
4032       autorange: True
4033       autotick: False
4034       fixedrange: False
4035       gridcolor: "rgb(238, 238, 238)"
4036       linecolor: "rgb(238, 238, 238)"
4037       linewidth: 1
4038       showgrid: True
4039       showline: True
4040       showticklabels: True
4041       tickcolor: "rgb(238, 238, 238)"
4042       tickmode: "linear"
4043       title: "Indexed Test Cases"
4044       zeroline: False
4045     yaxis:
4046       gridcolor: "rgb(238, 238, 238)'"
4047       hoverformat: ""
4048       linecolor: "rgb(238, 238, 238)"
4049       linewidth: 1
4050       range: []
4051       showgrid: True
4052       showline: True
4053       showticklabels: True
4054       tickcolor: "rgb(238, 238, 238)"
4055       title: "Latency min/avg/max [uSec]"
4056       zeroline: False
4057     boxmode: "group"
4058     boxgroupgap: 0.5
4059     autosize: False
4060     margin:
4061       t: 50
4062       b: 20
4063       l: 50
4064       r: 20
4065     showlegend: True
4066     legend:
4067       orientation: "h"
4068     width: 700
4069     height: 1000
4070
4071 -
4072   type: "plot"
4073   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
4074   algorithm: "plot_latency_box"
4075   output-file-type: ".html"
4076   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
4077   data:
4078     csit-vpp-perf-1707-all:
4079     - 9
4080     - 10
4081     - 13
4082     - 14
4083     - 15
4084     - 16
4085     - 17
4086     - 18
4087     - 19
4088     - 21
4089   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
4090   parameters:
4091   - "latency"
4092   - "parent"
4093   traces:
4094     boxmean: False
4095   layout:
4096     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
4097     xaxis:
4098       autorange: True
4099       autotick: False
4100       fixedrange: False
4101       gridcolor: "rgb(238, 238, 238)"
4102       linecolor: "rgb(238, 238, 238)"
4103       linewidth: 1
4104       showgrid: True
4105       showline: True
4106       showticklabels: True
4107       tickcolor: "rgb(238, 238, 238)"
4108       tickmode: "linear"
4109       title: "Indexed Test Cases"
4110       zeroline: False
4111     yaxis:
4112       gridcolor: "rgb(238, 238, 238)'"
4113       hoverformat: ""
4114       linecolor: "rgb(238, 238, 238)"
4115       linewidth: 1
4116       range: []
4117       showgrid: True
4118       showline: True
4119       showticklabels: True
4120       tickcolor: "rgb(238, 238, 238)"
4121       title: "Latency min/avg/max [uSec]"
4122       zeroline: False
4123     boxmode: "group"
4124     boxgroupgap: 0.5
4125     autosize: False
4126     margin:
4127       t: 50
4128       b: 20
4129       l: 50
4130       r: 20
4131     showlegend: True
4132     legend:
4133       orientation: "h"
4134     width: 700
4135     height: 1000
4136
4137 # VPP IP4_overlay
4138 -
4139   type: "plot"
4140   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
4141   algorithm: "plot_latency_box"
4142   output-file-type: ".html"
4143   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
4144   data:
4145     csit-vpp-perf-1707-all:
4146     - 9
4147     - 10
4148     - 13
4149     - 14
4150     - 15
4151     - 16
4152     - 17
4153     - 18
4154     - 19
4155     - 21
4156   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
4157   parameters:
4158   - "latency"
4159   - "parent"
4160   traces:
4161     boxmean: False
4162   layout:
4163     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
4164     xaxis:
4165       autorange: True
4166       autotick: False
4167       fixedrange: False
4168       gridcolor: "rgb(238, 238, 238)"