PAL: Perf improvements - more data sources
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64
65   make-dirs:
66   # List the directories which are created while preparing the environment.
67   # All directories MUST be defined in "paths" section.
68   - "DIR[WORKING,DATA]"
69   - "DIR[STATIC,VPP]"
70   - "DIR[STATIC,DPDK]"
71   - "DIR[STATIC,ARCH]"
72   - "DIR[BUILD,LATEX]"
73   - "DIR[WORKING,SRC]"
74   - "DIR[WORKING,SRC,STATIC]"
75
76   remove-dirs:
77   # List the directories which are deleted while cleaning the environment.
78   # All directories MUST be defined in "paths" section.
79   #- "DIR[BUILD,HTML]"
80
81   build-dirs:
82   # List the directories where the results (build) is stored.
83   # All directories MUST be defined in "paths" section.
84   - "DIR[BUILD,HTML]"
85   - "DIR[BUILD,LATEX]"
86
87 -
88   type: "debug"
89   general:
90     input-format: "xml"  # zip or xml
91     extract: "robot-plugin/output.xml"  # Only for zip
92   builds:
93     # The files must be in the directory DIR[WORKING,DATA]
94     csit-dpdk-perf-1707-all:
95     -
96       build: 10
97       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
98     -
99       build: 9
100       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
101     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
102     -
103       build: 2
104       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
105     csit-vpp-functional-1707-ubuntu1604-virl:
106     -
107       build: lastSuccessfulBuild
108       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
109     hc2vpp-csit-integration-1707-ubuntu1604:
110     -
111       build: lastSuccessfulBuild
112       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
113     csit-vpp-perf-1707-all:
114     -
115       build: 16
116       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
117     -
118       build: 17
119       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
120
121 -
122   type: "static"
123   src-path: "{DIR[RST]}"
124   dst-path: "{DIR[WORKING,SRC]}"
125
126 -
127   type: "input"  # Ignored in debug mode
128   general:
129     file-name: "robot-plugin.zip"
130     file-format: ".zip"
131     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
132     extract: "robot-plugin/output.xml"
133   builds:
134     csit-vpp-perf-1707-all:
135     - 9
136     - 10
137     - 13
138     - 14
139     - 15
140     - 16
141     - 17
142     - 18
143     - 19
144     - 21
145     csit-vpp-perf-1710-all:
146     - 11
147     - 12
148     - 13
149     - 14
150     - 15
151     - 16
152     - 17
153     - 18
154     - 19
155     - 20
156     csit-dpdk-perf-1710-all:
157     - 2
158     - 3
159     - 5
160     - 6
161     - 7
162     - 8
163     - 9
164     - 10
165     - 11
166     - 13
167     csit-ligato-perf-1710-all:
168     - 5
169     - 7
170     - 8
171     - 9
172     - 10
173     - 11
174     - 12
175     - 13
176     - 16
177     - 17
178     csit-vpp-functional-1710-ubuntu1604-virl:
179     - 126
180     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
181     - 7
182     csit-hc2vpp-verify-func-1710-ubuntu1604:
183     - lastSuccessfulBuild
184
185 -
186   type: "output"
187   format:
188     html:
189     - full
190     pdf:
191     - minimal
192
193 ################################################################################
194 ###                               T A B L E S                                ###
195 ################################################################################
196
197 -
198   type: "table"
199   title: "Performance improvements"
200   algorithm: "table_performance_improvements"
201   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
202   output-file-ext: ".csv"
203   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
204   columns:
205   -
206     title: "Functionality"
207     data: "template 1"
208   -
209     title: "Test Name"
210     data: "template 2"
211   -
212     title: "16.09 mean [Mpps]"
213     data: "template 3"
214   -
215     title: "17.01 mean [Mpps]"
216     data: "template 4"
217   -
218     title: "17.04 mean [Mpps]"
219     data: "template 5"
220   -
221     title: "17.07 mean [Mpps]"
222     data: "data csit-vpp-perf-1707-all mean"
223   -
224     title: "17.10 mean [Mpps]"
225     data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
226   -
227     title: "17.10 stdev [Mpps]"
228     data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all stdev"
229   -
230     title: "17.07 to 17.10 change [%]"
231     data: "operation relative_change 5 6"
232   rows: "generated"
233   data:
234     csit-vpp-perf-1707-all:
235     - 9
236     - 10
237     - 13
238     - 14
239     - 15
240     - 16
241     - 17
242     - 18
243     - 19
244     - 21
245     csit-vpp-perf-1710-all:
246     - 11
247     - 12
248     - 13
249     - 14
250     - 15
251     - 16
252     - 17
253     - 18
254     - 19
255     - 20
256     csit-ligato-perf-1710-all:
257     - 5
258     - 7
259     - 8
260     - 9
261     - 10
262     - 11
263     - 12
264     - 13
265     - 16
266     - 17
267   filter: "template"
268   parameters:
269   - "throughput"
270
271 -
272   type: "table"
273   title: "Detailed Test Results - VPP Performance Results"
274   algorithm: "table_merged_details"
275   output-file-ext: ".csv"
276   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
277   columns:
278   -
279     title: "Name"
280     data: "data name"
281   -
282     title: "Documentation"
283     data: "data doc"
284   -
285     title: "Status"
286     data: "data msg"
287   rows: "generated"
288   data:
289     csit-vpp-perf-1710-all:
290     - 20
291 #    - 23
292   filter: "all"
293   parameters:
294   - "name"
295   - "parent"
296   - "doc"
297   - "msg"
298
299 -
300   type: "table"
301   title: "Test configuration - VPP Performance Test Configs"
302   algorithm: "table_merged_details"
303   output-file-ext: ".csv"
304   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
305   columns:
306   -
307     title: "Name"
308     data: "data name"
309   -
310     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
311     data: "data vat-history"
312   rows: "generated"
313   data:
314     csit-vpp-perf-1710-all:
315     - 20
316 #    - 23
317   filter: "all"
318   parameters:
319   - "parent"
320   - "name"
321   - "vat-history"
322
323 -
324   type: "table"
325   title: "Test Operational Data - VPP Performance Operational Data"
326   algorithm: "table_merged_details"
327   output-file-ext: ".csv"
328   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
329   columns:
330   -
331     title: "Name"
332     data: "data name"
333   -
334     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
335     data: "data show-run"
336   rows: "generated"
337   data:
338     csit-vpp-perf-1710-all:
339     - 20
340 #    - 23
341   filter: "all"
342   parameters:
343   - "parent"
344   - "name"
345   - "show-run"
346
347 -
348   type: "table"
349   title: "Detailed Test Results - VPP Functional Results"
350   algorithm: "table_details"
351   output-file-ext: ".csv"
352   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
353   columns:
354   -
355     title: "Name"
356     data: "data name"
357   -
358     title: "Documentation"
359     data: "data doc"
360   -
361     title: "Status"
362     data: "data status"
363   rows: "generated"
364   data:
365     csit-vpp-functional-1710-ubuntu1604-virl:
366     - 126
367   filter: "all"
368   parameters:
369   - "name"
370   - "parent"
371   - "doc"
372   - "status"
373
374 -
375   type: "table"
376   title: "Test configuration - VPP Functional Test Configs"
377   algorithm: "table_details"
378   output-file-ext: ".csv"
379   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
380   columns:
381   -
382     title: "Name"
383     data: "data name"
384   -
385     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
386     data: "data vat-history"
387   rows: "generated"
388   data:
389     csit-vpp-functional-1710-ubuntu1604-virl:
390     - 126
391   filter: "all"
392   parameters:
393   - "parent"
394   - "name"
395   - "vat-history"
396
397 -
398   type: "table"
399   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
400   algorithm: "table_details"
401   output-file-ext: ".csv"
402   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
403   columns:
404   -
405     title: "Name"
406     data: "data name"
407   -
408     title: "Documentation"
409     data: "data doc"
410   -
411     title: "Status"
412     data: "data msg"
413   rows: "generated"
414   data:
415     csit-ligato-perf-1710-all:
416     - 17
417   filter: "all"
418   parameters:
419   - "name"
420   - "parent"
421   - "doc"
422   - "msg"
423
424 -
425   type: "table"
426   title: "Detailed Test Results - DPDK Performance Results"
427   algorithm: "table_details"
428   output-file-ext: ".csv"
429   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
430   columns:
431   -
432     title: "Name"
433     data: "data name"
434   -
435     title: "Documentation"
436     data: "data doc"
437   -
438     title: "Status"
439     data: "data msg"
440   rows: "generated"
441   data:
442     csit-dpdk-perf-1710-all:
443     - 13
444   filter: "all"
445   parameters:
446   - "name"
447   - "parent"
448   - "doc"
449   - "msg"
450
451 -
452   type: "table"
453   title: "Detailed Test Results - Honeycomb Functional Results"
454   algorithm: "table_details"
455   output-file-ext: ".csv"
456   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
457   columns:
458   -
459     title: "Name"
460     data: "data name"
461   -
462     title: "Documentation"
463     data: "data doc"
464   -
465     title: "Status"
466     data: "data status"
467   rows: "generated"
468   data:
469     csit-hc2vpp-verify-func-1710-ubuntu1604:
470     - "lastSuccessfulBuild"
471   filter: "all"
472   parameters:
473   - "name"
474   - "parent"
475   - "doc"
476   - "status"
477
478 -
479   type: "table"
480   title: "Detailed Test Results - NSH SFC Functional Results"
481   algorithm: "table_details"
482   output-file-ext: ".csv"
483   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
484   columns:
485   -
486     title: "Name"
487     data: "data name"
488   -
489     title: "Documentation"
490     data: "data doc"
491   -
492     title: "Status"
493     data: "data status"
494   rows: "generated"
495   data:
496     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
497     - 7
498   filter: "all"
499   parameters:
500   - "name"
501   - "parent"
502   - "doc"
503   - "status"
504
505 ################################################################################
506 ###                                F I L E S                                 ###
507 ################################################################################
508
509 -
510   type: "file"
511   title: "VPP Performance Results"
512   algorithm: "file_merged_test_results"
513   output-file-ext: ".rst"
514   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
515   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
516   dir-tables: "{DIR[DTR,PERF,VPP]}"
517   data:
518     csit-vpp-perf-1710-all:
519     - 20
520 #    - 23
521   filter: "all"
522   parameters:
523   - "name"
524   - "doc"
525   - "level"
526   - "parent"
527   data-start-level: 3  # 0, 1, 2, ...
528   chapters-start-level: 2  # 0, 1, 2, ...
529
530 -
531   type: "file"
532   title: "VPP Performance Configuration"
533   algorithm: "file_merged_test_results"
534   output-file-ext: ".rst"
535   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
536   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
537   dir-tables: "{DIR[DTC,PERF,VPP]}"
538   data:
539     csit-vpp-perf-1710-all:
540     - 20
541 #    - 23
542   filter: "all"
543   parameters:
544   - "name"
545   - "doc"
546   - "level"
547   - "parent"
548   data-start-level: 3  # 0, 1, 2, ...
549   chapters-start-level: 2  # 0, 1, 2, ...
550
551 -
552   type: "file"
553   title: "VPP Performance Operational Data"
554   algorithm: "file_merged_test_results"
555   output-file-ext: ".rst"
556   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
557   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
558   dir-tables: "{DIR[DTO,PERF,VPP]}"
559   data:
560     csit-vpp-perf-1710-all:
561     - 20
562 #    - 23
563   filter: "all"
564   parameters:
565   - "name"
566   - "doc"
567   - "level"
568   - "parent"
569   data-start-level: 3  # 0, 1, 2, ...
570   chapters-start-level: 2  # 0, 1, 2, ...
571
572 -
573   type: "file"
574   title: "VPP Functional Results"
575   algorithm: "file_test_results"
576   output-file-ext: ".rst"
577   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
578   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
579   dir-tables: "{DIR[DTR,FUNC,VPP]}"
580   data:
581     csit-vpp-functional-1710-ubuntu1604-virl:
582     - 126
583   filter: "all"
584   parameters:
585   - "name"
586   - "doc"
587   - "level"
588   data-start-level: 3  # 0, 1, 2, ...
589   chapters-start-level: 2  # 0, 1, 2, ...
590
591 -
592   type: "file"
593   title: "VPP Functional Configuration"
594   algorithm: "file_test_results"
595   output-file-ext: ".rst"
596   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
597   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
598   dir-tables: "{DIR[DTC,FUNC,VPP]}"
599   data:
600     csit-vpp-functional-1710-ubuntu1604-virl:
601     - 126
602   filter: "all"
603   parameters:
604   - "name"
605   - "doc"
606   - "level"
607   data-start-level: 3  # 0, 1, 2, ...
608   chapters-start-level: 2  # 0, 1, 2, ...
609
610 -
611   type: "file"
612   title: "Container Orchestrated Performance Results"
613   algorithm: "file_test_results"
614   output-file-ext: ".rst"
615   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
616   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
617   dir-tables: "{DIR[DTR,PERF,COT]}"
618   data:
619     csit-ligato-perf-1710-all:
620     - 17
621   filter: "all"
622   parameters:
623   - "name"
624   - "doc"
625   - "level"
626   data-start-level: 2  # 0, 1, 2, ...
627   chapters-start-level: 2  # 0, 1, 2, ...
628
629 -
630   type: "file"
631   title: "DPDK Performance Results"
632   algorithm: "file_test_results"
633   output-file-ext: ".rst"
634   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
635   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
636   dir-tables: "{DIR[DTR,PERF,DPDK]}"
637   data:
638     csit-dpdk-perf-1710-all:
639     - 13
640   filter: "all"
641   parameters:
642   - "name"
643   - "doc"
644   - "level"
645   chapters:
646   - "suites"
647   data-start-level: 2  # 0, 1, 2, ...
648   chapters-start-level: 2  # 0, 1, 2, ...
649
650 -
651   type: "file"
652   title: "Honeycomb Functional Results"
653   algorithm: "file_test_results"
654   output-file-ext: ".rst"
655   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
656   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
657   dir-tables: "{DIR[DTR,FUNC,HC]}"
658   data:
659     csit-hc2vpp-verify-func-1710-ubuntu1604:
660     - "lastSuccessfulBuild"
661   filter: "all"
662   parameters:
663   - "name"
664   - "doc"
665   - "level"
666   chapters:
667   - "suites"
668   data-start-level: 3  # 0, 1, 2, ...
669   chapters-start-level: 2  # 0, 1, 2, ...
670
671 -
672   type: "file"
673   title: "NSH SFC Functional Results"
674   algorithm: "file_test_results"
675   output-file-ext: ".rst"
676   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
677   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
678   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
679   data:
680     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
681     - 7
682   filter: "all"
683   parameters:
684   - "name"
685   - "doc"
686   - "level"
687   chapters:
688   - "suites"
689   data-start-level: 2  # 0, 1, 2, ...
690   chapters-start-level: 2  # 0, 1, 2, ...
691
692 ################################################################################
693 ###                                P L O T S                                 ###
694 ################################################################################
695
696 # Plot packets per second
697
698 # VPP L2 sel1
699 -
700   type: "plot"
701   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
702   algorithm: "plot_performance_box"
703   output-file-type: ".html"
704   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
705   data:
706     csit-vpp-perf-1710-all:
707     - 11
708     - 12
709     - 13
710     - 14
711     - 15
712     - 16
713     - 17
714     - 18
715     - 19
716     - 20
717   # Keep this formatting, the filter is enclosed with " (quotation mark) and
718   # each tag is enclosed with ' (apostrophe).
719   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
720   parameters:
721   - "throughput"
722   - "parent"
723   traces:
724     hoverinfo: "x+y"
725     boxpoints: "outliers"
726     whiskerwidth: 0
727   layout:
728     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
729     xaxis:
730       autorange: True
731       autotick: False
732       fixedrange: False
733       gridcolor: "rgb(238, 238, 238)"
734       linecolor: "rgb(238, 238, 238)"
735       linewidth: 1
736       showgrid: True
737       showline: True
738       showticklabels: True
739       tickcolor: "rgb(238, 238, 238)"
740       tickmode: "linear"
741       title: "Indexed Test Cases"
742       zeroline: False
743     yaxis:
744       gridcolor: "rgb(238, 238, 238)'"
745       hoverformat: ".4s"
746       linecolor: "rgb(238, 238, 238)"
747       linewidth: 1
748       range: []
749       showgrid: True
750       showline: True
751       showticklabels: True
752       tickcolor: "rgb(238, 238, 238)"
753       title: "Packets Per Second [pps]"
754       zeroline: False
755     boxmode: "group"
756     boxgroupgap: 0.5
757     autosize: False
758     margin:
759       t: 50
760       b: 20
761       l: 50
762       r: 20
763     showlegend: True
764     legend:
765       orientation: "h"
766     width: 700
767     height: 1000
768
769 -
770   type: "plot"
771   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
772   algorithm: "plot_performance_box"
773   output-file-type: ".html"
774   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
775   data:
776     csit-vpp-perf-1710-all:
777     - 11
778     - 12
779     - 13
780     - 14
781     - 15
782     - 16
783     - 17
784     - 18
785     - 19
786     - 20
787   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
788   parameters:
789   - "throughput"
790   - "parent"
791   traces:
792     hoverinfo: "x+y"
793     boxpoints: "outliers"
794     whiskerwidth: 0
795   layout:
796     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
797     xaxis:
798       autorange: True
799       autotick: False
800       fixedrange: False
801       gridcolor: "rgb(238, 238, 238)"
802       linecolor: "rgb(238, 238, 238)"
803       linewidth: 1
804       showgrid: True
805       showline: True
806       showticklabels: True
807       tickcolor: "rgb(238, 238, 238)"
808       tickmode: "linear"
809       title: "Indexed Test Cases"
810       zeroline: False
811     yaxis:
812       gridcolor: "rgb(238, 238, 238)'"
813       hoverformat: ".4s"
814       linecolor: "rgb(238, 238, 238)"
815       linewidth: 1
816       range: []
817       showgrid: True
818       showline: True
819       showticklabels: True
820       tickcolor: "rgb(238, 238, 238)"
821       title: "Packets Per Second [pps]"
822       zeroline: False
823     boxmode: "group"
824     boxgroupgap: 0.5
825     autosize: False
826     margin:
827       t: 50
828       b: 20
829       l: 50
830       r: 20
831     showlegend: True
832     legend:
833       orientation: "h"
834     width: 700
835     height: 1000
836
837 -
838   type: "plot"
839   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
840   algorithm: "plot_performance_box"
841   output-file-type: ".html"
842   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
843   data:
844     csit-vpp-perf-1710-all:
845     - 11
846     - 12
847     - 13
848     - 14
849     - 15
850     - 16
851     - 17
852     - 18
853     - 19
854     - 20
855   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
856   parameters:
857   - "throughput"
858   - "parent"
859   traces:
860     hoverinfo: "x+y"
861     boxpoints: "outliers"
862     whiskerwidth: 0
863   layout:
864     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
865     xaxis:
866       autorange: True
867       autotick: False
868       fixedrange: False
869       gridcolor: "rgb(238, 238, 238)"
870       linecolor: "rgb(238, 238, 238)"
871       linewidth: 1
872       showgrid: True
873       showline: True
874       showticklabels: True
875       tickcolor: "rgb(238, 238, 238)"
876       tickmode: "linear"
877       title: "Indexed Test Cases"
878       zeroline: False
879     yaxis:
880       gridcolor: "rgb(238, 238, 238)'"
881       hoverformat: ".4s"
882       linecolor: "rgb(238, 238, 238)"
883       linewidth: 1
884       range: []
885       showgrid: True
886       showline: True
887       showticklabels: True
888       tickcolor: "rgb(238, 238, 238)"
889       title: "Packets Per Second [pps]"
890       zeroline: False
891     boxmode: "group"
892     boxgroupgap: 0.5
893     autosize: False
894     margin:
895       t: 50
896       b: 20
897       l: 50
898       r: 20
899     showlegend: True
900     legend:
901       orientation: "h"
902     width: 700
903     height: 1000
904
905 -
906   type: "plot"
907   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
908   algorithm: "plot_performance_box"
909   output-file-type: ".html"
910   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
911   data:
912     csit-vpp-perf-1710-all:
913     - 11
914     - 12
915     - 13
916     - 14
917     - 15
918     - 16
919     - 17
920     - 18
921     - 19
922     - 20
923   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
924   parameters:
925   - "throughput"
926   - "parent"
927   traces:
928     hoverinfo: "x+y"
929     boxpoints: "outliers"
930     whiskerwidth: 0
931   layout:
932     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
933     xaxis:
934       autorange: True
935       autotick: False
936       fixedrange: False
937       gridcolor: "rgb(238, 238, 238)"
938       linecolor: "rgb(238, 238, 238)"
939       linewidth: 1
940       showgrid: True
941       showline: True
942       showticklabels: True
943       tickcolor: "rgb(238, 238, 238)"
944       tickmode: "linear"
945       title: "Indexed Test Cases"
946       zeroline: False
947     yaxis:
948       gridcolor: "rgb(238, 238, 238)'"
949       hoverformat: ".4s"
950       linecolor: "rgb(238, 238, 238)"
951       linewidth: 1
952       range: []
953       showgrid: True
954       showline: True
955       showticklabels: True
956       tickcolor: "rgb(238, 238, 238)"
957       title: "Packets Per Second [pps]"
958       zeroline: False
959     boxmode: "group"
960     boxgroupgap: 0.5
961     autosize: False
962     margin:
963       t: 50
964       b: 20
965       l: 50
966       r: 20
967     showlegend: True
968     legend:
969       orientation: "h"
970     width: 700
971     height: 1000
972
973 # VPP L2 sel2
974 -
975   type: "plot"
976   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
977   algorithm: "plot_performance_box"
978   output-file-type: ".html"
979   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
980   data:
981     csit-vpp-perf-1710-all:
982     - 11
983     - 12
984     - 13
985     - 14
986     - 15
987     - 16
988     - 17
989     - 18
990     - 19
991     - 20
992   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
993   parameters:
994   - "throughput"
995   - "parent"
996   traces:
997     hoverinfo: "x+y"
998     boxpoints: "outliers"
999     whiskerwidth: 0
1000   layout:
1001     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1002     xaxis:
1003       autorange: True
1004       autotick: False
1005       fixedrange: False
1006       gridcolor: "rgb(238, 238, 238)"
1007       linecolor: "rgb(238, 238, 238)"
1008       linewidth: 1
1009       showgrid: True
1010       showline: True
1011       showticklabels: True
1012       tickcolor: "rgb(238, 238, 238)"
1013       tickmode: "linear"
1014       title: "Indexed Test Cases"
1015       zeroline: False
1016     yaxis:
1017       gridcolor: "rgb(238, 238, 238)'"
1018       hoverformat: ".4s"
1019       linecolor: "rgb(238, 238, 238)"
1020       linewidth: 1
1021       range: [0, 8000000]
1022       showgrid: True
1023       showline: True
1024       showticklabels: True
1025       tickcolor: "rgb(238, 238, 238)"
1026       title: "Packets Per Second [pps]"
1027       zeroline: False
1028     boxmode: "group"
1029     boxgroupgap: 0.5
1030     autosize: False
1031     margin:
1032       t: 50
1033       b: 20
1034       l: 50
1035       r: 20
1036     showlegend: True
1037     legend:
1038       orientation: "h"
1039     width: 700
1040     height: 1000
1041
1042 -
1043   type: "plot"
1044   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1045   algorithm: "plot_performance_box"
1046   output-file-type: ".html"
1047   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1048   data:
1049     csit-vpp-perf-1710-all:
1050     - 11
1051     - 12
1052     - 13
1053     - 14
1054     - 15
1055     - 16
1056     - 17
1057     - 18
1058     - 19
1059     - 20
1060   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1061   parameters:
1062   - "throughput"
1063   - "parent"
1064   traces:
1065     hoverinfo: "x+y"
1066     boxpoints: "outliers"
1067     whiskerwidth: 0
1068   layout:
1069     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1070     xaxis:
1071       autorange: True
1072       autotick: False
1073       fixedrange: False
1074       gridcolor: "rgb(238, 238, 238)"
1075       linecolor: "rgb(238, 238, 238)"
1076       linewidth: 1
1077       showgrid: True
1078       showline: True
1079       showticklabels: True
1080       tickcolor: "rgb(238, 238, 238)"
1081       tickmode: "linear"
1082       title: "Indexed Test Cases"
1083       zeroline: False
1084     yaxis:
1085       gridcolor: "rgb(238, 238, 238)'"
1086       hoverformat: ".4s"
1087       linecolor: "rgb(238, 238, 238)"
1088       linewidth: 1
1089       range: [5000000, 12000000]
1090       showgrid: True
1091       showline: True
1092       showticklabels: True
1093       tickcolor: "rgb(238, 238, 238)"
1094       title: "Packets Per Second [pps]"
1095       zeroline: False
1096     boxmode: "group"
1097     boxgroupgap: 0.5
1098     autosize: False
1099     margin:
1100       t: 50
1101       b: 20
1102       l: 50
1103       r: 20
1104     showlegend: True
1105     legend:
1106       orientation: "h"
1107     width: 700
1108     height: 1000
1109
1110 -
1111   type: "plot"
1112   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1113   algorithm: "plot_performance_box"
1114   output-file-type: ".html"
1115   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1116   data:
1117     csit-vpp-perf-1710-all:
1118     - 11
1119     - 12
1120     - 13
1121     - 14
1122     - 15
1123     - 16
1124     - 17
1125     - 18
1126     - 19
1127     - 20
1128   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1129   parameters:
1130   - "throughput"
1131   - "parent"
1132   traces:
1133     hoverinfo: "x+y"
1134     boxpoints: "outliers"
1135     whiskerwidth: 0
1136   layout:
1137     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1138     xaxis:
1139       autorange: True
1140       autotick: False
1141       fixedrange: False
1142       gridcolor: "rgb(238, 238, 238)"
1143       linecolor: "rgb(238, 238, 238)"
1144       linewidth: 1
1145       showgrid: True
1146       showline: True
1147       showticklabels: True
1148       tickcolor: "rgb(238, 238, 238)"
1149       tickmode: "linear"
1150       title: "Indexed Test Cases"
1151       zeroline: False
1152     yaxis:
1153       gridcolor: "rgb(238, 238, 238)'"
1154       hoverformat: ".4s"
1155       linecolor: "rgb(238, 238, 238)"
1156       linewidth: 1
1157       range: [0, 8000000]
1158       showgrid: True
1159       showline: True
1160       showticklabels: True
1161       tickcolor: "rgb(238, 238, 238)"
1162       title: "Packets Per Second [pps]"
1163       zeroline: False
1164     boxmode: "group"
1165     boxgroupgap: 0.5
1166     autosize: False
1167     margin:
1168       t: 50
1169       b: 20
1170       l: 50
1171       r: 20
1172     showlegend: True
1173     legend:
1174       orientation: "h"
1175     width: 700
1176     height: 1000
1177
1178 -
1179   type: "plot"
1180   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1181   algorithm: "plot_performance_box"
1182   output-file-type: ".html"
1183   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1184   data:
1185     csit-vpp-perf-1710-all:
1186     - 11
1187     - 12
1188     - 13
1189     - 14
1190     - 15
1191     - 16
1192     - 17
1193     - 18
1194     - 19
1195     - 20
1196   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1197   parameters:
1198   - "throughput"
1199   - "parent"
1200   traces:
1201     hoverinfo: "x+y"
1202     boxpoints: "outliers"
1203     whiskerwidth: 0
1204   layout:
1205     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1206     xaxis:
1207       autorange: True
1208       autotick: False
1209       fixedrange: False
1210       gridcolor: "rgb(238, 238, 238)"
1211       linecolor: "rgb(238, 238, 238)"
1212       linewidth: 1
1213       showgrid: True
1214       showline: True
1215       showticklabels: True
1216       tickcolor: "rgb(238, 238, 238)"
1217       tickmode: "linear"
1218       title: "Indexed Test Cases"
1219       zeroline: False
1220     yaxis:
1221       gridcolor: "rgb(238, 238, 238)'"
1222       hoverformat: ".4s"
1223       linecolor: "rgb(238, 238, 238)"
1224       linewidth: 1
1225       range: [5000000, 12000000]
1226       showgrid: True
1227       showline: True
1228       showticklabels: True
1229       tickcolor: "rgb(238, 238, 238)"
1230       title: "Packets Per Second [pps]"
1231       zeroline: False
1232     boxmode: "group"
1233     boxgroupgap: 0.5
1234     autosize: False
1235     margin:
1236       t: 50
1237       b: 20
1238       l: 50
1239       r: 20
1240     showlegend: True
1241     legend:
1242       orientation: "h"
1243     width: 700
1244     height: 1000
1245
1246 # VPP IP4
1247 -
1248   type: "plot"
1249   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1250   algorithm: "plot_performance_box"
1251   output-file-type: ".html"
1252   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1253   data:
1254     csit-vpp-perf-1710-all:
1255     - 11
1256     - 12
1257     - 13
1258     - 14
1259     - 15
1260     - 16
1261     - 17
1262     - 18
1263     - 19
1264     - 20
1265   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1266   parameters:
1267   - "throughput"
1268   - "parent"
1269   traces:
1270     hoverinfo: "x+y"
1271     boxpoints: "outliers"
1272     whiskerwidth: 0
1273   layout:
1274     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1275     xaxis:
1276       autorange: True
1277       autotick: False
1278       fixedrange: False
1279       gridcolor: "rgb(238, 238, 238)"
1280       linecolor: "rgb(238, 238, 238)"
1281       linewidth: 1
1282       showgrid: True
1283       showline: True
1284       showticklabels: True
1285       tickcolor: "rgb(238, 238, 238)"
1286       tickmode: "linear"
1287       title: "Indexed Test Cases"
1288       zeroline: False
1289     yaxis:
1290       gridcolor: "rgb(238, 238, 238)'"
1291       hoverformat: ".4s"
1292       linecolor: "rgb(238, 238, 238)"
1293       linewidth: 1
1294       range: []
1295       showgrid: True
1296       showline: True
1297       showticklabels: True
1298       tickcolor: "rgb(238, 238, 238)"
1299       title: "Packets Per Second [pps]"
1300       zeroline: False
1301     boxmode: "group"
1302     boxgroupgap: 0.5
1303     autosize: False
1304     margin:
1305       t: 50
1306       b: 20
1307       l: 50
1308       r: 20
1309     showlegend: True
1310     legend:
1311       orientation: "h"
1312     width: 700
1313     height: 1000
1314
1315 -
1316   type: "plot"
1317   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1318   algorithm: "plot_performance_box"
1319   output-file-type: ".html"
1320   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1321   data:
1322     csit-vpp-perf-1710-all:
1323     - 11
1324     - 12
1325     - 13
1326     - 14
1327     - 15
1328     - 16
1329     - 17
1330     - 18
1331     - 19
1332     - 20
1333   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1334   parameters:
1335   - "throughput"
1336   - "parent"
1337   traces:
1338     hoverinfo: "x+y"
1339     boxpoints: "outliers"
1340     whiskerwidth: 0
1341   layout:
1342     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1343     xaxis:
1344       autorange: True
1345       autotick: False
1346       fixedrange: False
1347       gridcolor: "rgb(238, 238, 238)"
1348       linecolor: "rgb(238, 238, 238)"
1349       linewidth: 1
1350       showgrid: True
1351       showline: True
1352       showticklabels: True
1353       tickcolor: "rgb(238, 238, 238)"
1354       tickmode: "linear"
1355       title: "Indexed Test Cases"
1356       zeroline: False
1357     yaxis:
1358       gridcolor: "rgb(238, 238, 238)'"
1359       hoverformat: ".4s"
1360       linecolor: "rgb(238, 238, 238)"
1361       linewidth: 1
1362       range: []
1363       showgrid: True
1364       showline: True
1365       showticklabels: True
1366       tickcolor: "rgb(238, 238, 238)"
1367       title: "Packets Per Second [pps]"
1368       zeroline: False
1369     boxmode: "group"
1370     boxgroupgap: 0.5
1371     autosize: False
1372     margin:
1373       t: 50
1374       b: 20
1375       l: 50
1376       r: 20
1377     showlegend: True
1378     legend:
1379       orientation: "h"
1380     width: 700
1381     height: 1000
1382
1383 -
1384   type: "plot"
1385   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1386   algorithm: "plot_performance_box"
1387   output-file-type: ".html"
1388   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1389   data:
1390     csit-vpp-perf-1710-all:
1391     - 11
1392     - 12
1393     - 13
1394     - 14
1395     - 15
1396     - 16
1397     - 17
1398     - 18
1399     - 19
1400     - 20
1401   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1402   parameters:
1403   - "throughput"
1404   - "parent"
1405   traces:
1406     hoverinfo: "x+y"
1407     boxpoints: "outliers"
1408     whiskerwidth: 0
1409   layout:
1410     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1411     xaxis:
1412       autorange: True
1413       autotick: False
1414       fixedrange: False
1415       gridcolor: "rgb(238, 238, 238)"
1416       linecolor: "rgb(238, 238, 238)"
1417       linewidth: 1
1418       showgrid: True
1419       showline: True
1420       showticklabels: True
1421       tickcolor: "rgb(238, 238, 238)"
1422       tickmode: "linear"
1423       title: "Indexed Test Cases"
1424       zeroline: False
1425     yaxis:
1426       gridcolor: "rgb(238, 238, 238)'"
1427       hoverformat: ".4s"
1428       linecolor: "rgb(238, 238, 238)"
1429       linewidth: 1
1430       range: []
1431       showgrid: True
1432       showline: True
1433       showticklabels: True
1434       tickcolor: "rgb(238, 238, 238)"
1435       title: "Packets Per Second [pps]"
1436       zeroline: False
1437     boxmode: "group"
1438     boxgroupgap: 0.5
1439     autosize: False
1440     margin:
1441       t: 50
1442       b: 20
1443       l: 50
1444       r: 20
1445     showlegend: True
1446     legend:
1447       orientation: "h"
1448     width: 700
1449     height: 1000
1450
1451 -
1452   type: "plot"
1453   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1454   algorithm: "plot_performance_box"
1455   output-file-type: ".html"
1456   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1457   data:
1458     csit-vpp-perf-1710-all:
1459     - 11
1460     - 12
1461     - 13
1462     - 14
1463     - 15
1464     - 16
1465     - 17
1466     - 18
1467     - 19
1468     - 20
1469   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1470   parameters:
1471   - "throughput"
1472   - "parent"
1473   traces:
1474     hoverinfo: "x+y"
1475     boxpoints: "outliers"
1476     whiskerwidth: 0
1477   layout:
1478     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1479     xaxis:
1480       autorange: True
1481       autotick: False
1482       fixedrange: False
1483       gridcolor: "rgb(238, 238, 238)"
1484       linecolor: "rgb(238, 238, 238)"
1485       linewidth: 1
1486       showgrid: True
1487       showline: True
1488       showticklabels: True
1489       tickcolor: "rgb(238, 238, 238)"
1490       tickmode: "linear"
1491       title: "Indexed Test Cases"
1492       zeroline: False
1493     yaxis:
1494       gridcolor: "rgb(238, 238, 238)'"
1495       hoverformat: ".4s"
1496       linecolor: "rgb(238, 238, 238)"
1497       linewidth: 1
1498       range: []
1499       showgrid: True
1500       showline: True
1501       showticklabels: True
1502       tickcolor: "rgb(238, 238, 238)"
1503       title: "Packets Per Second [pps]"
1504       zeroline: False
1505     boxmode: "group"
1506     boxgroupgap: 0.5
1507     autosize: False
1508     margin:
1509       t: 50
1510       b: 20
1511       l: 50
1512       r: 20
1513     showlegend: True
1514     legend:
1515       orientation: "h"
1516     width: 700
1517     height: 1000
1518
1519 # VPP IP6
1520 -
1521   type: "plot"
1522   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1523   algorithm: "plot_performance_box"
1524   output-file-type: ".html"
1525   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1526   data:
1527     csit-vpp-perf-1710-all:
1528     - 11
1529     - 12
1530     - 13
1531     - 14
1532     - 15
1533     - 16
1534     - 17
1535     - 18
1536     - 19
1537     - 20
1538   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1539   parameters:
1540   - "throughput"
1541   - "parent"
1542   traces:
1543     hoverinfo: "x+y"
1544     boxpoints: "outliers"
1545     whiskerwidth: 0
1546   layout:
1547     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1548     xaxis:
1549       autorange: True
1550       autotick: False
1551       fixedrange: False
1552       gridcolor: "rgb(238, 238, 238)"
1553       linecolor: "rgb(238, 238, 238)"
1554       linewidth: 1
1555       showgrid: True
1556       showline: True
1557       showticklabels: True
1558       tickcolor: "rgb(238, 238, 238)"
1559       tickmode: "linear"
1560       title: "Indexed Test Cases"
1561       zeroline: False
1562     yaxis:
1563       gridcolor: "rgb(238, 238, 238)'"
1564       hoverformat: ".4s"
1565       linecolor: "rgb(238, 238, 238)"
1566       linewidth: 1
1567       range: []
1568       showgrid: True
1569       showline: True
1570       showticklabels: True
1571       tickcolor: "rgb(238, 238, 238)"
1572       title: "Packets Per Second [pps]"
1573       zeroline: False
1574     boxmode: "group"
1575     boxgroupgap: 0.5
1576     autosize: False
1577     margin:
1578       t: 50
1579       b: 20
1580       l: 50
1581       r: 20
1582     showlegend: True
1583     legend:
1584       orientation: "h"
1585     width: 700
1586     height: 1000
1587
1588 -
1589   type: "plot"
1590   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1591   algorithm: "plot_performance_box"
1592   output-file-type: ".html"
1593   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1594   data:
1595     csit-vpp-perf-1710-all:
1596     - 11
1597     - 12
1598     - 13
1599     - 14
1600     - 15
1601     - 16
1602     - 17
1603     - 18
1604     - 19
1605     - 20
1606   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1607   parameters:
1608   - "throughput"
1609   - "parent"
1610   traces:
1611     hoverinfo: "x+y"
1612     boxpoints: "outliers"
1613     whiskerwidth: 0
1614   layout:
1615     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1616     xaxis:
1617       autorange: True
1618       autotick: False
1619       fixedrange: False
1620       gridcolor: "rgb(238, 238, 238)"
1621       linecolor: "rgb(238, 238, 238)"
1622       linewidth: 1
1623       showgrid: True
1624       showline: True
1625       showticklabels: True
1626       tickcolor: "rgb(238, 238, 238)"
1627       tickmode: "linear"
1628       title: "Indexed Test Cases"
1629       zeroline: False
1630     yaxis:
1631       gridcolor: "rgb(238, 238, 238)'"
1632       hoverformat: ".4s"
1633       linecolor: "rgb(238, 238, 238)"
1634       linewidth: 1
1635       range: []
1636       showgrid: True
1637       showline: True
1638       showticklabels: True
1639       tickcolor: "rgb(238, 238, 238)"
1640       title: "Packets Per Second [pps]"
1641       zeroline: False
1642     boxmode: "group"
1643     boxgroupgap: 0.5
1644     autosize: False
1645     margin:
1646       t: 50
1647       b: 20
1648       l: 50
1649       r: 20
1650     showlegend: True
1651     legend:
1652       orientation: "h"
1653     width: 700
1654     height: 1000
1655
1656 -
1657   type: "plot"
1658   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1659   algorithm: "plot_performance_box"
1660   output-file-type: ".html"
1661   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1662   data:
1663     csit-vpp-perf-1710-all:
1664     - 11
1665     - 12
1666     - 13
1667     - 14
1668     - 15
1669     - 16
1670     - 17
1671     - 18
1672     - 19
1673     - 20
1674   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1675   parameters:
1676   - "throughput"
1677   - "parent"
1678   traces:
1679     hoverinfo: "x+y"
1680     boxpoints: "outliers"
1681     whiskerwidth: 0
1682   layout:
1683     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1684     xaxis:
1685       autorange: True
1686       autotick: False
1687       fixedrange: False
1688       gridcolor: "rgb(238, 238, 238)"
1689       linecolor: "rgb(238, 238, 238)"
1690       linewidth: 1
1691       showgrid: True
1692       showline: True
1693       showticklabels: True
1694       tickcolor: "rgb(238, 238, 238)"
1695       tickmode: "linear"
1696       title: "Indexed Test Cases"
1697       zeroline: False
1698     yaxis:
1699       gridcolor: "rgb(238, 238, 238)'"
1700       hoverformat: ".4s"
1701       linecolor: "rgb(238, 238, 238)"
1702       linewidth: 1
1703       range: []
1704       showgrid: True
1705       showline: True
1706       showticklabels: True
1707       tickcolor: "rgb(238, 238, 238)"
1708       title: "Packets Per Second [pps]"
1709       zeroline: False
1710     boxmode: "group"
1711     boxgroupgap: 0.5
1712     autosize: False
1713     margin:
1714       t: 50
1715       b: 20
1716       l: 50
1717       r: 20
1718     showlegend: True
1719     legend:
1720       orientation: "h"
1721     width: 700
1722     height: 1000
1723
1724 -
1725   type: "plot"
1726   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1727   algorithm: "plot_performance_box"
1728   output-file-type: ".html"
1729   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1730   data:
1731     csit-vpp-perf-1710-all:
1732     - 11
1733     - 12
1734     - 13
1735     - 14
1736     - 15
1737     - 16
1738     - 17
1739     - 18
1740     - 19
1741     - 20
1742   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1743   parameters:
1744   - "throughput"
1745   - "parent"
1746   traces:
1747     hoverinfo: "x+y"
1748     boxpoints: "outliers"
1749     whiskerwidth: 0
1750   layout:
1751     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1752     xaxis:
1753       autorange: True
1754       autotick: False
1755       fixedrange: False
1756       gridcolor: "rgb(238, 238, 238)"
1757       linecolor: "rgb(238, 238, 238)"
1758       linewidth: 1
1759       showgrid: True
1760       showline: True
1761       showticklabels: True
1762       tickcolor: "rgb(238, 238, 238)"
1763       tickmode: "linear"
1764       title: "Indexed Test Cases"
1765       zeroline: False
1766     yaxis:
1767       gridcolor: "rgb(238, 238, 238)'"
1768       hoverformat: ".4s"
1769       linecolor: "rgb(238, 238, 238)"
1770       linewidth: 1
1771       range: []
1772       showgrid: True
1773       showline: True
1774       showticklabels: True
1775       tickcolor: "rgb(238, 238, 238)"
1776       title: "Packets Per Second [pps]"
1777       zeroline: False
1778     boxmode: "group"
1779     boxgroupgap: 0.5
1780     autosize: False
1781     margin:
1782       t: 50
1783       b: 20
1784       l: 50
1785       r: 20
1786     showlegend: True
1787     legend:
1788       orientation: "h"
1789     width: 700
1790     height: 1000
1791
1792 # VPP IP4_overlay
1793 -
1794   type: "plot"
1795   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1796   algorithm: "plot_performance_box"
1797   output-file-type: ".html"
1798   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1799   data:
1800     csit-vpp-perf-1710-all:
1801     - 11
1802     - 12
1803     - 13
1804     - 14
1805     - 15
1806     - 16
1807     - 17
1808     - 18
1809     - 19
1810     - 20
1811   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1812   parameters:
1813   - "throughput"
1814   - "parent"
1815   traces:
1816     hoverinfo: "x+y"
1817     boxpoints: "outliers"
1818     whiskerwidth: 0
1819   layout:
1820     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1821     xaxis:
1822       autorange: True
1823       autotick: False
1824       fixedrange: False
1825       gridcolor: "rgb(238, 238, 238)"
1826       linecolor: "rgb(238, 238, 238)"
1827       linewidth: 1
1828       showgrid: True
1829       showline: True
1830       showticklabels: True
1831       tickcolor: "rgb(238, 238, 238)"
1832       tickmode: "linear"
1833       title: "Indexed Test Cases"
1834       zeroline: False
1835     yaxis:
1836       gridcolor: "rgb(238, 238, 238)'"
1837       hoverformat: ".4s"
1838       linecolor: "rgb(238, 238, 238)"
1839       linewidth: 1
1840       range: []
1841       showgrid: True
1842       showline: True
1843       showticklabels: True
1844       tickcolor: "rgb(238, 238, 238)"
1845       title: "Packets Per Second [pps]"
1846       zeroline: False
1847     boxmode: "group"
1848     boxgroupgap: 0.5
1849     autosize: False
1850     margin:
1851       t: 50
1852       b: 20
1853       l: 50
1854       r: 20
1855     showlegend: True
1856     legend:
1857       orientation: "h"
1858     width: 700
1859     height: 1000
1860
1861 -
1862   type: "plot"
1863   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1864   algorithm: "plot_performance_box"
1865   output-file-type: ".html"
1866   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1867   data:
1868     csit-vpp-perf-1710-all:
1869     - 11
1870     - 12
1871     - 13
1872     - 14
1873     - 15
1874     - 16
1875     - 17
1876     - 18
1877     - 19
1878     - 20
1879   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1880   parameters:
1881   - "throughput"
1882   - "parent"
1883   traces:
1884     hoverinfo: "x+y"
1885     boxpoints: "outliers"
1886     whiskerwidth: 0
1887   layout:
1888     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1889     xaxis:
1890       autorange: True
1891       autotick: False
1892       fixedrange: False
1893       gridcolor: "rgb(238, 238, 238)"
1894       linecolor: "rgb(238, 238, 238)"
1895       linewidth: 1
1896       showgrid: True
1897       showline: True
1898       showticklabels: True
1899       tickcolor: "rgb(238, 238, 238)"
1900       tickmode: "linear"
1901       title: "Indexed Test Cases"
1902       zeroline: False
1903     yaxis:
1904       gridcolor: "rgb(238, 238, 238)'"
1905       hoverformat: ".4s"
1906       linecolor: "rgb(238, 238, 238)"
1907       linewidth: 1
1908       range: []
1909       showgrid: True
1910       showline: True
1911       showticklabels: True
1912       tickcolor: "rgb(238, 238, 238)"
1913       title: "Packets Per Second [pps]"
1914       zeroline: False
1915     boxmode: "group"
1916     boxgroupgap: 0.5
1917     autosize: False
1918     margin:
1919       t: 50
1920       b: 20
1921       l: 50
1922       r: 20
1923     showlegend: True
1924     legend:
1925       orientation: "h"
1926     width: 700
1927     height: 1000
1928
1929 -
1930   type: "plot"
1931   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1932   algorithm: "plot_performance_box"
1933   output-file-type: ".html"
1934   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1935   data:
1936     csit-vpp-perf-1710-all:
1937     - 11
1938     - 12
1939     - 13
1940     - 14
1941     - 15
1942     - 16
1943     - 17
1944     - 18
1945     - 19
1946     - 20
1947   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1948   parameters:
1949   - "throughput"
1950   - "parent"
1951   traces:
1952     hoverinfo: "x+y"
1953     boxpoints: "outliers"
1954     whiskerwidth: 0
1955   layout:
1956     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1957     xaxis:
1958       autorange: True
1959       autotick: False
1960       fixedrange: False
1961       gridcolor: "rgb(238, 238, 238)"
1962       linecolor: "rgb(238, 238, 238)"
1963       linewidth: 1
1964       showgrid: True
1965       showline: True
1966       showticklabels: True
1967       tickcolor: "rgb(238, 238, 238)"
1968       tickmode: "linear"
1969       title: "Indexed Test Cases"
1970       zeroline: False
1971     yaxis:
1972       gridcolor: "rgb(238, 238, 238)'"
1973       hoverformat: ".4s"
1974       linecolor: "rgb(238, 238, 238)"
1975       linewidth: 1
1976       range: []
1977       showgrid: True
1978       showline: True
1979       showticklabels: True
1980       tickcolor: "rgb(238, 238, 238)"
1981       title: "Packets Per Second [pps]"
1982       zeroline: False
1983     boxmode: "group"
1984     boxgroupgap: 0.5
1985     autosize: False
1986     margin:
1987       t: 50
1988       b: 20
1989       l: 50
1990       r: 20
1991     showlegend: True
1992     legend:
1993       orientation: "h"
1994     width: 700
1995     height: 1000
1996
1997 -
1998   type: "plot"
1999   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2000   algorithm: "plot_performance_box"
2001   output-file-type: ".html"
2002   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2003   data:
2004     csit-vpp-perf-1710-all:
2005     - 11
2006     - 12
2007     - 13
2008     - 14
2009     - 15
2010     - 16
2011     - 17
2012     - 18
2013     - 19
2014     - 20
2015   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2016   parameters:
2017   - "throughput"
2018   - "parent"
2019   traces:
2020     hoverinfo: "x+y"
2021     boxpoints: "outliers"
2022     whiskerwidth: 0
2023   layout:
2024     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2025     xaxis:
2026       autorange: True
2027       autotick: False
2028       fixedrange: False
2029       gridcolor: "rgb(238, 238, 238)"
2030       linecolor: "rgb(238, 238, 238)"
2031       linewidth: 1
2032       showgrid: True
2033       showline: True
2034       showticklabels: True
2035       tickcolor: "rgb(238, 238, 238)"
2036       tickmode: "linear"
2037       title: "Indexed Test Cases"
2038       zeroline: False
2039     yaxis:
2040       gridcolor: "rgb(238, 238, 238)'"
2041       hoverformat: ".4s"
2042       linecolor: "rgb(238, 238, 238)"
2043       linewidth: 1
2044       range: []
2045       showgrid: True
2046       showline: True
2047       showticklabels: True
2048       tickcolor: "rgb(238, 238, 238)"
2049       title: "Packets Per Second [pps]"
2050       zeroline: False
2051     boxmode: "group"
2052     boxgroupgap: 0.5
2053     autosize: False
2054     margin:
2055       t: 50
2056       b: 20
2057       l: 50
2058       r: 20
2059     showlegend: True
2060     legend:
2061       orientation: "h"
2062     width: 700
2063     height: 1000
2064
2065 # VPP IP6_overlay
2066 -
2067   type: "plot"
2068   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2069   algorithm: "plot_performance_box"
2070   output-file-type: ".html"
2071   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2072   data:
2073     csit-vpp-perf-1710-all:
2074     - 11
2075     - 12
2076     - 13
2077     - 14
2078     - 15
2079     - 16
2080     - 17
2081     - 18
2082     - 19
2083     - 20
2084   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2085   parameters:
2086   - "throughput"
2087   - "parent"
2088   traces:
2089     hoverinfo: "x+y"
2090     boxpoints: "outliers"
2091     whiskerwidth: 0
2092   layout:
2093     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2094     xaxis:
2095       autorange: True
2096       autotick: False
2097       fixedrange: False
2098       gridcolor: "rgb(238, 238, 238)"
2099       linecolor: "rgb(238, 238, 238)"
2100       linewidth: 1
2101       showgrid: True
2102       showline: True
2103       showticklabels: True
2104       tickcolor: "rgb(238, 238, 238)"
2105       tickmode: "linear"
2106       title: "Indexed Test Cases"
2107       zeroline: False
2108     yaxis:
2109       gridcolor: "rgb(238, 238, 238)'"
2110       hoverformat: ".4s"
2111       linecolor: "rgb(238, 238, 238)"
2112       linewidth: 1
2113       range: []
2114       showgrid: True
2115       showline: True
2116       showticklabels: True
2117       tickcolor: "rgb(238, 238, 238)"
2118       title: "Packets Per Second [pps]"
2119       zeroline: False
2120     boxmode: "group"
2121     boxgroupgap: 0.5
2122     autosize: False
2123     margin:
2124       t: 50
2125       b: 20
2126       l: 50
2127       r: 20
2128     showlegend: True
2129     legend:
2130       orientation: "h"
2131     width: 700
2132     height: 1000
2133
2134 -
2135   type: "plot"
2136   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2137   algorithm: "plot_performance_box"
2138   output-file-type: ".html"
2139   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2140   data:
2141     csit-vpp-perf-1710-all:
2142     - 11
2143     - 12
2144     - 13
2145     - 14
2146     - 15
2147     - 16
2148     - 17
2149     - 18
2150     - 19
2151     - 20
2152   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2153   parameters:
2154   - "throughput"
2155   - "parent"
2156   traces:
2157     hoverinfo: "x+y"
2158     boxpoints: "outliers"
2159     whiskerwidth: 0
2160   layout:
2161     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2162     xaxis:
2163       autorange: True
2164       autotick: False
2165       fixedrange: False
2166       gridcolor: "rgb(238, 238, 238)"
2167       linecolor: "rgb(238, 238, 238)"
2168       linewidth: 1
2169       showgrid: True
2170       showline: True
2171       showticklabels: True
2172       tickcolor: "rgb(238, 238, 238)"
2173       tickmode: "linear"
2174       title: "Indexed Test Cases"
2175       zeroline: False
2176     yaxis:
2177       gridcolor: "rgb(238, 238, 238)'"
2178       hoverformat: ".4s"
2179       linecolor: "rgb(238, 238, 238)"
2180       linewidth: 1
2181       range: []
2182       showgrid: True
2183       showline: True
2184       showticklabels: True
2185       tickcolor: "rgb(238, 238, 238)"
2186       title: "Packets Per Second [pps]"
2187       zeroline: False
2188     boxmode: "group"
2189     boxgroupgap: 0.5
2190     autosize: False
2191     margin:
2192       t: 50
2193       b: 20
2194       l: 50
2195       r: 20
2196     showlegend: True
2197     legend:
2198       orientation: "h"
2199     width: 700
2200     height: 1000
2201
2202 -
2203   type: "plot"
2204   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2205   algorithm: "plot_performance_box"
2206   output-file-type: ".html"
2207   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2208   data:
2209     csit-vpp-perf-1710-all:
2210     - 11
2211     - 12
2212     - 13
2213     - 14
2214     - 15
2215     - 16
2216     - 17
2217     - 18
2218     - 19
2219     - 20
2220   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2221   parameters:
2222   - "throughput"
2223   - "parent"
2224   traces:
2225     hoverinfo: "x+y"
2226     boxpoints: "outliers"
2227     whiskerwidth: 0
2228   layout:
2229     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2230     xaxis:
2231       autorange: True
2232       autotick: False
2233       fixedrange: False
2234       gridcolor: "rgb(238, 238, 238)"
2235       linecolor: "rgb(238, 238, 238)"
2236       linewidth: 1
2237       showgrid: True
2238       showline: True
2239       showticklabels: True
2240       tickcolor: "rgb(238, 238, 238)"
2241       tickmode: "linear"
2242       title: "Indexed Test Cases"
2243       zeroline: False
2244     yaxis:
2245       gridcolor: "rgb(238, 238, 238)'"
2246       hoverformat: ".4s"
2247       linecolor: "rgb(238, 238, 238)"
2248       linewidth: 1
2249       range: []
2250       showgrid: True
2251       showline: True
2252       showticklabels: True
2253       tickcolor: "rgb(238, 238, 238)"
2254       title: "Packets Per Second [pps]"
2255       zeroline: False
2256     boxmode: "group"
2257     boxgroupgap: 0.5
2258     autosize: False
2259     margin:
2260       t: 50
2261       b: 20
2262       l: 50
2263       r: 20
2264     showlegend: True
2265     legend:
2266       orientation: "h"
2267     width: 700
2268     height: 1000
2269
2270 -
2271   type: "plot"
2272   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2273   algorithm: "plot_performance_box"
2274   output-file-type: ".html"
2275   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2276   data:
2277     csit-vpp-perf-1710-all:
2278     - 11
2279     - 12
2280     - 13
2281     - 14
2282     - 15
2283     - 16
2284     - 17
2285     - 18
2286     - 19
2287     - 20
2288   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2289   parameters:
2290   - "throughput"
2291   - "parent"
2292   traces:
2293     hoverinfo: "x+y"
2294     boxpoints: "outliers"
2295     whiskerwidth: 0
2296   layout:
2297     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2298     xaxis:
2299       autorange: True
2300       autotick: False
2301       fixedrange: False
2302       gridcolor: "rgb(238, 238, 238)"
2303       linecolor: "rgb(238, 238, 238)"
2304       linewidth: 1
2305       showgrid: True
2306       showline: True
2307       showticklabels: True
2308       tickcolor: "rgb(238, 238, 238)"
2309       tickmode: "linear"
2310       title: "Indexed Test Cases"
2311       zeroline: False
2312     yaxis:
2313       gridcolor: "rgb(238, 238, 238)'"
2314       hoverformat: ".4s"
2315       linecolor: "rgb(238, 238, 238)"
2316       linewidth: 1
2317       range: []
2318       showgrid: True
2319       showline: True
2320       showticklabels: True
2321       tickcolor: "rgb(238, 238, 238)"
2322       title: "Packets Per Second [pps]"
2323       zeroline: False
2324     boxmode: "group"
2325     boxgroupgap: 0.5
2326     autosize: False
2327     margin:
2328       t: 50
2329       b: 20
2330       l: 50
2331       r: 20
2332     showlegend: True
2333     legend:
2334       orientation: "h"
2335     width: 700
2336     height: 1000
2337
2338 # VPP VM VHOST
2339 -
2340   type: "plot"
2341   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2342   algorithm: "plot_performance_box"
2343   output-file-type: ".html"
2344   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2345   data:
2346     csit-vpp-perf-1710-all:
2347     - 11
2348     - 12
2349     - 13
2350     - 14
2351     - 15
2352     - 16
2353     - 17
2354     - 18
2355     - 19
2356     - 20
2357   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2358   parameters:
2359   - "throughput"
2360   - "parent"
2361   traces:
2362     hoverinfo: "x+y"
2363     boxpoints: "outliers"
2364     whiskerwidth: 0
2365   layout:
2366     title: "64B-1t1c-.*vhost.*-ndrdisc"
2367     xaxis:
2368       autorange: True
2369       autotick: False
2370       fixedrange: False
2371       gridcolor: "rgb(238, 238, 238)"
2372       linecolor: "rgb(238, 238, 238)"
2373       linewidth: 1
2374       showgrid: True
2375       showline: True
2376       showticklabels: True
2377       tickcolor: "rgb(238, 238, 238)"
2378       tickmode: "linear"
2379       title: "Indexed Test Cases"
2380       zeroline: False
2381     yaxis:
2382       gridcolor: "rgb(238, 238, 238)'"
2383       hoverformat: ".4s"
2384       linecolor: "rgb(238, 238, 238)"
2385       linewidth: 1
2386       range: []
2387       showgrid: True
2388       showline: True
2389       showticklabels: True
2390       tickcolor: "rgb(238, 238, 238)"
2391       title: "Packets Per Second [pps]"
2392       zeroline: False
2393     boxmode: "group"
2394     boxgroupgap: 0.5
2395     autosize: False
2396     margin:
2397       t: 50
2398       b: 20
2399       l: 50
2400       r: 20
2401     showlegend: True
2402     legend:
2403       orientation: "h"
2404     width: 700
2405     height: 1000
2406
2407 -
2408   type: "plot"
2409   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2410   algorithm: "plot_performance_box"
2411   output-file-type: ".html"
2412   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2413   data:
2414     csit-vpp-perf-1710-all:
2415     - 11
2416     - 12
2417     - 13
2418     - 14
2419     - 15
2420     - 16
2421     - 17
2422     - 18
2423     - 19
2424     - 20
2425   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2426   parameters:
2427   - "throughput"
2428   - "parent"
2429   traces:
2430     hoverinfo: "x+y"
2431     boxpoints: "outliers"
2432     whiskerwidth: 0
2433   layout:
2434     title: "64B-2t2c-.*vhost.*-ndrdisc"
2435     xaxis:
2436       autorange: True
2437       autotick: False
2438       fixedrange: False
2439       gridcolor: "rgb(238, 238, 238)"
2440       linecolor: "rgb(238, 238, 238)"
2441       linewidth: 1
2442       showgrid: True
2443       showline: True
2444       showticklabels: True
2445       tickcolor: "rgb(238, 238, 238)"
2446       tickmode: "linear"
2447       title: "Indexed Test Cases"
2448       zeroline: False
2449     yaxis:
2450       gridcolor: "rgb(238, 238, 238)'"
2451       hoverformat: ".4s"
2452       linecolor: "rgb(238, 238, 238)"
2453       linewidth: 1
2454       range: []
2455       showgrid: True
2456       showline: True
2457       showticklabels: True
2458       tickcolor: "rgb(238, 238, 238)"
2459       title: "Packets Per Second [pps]"
2460       zeroline: False
2461     boxmode: "group"
2462     boxgroupgap: 0.5
2463     autosize: False
2464     margin:
2465       t: 50
2466       b: 20
2467       l: 50
2468       r: 20
2469     showlegend: True
2470     legend:
2471       orientation: "h"
2472     width: 700
2473     height: 1000
2474
2475 -
2476   type: "plot"
2477   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2478   algorithm: "plot_performance_box"
2479   output-file-type: ".html"
2480   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2481   data:
2482     csit-vpp-perf-1710-all:
2483     - 11
2484     - 12
2485     - 13
2486     - 14
2487     - 15
2488     - 16
2489     - 17
2490     - 18
2491     - 19
2492     - 20
2493   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2494   parameters:
2495   - "throughput"
2496   - "parent"
2497   traces:
2498     hoverinfo: "x+y"
2499     boxpoints: "outliers"
2500     whiskerwidth: 0
2501   layout:
2502     title: "64B-1t1c-.*vhost.*-pdrdisc"
2503     xaxis:
2504       autorange: True
2505       autotick: False
2506       fixedrange: False
2507       gridcolor: "rgb(238, 238, 238)"
2508       linecolor: "rgb(238, 238, 238)"
2509       linewidth: 1
2510       showgrid: True
2511       showline: True
2512       showticklabels: True
2513       tickcolor: "rgb(238, 238, 238)"
2514       tickmode: "linear"
2515       title: "Indexed Test Cases"
2516       zeroline: False
2517     yaxis:
2518       gridcolor: "rgb(238, 238, 238)'"
2519       hoverformat: ".4s"
2520       linecolor: "rgb(238, 238, 238)"
2521       linewidth: 1
2522       range: []
2523       showgrid: True
2524       showline: True
2525       showticklabels: True
2526       tickcolor: "rgb(238, 238, 238)"
2527       title: "Packets Per Second [pps]"
2528       zeroline: False
2529     boxmode: "group"
2530     boxgroupgap: 0.5
2531     autosize: False
2532     margin:
2533       t: 50
2534       b: 20
2535       l: 50
2536       r: 20
2537     showlegend: True
2538     legend:
2539       orientation: "h"
2540     width: 700
2541     height: 1000
2542
2543 -
2544   type: "plot"
2545   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2546   algorithm: "plot_performance_box"
2547   output-file-type: ".html"
2548   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2549   data:
2550     csit-vpp-perf-1710-all:
2551     - 11
2552     - 12
2553     - 13
2554     - 14
2555     - 15
2556     - 16
2557     - 17
2558     - 18
2559     - 19
2560     - 20
2561   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2562   parameters:
2563   - "throughput"
2564   - "parent"
2565   traces:
2566     hoverinfo: "x+y"
2567     boxpoints: "outliers"
2568     whiskerwidth: 0
2569   layout:
2570     title: "64B-2t2c-.*vhost.*-pdrdisc"
2571     xaxis:
2572       autorange: True
2573       autotick: False
2574       fixedrange: False
2575       gridcolor: "rgb(238, 238, 238)"
2576       linecolor: "rgb(238, 238, 238)"
2577       linewidth: 1
2578       showgrid: True
2579       showline: True
2580       showticklabels: True
2581       tickcolor: "rgb(238, 238, 238)"
2582       tickmode: "linear"
2583       title: "Indexed Test Cases"
2584       zeroline: False
2585     yaxis:
2586       gridcolor: "rgb(238, 238, 238)'"
2587       hoverformat: ".4s"
2588       linecolor: "rgb(238, 238, 238)"
2589       linewidth: 1
2590       range: []
2591       showgrid: True
2592       showline: True
2593       showticklabels: True
2594       tickcolor: "rgb(238, 238, 238)"
2595       title: "Packets Per Second [pps]"
2596       zeroline: False
2597     boxmode: "group"
2598     boxgroupgap: 0.5
2599     autosize: False
2600     margin:
2601       t: 50
2602       b: 20
2603       l: 50
2604       r: 20
2605     showlegend: True
2606     legend:
2607       orientation: "h"
2608     width: 700
2609     height: 1000
2610
2611 # VPP VM VHOST SELECTION
2612 -
2613   type: "plot"
2614   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2615   algorithm: "plot_performance_box"
2616   output-file-type: ".html"
2617   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2618   data:
2619     csit-vpp-perf-1710-all:
2620     - 11
2621     - 12
2622     - 13
2623     - 14
2624     - 15
2625     - 16
2626     - 17
2627     - 18
2628     - 19
2629     - 20
2630   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2631   parameters:
2632   - "throughput"
2633   - "parent"
2634   traces:
2635     hoverinfo: "x+y"
2636     boxpoints: "outliers"
2637     whiskerwidth: 0
2638   layout:
2639     title: "64B-1t1c-.*vhost.*-ndrdisc"
2640     xaxis:
2641       autorange: True
2642       autotick: False
2643       fixedrange: False
2644       gridcolor: "rgb(238, 238, 238)"
2645       linecolor: "rgb(238, 238, 238)"
2646       linewidth: 1
2647       showgrid: True
2648       showline: True
2649       showticklabels: True
2650       tickcolor: "rgb(238, 238, 238)"
2651       tickmode: "linear"
2652       title: "Indexed Test Cases"
2653       zeroline: False
2654     yaxis:
2655       gridcolor: "rgb(238, 238, 238)'"
2656       hoverformat: ".4s"
2657       linecolor: "rgb(238, 238, 238)"
2658       linewidth: 1
2659       range: []
2660       showgrid: True
2661       showline: True
2662       showticklabels: True
2663       tickcolor: "rgb(238, 238, 238)"
2664       title: "Packets Per Second [pps]"
2665       zeroline: False
2666     boxmode: "group"
2667     boxgroupgap: 0.5
2668     autosize: False
2669     margin:
2670       t: 50
2671       b: 20
2672       l: 50
2673       r: 20
2674     showlegend: True
2675     legend:
2676       orientation: "h"
2677     width: 700
2678     height: 1000
2679
2680 -
2681   type: "plot"
2682   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2683   algorithm: "plot_performance_box"
2684   output-file-type: ".html"
2685   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2686   data:
2687     csit-vpp-perf-1710-all:
2688     - 11
2689     - 12
2690     - 13
2691     - 14
2692     - 15
2693     - 16
2694     - 17
2695     - 18
2696     - 19
2697     - 20
2698   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2699   parameters:
2700   - "throughput"
2701   - "parent"
2702   traces:
2703     hoverinfo: "x+y"
2704     boxpoints: "outliers"
2705     whiskerwidth: 0
2706   layout:
2707     title: "64B-2t2c-.*vhost.*-ndrdisc"
2708     xaxis:
2709       autorange: True
2710       autotick: False
2711       fixedrange: False
2712       gridcolor: "rgb(238, 238, 238)"
2713       linecolor: "rgb(238, 238, 238)"
2714       linewidth: 1
2715       showgrid: True
2716       showline: True
2717       showticklabels: True
2718       tickcolor: "rgb(238, 238, 238)"
2719       tickmode: "linear"
2720       title: "Indexed Test Cases"
2721       zeroline: False
2722     yaxis:
2723       gridcolor: "rgb(238, 238, 238)'"
2724       hoverformat: ".4s"
2725       linecolor: "rgb(238, 238, 238)"
2726       linewidth: 1
2727       range: []
2728       showgrid: True
2729       showline: True
2730       showticklabels: True
2731       tickcolor: "rgb(238, 238, 238)"
2732       title: "Packets Per Second [pps]"
2733       zeroline: False
2734     boxmode: "group"
2735     boxgroupgap: 0.5
2736     autosize: False
2737     margin:
2738       t: 50
2739       b: 20
2740       l: 50
2741       r: 20
2742     showlegend: True
2743     legend:
2744       orientation: "h"
2745     width: 700
2746     height: 1000
2747
2748 -
2749   type: "plot"
2750   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2751   algorithm: "plot_performance_box"
2752   output-file-type: ".html"
2753   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2754   data:
2755     csit-vpp-perf-1710-all:
2756     - 11
2757     - 12
2758     - 13
2759     - 14
2760     - 15
2761     - 16
2762     - 17
2763     - 18
2764     - 19
2765     - 20
2766   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2767   parameters:
2768   - "throughput"
2769   - "parent"
2770   traces:
2771     hoverinfo: "x+y"
2772     boxpoints: "outliers"
2773     whiskerwidth: 0
2774   layout:
2775     title: "64B-1t1c-.*vhost.*-pdrdisc"
2776     xaxis:
2777       autorange: True
2778       autotick: False
2779       fixedrange: False
2780       gridcolor: "rgb(238, 238, 238)"
2781       linecolor: "rgb(238, 238, 238)"
2782       linewidth: 1
2783       showgrid: True
2784       showline: True
2785       showticklabels: True
2786       tickcolor: "rgb(238, 238, 238)"
2787       tickmode: "linear"
2788       title: "Indexed Test Cases"
2789       zeroline: False
2790     yaxis:
2791       gridcolor: "rgb(238, 238, 238)'"
2792       hoverformat: ".4s"
2793       linecolor: "rgb(238, 238, 238)"
2794       linewidth: 1
2795       range: []
2796       showgrid: True
2797       showline: True
2798       showticklabels: True
2799       tickcolor: "rgb(238, 238, 238)"
2800       title: "Packets Per Second [pps]"
2801       zeroline: False
2802     boxmode: "group"
2803     boxgroupgap: 0.5
2804     autosize: False
2805     margin:
2806       t: 50
2807       b: 20
2808       l: 50
2809       r: 20
2810     showlegend: True
2811     legend:
2812       orientation: "h"
2813     width: 700
2814     height: 1000
2815
2816 -
2817   type: "plot"
2818   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2819   algorithm: "plot_performance_box"
2820   output-file-type: ".html"
2821   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2822   data:
2823     csit-vpp-perf-1710-all:
2824     - 11
2825     - 12
2826     - 13
2827     - 14
2828     - 15
2829     - 16
2830     - 17
2831     - 18
2832     - 19
2833     - 20
2834   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2835   parameters:
2836   - "throughput"
2837   - "parent"
2838   traces:
2839     hoverinfo: "x+y"
2840     boxpoints: "outliers"
2841     whiskerwidth: 0
2842   layout:
2843     title: "64B-2t2c-.*vhost.*-pdrdisc"
2844     xaxis:
2845       autorange: True
2846       autotick: False
2847       fixedrange: False
2848       gridcolor: "rgb(238, 238, 238)"
2849       linecolor: "rgb(238, 238, 238)"
2850       linewidth: 1
2851       showgrid: True
2852       showline: True
2853       showticklabels: True
2854       tickcolor: "rgb(238, 238, 238)"
2855       tickmode: "linear"
2856       title: "Indexed Test Cases"
2857       zeroline: False
2858     yaxis:
2859       gridcolor: "rgb(238, 238, 238)'"
2860       hoverformat: ".4s"
2861       linecolor: "rgb(238, 238, 238)"
2862       linewidth: 1
2863       range: []
2864       showgrid: True
2865       showline: True
2866       showticklabels: True
2867       tickcolor: "rgb(238, 238, 238)"
2868       title: "Packets Per Second [pps]"
2869       zeroline: False
2870     boxmode: "group"
2871     boxgroupgap: 0.5
2872     autosize: False
2873     margin:
2874       t: 50
2875       b: 20
2876       l: 50
2877       r: 20
2878     showlegend: True
2879     legend:
2880       orientation: "h"
2881     width: 700
2882     height: 1000
2883
2884 # VPP CRYPTO
2885 -
2886   type: "plot"
2887   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2888   algorithm: "plot_performance_box"
2889   output-file-type: ".html"
2890   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2891   data:
2892     csit-vpp-perf-1710-all:
2893     - 11
2894     - 12
2895     - 13
2896     - 14
2897     - 15
2898     - 16
2899     - 17
2900     - 18
2901     - 19
2902     - 20
2903   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2904   parameters:
2905   - "throughput"
2906   - "parent"
2907   traces:
2908     hoverinfo: "x+y"
2909     boxpoints: "outliers"
2910     whiskerwidth: 0
2911   layout:
2912     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2913     xaxis:
2914       autorange: True
2915       autotick: False
2916       fixedrange: False
2917       gridcolor: "rgb(238, 238, 238)"
2918       linecolor: "rgb(238, 238, 238)"
2919       linewidth: 1
2920       showgrid: True
2921       showline: True
2922       showticklabels: True
2923       tickcolor: "rgb(238, 238, 238)"
2924       tickmode: "linear"
2925       title: "Indexed Test Cases"
2926       zeroline: False
2927     yaxis:
2928       gridcolor: "rgb(238, 238, 238)'"
2929       hoverformat: ".4s"
2930       linecolor: "rgb(238, 238, 238)"
2931       linewidth: 1
2932       range: []
2933       showgrid: True
2934       showline: True
2935       showticklabels: True
2936       tickcolor: "rgb(238, 238, 238)"
2937       title: "Packets Per Second [pps]"
2938       zeroline: False
2939     boxmode: "group"
2940     boxgroupgap: 0.5
2941     autosize: False
2942     margin:
2943       t: 50
2944       b: 20
2945       l: 50
2946       r: 20
2947     showlegend: True
2948     legend:
2949       orientation: "h"
2950     width: 700
2951     height: 1000
2952
2953 -
2954   type: "plot"
2955   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2956   algorithm: "plot_performance_box"
2957   output-file-type: ".html"
2958   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2959   data:
2960     csit-vpp-perf-1710-all:
2961     - 11
2962     - 12
2963     - 13
2964     - 14
2965     - 15
2966     - 16
2967     - 17
2968     - 18
2969     - 19
2970     - 20
2971   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2972   parameters:
2973   - "throughput"
2974   - "parent"
2975   traces:
2976     hoverinfo: "x+y"
2977     boxpoints: "outliers"
2978     whiskerwidth: 0
2979   layout:
2980     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2981     xaxis:
2982       autorange: True
2983       autotick: False
2984       fixedrange: False
2985       gridcolor: "rgb(238, 238, 238)"
2986       linecolor: "rgb(238, 238, 238)"
2987       linewidth: 1
2988       showgrid: True
2989       showline: True
2990       showticklabels: True
2991       tickcolor: "rgb(238, 238, 238)"
2992       tickmode: "linear"
2993       title: "Indexed Test Cases"
2994       zeroline: False
2995     yaxis:
2996       gridcolor: "rgb(238, 238, 238)'"
2997       hoverformat: ".4s"
2998       linecolor: "rgb(238, 238, 238)"
2999       linewidth: 1
3000       range: []
3001       showgrid: True
3002       showline: True
3003       showticklabels: True
3004       tickcolor: "rgb(238, 238, 238)"
3005       title: "Packets Per Second [pps]"
3006       zeroline: False
3007     boxmode: "group"
3008     boxgroupgap: 0.5
3009     autosize: False
3010     margin:
3011       t: 50
3012       b: 20
3013       l: 50
3014       r: 20
3015     showlegend: True
3016     legend:
3017       orientation: "h"
3018     width: 700
3019     height: 1000
3020
3021 -
3022   type: "plot"
3023   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
3024   algorithm: "plot_performance_box"
3025   output-file-type: ".html"
3026   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
3027   data:
3028     csit-vpp-perf-1710-all:
3029     - 11
3030     - 12
3031     - 13
3032     - 14
3033     - 15
3034     - 16
3035     - 17
3036     - 18
3037     - 19
3038     - 20
3039   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3040   parameters:
3041   - "throughput"
3042   - "parent"
3043   traces:
3044     hoverinfo: "x+y"
3045     boxpoints: "outliers"
3046     whiskerwidth: 0
3047   layout:
3048     title: "64B-1t1c-.*ipsec.*-pdrdisc"
3049     xaxis:
3050       autorange: True
3051       autotick: False
3052       fixedrange: False
3053       gridcolor: "rgb(238, 238, 238)"
3054       linecolor: "rgb(238, 238, 238)"
3055       linewidth: 1
3056       showgrid: True
3057       showline: True
3058       showticklabels: True
3059       tickcolor: "rgb(238, 238, 238)"
3060       tickmode: "linear"
3061       title: "Indexed Test Cases"
3062       zeroline: False
3063     yaxis:
3064       gridcolor: "rgb(238, 238, 238)'"
3065       hoverformat: ".4s"
3066       linecolor: "rgb(238, 238, 238)"
3067       linewidth: 1
3068       range: []
3069       showgrid: True
3070       showline: True
3071       showticklabels: True
3072       tickcolor: "rgb(238, 238, 238)"
3073       title: "Packets Per Second [pps]"
3074       zeroline: False
3075     boxmode: "group"
3076     boxgroupgap: 0.5
3077     autosize: False
3078     margin:
3079       t: 50
3080       b: 20
3081       l: 50
3082       r: 20
3083     showlegend: True
3084     legend:
3085       orientation: "h"
3086     width: 700
3087     height: 1000
3088
3089 -
3090   type: "plot"
3091   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
3092   algorithm: "plot_performance_box"
3093   output-file-type: ".html"
3094   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
3095   data:
3096     csit-vpp-perf-1710-all:
3097     - 11
3098     - 12
3099     - 13
3100     - 14
3101     - 15
3102     - 16
3103     - 17
3104     - 18
3105     - 19
3106     - 20
3107   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3108   parameters:
3109   - "throughput"
3110   - "parent"
3111   traces:
3112     hoverinfo: "x+y"
3113     boxpoints: "outliers"
3114     whiskerwidth: 0
3115   layout:
3116     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3117     xaxis:
3118       autorange: True
3119       autotick: False
3120       fixedrange: False
3121       gridcolor: "rgb(238, 238, 238)"
3122       linecolor: "rgb(238, 238, 238)"
3123       linewidth: 1
3124       showgrid: True
3125       showline: True
3126       showticklabels: True
3127       tickcolor: "rgb(238, 238, 238)"
3128       tickmode: "linear"
3129       title: "Indexed Test Cases"
3130       zeroline: False
3131     yaxis:
3132       gridcolor: "rgb(238, 238, 238)'"
3133       hoverformat: ".4s"
3134       linecolor: "rgb(238, 238, 238)"
3135       linewidth: 1
3136       range: []
3137       showgrid: True
3138       showline: True
3139       showticklabels: True
3140       tickcolor: "rgb(238, 238, 238)"
3141       title: "Packets Per Second [pps]"
3142       zeroline: False
3143     boxmode: "group"
3144     boxgroupgap: 0.5
3145     autosize: False
3146     margin:
3147       t: 50
3148       b: 20
3149       l: 50
3150       r: 20
3151     showlegend: True
3152     legend:
3153       orientation: "h"
3154     width: 700
3155     height: 1000
3156
3157 # DPDK
3158 -
3159   type: "plot"
3160   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3161   algorithm: "plot_performance_box"
3162   output-file-type: ".html"
3163   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3164   data:
3165     csit-dpdk-perf-1710-all:
3166     - 2
3167     - 3
3168     - 5
3169     - 6
3170     - 7
3171     - 8
3172     - 9
3173     - 10
3174     - 11
3175     - 13
3176   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3177   parameters:
3178   - "throughput"
3179   - "parent"
3180   traces:
3181     hoverinfo: "x+y"
3182     boxpoints: "outliers"
3183     whiskerwidth: 0
3184   layout:
3185     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3186     xaxis:
3187       autorange: True
3188       autotick: False
3189       fixedrange: False
3190       gridcolor: "rgb(238, 238, 238)"
3191       linecolor: "rgb(238, 238, 238)"
3192       linewidth: 1
3193       showgrid: True
3194       showline: True
3195       showticklabels: True
3196       tickcolor: "rgb(238, 238, 238)"
3197       tickmode: "linear"
3198       title: "Indexed Test Cases"
3199       zeroline: False
3200     yaxis:
3201       gridcolor: "rgb(238, 238, 238)'"
3202       hoverformat: ".4s"
3203       linecolor: "rgb(238, 238, 238)"
3204       linewidth: 1
3205       range: []
3206       showgrid: True
3207       showline: True
3208       showticklabels: True
3209       tickcolor: "rgb(238, 238, 238)"
3210       title: "Packets Per Second [pps]"
3211       zeroline: False
3212     boxmode: "group"
3213     boxgroupgap: 0.5
3214     autosize: False
3215     margin:
3216       t: 50
3217       b: 20
3218       l: 50
3219       r: 20
3220     showlegend: True
3221     legend:
3222       orientation: "h"
3223     width: 700
3224     height: 1000
3225
3226 -
3227   type: "plot"
3228   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3229   algorithm: "plot_performance_box"
3230   output-file-type: ".html"
3231   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3232   data:
3233     csit-dpdk-perf-1710-all:
3234     - 2
3235     - 3
3236     - 5
3237     - 6
3238     - 7
3239     - 8
3240     - 9
3241     - 10
3242     - 11
3243     - 13
3244   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3245   parameters:
3246   - "throughput"
3247   - "parent"
3248   traces:
3249     hoverinfo: "x+y"
3250     boxpoints: "outliers"
3251     whiskerwidth: 0
3252   layout:
3253     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3254     xaxis:
3255       autorange: True
3256       autotick: False
3257       fixedrange: False
3258       gridcolor: "rgb(238, 238, 238)"
3259       linecolor: "rgb(238, 238, 238)"
3260       linewidth: 1
3261       showgrid: True
3262       showline: True
3263       showticklabels: True
3264       tickcolor: "rgb(238, 238, 238)"
3265       tickmode: "linear"
3266       title: "Indexed Test Cases"
3267       zeroline: False
3268     yaxis:
3269       gridcolor: "rgb(238, 238, 238)'"
3270       hoverformat: ".4s"
3271       linecolor: "rgb(238, 238, 238)"
3272       linewidth: 1
3273       range: []
3274       showgrid: True
3275       showline: True
3276       showticklabels: True
3277       tickcolor: "rgb(238, 238, 238)"
3278       title: "Packets Per Second [pps]"
3279       zeroline: False
3280     boxmode: "group"
3281     boxgroupgap: 0.5
3282     autosize: False
3283     margin:
3284       t: 50
3285       b: 20
3286       l: 50
3287       r: 20
3288     showlegend: True
3289     legend:
3290       orientation: "h"
3291     width: 700
3292     height: 1000
3293
3294 -
3295   type: "plot"
3296   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3297   algorithm: "plot_performance_box"
3298   output-file-type: ".html"
3299   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3300   data:
3301     csit-dpdk-perf-1710-all:
3302     - 2
3303     - 3
3304     - 5
3305     - 6
3306     - 7
3307     - 8
3308     - 9
3309     - 10
3310     - 11
3311     - 13
3312   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3313   parameters:
3314   - "throughput"
3315   - "parent"
3316   traces:
3317     hoverinfo: "x+y"
3318     boxpoints: "outliers"
3319     whiskerwidth: 0
3320   layout:
3321     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3322     xaxis:
3323       autorange: True
3324       autotick: False
3325       fixedrange: False
3326       gridcolor: "rgb(238, 238, 238)"
3327       linecolor: "rgb(238, 238, 238)"
3328       linewidth: 1
3329       showgrid: True
3330       showline: True
3331       showticklabels: True
3332       tickcolor: "rgb(238, 238, 238)"
3333       tickmode: "linear"
3334       title: "Indexed Test Cases"
3335       zeroline: False
3336     yaxis:
3337       gridcolor: "rgb(238, 238, 238)'"
3338       hoverformat: ".4s"
3339       linecolor: "rgb(238, 238, 238)"
3340       linewidth: 1
3341       range: [2000000, 12000000]
3342       showgrid: True
3343       showline: True
3344       showticklabels: True
3345       tickcolor: "rgb(238, 238, 238)"
3346       title: "Packets Per Second [pps]"
3347       zeroline: False
3348     boxmode: "group"
3349     boxgroupgap: 0.5
3350     autosize: False
3351     margin:
3352       t: 50
3353       b: 20
3354       l: 50
3355       r: 20
3356     showlegend: True
3357     legend:
3358       orientation: "h"
3359     width: 700
3360     height: 1000
3361
3362 -
3363   type: "plot"
3364   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3365   algorithm: "plot_performance_box"
3366   output-file-type: ".html"
3367   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3368   data:
3369     csit-dpdk-perf-1710-all:
3370     - 2
3371     - 3
3372     - 5
3373     - 6
3374     - 7
3375     - 8
3376     - 9
3377     - 10
3378     - 11
3379     - 13
3380   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3381   parameters:
3382   - "throughput"
3383   - "parent"
3384   traces:
3385     hoverinfo: "x+y"
3386     boxpoints: "outliers"
3387     whiskerwidth: 0
3388   layout:
3389     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3390     xaxis:
3391       autorange: True
3392       autotick: False
3393       fixedrange: False
3394       gridcolor: "rgb(238, 238, 238)"
3395       linecolor: "rgb(238, 238, 238)"
3396       linewidth: 1
3397       showgrid: True
3398       showline: True
3399       showticklabels: True
3400       tickcolor: "rgb(238, 238, 238)"
3401       tickmode: "linear"
3402       title: "Indexed Test Cases"
3403       zeroline: False
3404     yaxis:
3405       gridcolor: "rgb(238, 238, 238)'"
3406       hoverformat: ".4s"
3407       linecolor: "rgb(238, 238, 238)"
3408       linewidth: 1
3409       range: [2000000, 12000000]
3410       showgrid: True
3411       showline: True
3412       showticklabels: True
3413       tickcolor: "rgb(238, 238, 238)"
3414       title: "Packets Per Second [pps]"
3415       zeroline: False
3416     boxmode: "group"
3417     boxgroupgap: 0.5
3418     autosize: False
3419     margin:
3420       t: 50
3421       b: 20
3422       l: 50
3423       r: 20
3424     showlegend: True
3425     legend:
3426       orientation: "h"
3427     width: 700
3428     height: 1000
3429
3430 -
3431   type: "plot"
3432   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3433   algorithm: "plot_performance_box"
3434   output-file-type: ".html"
3435   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3436   data:
3437     csit-dpdk-perf-1710-all:
3438     - 2
3439     - 3
3440     - 5
3441     - 6
3442     - 7
3443     - 8
3444     - 9
3445     - 10
3446     - 11
3447     - 13
3448   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3449   parameters:
3450   - "throughput"
3451   - "parent"
3452   traces:
3453     hoverinfo: "x+y"
3454     boxpoints: "outliers"
3455     whiskerwidth: 0
3456   layout:
3457     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3458     xaxis:
3459       autorange: True
3460       autotick: False
3461       fixedrange: False
3462       gridcolor: "rgb(238, 238, 238)"
3463       linecolor: "rgb(238, 238, 238)"
3464       linewidth: 1
3465       showgrid: True
3466       showline: True
3467       showticklabels: True
3468       tickcolor: "rgb(238, 238, 238)"
3469       tickmode: "linear"
3470       title: "Indexed Test Cases"
3471       zeroline: False
3472     yaxis:
3473       gridcolor: "rgb(238, 238, 238)'"
3474       hoverformat: ".4s"
3475       linecolor: "rgb(238, 238, 238)"
3476       linewidth: 1
3477       range: []
3478       showgrid: True
3479       showline: True
3480       showticklabels: True
3481       tickcolor: "rgb(238, 238, 238)"
3482       title: "Packets Per Second [pps]"
3483       zeroline: False
3484     boxmode: "group"
3485     boxgroupgap: 0.5
3486     autosize: False
3487     margin:
3488       t: 50
3489       b: 20
3490       l: 50
3491       r: 20
3492     showlegend: True
3493     legend:
3494       orientation: "h"
3495     width: 700
3496     height: 1000
3497
3498 -
3499   type: "plot"
3500   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3501   algorithm: "plot_performance_box"
3502   output-file-type: ".html"
3503   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3504   data:
3505     csit-dpdk-perf-1710-all:
3506     - 2
3507     - 3
3508     - 5
3509     - 6
3510     - 7
3511     - 8
3512     - 9
3513     - 10
3514     - 11
3515     - 13
3516   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3517   parameters:
3518   - "throughput"
3519   - "parent"
3520   traces:
3521     hoverinfo: "x+y"
3522     boxpoints: "outliers"
3523     whiskerwidth: 0
3524   layout:
3525     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3526     xaxis:
3527       autorange: True
3528       autotick: False
3529       fixedrange: False
3530       gridcolor: "rgb(238, 238, 238)"
3531       linecolor: "rgb(238, 238, 238)"
3532       linewidth: 1
3533       showgrid: True
3534       showline: True
3535       showticklabels: True
3536       tickcolor: "rgb(238, 238, 238)"
3537       tickmode: "linear"
3538       title: "Indexed Test Cases"
3539       zeroline: False
3540     yaxis:
3541       gridcolor: "rgb(238, 238, 238)'"
3542       hoverformat: ".4s"
3543       linecolor: "rgb(238, 238, 238)"
3544       linewidth: 1
3545       range: []
3546       showgrid: True
3547       showline: True
3548       showticklabels: True
3549       tickcolor: "rgb(238, 238, 238)"
3550       title: "Packets Per Second [pps]"
3551       zeroline: False
3552     boxmode: "group"
3553     boxgroupgap: 0.5
3554     autosize: False
3555     margin:
3556       t: 50
3557       b: 20
3558       l: 50
3559       r: 20