Report: Data - vpp perf full added
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64
65   make-dirs:
66   # List the directories which are created while preparing the environment.
67   # All directories MUST be defined in "paths" section.
68   - "DIR[WORKING,DATA]"
69   - "DIR[STATIC,VPP]"
70   - "DIR[STATIC,DPDK]"
71   - "DIR[STATIC,ARCH]"
72   - "DIR[BUILD,LATEX]"
73   - "DIR[WORKING,SRC]"
74   - "DIR[WORKING,SRC,STATIC]"
75
76   remove-dirs:
77   # List the directories which are deleted while cleaning the environment.
78   # All directories MUST be defined in "paths" section.
79   #- "DIR[BUILD,HTML]"
80
81   build-dirs:
82   # List the directories where the results (build) is stored.
83   # All directories MUST be defined in "paths" section.
84   - "DIR[BUILD,HTML]"
85   - "DIR[BUILD,LATEX]"
86
87 -
88   type: "debug"
89   general:
90     input-format: "xml"  # zip or xml
91     extract: "robot-plugin/output.xml"  # Only for zip
92   builds:
93     # The files must be in the directory DIR[WORKING,DATA]
94     csit-dpdk-perf-1707-all:
95     -
96       build: 10
97       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
98     -
99       build: 9
100       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
101     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
102     -
103       build: 2
104       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
105     csit-vpp-functional-1707-ubuntu1604-virl:
106     -
107       build: lastSuccessfulBuild
108       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
109     hc2vpp-csit-integration-1707-ubuntu1604:
110     -
111       build: lastSuccessfulBuild
112       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
113     csit-vpp-perf-1707-all:
114     -
115       build: 16
116       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
117     -
118       build: 17
119       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
120
121 -
122   type: "static"
123   src-path: "{DIR[RST]}"
124   dst-path: "{DIR[WORKING,SRC]}"
125
126 -
127   type: "input"  # Ignored in debug mode
128   general:
129     file-name: "robot-plugin.zip"
130     file-format: ".zip"
131     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
132     extract: "robot-plugin/output.xml"
133   builds:
134     csit-vpp-perf-1707-all:
135     - 9
136     - 10
137     - 13
138     - 14
139     - 15
140     - 16
141     - 17
142     - 18
143     - 19
144     - 21
145     csit-vpp-perf-1710-all:
146     - 11
147     - 12
148     - 13
149     - 14
150     - 15
151     - 16
152     - 17
153     - 18
154     - 19
155     - 20
156     - 22
157     csit-dpdk-perf-1710-all:
158     - 2
159     - 3
160     - 5
161     - 6
162     - 7
163     - 8
164     - 9
165     - 10
166     - 11
167     - 13
168     csit-ligato-perf-1710-all:
169     - 5
170     - 7
171     - 8
172     - 9
173     - 10
174     - 11
175     - 12
176     - 13
177     - 16
178     - 17
179     csit-vpp-functional-1710-ubuntu1604-virl:
180     - 126
181     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
182     - 7
183     csit-hc2vpp-verify-func-1710-ubuntu1604:
184     - lastSuccessfulBuild
185
186 -
187   type: "output"
188   format:
189     html:
190     - full
191     pdf:
192     - minimal
193
194 ################################################################################
195 ###                               T A B L E S                                ###
196 ################################################################################
197
198 -
199   type: "table"
200   title: "Performance improvements"
201   algorithm: "table_performance_improvements"
202   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
203   output-file-ext: ".csv"
204   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
205   columns:
206   -
207     title: "Functionality"
208     data: "template 1"
209   -
210     title: "Test Name"
211     data: "template 2"
212   -
213     title: "16.09 mean [Mpps]"
214     data: "template 3"
215   -
216     title: "17.01 mean [Mpps]"
217     data: "template 4"
218   -
219     title: "17.04 mean [Mpps]"
220     data: "template 5"
221   -
222     title: "17.07 mean [Mpps]"
223     data: "data csit-vpp-perf-1707-all mean"
224   -
225     title: "17.10 mean [Mpps]"
226     data: "data csit-vpp-perf-1710-all mean"
227   -
228     title: "17.10 stdev [Mpps]"
229     data: "data csit-vpp-perf-1710-all stdev"
230   -
231     title: "17.07 to 17.10 change [%]"
232     data: "operation relative_change 5 6"
233   rows: "generated"
234   data:
235     csit-vpp-perf-1707-all:
236     - 9
237     - 10
238     - 13
239     - 14
240     - 15
241     - 16
242     - 17
243     - 18
244     - 19
245     - 21
246     csit-vpp-perf-1710-all:
247     - 11
248     - 12
249     - 13
250     - 14
251     - 15
252     - 16
253     - 17
254     - 18
255     - 19
256     - 20
257   filter: "template"
258   parameters:
259   - "throughput"
260
261 -
262   type: "table"
263   title: "Detailed Test Results - VPP Performance Results"
264   algorithm: "table_details"
265   output-file-ext: ".csv"
266   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
267   columns:
268   -
269     title: "Name"
270     data: "data name"
271   -
272     title: "Documentation"
273     data: "data doc"
274   -
275     title: "Status"
276     data: "data msg"
277   rows: "generated"
278   data:
279     csit-vpp-perf-1710-all:
280     - 22
281   filter: "all"
282   parameters:
283   - "name"
284   - "parent"
285   - "doc"
286   - "msg"
287
288 -
289   type: "table"
290   title: "Test configuration - VPP Performance Test Configs"
291   algorithm: "table_details"
292   output-file-ext: ".csv"
293   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
294   columns:
295   -
296     title: "Name"
297     data: "data name"
298   -
299     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
300     data: "data vat-history"
301   rows: "generated"
302   data:
303     csit-vpp-perf-1710-all:
304     - 22
305   filter: "all"
306   parameters:
307   - "parent"
308   - "name"
309   - "vat-history"
310
311 -
312   type: "table"
313   title: "Test Operational Data - VPP Performance Operational Data"
314   algorithm: "table_details"
315   output-file-ext: ".csv"
316   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
317   columns:
318   -
319     title: "Name"
320     data: "data name"
321   -
322     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
323     data: "data show-run"
324   rows: "generated"
325   data:
326     csit-vpp-perf-1710-all:
327     - 22
328   filter: "all"
329   parameters:
330   - "parent"
331   - "name"
332   - "show-run"
333
334 -
335   type: "table"
336   title: "Detailed Test Results - VPP Functional Results"
337   algorithm: "table_details"
338   output-file-ext: ".csv"
339   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
340   columns:
341   -
342     title: "Name"
343     data: "data name"
344   -
345     title: "Documentation"
346     data: "data doc"
347   -
348     title: "Status"
349     data: "data status"
350   rows: "generated"
351   data:
352     csit-vpp-functional-1710-ubuntu1604-virl:
353     - 126
354   filter: "all"
355   parameters:
356   - "name"
357   - "parent"
358   - "doc"
359   - "status"
360
361 -
362   type: "table"
363   title: "Test configuration - VPP Functional Test Configs"
364   algorithm: "table_details"
365   output-file-ext: ".csv"
366   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
367   columns:
368   -
369     title: "Name"
370     data: "data name"
371   -
372     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
373     data: "data vat-history"
374   rows: "generated"
375   data:
376     csit-vpp-functional-1710-ubuntu1604-virl:
377     - 126
378   filter: "all"
379   parameters:
380   - "parent"
381   - "name"
382   - "vat-history"
383
384 -
385   type: "table"
386   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
387   algorithm: "table_details"
388   output-file-ext: ".csv"
389   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
390   columns:
391   -
392     title: "Name"
393     data: "data name"
394   -
395     title: "Documentation"
396     data: "data doc"
397   -
398     title: "Status"
399     data: "data msg"
400   rows: "generated"
401   data:
402     csit-ligato-perf-1710-all:
403     - 17
404   filter: "all"
405   parameters:
406   - "name"
407   - "parent"
408   - "doc"
409   - "msg"
410
411 -
412   type: "table"
413   title: "Detailed Test Results - DPDK Performance Results"
414   algorithm: "table_details"
415   output-file-ext: ".csv"
416   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
417   columns:
418   -
419     title: "Name"
420     data: "data name"
421   -
422     title: "Documentation"
423     data: "data doc"
424   -
425     title: "Status"
426     data: "data msg"
427   rows: "generated"
428   data:
429     csit-dpdk-perf-1710-all:
430     - 13
431   filter: "all"
432   parameters:
433   - "name"
434   - "parent"
435   - "doc"
436   - "msg"
437
438 -
439   type: "table"
440   title: "Detailed Test Results - Honeycomb Functional Results"
441   algorithm: "table_details"
442   output-file-ext: ".csv"
443   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
444   columns:
445   -
446     title: "Name"
447     data: "data name"
448   -
449     title: "Documentation"
450     data: "data doc"
451   -
452     title: "Status"
453     data: "data status"
454   rows: "generated"
455   data:
456     csit-hc2vpp-verify-func-1710-ubuntu1604:
457     - "lastSuccessfulBuild"
458   filter: "all"
459   parameters:
460   - "name"
461   - "parent"
462   - "doc"
463   - "status"
464
465 -
466   type: "table"
467   title: "Detailed Test Results - NSH SFC Functional Results"
468   algorithm: "table_details"
469   output-file-ext: ".csv"
470   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
471   columns:
472   -
473     title: "Name"
474     data: "data name"
475   -
476     title: "Documentation"
477     data: "data doc"
478   -
479     title: "Status"
480     data: "data status"
481   rows: "generated"
482   data:
483     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
484     - 7
485   filter: "all"
486   parameters:
487   - "name"
488   - "parent"
489   - "doc"
490   - "status"
491
492 ################################################################################
493 ###                                F I L E S                                 ###
494 ################################################################################
495
496 -
497   type: "file"
498   title: "VPP Performance Results"
499   algorithm: "file_test_results"
500   output-file-ext: ".rst"
501   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
502   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
503   dir-tables: "{DIR[DTR,PERF,VPP]}"
504   data:
505     csit-vpp-perf-1710-all:
506     - 22
507   filter: "all"
508   parameters:
509   - "name"
510   - "doc"
511   - "level"
512   data-start-level: 2  # 0, 1, 2, ...
513   chapters-start-level: 2  # 0, 1, 2, ...
514
515 -
516   type: "file"
517   title: "VPP Performance Configuration"
518   algorithm: "file_test_results"
519   output-file-ext: ".rst"
520   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
521   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
522   dir-tables: "{DIR[DTC,PERF,VPP]}"
523   data:
524     csit-vpp-perf-1710-all:
525     - 22
526   filter: "all"
527   parameters:
528   - "name"
529   - "doc"
530   - "level"
531   data-start-level: 2  # 0, 1, 2, ...
532   chapters-start-level: 2  # 0, 1, 2, ...
533
534 -
535   type: "file"
536   title: "VPP Performance Operational Data"
537   algorithm: "file_test_results"
538   output-file-ext: ".rst"
539   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
540   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
541   dir-tables: "{DIR[DTO,PERF,VPP]}"
542   data:
543     csit-vpp-perf-1710-all:
544     - 22
545   filter: "all"
546   parameters:
547   - "name"
548   - "doc"
549   - "level"
550   data-start-level: 2  # 0, 1, 2, ...
551   chapters-start-level: 2  # 0, 1, 2, ...
552
553 -
554   type: "file"
555   title: "VPP Functional Results"
556   algorithm: "file_test_results"
557   output-file-ext: ".rst"
558   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
559   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
560   dir-tables: "{DIR[DTR,FUNC,VPP]}"
561   data:
562     csit-vpp-functional-1710-ubuntu1604-virl:
563     - 126
564   filter: "all"
565   parameters:
566   - "name"
567   - "doc"
568   - "level"
569   data-start-level: 3  # 0, 1, 2, ...
570   chapters-start-level: 2  # 0, 1, 2, ...
571
572 -
573   type: "file"
574   title: "VPP Functional Configuration"
575   algorithm: "file_test_results"
576   output-file-ext: ".rst"
577   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
578   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
579   dir-tables: "{DIR[DTC,FUNC,VPP]}"
580   data:
581     csit-vpp-functional-1710-ubuntu1604-virl:
582     - 126
583   filter: "all"
584   parameters:
585   - "name"
586   - "doc"
587   - "level"
588   data-start-level: 3  # 0, 1, 2, ...
589   chapters-start-level: 2  # 0, 1, 2, ...
590
591 -
592   type: "file"
593   title: "Container Orchestrated Performance Results"
594   algorithm: "file_test_results"
595   output-file-ext: ".rst"
596   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
597   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
598   dir-tables: "{DIR[DTR,PERF,COT]}"
599   data:
600     csit-ligato-perf-1710-all:
601     - 17
602   filter: "all"
603   parameters:
604   - "name"
605   - "doc"
606   - "level"
607   data-start-level: 2  # 0, 1, 2, ...
608   chapters-start-level: 2  # 0, 1, 2, ...
609
610 -
611   type: "file"
612   title: "DPDK Performance Results"
613   algorithm: "file_test_results"
614   output-file-ext: ".rst"
615   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
616   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
617   dir-tables: "{DIR[DTR,PERF,DPDK]}"
618   data:
619     csit-dpdk-perf-1710-all:
620     - 13
621   filter: "all"
622   parameters:
623   - "name"
624   - "doc"
625   - "level"
626   chapters:
627   - "suites"
628   data-start-level: 2  # 0, 1, 2, ...
629   chapters-start-level: 2  # 0, 1, 2, ...
630
631 -
632   type: "file"
633   title: "Honeycomb Functional Results"
634   algorithm: "file_test_results"
635   output-file-ext: ".rst"
636   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
637   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
638   dir-tables: "{DIR[DTR,FUNC,HC]}"
639   data:
640     csit-hc2vpp-verify-func-1710-ubuntu1604:
641     - "lastSuccessfulBuild"
642   filter: "all"
643   parameters:
644   - "name"
645   - "doc"
646   - "level"
647   chapters:
648   - "suites"
649   data-start-level: 3  # 0, 1, 2, ...
650   chapters-start-level: 2  # 0, 1, 2, ...
651
652 -
653   type: "file"
654   title: "NSH SFC Functional Results"
655   algorithm: "file_test_results"
656   output-file-ext: ".rst"
657   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
658   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
659   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
660   data:
661     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
662     - 7
663   filter: "all"
664   parameters:
665   - "name"
666   - "doc"
667   - "level"
668   chapters:
669   - "suites"
670   data-start-level: 2  # 0, 1, 2, ...
671   chapters-start-level: 2  # 0, 1, 2, ...
672
673 ################################################################################
674 ###                                P L O T S                                 ###
675 ################################################################################
676
677 # Plot packets per second
678
679 # VPP L2 sel1
680 -
681   type: "plot"
682   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
683   algorithm: "plot_performance_box"
684   output-file-type: ".html"
685   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
686   data:
687     csit-vpp-perf-1710-all:
688     - 11
689     - 12
690     - 13
691     - 14
692     - 15
693     - 16
694     - 17
695     - 18
696     - 19
697     - 20
698   # Keep this formatting, the filter is enclosed with " (quotation mark) and
699   # each tag is enclosed with ' (apostrophe).
700   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
701   parameters:
702   - "throughput"
703   - "parent"
704   traces:
705     hoverinfo: "x+y"
706     boxpoints: "outliers"
707     whiskerwidth: 0
708   layout:
709     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
710     xaxis:
711       autorange: True
712       autotick: False
713       fixedrange: False
714       gridcolor: "rgb(238, 238, 238)"
715       linecolor: "rgb(238, 238, 238)"
716       linewidth: 1
717       showgrid: True
718       showline: True
719       showticklabels: True
720       tickcolor: "rgb(238, 238, 238)"
721       tickmode: "linear"
722       title: "Indexed Test Cases"
723       zeroline: False
724     yaxis:
725       gridcolor: "rgb(238, 238, 238)'"
726       hoverformat: ".4s"
727       linecolor: "rgb(238, 238, 238)"
728       linewidth: 1
729       range: []
730       showgrid: True
731       showline: True
732       showticklabels: True
733       tickcolor: "rgb(238, 238, 238)"
734       title: "Packets Per Second [pps]"
735       zeroline: False
736     boxmode: "group"
737     boxgroupgap: 0.5
738     autosize: False
739     margin:
740       t: 50
741       b: 20
742       l: 50
743       r: 20
744     showlegend: True
745     legend:
746       orientation: "h"
747     width: 700
748     height: 1000
749
750 -
751   type: "plot"
752   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
753   algorithm: "plot_performance_box"
754   output-file-type: ".html"
755   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
756   data:
757     csit-vpp-perf-1710-all:
758     - 11
759     - 12
760     - 13
761     - 14
762     - 15
763     - 16
764     - 17
765     - 18
766     - 19
767     - 20
768   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
769   parameters:
770   - "throughput"
771   - "parent"
772   traces:
773     hoverinfo: "x+y"
774     boxpoints: "outliers"
775     whiskerwidth: 0
776   layout:
777     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
778     xaxis:
779       autorange: True
780       autotick: False
781       fixedrange: False
782       gridcolor: "rgb(238, 238, 238)"
783       linecolor: "rgb(238, 238, 238)"
784       linewidth: 1
785       showgrid: True
786       showline: True
787       showticklabels: True
788       tickcolor: "rgb(238, 238, 238)"
789       tickmode: "linear"
790       title: "Indexed Test Cases"
791       zeroline: False
792     yaxis:
793       gridcolor: "rgb(238, 238, 238)'"
794       hoverformat: ".4s"
795       linecolor: "rgb(238, 238, 238)"
796       linewidth: 1
797       range: []
798       showgrid: True
799       showline: True
800       showticklabels: True
801       tickcolor: "rgb(238, 238, 238)"
802       title: "Packets Per Second [pps]"
803       zeroline: False
804     boxmode: "group"
805     boxgroupgap: 0.5
806     autosize: False
807     margin:
808       t: 50
809       b: 20
810       l: 50
811       r: 20
812     showlegend: True
813     legend:
814       orientation: "h"
815     width: 700
816     height: 1000
817
818 -
819   type: "plot"
820   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
821   algorithm: "plot_performance_box"
822   output-file-type: ".html"
823   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
824   data:
825     csit-vpp-perf-1710-all:
826     - 11
827     - 12
828     - 13
829     - 14
830     - 15
831     - 16
832     - 17
833     - 18
834     - 19
835     - 20
836   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
837   parameters:
838   - "throughput"
839   - "parent"
840   traces:
841     hoverinfo: "x+y"
842     boxpoints: "outliers"
843     whiskerwidth: 0
844   layout:
845     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
846     xaxis:
847       autorange: True
848       autotick: False
849       fixedrange: False
850       gridcolor: "rgb(238, 238, 238)"
851       linecolor: "rgb(238, 238, 238)"
852       linewidth: 1
853       showgrid: True
854       showline: True
855       showticklabels: True
856       tickcolor: "rgb(238, 238, 238)"
857       tickmode: "linear"
858       title: "Indexed Test Cases"
859       zeroline: False
860     yaxis:
861       gridcolor: "rgb(238, 238, 238)'"
862       hoverformat: ".4s"
863       linecolor: "rgb(238, 238, 238)"
864       linewidth: 1
865       range: []
866       showgrid: True
867       showline: True
868       showticklabels: True
869       tickcolor: "rgb(238, 238, 238)"
870       title: "Packets Per Second [pps]"
871       zeroline: False
872     boxmode: "group"
873     boxgroupgap: 0.5
874     autosize: False
875     margin:
876       t: 50
877       b: 20
878       l: 50
879       r: 20
880     showlegend: True
881     legend:
882       orientation: "h"
883     width: 700
884     height: 1000
885
886 -
887   type: "plot"
888   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
889   algorithm: "plot_performance_box"
890   output-file-type: ".html"
891   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
892   data:
893     csit-vpp-perf-1710-all:
894     - 11
895     - 12
896     - 13
897     - 14
898     - 15
899     - 16
900     - 17
901     - 18
902     - 19
903     - 20
904   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
905   parameters:
906   - "throughput"
907   - "parent"
908   traces:
909     hoverinfo: "x+y"
910     boxpoints: "outliers"
911     whiskerwidth: 0
912   layout:
913     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
914     xaxis:
915       autorange: True
916       autotick: False
917       fixedrange: False
918       gridcolor: "rgb(238, 238, 238)"
919       linecolor: "rgb(238, 238, 238)"
920       linewidth: 1
921       showgrid: True
922       showline: True
923       showticklabels: True
924       tickcolor: "rgb(238, 238, 238)"
925       tickmode: "linear"
926       title: "Indexed Test Cases"
927       zeroline: False
928     yaxis:
929       gridcolor: "rgb(238, 238, 238)'"
930       hoverformat: ".4s"
931       linecolor: "rgb(238, 238, 238)"
932       linewidth: 1
933       range: []
934       showgrid: True
935       showline: True
936       showticklabels: True
937       tickcolor: "rgb(238, 238, 238)"
938       title: "Packets Per Second [pps]"
939       zeroline: False
940     boxmode: "group"
941     boxgroupgap: 0.5
942     autosize: False
943     margin:
944       t: 50
945       b: 20
946       l: 50
947       r: 20
948     showlegend: True
949     legend:
950       orientation: "h"
951     width: 700
952     height: 1000
953
954 # VPP L2 sel2
955 -
956   type: "plot"
957   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
958   algorithm: "plot_performance_box"
959   output-file-type: ".html"
960   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
961   data:
962     csit-vpp-perf-1710-all:
963     - 11
964     - 12
965     - 13
966     - 14
967     - 15
968     - 16
969     - 17
970     - 18
971     - 19
972     - 20
973   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
974   parameters:
975   - "throughput"
976   - "parent"
977   traces:
978     hoverinfo: "x+y"
979     boxpoints: "outliers"
980     whiskerwidth: 0
981   layout:
982     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
983     xaxis:
984       autorange: True
985       autotick: False
986       fixedrange: False
987       gridcolor: "rgb(238, 238, 238)"
988       linecolor: "rgb(238, 238, 238)"
989       linewidth: 1
990       showgrid: True
991       showline: True
992       showticklabels: True
993       tickcolor: "rgb(238, 238, 238)"
994       tickmode: "linear"
995       title: "Indexed Test Cases"
996       zeroline: False
997     yaxis:
998       gridcolor: "rgb(238, 238, 238)'"
999       hoverformat: ".4s"
1000       linecolor: "rgb(238, 238, 238)"
1001       linewidth: 1
1002       range: [0, 8000000]
1003       showgrid: True
1004       showline: True
1005       showticklabels: True
1006       tickcolor: "rgb(238, 238, 238)"
1007       title: "Packets Per Second [pps]"
1008       zeroline: False
1009     boxmode: "group"
1010     boxgroupgap: 0.5
1011     autosize: False
1012     margin:
1013       t: 50
1014       b: 20
1015       l: 50
1016       r: 20
1017     showlegend: True
1018     legend:
1019       orientation: "h"
1020     width: 700
1021     height: 1000
1022
1023 -
1024   type: "plot"
1025   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1026   algorithm: "plot_performance_box"
1027   output-file-type: ".html"
1028   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1029   data:
1030     csit-vpp-perf-1710-all:
1031     - 11
1032     - 12
1033     - 13
1034     - 14
1035     - 15
1036     - 16
1037     - 17
1038     - 18
1039     - 19
1040     - 20
1041   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1042   parameters:
1043   - "throughput"
1044   - "parent"
1045   traces:
1046     hoverinfo: "x+y"
1047     boxpoints: "outliers"
1048     whiskerwidth: 0
1049   layout:
1050     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1051     xaxis:
1052       autorange: True
1053       autotick: False
1054       fixedrange: False
1055       gridcolor: "rgb(238, 238, 238)"
1056       linecolor: "rgb(238, 238, 238)"
1057       linewidth: 1
1058       showgrid: True
1059       showline: True
1060       showticklabels: True
1061       tickcolor: "rgb(238, 238, 238)"
1062       tickmode: "linear"
1063       title: "Indexed Test Cases"
1064       zeroline: False
1065     yaxis:
1066       gridcolor: "rgb(238, 238, 238)'"
1067       hoverformat: ".4s"
1068       linecolor: "rgb(238, 238, 238)"
1069       linewidth: 1
1070       range: [5000000, 12000000]
1071       showgrid: True
1072       showline: True
1073       showticklabels: True
1074       tickcolor: "rgb(238, 238, 238)"
1075       title: "Packets Per Second [pps]"
1076       zeroline: False
1077     boxmode: "group"
1078     boxgroupgap: 0.5
1079     autosize: False
1080     margin:
1081       t: 50
1082       b: 20
1083       l: 50
1084       r: 20
1085     showlegend: True
1086     legend:
1087       orientation: "h"
1088     width: 700
1089     height: 1000
1090
1091 -
1092   type: "plot"
1093   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1094   algorithm: "plot_performance_box"
1095   output-file-type: ".html"
1096   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1097   data:
1098     csit-vpp-perf-1710-all:
1099     - 11
1100     - 12
1101     - 13
1102     - 14
1103     - 15
1104     - 16
1105     - 17
1106     - 18
1107     - 19
1108     - 20
1109   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1110   parameters:
1111   - "throughput"
1112   - "parent"
1113   traces:
1114     hoverinfo: "x+y"
1115     boxpoints: "outliers"
1116     whiskerwidth: 0
1117   layout:
1118     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1119     xaxis:
1120       autorange: True
1121       autotick: False
1122       fixedrange: False
1123       gridcolor: "rgb(238, 238, 238)"
1124       linecolor: "rgb(238, 238, 238)"
1125       linewidth: 1
1126       showgrid: True
1127       showline: True
1128       showticklabels: True
1129       tickcolor: "rgb(238, 238, 238)"
1130       tickmode: "linear"
1131       title: "Indexed Test Cases"
1132       zeroline: False
1133     yaxis:
1134       gridcolor: "rgb(238, 238, 238)'"
1135       hoverformat: ".4s"
1136       linecolor: "rgb(238, 238, 238)"
1137       linewidth: 1
1138       range: [0, 8000000]
1139       showgrid: True
1140       showline: True
1141       showticklabels: True
1142       tickcolor: "rgb(238, 238, 238)"
1143       title: "Packets Per Second [pps]"
1144       zeroline: False
1145     boxmode: "group"
1146     boxgroupgap: 0.5
1147     autosize: False
1148     margin:
1149       t: 50
1150       b: 20
1151       l: 50
1152       r: 20
1153     showlegend: True
1154     legend:
1155       orientation: "h"
1156     width: 700
1157     height: 1000
1158
1159 -
1160   type: "plot"
1161   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1162   algorithm: "plot_performance_box"
1163   output-file-type: ".html"
1164   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1165   data:
1166     csit-vpp-perf-1710-all:
1167     - 11
1168     - 12
1169     - 13
1170     - 14
1171     - 15
1172     - 16
1173     - 17
1174     - 18
1175     - 19
1176     - 20
1177   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1178   parameters:
1179   - "throughput"
1180   - "parent"
1181   traces:
1182     hoverinfo: "x+y"
1183     boxpoints: "outliers"
1184     whiskerwidth: 0
1185   layout:
1186     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1187     xaxis:
1188       autorange: True
1189       autotick: False
1190       fixedrange: False
1191       gridcolor: "rgb(238, 238, 238)"
1192       linecolor: "rgb(238, 238, 238)"
1193       linewidth: 1
1194       showgrid: True
1195       showline: True
1196       showticklabels: True
1197       tickcolor: "rgb(238, 238, 238)"
1198       tickmode: "linear"
1199       title: "Indexed Test Cases"
1200       zeroline: False
1201     yaxis:
1202       gridcolor: "rgb(238, 238, 238)'"
1203       hoverformat: ".4s"
1204       linecolor: "rgb(238, 238, 238)"
1205       linewidth: 1
1206       range: [5000000, 12000000]
1207       showgrid: True
1208       showline: True
1209       showticklabels: True
1210       tickcolor: "rgb(238, 238, 238)"
1211       title: "Packets Per Second [pps]"
1212       zeroline: False
1213     boxmode: "group"
1214     boxgroupgap: 0.5
1215     autosize: False
1216     margin:
1217       t: 50
1218       b: 20
1219       l: 50
1220       r: 20
1221     showlegend: True
1222     legend:
1223       orientation: "h"
1224     width: 700
1225     height: 1000
1226
1227 # VPP IP4
1228 -
1229   type: "plot"
1230   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1231   algorithm: "plot_performance_box"
1232   output-file-type: ".html"
1233   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1234   data:
1235     csit-vpp-perf-1710-all:
1236     - 11
1237     - 12
1238     - 13
1239     - 14
1240     - 15
1241     - 16
1242     - 17
1243     - 18
1244     - 19
1245     - 20
1246   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1247   parameters:
1248   - "throughput"
1249   - "parent"
1250   traces:
1251     hoverinfo: "x+y"
1252     boxpoints: "outliers"
1253     whiskerwidth: 0
1254   layout:
1255     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1256     xaxis:
1257       autorange: True
1258       autotick: False
1259       fixedrange: False
1260       gridcolor: "rgb(238, 238, 238)"
1261       linecolor: "rgb(238, 238, 238)"
1262       linewidth: 1
1263       showgrid: True
1264       showline: True
1265       showticklabels: True
1266       tickcolor: "rgb(238, 238, 238)"
1267       tickmode: "linear"
1268       title: "Indexed Test Cases"
1269       zeroline: False
1270     yaxis:
1271       gridcolor: "rgb(238, 238, 238)'"
1272       hoverformat: ".4s"
1273       linecolor: "rgb(238, 238, 238)"
1274       linewidth: 1
1275       range: []
1276       showgrid: True
1277       showline: True
1278       showticklabels: True
1279       tickcolor: "rgb(238, 238, 238)"
1280       title: "Packets Per Second [pps]"
1281       zeroline: False
1282     boxmode: "group"
1283     boxgroupgap: 0.5
1284     autosize: False
1285     margin:
1286       t: 50
1287       b: 20
1288       l: 50
1289       r: 20
1290     showlegend: True
1291     legend:
1292       orientation: "h"
1293     width: 700
1294     height: 1000
1295
1296 -
1297   type: "plot"
1298   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1299   algorithm: "plot_performance_box"
1300   output-file-type: ".html"
1301   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1302   data:
1303     csit-vpp-perf-1710-all:
1304     - 11
1305     - 12
1306     - 13
1307     - 14
1308     - 15
1309     - 16
1310     - 17
1311     - 18
1312     - 19
1313     - 20
1314   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1315   parameters:
1316   - "throughput"
1317   - "parent"
1318   traces:
1319     hoverinfo: "x+y"
1320     boxpoints: "outliers"
1321     whiskerwidth: 0
1322   layout:
1323     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1324     xaxis:
1325       autorange: True
1326       autotick: False
1327       fixedrange: False
1328       gridcolor: "rgb(238, 238, 238)"
1329       linecolor: "rgb(238, 238, 238)"
1330       linewidth: 1
1331       showgrid: True
1332       showline: True
1333       showticklabels: True
1334       tickcolor: "rgb(238, 238, 238)"
1335       tickmode: "linear"
1336       title: "Indexed Test Cases"
1337       zeroline: False
1338     yaxis:
1339       gridcolor: "rgb(238, 238, 238)'"
1340       hoverformat: ".4s"
1341       linecolor: "rgb(238, 238, 238)"
1342       linewidth: 1
1343       range: []
1344       showgrid: True
1345       showline: True
1346       showticklabels: True
1347       tickcolor: "rgb(238, 238, 238)"
1348       title: "Packets Per Second [pps]"
1349       zeroline: False
1350     boxmode: "group"
1351     boxgroupgap: 0.5
1352     autosize: False
1353     margin:
1354       t: 50
1355       b: 20
1356       l: 50
1357       r: 20
1358     showlegend: True
1359     legend:
1360       orientation: "h"
1361     width: 700
1362     height: 1000
1363
1364 -
1365   type: "plot"
1366   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1367   algorithm: "plot_performance_box"
1368   output-file-type: ".html"
1369   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1370   data:
1371     csit-vpp-perf-1710-all:
1372     - 11
1373     - 12
1374     - 13
1375     - 14
1376     - 15
1377     - 16
1378     - 17
1379     - 18
1380     - 19
1381     - 20
1382   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1383   parameters:
1384   - "throughput"
1385   - "parent"
1386   traces:
1387     hoverinfo: "x+y"
1388     boxpoints: "outliers"
1389     whiskerwidth: 0
1390   layout:
1391     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1392     xaxis:
1393       autorange: True
1394       autotick: False
1395       fixedrange: False
1396       gridcolor: "rgb(238, 238, 238)"
1397       linecolor: "rgb(238, 238, 238)"
1398       linewidth: 1
1399       showgrid: True
1400       showline: True
1401       showticklabels: True
1402       tickcolor: "rgb(238, 238, 238)"
1403       tickmode: "linear"
1404       title: "Indexed Test Cases"
1405       zeroline: False
1406     yaxis:
1407       gridcolor: "rgb(238, 238, 238)'"
1408       hoverformat: ".4s"
1409       linecolor: "rgb(238, 238, 238)"
1410       linewidth: 1
1411       range: []
1412       showgrid: True
1413       showline: True
1414       showticklabels: True
1415       tickcolor: "rgb(238, 238, 238)"
1416       title: "Packets Per Second [pps]"
1417       zeroline: False
1418     boxmode: "group"
1419     boxgroupgap: 0.5
1420     autosize: False
1421     margin:
1422       t: 50
1423       b: 20
1424       l: 50
1425       r: 20
1426     showlegend: True
1427     legend:
1428       orientation: "h"
1429     width: 700
1430     height: 1000
1431
1432 -
1433   type: "plot"
1434   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1435   algorithm: "plot_performance_box"
1436   output-file-type: ".html"
1437   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1438   data:
1439     csit-vpp-perf-1710-all:
1440     - 11
1441     - 12
1442     - 13
1443     - 14
1444     - 15
1445     - 16
1446     - 17
1447     - 18
1448     - 19
1449     - 20
1450   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1451   parameters:
1452   - "throughput"
1453   - "parent"
1454   traces:
1455     hoverinfo: "x+y"
1456     boxpoints: "outliers"
1457     whiskerwidth: 0
1458   layout:
1459     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1460     xaxis:
1461       autorange: True
1462       autotick: False
1463       fixedrange: False
1464       gridcolor: "rgb(238, 238, 238)"
1465       linecolor: "rgb(238, 238, 238)"
1466       linewidth: 1
1467       showgrid: True
1468       showline: True
1469       showticklabels: True
1470       tickcolor: "rgb(238, 238, 238)"
1471       tickmode: "linear"
1472       title: "Indexed Test Cases"
1473       zeroline: False
1474     yaxis:
1475       gridcolor: "rgb(238, 238, 238)'"
1476       hoverformat: ".4s"
1477       linecolor: "rgb(238, 238, 238)"
1478       linewidth: 1
1479       range: []
1480       showgrid: True
1481       showline: True
1482       showticklabels: True
1483       tickcolor: "rgb(238, 238, 238)"
1484       title: "Packets Per Second [pps]"
1485       zeroline: False
1486     boxmode: "group"
1487     boxgroupgap: 0.5
1488     autosize: False
1489     margin:
1490       t: 50
1491       b: 20
1492       l: 50
1493       r: 20
1494     showlegend: True
1495     legend:
1496       orientation: "h"
1497     width: 700
1498     height: 1000
1499
1500 # VPP IP6
1501 -
1502   type: "plot"
1503   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1504   algorithm: "plot_performance_box"
1505   output-file-type: ".html"
1506   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1507   data:
1508     csit-vpp-perf-1710-all:
1509     - 11
1510     - 12
1511     - 13
1512     - 14
1513     - 15
1514     - 16
1515     - 17
1516     - 18
1517     - 19
1518     - 20
1519   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1520   parameters:
1521   - "throughput"
1522   - "parent"
1523   traces:
1524     hoverinfo: "x+y"
1525     boxpoints: "outliers"
1526     whiskerwidth: 0
1527   layout:
1528     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1529     xaxis:
1530       autorange: True
1531       autotick: False
1532       fixedrange: False
1533       gridcolor: "rgb(238, 238, 238)"
1534       linecolor: "rgb(238, 238, 238)"
1535       linewidth: 1
1536       showgrid: True
1537       showline: True
1538       showticklabels: True
1539       tickcolor: "rgb(238, 238, 238)"
1540       tickmode: "linear"
1541       title: "Indexed Test Cases"
1542       zeroline: False
1543     yaxis:
1544       gridcolor: "rgb(238, 238, 238)'"
1545       hoverformat: ".4s"
1546       linecolor: "rgb(238, 238, 238)"
1547       linewidth: 1
1548       range: []
1549       showgrid: True
1550       showline: True
1551       showticklabels: True
1552       tickcolor: "rgb(238, 238, 238)"
1553       title: "Packets Per Second [pps]"
1554       zeroline: False
1555     boxmode: "group"
1556     boxgroupgap: 0.5
1557     autosize: False
1558     margin:
1559       t: 50
1560       b: 20
1561       l: 50
1562       r: 20
1563     showlegend: True
1564     legend:
1565       orientation: "h"
1566     width: 700
1567     height: 1000
1568
1569 -
1570   type: "plot"
1571   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1572   algorithm: "plot_performance_box"
1573   output-file-type: ".html"
1574   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1575   data:
1576     csit-vpp-perf-1710-all:
1577     - 11
1578     - 12
1579     - 13
1580     - 14
1581     - 15
1582     - 16
1583     - 17
1584     - 18
1585     - 19
1586     - 20
1587   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1588   parameters:
1589   - "throughput"
1590   - "parent"
1591   traces:
1592     hoverinfo: "x+y"
1593     boxpoints: "outliers"
1594     whiskerwidth: 0
1595   layout:
1596     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1597     xaxis:
1598       autorange: True
1599       autotick: False
1600       fixedrange: False
1601       gridcolor: "rgb(238, 238, 238)"
1602       linecolor: "rgb(238, 238, 238)"
1603       linewidth: 1
1604       showgrid: True
1605       showline: True
1606       showticklabels: True
1607       tickcolor: "rgb(238, 238, 238)"
1608       tickmode: "linear"
1609       title: "Indexed Test Cases"
1610       zeroline: False
1611     yaxis:
1612       gridcolor: "rgb(238, 238, 238)'"
1613       hoverformat: ".4s"
1614       linecolor: "rgb(238, 238, 238)"
1615       linewidth: 1
1616       range: []
1617       showgrid: True
1618       showline: True
1619       showticklabels: True
1620       tickcolor: "rgb(238, 238, 238)"
1621       title: "Packets Per Second [pps]"
1622       zeroline: False
1623     boxmode: "group"
1624     boxgroupgap: 0.5
1625     autosize: False
1626     margin:
1627       t: 50
1628       b: 20
1629       l: 50
1630       r: 20
1631     showlegend: True
1632     legend:
1633       orientation: "h"
1634     width: 700
1635     height: 1000
1636
1637 -
1638   type: "plot"
1639   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1640   algorithm: "plot_performance_box"
1641   output-file-type: ".html"
1642   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1643   data:
1644     csit-vpp-perf-1710-all:
1645     - 11
1646     - 12
1647     - 13
1648     - 14
1649     - 15
1650     - 16
1651     - 17
1652     - 18
1653     - 19
1654     - 20
1655   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1656   parameters:
1657   - "throughput"
1658   - "parent"
1659   traces:
1660     hoverinfo: "x+y"
1661     boxpoints: "outliers"
1662     whiskerwidth: 0
1663   layout:
1664     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1665     xaxis:
1666       autorange: True
1667       autotick: False
1668       fixedrange: False
1669       gridcolor: "rgb(238, 238, 238)"
1670       linecolor: "rgb(238, 238, 238)"
1671       linewidth: 1
1672       showgrid: True
1673       showline: True
1674       showticklabels: True
1675       tickcolor: "rgb(238, 238, 238)"
1676       tickmode: "linear"
1677       title: "Indexed Test Cases"
1678       zeroline: False
1679     yaxis:
1680       gridcolor: "rgb(238, 238, 238)'"
1681       hoverformat: ".4s"
1682       linecolor: "rgb(238, 238, 238)"
1683       linewidth: 1
1684       range: []
1685       showgrid: True
1686       showline: True
1687       showticklabels: True
1688       tickcolor: "rgb(238, 238, 238)"
1689       title: "Packets Per Second [pps]"
1690       zeroline: False
1691     boxmode: "group"
1692     boxgroupgap: 0.5
1693     autosize: False
1694     margin:
1695       t: 50
1696       b: 20
1697       l: 50
1698       r: 20
1699     showlegend: True
1700     legend:
1701       orientation: "h"
1702     width: 700
1703     height: 1000
1704
1705 -
1706   type: "plot"
1707   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1708   algorithm: "plot_performance_box"
1709   output-file-type: ".html"
1710   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1711   data:
1712     csit-vpp-perf-1710-all:
1713     - 11
1714     - 12
1715     - 13
1716     - 14
1717     - 15
1718     - 16
1719     - 17
1720     - 18
1721     - 19
1722     - 20
1723   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1724   parameters:
1725   - "throughput"
1726   - "parent"
1727   traces:
1728     hoverinfo: "x+y"
1729     boxpoints: "outliers"
1730     whiskerwidth: 0
1731   layout:
1732     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1733     xaxis:
1734       autorange: True
1735       autotick: False
1736       fixedrange: False
1737       gridcolor: "rgb(238, 238, 238)"
1738       linecolor: "rgb(238, 238, 238)"
1739       linewidth: 1
1740       showgrid: True
1741       showline: True
1742       showticklabels: True
1743       tickcolor: "rgb(238, 238, 238)"
1744       tickmode: "linear"
1745       title: "Indexed Test Cases"
1746       zeroline: False
1747     yaxis:
1748       gridcolor: "rgb(238, 238, 238)'"
1749       hoverformat: ".4s"
1750       linecolor: "rgb(238, 238, 238)"
1751       linewidth: 1
1752       range: []
1753       showgrid: True
1754       showline: True
1755       showticklabels: True
1756       tickcolor: "rgb(238, 238, 238)"
1757       title: "Packets Per Second [pps]"
1758       zeroline: False
1759     boxmode: "group"
1760     boxgroupgap: 0.5
1761     autosize: False
1762     margin:
1763       t: 50
1764       b: 20
1765       l: 50
1766       r: 20
1767     showlegend: True
1768     legend:
1769       orientation: "h"
1770     width: 700
1771     height: 1000
1772
1773 # VPP IP4_overlay
1774 -
1775   type: "plot"
1776   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1777   algorithm: "plot_performance_box"
1778   output-file-type: ".html"
1779   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1780   data:
1781     csit-vpp-perf-1710-all:
1782     - 11
1783     - 12
1784     - 13
1785     - 14
1786     - 15
1787     - 16
1788     - 17
1789     - 18
1790     - 19
1791     - 20
1792   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1793   parameters:
1794   - "throughput"
1795   - "parent"
1796   traces:
1797     hoverinfo: "x+y"
1798     boxpoints: "outliers"
1799     whiskerwidth: 0
1800   layout:
1801     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1802     xaxis:
1803       autorange: True
1804       autotick: False
1805       fixedrange: False
1806       gridcolor: "rgb(238, 238, 238)"
1807       linecolor: "rgb(238, 238, 238)"
1808       linewidth: 1
1809       showgrid: True
1810       showline: True
1811       showticklabels: True
1812       tickcolor: "rgb(238, 238, 238)"
1813       tickmode: "linear"
1814       title: "Indexed Test Cases"
1815       zeroline: False
1816     yaxis:
1817       gridcolor: "rgb(238, 238, 238)'"
1818       hoverformat: ".4s"
1819       linecolor: "rgb(238, 238, 238)"
1820       linewidth: 1
1821       range: []
1822       showgrid: True
1823       showline: True
1824       showticklabels: True
1825       tickcolor: "rgb(238, 238, 238)"
1826       title: "Packets Per Second [pps]"
1827       zeroline: False
1828     boxmode: "group"
1829     boxgroupgap: 0.5
1830     autosize: False
1831     margin:
1832       t: 50
1833       b: 20
1834       l: 50
1835       r: 20
1836     showlegend: True
1837     legend:
1838       orientation: "h"
1839     width: 700
1840     height: 1000
1841
1842 -
1843   type: "plot"
1844   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1845   algorithm: "plot_performance_box"
1846   output-file-type: ".html"
1847   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1848   data:
1849     csit-vpp-perf-1710-all:
1850     - 11
1851     - 12
1852     - 13
1853     - 14
1854     - 15
1855     - 16
1856     - 17
1857     - 18
1858     - 19
1859     - 20
1860   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1861   parameters:
1862   - "throughput"
1863   - "parent"
1864   traces:
1865     hoverinfo: "x+y"
1866     boxpoints: "outliers"
1867     whiskerwidth: 0
1868   layout:
1869     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1870     xaxis:
1871       autorange: True
1872       autotick: False
1873       fixedrange: False
1874       gridcolor: "rgb(238, 238, 238)"
1875       linecolor: "rgb(238, 238, 238)"
1876       linewidth: 1
1877       showgrid: True
1878       showline: True
1879       showticklabels: True
1880       tickcolor: "rgb(238, 238, 238)"
1881       tickmode: "linear"
1882       title: "Indexed Test Cases"
1883       zeroline: False
1884     yaxis:
1885       gridcolor: "rgb(238, 238, 238)'"
1886       hoverformat: ".4s"
1887       linecolor: "rgb(238, 238, 238)"
1888       linewidth: 1
1889       range: []
1890       showgrid: True
1891       showline: True
1892       showticklabels: True
1893       tickcolor: "rgb(238, 238, 238)"
1894       title: "Packets Per Second [pps]"
1895       zeroline: False
1896     boxmode: "group"
1897     boxgroupgap: 0.5
1898     autosize: False
1899     margin:
1900       t: 50
1901       b: 20
1902       l: 50
1903       r: 20
1904     showlegend: True
1905     legend:
1906       orientation: "h"
1907     width: 700
1908     height: 1000
1909
1910 -
1911   type: "plot"
1912   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1913   algorithm: "plot_performance_box"
1914   output-file-type: ".html"
1915   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1916   data:
1917     csit-vpp-perf-1710-all:
1918     - 11
1919     - 12
1920     - 13
1921     - 14
1922     - 15
1923     - 16
1924     - 17
1925     - 18
1926     - 19
1927     - 20
1928   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1929   parameters:
1930   - "throughput"
1931   - "parent"
1932   traces:
1933     hoverinfo: "x+y"
1934     boxpoints: "outliers"
1935     whiskerwidth: 0
1936   layout:
1937     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1938     xaxis:
1939       autorange: True
1940       autotick: False
1941       fixedrange: False
1942       gridcolor: "rgb(238, 238, 238)"
1943       linecolor: "rgb(238, 238, 238)"
1944       linewidth: 1
1945       showgrid: True
1946       showline: True
1947       showticklabels: True
1948       tickcolor: "rgb(238, 238, 238)"
1949       tickmode: "linear"
1950       title: "Indexed Test Cases"
1951       zeroline: False
1952     yaxis:
1953       gridcolor: "rgb(238, 238, 238)'"
1954       hoverformat: ".4s"
1955       linecolor: "rgb(238, 238, 238)"
1956       linewidth: 1
1957       range: []
1958       showgrid: True
1959       showline: True
1960       showticklabels: True
1961       tickcolor: "rgb(238, 238, 238)"
1962       title: "Packets Per Second [pps]"
1963       zeroline: False
1964     boxmode: "group"
1965     boxgroupgap: 0.5
1966     autosize: False
1967     margin:
1968       t: 50
1969       b: 20
1970       l: 50
1971       r: 20
1972     showlegend: True
1973     legend:
1974       orientation: "h"
1975     width: 700
1976     height: 1000
1977
1978 -
1979   type: "plot"
1980   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1981   algorithm: "plot_performance_box"
1982   output-file-type: ".html"
1983   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1984   data:
1985     csit-vpp-perf-1710-all:
1986     - 11
1987     - 12
1988     - 13
1989     - 14
1990     - 15
1991     - 16
1992     - 17
1993     - 18
1994     - 19
1995     - 20
1996   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1997   parameters:
1998   - "throughput"
1999   - "parent"
2000   traces:
2001     hoverinfo: "x+y"
2002     boxpoints: "outliers"
2003     whiskerwidth: 0
2004   layout:
2005     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2006     xaxis:
2007       autorange: True
2008       autotick: False
2009       fixedrange: False
2010       gridcolor: "rgb(238, 238, 238)"
2011       linecolor: "rgb(238, 238, 238)"
2012       linewidth: 1
2013       showgrid: True
2014       showline: True
2015       showticklabels: True
2016       tickcolor: "rgb(238, 238, 238)"
2017       tickmode: "linear"
2018       title: "Indexed Test Cases"
2019       zeroline: False
2020     yaxis:
2021       gridcolor: "rgb(238, 238, 238)'"
2022       hoverformat: ".4s"
2023       linecolor: "rgb(238, 238, 238)"
2024       linewidth: 1
2025       range: []
2026       showgrid: True
2027       showline: True
2028       showticklabels: True
2029       tickcolor: "rgb(238, 238, 238)"
2030       title: "Packets Per Second [pps]"
2031       zeroline: False
2032     boxmode: "group"
2033     boxgroupgap: 0.5
2034     autosize: False
2035     margin:
2036       t: 50
2037       b: 20
2038       l: 50
2039       r: 20
2040     showlegend: True
2041     legend:
2042       orientation: "h"
2043     width: 700
2044     height: 1000
2045
2046 # VPP IP6_overlay
2047 -
2048   type: "plot"
2049   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2050   algorithm: "plot_performance_box"
2051   output-file-type: ".html"
2052   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2053   data:
2054     csit-vpp-perf-1710-all:
2055     - 11
2056     - 12
2057     - 13
2058     - 14
2059     - 15
2060     - 16
2061     - 17
2062     - 18
2063     - 19
2064     - 20
2065   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2066   parameters:
2067   - "throughput"
2068   - "parent"
2069   traces:
2070     hoverinfo: "x+y"
2071     boxpoints: "outliers"
2072     whiskerwidth: 0
2073   layout:
2074     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2075     xaxis:
2076       autorange: True
2077       autotick: False
2078       fixedrange: False
2079       gridcolor: "rgb(238, 238, 238)"
2080       linecolor: "rgb(238, 238, 238)"
2081       linewidth: 1
2082       showgrid: True
2083       showline: True
2084       showticklabels: True
2085       tickcolor: "rgb(238, 238, 238)"
2086       tickmode: "linear"
2087       title: "Indexed Test Cases"
2088       zeroline: False
2089     yaxis:
2090       gridcolor: "rgb(238, 238, 238)'"
2091       hoverformat: ".4s"
2092       linecolor: "rgb(238, 238, 238)"
2093       linewidth: 1
2094       range: []
2095       showgrid: True
2096       showline: True
2097       showticklabels: True
2098       tickcolor: "rgb(238, 238, 238)"
2099       title: "Packets Per Second [pps]"
2100       zeroline: False
2101     boxmode: "group"
2102     boxgroupgap: 0.5
2103     autosize: False
2104     margin:
2105       t: 50
2106       b: 20
2107       l: 50
2108       r: 20
2109     showlegend: True
2110     legend:
2111       orientation: "h"
2112     width: 700
2113     height: 1000
2114
2115 -
2116   type: "plot"
2117   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2118   algorithm: "plot_performance_box"
2119   output-file-type: ".html"
2120   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2121   data:
2122     csit-vpp-perf-1710-all:
2123     - 11
2124     - 12
2125     - 13
2126     - 14
2127     - 15
2128     - 16
2129     - 17
2130     - 18
2131     - 19
2132     - 20
2133   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2134   parameters:
2135   - "throughput"
2136   - "parent"
2137   traces:
2138     hoverinfo: "x+y"
2139     boxpoints: "outliers"
2140     whiskerwidth: 0
2141   layout:
2142     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2143     xaxis:
2144       autorange: True
2145       autotick: False
2146       fixedrange: False
2147       gridcolor: "rgb(238, 238, 238)"
2148       linecolor: "rgb(238, 238, 238)"
2149       linewidth: 1
2150       showgrid: True
2151       showline: True
2152       showticklabels: True
2153       tickcolor: "rgb(238, 238, 238)"
2154       tickmode: "linear"
2155       title: "Indexed Test Cases"
2156       zeroline: False
2157     yaxis:
2158       gridcolor: "rgb(238, 238, 238)'"
2159       hoverformat: ".4s"
2160       linecolor: "rgb(238, 238, 238)"
2161       linewidth: 1
2162       range: []
2163       showgrid: True
2164       showline: True
2165       showticklabels: True
2166       tickcolor: "rgb(238, 238, 238)"
2167       title: "Packets Per Second [pps]"
2168       zeroline: False
2169     boxmode: "group"
2170     boxgroupgap: 0.5
2171     autosize: False
2172     margin:
2173       t: 50
2174       b: 20
2175       l: 50
2176       r: 20
2177     showlegend: True
2178     legend:
2179       orientation: "h"
2180     width: 700
2181     height: 1000
2182
2183 -
2184   type: "plot"
2185   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2186   algorithm: "plot_performance_box"
2187   output-file-type: ".html"
2188   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2189   data:
2190     csit-vpp-perf-1710-all:
2191     - 11
2192     - 12
2193     - 13
2194     - 14
2195     - 15
2196     - 16
2197     - 17
2198     - 18
2199     - 19
2200     - 20
2201   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2202   parameters:
2203   - "throughput"
2204   - "parent"
2205   traces:
2206     hoverinfo: "x+y"
2207     boxpoints: "outliers"
2208     whiskerwidth: 0
2209   layout:
2210     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2211     xaxis:
2212       autorange: True
2213       autotick: False
2214       fixedrange: False
2215       gridcolor: "rgb(238, 238, 238)"
2216       linecolor: "rgb(238, 238, 238)"
2217       linewidth: 1
2218       showgrid: True
2219       showline: True
2220       showticklabels: True
2221       tickcolor: "rgb(238, 238, 238)"
2222       tickmode: "linear"
2223       title: "Indexed Test Cases"
2224       zeroline: False
2225     yaxis:
2226       gridcolor: "rgb(238, 238, 238)'"
2227       hoverformat: ".4s"
2228       linecolor: "rgb(238, 238, 238)"
2229       linewidth: 1
2230       range: []
2231       showgrid: True
2232       showline: True
2233       showticklabels: True
2234       tickcolor: "rgb(238, 238, 238)"
2235       title: "Packets Per Second [pps]"
2236       zeroline: False
2237     boxmode: "group"
2238     boxgroupgap: 0.5
2239     autosize: False
2240     margin:
2241       t: 50
2242       b: 20
2243       l: 50
2244       r: 20
2245     showlegend: True
2246     legend:
2247       orientation: "h"
2248     width: 700
2249     height: 1000
2250
2251 -
2252   type: "plot"
2253   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2254   algorithm: "plot_performance_box"
2255   output-file-type: ".html"
2256   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2257   data:
2258     csit-vpp-perf-1710-all:
2259     - 11
2260     - 12
2261     - 13
2262     - 14
2263     - 15
2264     - 16
2265     - 17
2266     - 18
2267     - 19
2268     - 20
2269   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2270   parameters:
2271   - "throughput"
2272   - "parent"
2273   traces:
2274     hoverinfo: "x+y"
2275     boxpoints: "outliers"
2276     whiskerwidth: 0
2277   layout:
2278     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2279     xaxis:
2280       autorange: True
2281       autotick: False
2282       fixedrange: False
2283       gridcolor: "rgb(238, 238, 238)"
2284       linecolor: "rgb(238, 238, 238)"
2285       linewidth: 1
2286       showgrid: True
2287       showline: True
2288       showticklabels: True
2289       tickcolor: "rgb(238, 238, 238)"
2290       tickmode: "linear"
2291       title: "Indexed Test Cases"
2292       zeroline: False
2293     yaxis:
2294       gridcolor: "rgb(238, 238, 238)'"
2295       hoverformat: ".4s"
2296       linecolor: "rgb(238, 238, 238)"
2297       linewidth: 1
2298       range: []
2299       showgrid: True
2300       showline: True
2301       showticklabels: True
2302       tickcolor: "rgb(238, 238, 238)"
2303       title: "Packets Per Second [pps]"
2304       zeroline: False
2305     boxmode: "group"
2306     boxgroupgap: 0.5
2307     autosize: False
2308     margin:
2309       t: 50
2310       b: 20
2311       l: 50
2312       r: 20
2313     showlegend: True
2314     legend:
2315       orientation: "h"
2316     width: 700
2317     height: 1000
2318
2319 # VPP VM VHOST
2320 -
2321   type: "plot"
2322   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2323   algorithm: "plot_performance_box"
2324   output-file-type: ".html"
2325   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2326   data:
2327     csit-vpp-perf-1710-all:
2328     - 11
2329     - 12
2330     - 13
2331     - 14
2332     - 15
2333     - 16
2334     - 17
2335     - 18
2336     - 19
2337     - 20
2338   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2339   parameters:
2340   - "throughput"
2341   - "parent"
2342   traces:
2343     hoverinfo: "x+y"
2344     boxpoints: "outliers"
2345     whiskerwidth: 0
2346   layout:
2347     title: "64B-1t1c-.*vhost.*-ndrdisc"
2348     xaxis:
2349       autorange: True
2350       autotick: False
2351       fixedrange: False
2352       gridcolor: "rgb(238, 238, 238)"
2353       linecolor: "rgb(238, 238, 238)"
2354       linewidth: 1
2355       showgrid: True
2356       showline: True
2357       showticklabels: True
2358       tickcolor: "rgb(238, 238, 238)"
2359       tickmode: "linear"
2360       title: "Indexed Test Cases"
2361       zeroline: False
2362     yaxis:
2363       gridcolor: "rgb(238, 238, 238)'"
2364       hoverformat: ".4s"
2365       linecolor: "rgb(238, 238, 238)"
2366       linewidth: 1
2367       range: []
2368       showgrid: True
2369       showline: True
2370       showticklabels: True
2371       tickcolor: "rgb(238, 238, 238)"
2372       title: "Packets Per Second [pps]"
2373       zeroline: False
2374     boxmode: "group"
2375     boxgroupgap: 0.5
2376     autosize: False
2377     margin:
2378       t: 50
2379       b: 20
2380       l: 50
2381       r: 20
2382     showlegend: True
2383     legend:
2384       orientation: "h"
2385     width: 700
2386     height: 1000
2387
2388 -
2389   type: "plot"
2390   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2391   algorithm: "plot_performance_box"
2392   output-file-type: ".html"
2393   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2394   data:
2395     csit-vpp-perf-1710-all:
2396     - 11
2397     - 12
2398     - 13
2399     - 14
2400     - 15
2401     - 16
2402     - 17
2403     - 18
2404     - 19
2405     - 20
2406   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2407   parameters:
2408   - "throughput"
2409   - "parent"
2410   traces:
2411     hoverinfo: "x+y"
2412     boxpoints: "outliers"
2413     whiskerwidth: 0
2414   layout:
2415     title: "64B-2t2c-.*vhost.*-ndrdisc"
2416     xaxis:
2417       autorange: True
2418       autotick: False
2419       fixedrange: False
2420       gridcolor: "rgb(238, 238, 238)"
2421       linecolor: "rgb(238, 238, 238)"
2422       linewidth: 1
2423       showgrid: True
2424       showline: True
2425       showticklabels: True
2426       tickcolor: "rgb(238, 238, 238)"
2427       tickmode: "linear"
2428       title: "Indexed Test Cases"
2429       zeroline: False
2430     yaxis:
2431       gridcolor: "rgb(238, 238, 238)'"
2432       hoverformat: ".4s"
2433       linecolor: "rgb(238, 238, 238)"
2434       linewidth: 1
2435       range: []
2436       showgrid: True
2437       showline: True
2438       showticklabels: True
2439       tickcolor: "rgb(238, 238, 238)"
2440       title: "Packets Per Second [pps]"
2441       zeroline: False
2442     boxmode: "group"
2443     boxgroupgap: 0.5
2444     autosize: False
2445     margin:
2446       t: 50
2447       b: 20
2448       l: 50
2449       r: 20
2450     showlegend: True
2451     legend:
2452       orientation: "h"
2453     width: 700
2454     height: 1000
2455
2456 -
2457   type: "plot"
2458   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2459   algorithm: "plot_performance_box"
2460   output-file-type: ".html"
2461   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2462   data:
2463     csit-vpp-perf-1710-all:
2464     - 11
2465     - 12
2466     - 13
2467     - 14
2468     - 15
2469     - 16
2470     - 17
2471     - 18
2472     - 19
2473     - 20
2474   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2475   parameters:
2476   - "throughput"
2477   - "parent"
2478   traces:
2479     hoverinfo: "x+y"
2480     boxpoints: "outliers"
2481     whiskerwidth: 0
2482   layout:
2483     title: "64B-1t1c-.*vhost.*-pdrdisc"
2484     xaxis:
2485       autorange: True
2486       autotick: False
2487       fixedrange: False
2488       gridcolor: "rgb(238, 238, 238)"
2489       linecolor: "rgb(238, 238, 238)"
2490       linewidth: 1
2491       showgrid: True
2492       showline: True
2493       showticklabels: True
2494       tickcolor: "rgb(238, 238, 238)"
2495       tickmode: "linear"
2496       title: "Indexed Test Cases"
2497       zeroline: False
2498     yaxis:
2499       gridcolor: "rgb(238, 238, 238)'"
2500       hoverformat: ".4s"
2501       linecolor: "rgb(238, 238, 238)"
2502       linewidth: 1
2503       range: []
2504       showgrid: True
2505       showline: True
2506       showticklabels: True
2507       tickcolor: "rgb(238, 238, 238)"
2508       title: "Packets Per Second [pps]"
2509       zeroline: False
2510     boxmode: "group"
2511     boxgroupgap: 0.5
2512     autosize: False
2513     margin:
2514       t: 50
2515       b: 20
2516       l: 50
2517       r: 20
2518     showlegend: True
2519     legend:
2520       orientation: "h"
2521     width: 700
2522     height: 1000
2523
2524 -
2525   type: "plot"
2526   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2527   algorithm: "plot_performance_box"
2528   output-file-type: ".html"
2529   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2530   data:
2531     csit-vpp-perf-1710-all:
2532     - 11
2533     - 12
2534     - 13
2535     - 14
2536     - 15
2537     - 16
2538     - 17
2539     - 18
2540     - 19
2541     - 20
2542   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2543   parameters:
2544   - "throughput"
2545   - "parent"
2546   traces:
2547     hoverinfo: "x+y"
2548     boxpoints: "outliers"
2549     whiskerwidth: 0
2550   layout:
2551     title: "64B-2t2c-.*vhost.*-pdrdisc"
2552     xaxis:
2553       autorange: True
2554       autotick: False
2555       fixedrange: False
2556       gridcolor: "rgb(238, 238, 238)"
2557       linecolor: "rgb(238, 238, 238)"
2558       linewidth: 1
2559       showgrid: True
2560       showline: True
2561       showticklabels: True
2562       tickcolor: "rgb(238, 238, 238)"
2563       tickmode: "linear"
2564       title: "Indexed Test Cases"
2565       zeroline: False
2566     yaxis:
2567       gridcolor: "rgb(238, 238, 238)'"
2568       hoverformat: ".4s"
2569       linecolor: "rgb(238, 238, 238)"
2570       linewidth: 1
2571       range: []
2572       showgrid: True
2573       showline: True
2574       showticklabels: True
2575       tickcolor: "rgb(238, 238, 238)"
2576       title: "Packets Per Second [pps]"
2577       zeroline: False
2578     boxmode: "group"
2579     boxgroupgap: 0.5
2580     autosize: False
2581     margin:
2582       t: 50
2583       b: 20
2584       l: 50
2585       r: 20
2586     showlegend: True
2587     legend:
2588       orientation: "h"
2589     width: 700
2590     height: 1000
2591
2592 # VPP VM VHOST SELECTION
2593 -
2594   type: "plot"
2595   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2596   algorithm: "plot_performance_box"
2597   output-file-type: ".html"
2598   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2599   data:
2600     csit-vpp-perf-1710-all:
2601     - 11
2602     - 12
2603     - 13
2604     - 14
2605     - 15
2606     - 16
2607     - 17
2608     - 18
2609     - 19
2610     - 20
2611   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2612   parameters:
2613   - "throughput"
2614   - "parent"
2615   traces:
2616     hoverinfo: "x+y"
2617     boxpoints: "outliers"
2618     whiskerwidth: 0
2619   layout:
2620     title: "64B-1t1c-.*vhost.*-ndrdisc"
2621     xaxis:
2622       autorange: True
2623       autotick: False
2624       fixedrange: False
2625       gridcolor: "rgb(238, 238, 238)"
2626       linecolor: "rgb(238, 238, 238)"
2627       linewidth: 1
2628       showgrid: True
2629       showline: True
2630       showticklabels: True
2631       tickcolor: "rgb(238, 238, 238)"
2632       tickmode: "linear"
2633       title: "Indexed Test Cases"
2634       zeroline: False
2635     yaxis:
2636       gridcolor: "rgb(238, 238, 238)'"
2637       hoverformat: ".4s"
2638       linecolor: "rgb(238, 238, 238)"
2639       linewidth: 1
2640       range: []
2641       showgrid: True
2642       showline: True
2643       showticklabels: True
2644       tickcolor: "rgb(238, 238, 238)"
2645       title: "Packets Per Second [pps]"
2646       zeroline: False
2647     boxmode: "group"
2648     boxgroupgap: 0.5
2649     autosize: False
2650     margin:
2651       t: 50
2652       b: 20
2653       l: 50
2654       r: 20
2655     showlegend: True
2656     legend:
2657       orientation: "h"
2658     width: 700
2659     height: 1000
2660
2661 -
2662   type: "plot"
2663   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2664   algorithm: "plot_performance_box"
2665   output-file-type: ".html"
2666   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2667   data:
2668     csit-vpp-perf-1710-all:
2669     - 11
2670     - 12
2671     - 13
2672     - 14
2673     - 15
2674     - 16
2675     - 17
2676     - 18
2677     - 19
2678     - 20
2679   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2680   parameters:
2681   - "throughput"
2682   - "parent"
2683   traces:
2684     hoverinfo: "x+y"
2685     boxpoints: "outliers"
2686     whiskerwidth: 0
2687   layout:
2688     title: "64B-2t2c-.*vhost.*-ndrdisc"
2689     xaxis:
2690       autorange: True
2691       autotick: False
2692       fixedrange: False
2693       gridcolor: "rgb(238, 238, 238)"
2694       linecolor: "rgb(238, 238, 238)"
2695       linewidth: 1
2696       showgrid: True
2697       showline: True
2698       showticklabels: True
2699       tickcolor: "rgb(238, 238, 238)"
2700       tickmode: "linear"
2701       title: "Indexed Test Cases"
2702       zeroline: False
2703     yaxis:
2704       gridcolor: "rgb(238, 238, 238)'"
2705       hoverformat: ".4s"
2706       linecolor: "rgb(238, 238, 238)"
2707       linewidth: 1
2708       range: []
2709       showgrid: True
2710       showline: True
2711       showticklabels: True
2712       tickcolor: "rgb(238, 238, 238)"
2713       title: "Packets Per Second [pps]"
2714       zeroline: False
2715     boxmode: "group"
2716     boxgroupgap: 0.5
2717     autosize: False
2718     margin:
2719       t: 50
2720       b: 20
2721       l: 50
2722       r: 20
2723     showlegend: True
2724     legend:
2725       orientation: "h"
2726     width: 700
2727     height: 1000
2728
2729 -
2730   type: "plot"
2731   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2732   algorithm: "plot_performance_box"
2733   output-file-type: ".html"
2734   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2735   data:
2736     csit-vpp-perf-1710-all:
2737     - 11
2738     - 12
2739     - 13
2740     - 14
2741     - 15
2742     - 16
2743     - 17
2744     - 18
2745     - 19
2746     - 20
2747   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2748   parameters:
2749   - "throughput"
2750   - "parent"
2751   traces:
2752     hoverinfo: "x+y"
2753     boxpoints: "outliers"
2754     whiskerwidth: 0
2755   layout:
2756     title: "64B-1t1c-.*vhost.*-pdrdisc"
2757     xaxis:
2758       autorange: True
2759       autotick: False
2760       fixedrange: False
2761       gridcolor: "rgb(238, 238, 238)"
2762       linecolor: "rgb(238, 238, 238)"
2763       linewidth: 1
2764       showgrid: True
2765       showline: True
2766       showticklabels: True
2767       tickcolor: "rgb(238, 238, 238)"
2768       tickmode: "linear"
2769       title: "Indexed Test Cases"
2770       zeroline: False
2771     yaxis:
2772       gridcolor: "rgb(238, 238, 238)'"
2773       hoverformat: ".4s"
2774       linecolor: "rgb(238, 238, 238)"
2775       linewidth: 1
2776       range: []
2777       showgrid: True
2778       showline: True
2779       showticklabels: True
2780       tickcolor: "rgb(238, 238, 238)"
2781       title: "Packets Per Second [pps]"
2782       zeroline: False
2783     boxmode: "group"
2784     boxgroupgap: 0.5
2785     autosize: False
2786     margin:
2787       t: 50
2788       b: 20
2789       l: 50
2790       r: 20
2791     showlegend: True
2792     legend:
2793       orientation: "h"
2794     width: 700
2795     height: 1000
2796
2797 -
2798   type: "plot"
2799   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2800   algorithm: "plot_performance_box"
2801   output-file-type: ".html"
2802   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2803   data:
2804     csit-vpp-perf-1710-all:
2805     - 11
2806     - 12
2807     - 13
2808     - 14
2809     - 15
2810     - 16
2811     - 17
2812     - 18
2813     - 19
2814     - 20
2815   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2816   parameters:
2817   - "throughput"
2818   - "parent"
2819   traces:
2820     hoverinfo: "x+y"
2821     boxpoints: "outliers"
2822     whiskerwidth: 0
2823   layout:
2824     title: "64B-2t2c-.*vhost.*-pdrdisc"
2825     xaxis:
2826       autorange: True
2827       autotick: False
2828       fixedrange: False
2829       gridcolor: "rgb(238, 238, 238)"
2830       linecolor: "rgb(238, 238, 238)"
2831       linewidth: 1
2832       showgrid: True
2833       showline: True
2834       showticklabels: True
2835       tickcolor: "rgb(238, 238, 238)"
2836       tickmode: "linear"
2837       title: "Indexed Test Cases"
2838       zeroline: False
2839     yaxis:
2840       gridcolor: "rgb(238, 238, 238)'"
2841       hoverformat: ".4s"
2842       linecolor: "rgb(238, 238, 238)"
2843       linewidth: 1
2844       range: []
2845       showgrid: True
2846       showline: True
2847       showticklabels: True
2848       tickcolor: "rgb(238, 238, 238)"
2849       title: "Packets Per Second [pps]"
2850       zeroline: False
2851     boxmode: "group"
2852     boxgroupgap: 0.5
2853     autosize: False
2854     margin:
2855       t: 50
2856       b: 20
2857       l: 50
2858       r: 20
2859     showlegend: True
2860     legend:
2861       orientation: "h"
2862     width: 700
2863     height: 1000
2864
2865 # VPP CRYPTO
2866 -
2867   type: "plot"
2868   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2869   algorithm: "plot_performance_box"
2870   output-file-type: ".html"
2871   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2872   data:
2873     csit-vpp-perf-1710-all:
2874     - 11
2875     - 12
2876     - 13
2877     - 14
2878     - 15
2879     - 16
2880     - 17
2881     - 18
2882     - 19
2883     - 20
2884   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2885   parameters:
2886   - "throughput"
2887   - "parent"
2888   traces:
2889     hoverinfo: "x+y"
2890     boxpoints: "outliers"
2891     whiskerwidth: 0
2892   layout:
2893     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2894     xaxis:
2895       autorange: True
2896       autotick: False
2897       fixedrange: False
2898       gridcolor: "rgb(238, 238, 238)"
2899       linecolor: "rgb(238, 238, 238)"
2900       linewidth: 1
2901       showgrid: True
2902       showline: True
2903       showticklabels: True
2904       tickcolor: "rgb(238, 238, 238)"
2905       tickmode: "linear"
2906       title: "Indexed Test Cases"
2907       zeroline: False
2908     yaxis:
2909       gridcolor: "rgb(238, 238, 238)'"
2910       hoverformat: ".4s"
2911       linecolor: "rgb(238, 238, 238)"
2912       linewidth: 1
2913       range: []
2914       showgrid: True
2915       showline: True
2916       showticklabels: True
2917       tickcolor: "rgb(238, 238, 238)"
2918       title: "Packets Per Second [pps]"
2919       zeroline: False
2920     boxmode: "group"
2921     boxgroupgap: 0.5
2922     autosize: False
2923     margin:
2924       t: 50
2925       b: 20
2926       l: 50
2927       r: 20
2928     showlegend: True
2929     legend:
2930       orientation: "h"
2931     width: 700
2932     height: 1000
2933
2934 -
2935   type: "plot"
2936   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2937   algorithm: "plot_performance_box"
2938   output-file-type: ".html"
2939   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2940   data:
2941     csit-vpp-perf-1710-all:
2942     - 11
2943     - 12
2944     - 13
2945     - 14
2946     - 15
2947     - 16
2948     - 17
2949     - 18
2950     - 19
2951     - 20
2952   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2953   parameters:
2954   - "throughput"
2955   - "parent"
2956   traces:
2957     hoverinfo: "x+y"
2958     boxpoints: "outliers"
2959     whiskerwidth: 0
2960   layout:
2961     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2962     xaxis:
2963       autorange: True
2964       autotick: False
2965       fixedrange: False
2966       gridcolor: "rgb(238, 238, 238)"
2967       linecolor: "rgb(238, 238, 238)"
2968       linewidth: 1
2969       showgrid: True
2970       showline: True
2971       showticklabels: True
2972       tickcolor: "rgb(238, 238, 238)"
2973       tickmode: "linear"
2974       title: "Indexed Test Cases"
2975       zeroline: False
2976     yaxis:
2977       gridcolor: "rgb(238, 238, 238)'"
2978       hoverformat: ".4s"
2979       linecolor: "rgb(238, 238, 238)"
2980       linewidth: 1
2981       range: []
2982       showgrid: True
2983       showline: True
2984       showticklabels: True
2985       tickcolor: "rgb(238, 238, 238)"
2986       title: "Packets Per Second [pps]"
2987       zeroline: False
2988     boxmode: "group"
2989     boxgroupgap: 0.5
2990     autosize: False
2991     margin:
2992       t: 50
2993       b: 20
2994       l: 50
2995       r: 20
2996     showlegend: True
2997     legend:
2998       orientation: "h"
2999     width: 700
3000     height: 1000
3001
3002 -
3003   type: "plot"
3004   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
3005   algorithm: "plot_performance_box"
3006   output-file-type: ".html"
3007   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
3008   data:
3009     csit-vpp-perf-1710-all:
3010     - 11
3011     - 12
3012     - 13
3013     - 14
3014     - 15
3015     - 16
3016     - 17
3017     - 18
3018     - 19
3019     - 20
3020   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3021   parameters:
3022   - "throughput"
3023   - "parent"
3024   traces:
3025     hoverinfo: "x+y"
3026     boxpoints: "outliers"
3027     whiskerwidth: 0
3028   layout:
3029     title: "64B-1t1c-.*ipsec.*-pdrdisc"
3030     xaxis:
3031       autorange: True
3032       autotick: False
3033       fixedrange: False
3034       gridcolor: "rgb(238, 238, 238)"
3035       linecolor: "rgb(238, 238, 238)"
3036       linewidth: 1
3037       showgrid: True
3038       showline: True
3039       showticklabels: True
3040       tickcolor: "rgb(238, 238, 238)"
3041       tickmode: "linear"
3042       title: "Indexed Test Cases"
3043       zeroline: False
3044     yaxis:
3045       gridcolor: "rgb(238, 238, 238)'"
3046       hoverformat: ".4s"
3047       linecolor: "rgb(238, 238, 238)"
3048       linewidth: 1
3049       range: []
3050       showgrid: True
3051       showline: True
3052       showticklabels: True
3053       tickcolor: "rgb(238, 238, 238)"
3054       title: "Packets Per Second [pps]"
3055       zeroline: False
3056     boxmode: "group"
3057     boxgroupgap: 0.5
3058     autosize: False
3059     margin:
3060       t: 50
3061       b: 20
3062       l: 50
3063       r: 20
3064     showlegend: True
3065     legend:
3066       orientation: "h"
3067     width: 700
3068     height: 1000
3069
3070 -
3071   type: "plot"
3072   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
3073   algorithm: "plot_performance_box"
3074   output-file-type: ".html"
3075   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
3076   data:
3077     csit-vpp-perf-1710-all:
3078     - 11
3079     - 12
3080     - 13
3081     - 14
3082     - 15
3083     - 16
3084     - 17
3085     - 18
3086     - 19
3087     - 20
3088   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3089   parameters:
3090   - "throughput"
3091   - "parent"
3092   traces:
3093     hoverinfo: "x+y"
3094     boxpoints: "outliers"
3095     whiskerwidth: 0
3096   layout:
3097     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3098     xaxis:
3099       autorange: True
3100       autotick: False
3101       fixedrange: False
3102       gridcolor: "rgb(238, 238, 238)"
3103       linecolor: "rgb(238, 238, 238)"
3104       linewidth: 1
3105       showgrid: True
3106       showline: True
3107       showticklabels: True
3108       tickcolor: "rgb(238, 238, 238)"
3109       tickmode: "linear"
3110       title: "Indexed Test Cases"
3111       zeroline: False
3112     yaxis:
3113       gridcolor: "rgb(238, 238, 238)'"
3114       hoverformat: ".4s"
3115       linecolor: "rgb(238, 238, 238)"
3116       linewidth: 1
3117       range: []
3118       showgrid: True
3119       showline: True
3120       showticklabels: True
3121       tickcolor: "rgb(238, 238, 238)"
3122       title: "Packets Per Second [pps]"
3123       zeroline: False
3124     boxmode: "group"
3125     boxgroupgap: 0.5
3126     autosize: False
3127     margin:
3128       t: 50
3129       b: 20
3130       l: 50
3131       r: 20
3132     showlegend: True
3133     legend:
3134       orientation: "h"
3135     width: 700
3136     height: 1000
3137
3138 # DPDK
3139 -
3140   type: "plot"
3141   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3142   algorithm: "plot_performance_box"
3143   output-file-type: ".html"
3144   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3145   data:
3146     csit-dpdk-perf-1710-all:
3147     - 2
3148     - 3
3149     - 5
3150     - 6
3151     - 7
3152     - 8
3153     - 9
3154     - 10
3155     - 11
3156     - 13
3157   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3158   parameters:
3159   - "throughput"
3160   - "parent"
3161   traces:
3162     hoverinfo: "x+y"
3163     boxpoints: "outliers"
3164     whiskerwidth: 0
3165   layout:
3166     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3167     xaxis:
3168       autorange: True
3169       autotick: False
3170       fixedrange: False
3171       gridcolor: "rgb(238, 238, 238)"
3172       linecolor: "rgb(238, 238, 238)"
3173       linewidth: 1
3174       showgrid: True
3175       showline: True
3176       showticklabels: True
3177       tickcolor: "rgb(238, 238, 238)"
3178       tickmode: "linear"
3179       title: "Indexed Test Cases"
3180       zeroline: False
3181     yaxis:
3182       gridcolor: "rgb(238, 238, 238)'"
3183       hoverformat: ".4s"
3184       linecolor: "rgb(238, 238, 238)"
3185       linewidth: 1
3186       range: []
3187       showgrid: True
3188       showline: True
3189       showticklabels: True
3190       tickcolor: "rgb(238, 238, 238)"
3191       title: "Packets Per Second [pps]"
3192       zeroline: False
3193     boxmode: "group"
3194     boxgroupgap: 0.5
3195     autosize: False
3196     margin:
3197       t: 50
3198       b: 20
3199       l: 50
3200       r: 20
3201     showlegend: True
3202     legend:
3203       orientation: "h"
3204     width: 700
3205     height: 1000
3206
3207 -
3208   type: "plot"
3209   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3210   algorithm: "plot_performance_box"
3211   output-file-type: ".html"
3212   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3213   data:
3214     csit-dpdk-perf-1710-all:
3215     - 2
3216     - 3
3217     - 5
3218     - 6
3219     - 7
3220     - 8
3221     - 9
3222     - 10
3223     - 11
3224     - 13
3225   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3226   parameters:
3227   - "throughput"
3228   - "parent"
3229   traces:
3230     hoverinfo: "x+y"
3231     boxpoints: "outliers"
3232     whiskerwidth: 0
3233   layout:
3234     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3235     xaxis:
3236       autorange: True
3237       autotick: False
3238       fixedrange: False
3239       gridcolor: "rgb(238, 238, 238)"
3240       linecolor: "rgb(238, 238, 238)"
3241       linewidth: 1
3242       showgrid: True
3243       showline: True
3244       showticklabels: True
3245       tickcolor: "rgb(238, 238, 238)"
3246       tickmode: "linear"
3247       title: "Indexed Test Cases"
3248       zeroline: False
3249     yaxis:
3250       gridcolor: "rgb(238, 238, 238)'"
3251       hoverformat: ".4s"
3252       linecolor: "rgb(238, 238, 238)"
3253       linewidth: 1
3254       range: []
3255       showgrid: True
3256       showline: True
3257       showticklabels: True
3258       tickcolor: "rgb(238, 238, 238)"
3259       title: "Packets Per Second [pps]"
3260       zeroline: False
3261     boxmode: "group"
3262     boxgroupgap: 0.5
3263     autosize: False
3264     margin:
3265       t: 50
3266       b: 20
3267       l: 50
3268       r: 20
3269     showlegend: True
3270     legend:
3271       orientation: "h"
3272     width: 700
3273     height: 1000
3274
3275 -
3276   type: "plot"
3277   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3278   algorithm: "plot_performance_box"
3279   output-file-type: ".html"
3280   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3281   data:
3282     csit-dpdk-perf-1710-all:
3283     - 2
3284     - 3
3285     - 5
3286     - 6
3287     - 7
3288     - 8
3289     - 9
3290     - 10
3291     - 11
3292     - 13
3293   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3294   parameters:
3295   - "throughput"
3296   - "parent"
3297   traces:
3298     hoverinfo: "x+y"
3299     boxpoints: "outliers"
3300     whiskerwidth: 0
3301   layout:
3302     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3303     xaxis:
3304       autorange: True
3305       autotick: False
3306       fixedrange: False
3307       gridcolor: "rgb(238, 238, 238)"
3308       linecolor: "rgb(238, 238, 238)"
3309       linewidth: 1
3310       showgrid: True
3311       showline: True
3312       showticklabels: True
3313       tickcolor: "rgb(238, 238, 238)"
3314       tickmode: "linear"
3315       title: "Indexed Test Cases"
3316       zeroline: False
3317     yaxis:
3318       gridcolor: "rgb(238, 238, 238)'"
3319       hoverformat: ".4s"
3320       linecolor: "rgb(238, 238, 238)"
3321       linewidth: 1
3322       range: [2000000, 12000000]
3323       showgrid: True
3324       showline: True
3325       showticklabels: True
3326       tickcolor: "rgb(238, 238, 238)"
3327       title: "Packets Per Second [pps]"
3328       zeroline: False
3329     boxmode: "group"
3330     boxgroupgap: 0.5
3331     autosize: False
3332     margin:
3333       t: 50
3334       b: 20
3335       l: 50
3336       r: 20
3337     showlegend: True
3338     legend:
3339       orientation: "h"
3340     width: 700
3341     height: 1000
3342
3343 -
3344   type: "plot"
3345   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3346   algorithm: "plot_performance_box"
3347   output-file-type: ".html"
3348   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3349   data:
3350     csit-dpdk-perf-1710-all:
3351     - 2
3352     - 3
3353     - 5
3354     - 6
3355     - 7
3356     - 8
3357     - 9
3358     - 10
3359     - 11
3360     - 13
3361   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3362   parameters:
3363   - "throughput"
3364   - "parent"
3365   traces:
3366     hoverinfo: "x+y"
3367     boxpoints: "outliers"
3368     whiskerwidth: 0
3369   layout:
3370     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3371     xaxis:
3372       autorange: True
3373       autotick: False
3374       fixedrange: False
3375       gridcolor: "rgb(238, 238, 238)"
3376       linecolor: "rgb(238, 238, 238)"
3377       linewidth: 1
3378       showgrid: True
3379       showline: True
3380       showticklabels: True
3381       tickcolor: "rgb(238, 238, 238)"
3382       tickmode: "linear"
3383       title: "Indexed Test Cases"
3384       zeroline: False
3385     yaxis:
3386       gridcolor: "rgb(238, 238, 238)'"
3387       hoverformat: ".4s"
3388       linecolor: "rgb(238, 238, 238)"
3389       linewidth: 1
3390       range: [2000000, 12000000]
3391       showgrid: True
3392       showline: True
3393       showticklabels: True
3394       tickcolor: "rgb(238, 238, 238)"
3395       title: "Packets Per Second [pps]"
3396       zeroline: False
3397     boxmode: "group"
3398     boxgroupgap: 0.5
3399     autosize: False
3400     margin:
3401       t: 50
3402       b: 20
3403       l: 50
3404       r: 20
3405     showlegend: True
3406     legend:
3407       orientation: "h"
3408     width: 700
3409     height: 1000
3410
3411 -
3412   type: "plot"
3413   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3414   algorithm: "plot_performance_box"
3415   output-file-type: ".html"
3416   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3417   data:
3418     csit-dpdk-perf-1710-all:
3419     - 2
3420     - 3
3421     - 5
3422     - 6
3423     - 7
3424     - 8
3425     - 9
3426     - 10
3427     - 11
3428     - 13
3429   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3430   parameters:
3431   - "throughput"
3432   - "parent"
3433   traces:
3434     hoverinfo: "x+y"
3435     boxpoints: "outliers"
3436     whiskerwidth: 0
3437   layout:
3438     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3439     xaxis:
3440       autorange: True
3441       autotick: False
3442       fixedrange: False
3443       gridcolor: "rgb(238, 238, 238)"
3444       linecolor: "rgb(238, 238, 238)"
3445       linewidth: 1
3446       showgrid: True
3447       showline: True
3448       showticklabels: True
3449       tickcolor: "rgb(238, 238, 238)"
3450       tickmode: "linear"
3451       title: "Indexed Test Cases"
3452       zeroline: False
3453     yaxis:
3454       gridcolor: "rgb(238, 238, 238)'"
3455       hoverformat: ".4s"
3456       linecolor: "rgb(238, 238, 238)"
3457       linewidth: 1
3458       range: []
3459       showgrid: True
3460       showline: True
3461       showticklabels: True
3462       tickcolor: "rgb(238, 238, 238)"
3463       title: "Packets Per Second [pps]"
3464       zeroline: False
3465     boxmode: "group"
3466     boxgroupgap: 0.5
3467     autosize: False
3468     margin:
3469       t: 50
3470       b: 20
3471       l: 50
3472       r: 20
3473     showlegend: True
3474     legend:
3475       orientation: "h"
3476     width: 700
3477     height: 1000
3478
3479 -
3480   type: "plot"
3481   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3482   algorithm: "plot_performance_box"
3483   output-file-type: ".html"
3484   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3485   data:
3486     csit-dpdk-perf-1710-all:
3487     - 2
3488     - 3
3489     - 5
3490     - 6
3491     - 7
3492     - 8
3493     - 9
3494     - 10
3495     - 11
3496     - 13
3497   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3498   parameters:
3499   - "throughput"
3500   - "parent"
3501   traces:
3502     hoverinfo: "x+y"
3503     boxpoints: "outliers"
3504     whiskerwidth: 0
3505   layout:
3506     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3507     xaxis:
3508       autorange: True
3509       autotick: False
3510       fixedrange: False
3511       gridcolor: "rgb(238, 238, 238)"
3512       linecolor: "rgb(238, 238, 238)"
3513       linewidth: 1
3514       showgrid: True
3515       showline: True
3516       showticklabels: True
3517       tickcolor: "rgb(238, 238, 238)"
3518       tickmode: "linear"
3519       title: "Indexed Test Cases"
3520       zeroline: False
3521     yaxis:
3522       gridcolor: "rgb(238, 238, 238)'"
3523       hoverformat: ".4s"
3524       linecolor: "rgb(238, 238, 238)"
3525       linewidth: 1
3526       range: []
3527       showgrid: True
3528       showline: True
3529       showticklabels: True
3530       tickcolor: "rgb(238, 238, 238)"
3531       title: "Packets Per Second [pps]"
3532       zeroline: False
3533     boxmode: "group"
3534     boxgroupgap: 0.5
3535     autosize: False
3536     margin:
3537       t: 50
3538       b: 20
3539       l: 50
3540       r: 20
3541     showlegend: True
3542     legend:
3543       orientation: "h"
3544     width: 700
3545     height: 1000
3546
3547 -
3548   type: "plot"
3549   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3550   algorithm: "plot_performance_box"
3551   output-file-type: ".html"
3552   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3553   data:
3554     csit-dpdk-perf-1710-all:
3555     - 2
3556     - 3
3557     - 5
3558     - 6
3559     - 7