Report: data
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64
65   make-dirs:
66   # List the directories which are created while preparing the environment.
67   # All directories MUST be defined in "paths" section.
68   - "DIR[WORKING,DATA]"
69   - "DIR[STATIC,VPP]"
70   - "DIR[STATIC,DPDK]"
71   - "DIR[STATIC,ARCH]"
72   - "DIR[BUILD,LATEX]"
73   - "DIR[WORKING,SRC]"
74   - "DIR[WORKING,SRC,STATIC]"
75
76   remove-dirs:
77   # List the directories which are deleted while cleaning the environment.
78   # All directories MUST be defined in "paths" section.
79   #- "DIR[BUILD,HTML]"
80
81   build-dirs:
82   # List the directories where the results (build) is stored.
83   # All directories MUST be defined in "paths" section.
84   - "DIR[BUILD,HTML]"
85   - "DIR[BUILD,LATEX]"
86
87 -
88   type: "debug"
89   general:
90     input-format: "xml"  # zip or xml
91     extract: "robot-plugin/output.xml"  # Only for zip
92   builds:
93     # The files must be in the directory DIR[WORKING,DATA]
94     csit-dpdk-perf-1707-all:
95     -
96       build: 10
97       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
98     -
99       build: 9
100       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
101     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
102     -
103       build: 2
104       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
105     csit-vpp-functional-1707-ubuntu1604-virl:
106     -
107       build: lastSuccessfulBuild
108       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
109     hc2vpp-csit-integration-1707-ubuntu1604:
110     -
111       build: lastSuccessfulBuild
112       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
113     csit-vpp-perf-1707-all:
114     -
115       build: 16
116       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
117     -
118       build: 17
119       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
120
121 -
122   type: "static"
123   src-path: "{DIR[RST]}"
124   dst-path: "{DIR[WORKING,SRC]}"
125
126 -
127   type: "input"  # Ignored in debug mode
128   general:
129     file-name: "robot-plugin.zip"
130     file-format: ".zip"
131     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
132     extract: "robot-plugin/output.xml"
133   builds:
134     csit-vpp-perf-1707-all:
135     - 9
136     - 10
137     - 13
138     - 14
139     - 15
140     - 16
141     - 17
142     - 18
143     - 19
144     - 21
145     csit-vpp-perf-1710-all:
146     - 11
147     - 12
148     - 13
149     - 14
150     - 15
151     - 16
152     - 17
153     - 18
154     - 19
155     - 20
156     csit-dpdk-perf-1710-all:
157     - 2
158     - 3
159     - 5
160     - 6
161     - 7
162     - 8
163     - 9
164     - 10
165     - 11
166     - 13
167     csit-ligato-perf-1710-all:
168     - 2
169     - 3
170     - 4
171     - 5
172     - 6
173     - 7
174     csit-vpp-functional-1710-ubuntu1604-virl:
175     - 115
176     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
177     - 7
178     csit-hc2vpp-verify-func-1710-ubuntu1604:
179     - lastSuccessfulBuild
180
181 -
182   type: "output"
183   format:
184     html:
185     - full
186     pdf:
187     - minimal
188
189 ################################################################################
190 ###                               T A B L E S                                ###
191 ################################################################################
192
193 -
194   type: "table"
195   title: "Performance improvements"
196   algorithm: "table_performance_improvements"
197   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
198   output-file-ext: ".csv"
199   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
200   columns:
201   -
202     title: "Functionality"
203     data: "template 1"
204   -
205     title: "Test Name"
206     data: "template 2"
207   -
208     title: "16.09 mean [Mpps]"
209     data: "template 3"
210   -
211     title: "17.01 mean [Mpps]"
212     data: "template 4"
213   -
214     title: "17.04 mean [Mpps]"
215     data: "template 5"
216   -
217     title: "17.07 mean [Mpps]"
218     data: "data csit-vpp-perf-1707-all mean"
219   -
220     title: "17.10 mean [Mpps]"
221     data: "data csit-vpp-perf-1710-all mean"
222   -
223     title: "17.10 stdev [Mpps]"
224     data: "data csit-vpp-perf-1710-all stdev"
225   -
226     title: "17.07 to 17.10 change [%]"
227     data: "operation relative_change 5 6"
228   rows: "generated"
229   data:
230     csit-vpp-perf-1707-all:
231     - 9
232     - 10
233     - 13
234     - 14
235     - 15
236     - 16
237     - 17
238     - 18
239     - 19
240     - 21
241     csit-vpp-perf-1710-all:
242     - 11
243     - 12
244     - 13
245     - 14
246     - 15
247     - 16
248     - 17
249     - 18
250     - 19
251     - 20
252   filter: "template"
253   parameters:
254   - "throughput"
255
256 -
257   type: "table"
258   title: "Detailed Test Results - VPP Performance Results"
259   algorithm: "table_details"
260   output-file-ext: ".csv"
261   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
262   columns:
263   -
264     title: "Name"
265     data: "data name"
266   -
267     title: "Documentation"
268     data: "data doc"
269   -
270     title: "Status"
271     data: "data msg"
272   rows: "generated"
273   data:
274     csit-vpp-perf-1710-all:
275     - 19
276   filter: "all"
277   parameters:
278   - "name"
279   - "parent"
280   - "doc"
281   - "msg"
282
283 -
284   type: "table"
285   title: "Test configuration - VPP Performance Test Configs"
286   algorithm: "table_details"
287   output-file-ext: ".csv"
288   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
289   columns:
290   -
291     title: "Name"
292     data: "data name"
293   -
294     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
295     data: "data vat-history"
296   rows: "generated"
297   data:
298     csit-vpp-perf-1710-all:
299     - 19
300   filter: "all"
301   parameters:
302   - "parent"
303   - "name"
304   - "vat-history"
305
306 -
307   type: "table"
308   title: "Test Operational Data - VPP Performance Operational Data"
309   algorithm: "table_details"
310   output-file-ext: ".csv"
311   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
312   columns:
313   -
314     title: "Name"
315     data: "data name"
316   -
317     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
318     data: "data show-run"
319   rows: "generated"
320   data:
321     csit-vpp-perf-1710-all:
322     - 19
323   filter: "all"
324   parameters:
325   - "parent"
326   - "name"
327   - "show-run"
328
329 -
330   type: "table"
331   title: "Detailed Test Results - VPP Functional Results"
332   algorithm: "table_details"
333   output-file-ext: ".csv"
334   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
335   columns:
336   -
337     title: "Name"
338     data: "data name"
339   -
340     title: "Documentation"
341     data: "data doc"
342   -
343     title: "Status"
344     data: "data status"
345   rows: "generated"
346   data:
347     csit-vpp-functional-1710-ubuntu1604-virl:
348     - 115
349   filter: "all"
350   parameters:
351   - "name"
352   - "parent"
353   - "doc"
354   - "status"
355
356 -
357   type: "table"
358   title: "Test configuration - VPP Functional Test Configs"
359   algorithm: "table_details"
360   output-file-ext: ".csv"
361   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
362   columns:
363   -
364     title: "Name"
365     data: "data name"
366   -
367     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
368     data: "data vat-history"
369   rows: "generated"
370   data:
371     csit-vpp-functional-1710-ubuntu1604-virl:
372     - 115
373   filter: "all"
374   parameters:
375   - "parent"
376   - "name"
377   - "vat-history"
378
379 -
380   type: "table"
381   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
382   algorithm: "table_details"
383   output-file-ext: ".csv"
384   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
385   columns:
386   -
387     title: "Name"
388     data: "data name"
389   -
390     title: "Documentation"
391     data: "data doc"
392   -
393     title: "Status"
394     data: "data msg"
395   rows: "generated"
396   data:
397     csit-ligato-perf-1710-all:
398     - 5
399   filter: "all"
400   parameters:
401   - "name"
402   - "parent"
403   - "doc"
404   - "msg"
405
406 -
407   type: "table"
408   title: "Detailed Test Results - DPDK Performance Results"
409   algorithm: "table_details"
410   output-file-ext: ".csv"
411   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
412   columns:
413   -
414     title: "Name"
415     data: "data name"
416   -
417     title: "Documentation"
418     data: "data doc"
419   -
420     title: "Status"
421     data: "data msg"
422   rows: "generated"
423   data:
424     csit-dpdk-perf-1710-all:
425     - 13
426   filter: "all"
427   parameters:
428   - "name"
429   - "parent"
430   - "doc"
431   - "msg"
432
433 -
434   type: "table"
435   title: "Detailed Test Results - Honeycomb Functional Results"
436   algorithm: "table_details"
437   output-file-ext: ".csv"
438   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
439   columns:
440   -
441     title: "Name"
442     data: "data name"
443   -
444     title: "Documentation"
445     data: "data doc"
446   -
447     title: "Status"
448     data: "data status"
449   rows: "generated"
450   data:
451     csit-hc2vpp-verify-func-1710-ubuntu1604:
452     - "lastSuccessfulBuild"
453   filter: "all"
454   parameters:
455   - "name"
456   - "parent"
457   - "doc"
458   - "status"
459
460 -
461   type: "table"
462   title: "Detailed Test Results - NSH SFC Functional Results"
463   algorithm: "table_details"
464   output-file-ext: ".csv"
465   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
466   columns:
467   -
468     title: "Name"
469     data: "data name"
470   -
471     title: "Documentation"
472     data: "data doc"
473   -
474     title: "Status"
475     data: "data status"
476   rows: "generated"
477   data:
478     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
479     - 7
480   filter: "all"
481   parameters:
482   - "name"
483   - "parent"
484   - "doc"
485   - "status"
486
487 ################################################################################
488 ###                                F I L E S                                 ###
489 ################################################################################
490
491 -
492   type: "file"
493   title: "VPP Performance Results"
494   algorithm: "file_test_results"
495   output-file-ext: ".rst"
496   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
497   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
498   dir-tables: "{DIR[DTR,PERF,VPP]}"
499   data:
500     csit-vpp-perf-1710-all:
501     - 19
502   filter: "all"
503   parameters:
504   - "name"
505   - "doc"
506   - "level"
507   data-start-level: 2  # 0, 1, 2, ...
508   chapters-start-level: 2  # 0, 1, 2, ...
509
510 -
511   type: "file"
512   title: "VPP Performance Configuration"
513   algorithm: "file_test_results"
514   output-file-ext: ".rst"
515   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
516   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
517   dir-tables: "{DIR[DTC,PERF,VPP]}"
518   data:
519     csit-vpp-perf-1710-all:
520     - 19
521   filter: "all"
522   parameters:
523   - "name"
524   - "doc"
525   - "level"
526   data-start-level: 2  # 0, 1, 2, ...
527   chapters-start-level: 2  # 0, 1, 2, ...
528
529 -
530   type: "file"
531   title: "VPP Performance Operational Data"
532   algorithm: "file_test_results"
533   output-file-ext: ".rst"
534   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
535   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
536   dir-tables: "{DIR[DTO,PERF,VPP]}"
537   data:
538     csit-vpp-perf-1710-all:
539     - 19
540   filter: "all"
541   parameters:
542   - "name"
543   - "doc"
544   - "level"
545   data-start-level: 2  # 0, 1, 2, ...
546   chapters-start-level: 2  # 0, 1, 2, ...
547
548 -
549   type: "file"
550   title: "VPP Functional Results"
551   algorithm: "file_test_results"
552   output-file-ext: ".rst"
553   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
554   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
555   dir-tables: "{DIR[DTR,FUNC,VPP]}"
556   data:
557     csit-vpp-functional-1710-ubuntu1604-virl:
558     - 115
559   filter: "all"
560   parameters:
561   - "name"
562   - "doc"
563   - "level"
564   data-start-level: 3  # 0, 1, 2, ...
565   chapters-start-level: 2  # 0, 1, 2, ...
566
567 -
568   type: "file"
569   title: "VPP Functional Configuration"
570   algorithm: "file_test_results"
571   output-file-ext: ".rst"
572   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
573   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
574   dir-tables: "{DIR[DTC,FUNC,VPP]}"
575   data:
576     csit-vpp-functional-1710-ubuntu1604-virl:
577     - 115
578   filter: "all"
579   parameters:
580   - "name"
581   - "doc"
582   - "level"
583   data-start-level: 3  # 0, 1, 2, ...
584   chapters-start-level: 2  # 0, 1, 2, ...
585
586 -
587   type: "file"
588   title: "Container Orchestrated Performance Results"
589   algorithm: "file_test_results"
590   output-file-ext: ".rst"
591   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
592   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
593   dir-tables: "{DIR[DTR,PERF,COT]}"
594   data:
595     csit-ligato-perf-1710-all:
596     - 5
597   filter: "all"
598   parameters:
599   - "name"
600   - "doc"
601   - "level"
602   data-start-level: 2  # 0, 1, 2, ...
603   chapters-start-level: 2  # 0, 1, 2, ...
604
605 -
606   type: "file"
607   title: "DPDK Performance Results"
608   algorithm: "file_test_results"
609   output-file-ext: ".rst"
610   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
611   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
612   dir-tables: "{DIR[DTR,PERF,DPDK]}"
613   data:
614     csit-dpdk-perf-1710-all:
615     - 13
616   filter: "all"
617   parameters:
618   - "name"
619   - "doc"
620   - "level"
621   chapters:
622   - "suites"
623   data-start-level: 2  # 0, 1, 2, ...
624   chapters-start-level: 2  # 0, 1, 2, ...
625
626 -
627   type: "file"
628   title: "Honeycomb Functional Results"
629   algorithm: "file_test_results"
630   output-file-ext: ".rst"
631   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
632   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
633   dir-tables: "{DIR[DTR,FUNC,HC]}"
634   data:
635     csit-hc2vpp-verify-func-1710-ubuntu1604:
636     - "lastSuccessfulBuild"
637   filter: "all"
638   parameters:
639   - "name"
640   - "doc"
641   - "level"
642   chapters:
643   - "suites"
644   data-start-level: 3  # 0, 1, 2, ...
645   chapters-start-level: 2  # 0, 1, 2, ...
646
647 -
648   type: "file"
649   title: "NSH SFC Functional Results"
650   algorithm: "file_test_results"
651   output-file-ext: ".rst"
652   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
653   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
654   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
655   data:
656     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
657     - 7
658   filter: "all"
659   parameters:
660   - "name"
661   - "doc"
662   - "level"
663   chapters:
664   - "suites"
665   data-start-level: 2  # 0, 1, 2, ...
666   chapters-start-level: 2  # 0, 1, 2, ...
667
668 ################################################################################
669 ###                                P L O T S                                 ###
670 ################################################################################
671
672 # Plot packets per second
673
674 # VPP L2 sel1
675 -
676   type: "plot"
677   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
678   algorithm: "plot_performance_box"
679   output-file-type: ".html"
680   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
681   data:
682     csit-vpp-perf-1710-all:
683     - 11
684     - 12
685     - 13
686     - 14
687     - 15
688     - 16
689     - 17
690     - 18
691     - 19
692     - 20
693   # Keep this formatting, the filter is enclosed with " (quotation mark) and
694   # each tag is enclosed with ' (apostrophe).
695   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
696   parameters:
697   - "throughput"
698   - "parent"
699   traces:
700     hoverinfo: "x+y"
701     boxpoints: "outliers"
702     whiskerwidth: 0
703   layout:
704     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
705     xaxis:
706       autorange: True
707       autotick: False
708       fixedrange: False
709       gridcolor: "rgb(238, 238, 238)"
710       linecolor: "rgb(238, 238, 238)"
711       linewidth: 1
712       showgrid: True
713       showline: True
714       showticklabels: True
715       tickcolor: "rgb(238, 238, 238)"
716       tickmode: "linear"
717       title: "Indexed Test Cases"
718       zeroline: False
719     yaxis:
720       gridcolor: "rgb(238, 238, 238)'"
721       hoverformat: ".4s"
722       linecolor: "rgb(238, 238, 238)"
723       linewidth: 1
724       range: []
725       showgrid: True
726       showline: True
727       showticklabels: True
728       tickcolor: "rgb(238, 238, 238)"
729       title: "Packets Per Second [pps]"
730       zeroline: False
731     boxmode: "group"
732     boxgroupgap: 0.5
733     autosize: False
734     margin:
735       t: 50
736       b: 20
737       l: 50
738       r: 20
739     showlegend: True
740     legend:
741       orientation: "h"
742     width: 700
743     height: 1000
744
745 -
746   type: "plot"
747   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
748   algorithm: "plot_performance_box"
749   output-file-type: ".html"
750   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
751   data:
752     csit-vpp-perf-1710-all:
753     - 11
754     - 12
755     - 13
756     - 14
757     - 15
758     - 16
759     - 17
760     - 18
761     - 19
762     - 20
763   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
764   parameters:
765   - "throughput"
766   - "parent"
767   traces:
768     hoverinfo: "x+y"
769     boxpoints: "outliers"
770     whiskerwidth: 0
771   layout:
772     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
773     xaxis:
774       autorange: True
775       autotick: False
776       fixedrange: False
777       gridcolor: "rgb(238, 238, 238)"
778       linecolor: "rgb(238, 238, 238)"
779       linewidth: 1
780       showgrid: True
781       showline: True
782       showticklabels: True
783       tickcolor: "rgb(238, 238, 238)"
784       tickmode: "linear"
785       title: "Indexed Test Cases"
786       zeroline: False
787     yaxis:
788       gridcolor: "rgb(238, 238, 238)'"
789       hoverformat: ".4s"
790       linecolor: "rgb(238, 238, 238)"
791       linewidth: 1
792       range: []
793       showgrid: True
794       showline: True
795       showticklabels: True
796       tickcolor: "rgb(238, 238, 238)"
797       title: "Packets Per Second [pps]"
798       zeroline: False
799     boxmode: "group"
800     boxgroupgap: 0.5
801     autosize: False
802     margin:
803       t: 50
804       b: 20
805       l: 50
806       r: 20
807     showlegend: True
808     legend:
809       orientation: "h"
810     width: 700
811     height: 1000
812
813 -
814   type: "plot"
815   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
816   algorithm: "plot_performance_box"
817   output-file-type: ".html"
818   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
819   data:
820     csit-vpp-perf-1710-all:
821     - 11
822     - 12
823     - 13
824     - 14
825     - 15
826     - 16
827     - 17
828     - 18
829     - 19
830     - 20
831   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
832   parameters:
833   - "throughput"
834   - "parent"
835   traces:
836     hoverinfo: "x+y"
837     boxpoints: "outliers"
838     whiskerwidth: 0
839   layout:
840     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
841     xaxis:
842       autorange: True
843       autotick: False
844       fixedrange: False
845       gridcolor: "rgb(238, 238, 238)"
846       linecolor: "rgb(238, 238, 238)"
847       linewidth: 1
848       showgrid: True
849       showline: True
850       showticklabels: True
851       tickcolor: "rgb(238, 238, 238)"
852       tickmode: "linear"
853       title: "Indexed Test Cases"
854       zeroline: False
855     yaxis:
856       gridcolor: "rgb(238, 238, 238)'"
857       hoverformat: ".4s"
858       linecolor: "rgb(238, 238, 238)"
859       linewidth: 1
860       range: []
861       showgrid: True
862       showline: True
863       showticklabels: True
864       tickcolor: "rgb(238, 238, 238)"
865       title: "Packets Per Second [pps]"
866       zeroline: False
867     boxmode: "group"
868     boxgroupgap: 0.5
869     autosize: False
870     margin:
871       t: 50
872       b: 20
873       l: 50
874       r: 20
875     showlegend: True
876     legend:
877       orientation: "h"
878     width: 700
879     height: 1000
880
881 -
882   type: "plot"
883   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
884   algorithm: "plot_performance_box"
885   output-file-type: ".html"
886   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
887   data:
888     csit-vpp-perf-1710-all:
889     - 11
890     - 12
891     - 13
892     - 14
893     - 15
894     - 16
895     - 17
896     - 18
897     - 19
898     - 20
899   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
900   parameters:
901   - "throughput"
902   - "parent"
903   traces:
904     hoverinfo: "x+y"
905     boxpoints: "outliers"
906     whiskerwidth: 0
907   layout:
908     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
909     xaxis:
910       autorange: True
911       autotick: False
912       fixedrange: False
913       gridcolor: "rgb(238, 238, 238)"
914       linecolor: "rgb(238, 238, 238)"
915       linewidth: 1
916       showgrid: True
917       showline: True
918       showticklabels: True
919       tickcolor: "rgb(238, 238, 238)"
920       tickmode: "linear"
921       title: "Indexed Test Cases"
922       zeroline: False
923     yaxis:
924       gridcolor: "rgb(238, 238, 238)'"
925       hoverformat: ".4s"
926       linecolor: "rgb(238, 238, 238)"
927       linewidth: 1
928       range: []
929       showgrid: True
930       showline: True
931       showticklabels: True
932       tickcolor: "rgb(238, 238, 238)"
933       title: "Packets Per Second [pps]"
934       zeroline: False
935     boxmode: "group"
936     boxgroupgap: 0.5
937     autosize: False
938     margin:
939       t: 50
940       b: 20
941       l: 50
942       r: 20
943     showlegend: True
944     legend:
945       orientation: "h"
946     width: 700
947     height: 1000
948
949 # VPP L2 sel2
950 -
951   type: "plot"
952   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
953   algorithm: "plot_performance_box"
954   output-file-type: ".html"
955   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
956   data:
957     csit-vpp-perf-1710-all:
958     - 11
959     - 12
960     - 13
961     - 14
962     - 15
963     - 16
964     - 17
965     - 18
966     - 19
967     - 20
968   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
969   parameters:
970   - "throughput"
971   - "parent"
972   traces:
973     hoverinfo: "x+y"
974     boxpoints: "outliers"
975     whiskerwidth: 0
976   layout:
977     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
978     xaxis:
979       autorange: True
980       autotick: False
981       fixedrange: False
982       gridcolor: "rgb(238, 238, 238)"
983       linecolor: "rgb(238, 238, 238)"
984       linewidth: 1
985       showgrid: True
986       showline: True
987       showticklabels: True
988       tickcolor: "rgb(238, 238, 238)"
989       tickmode: "linear"
990       title: "Indexed Test Cases"
991       zeroline: False
992     yaxis:
993       gridcolor: "rgb(238, 238, 238)'"
994       hoverformat: ".4s"
995       linecolor: "rgb(238, 238, 238)"
996       linewidth: 1
997       range: [0, 8000000]
998       showgrid: True
999       showline: True
1000       showticklabels: True
1001       tickcolor: "rgb(238, 238, 238)"
1002       title: "Packets Per Second [pps]"
1003       zeroline: False
1004     boxmode: "group"
1005     boxgroupgap: 0.5
1006     autosize: False
1007     margin:
1008       t: 50
1009       b: 20
1010       l: 50
1011       r: 20
1012     showlegend: True
1013     legend:
1014       orientation: "h"
1015     width: 700
1016     height: 1000
1017
1018 -
1019   type: "plot"
1020   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1021   algorithm: "plot_performance_box"
1022   output-file-type: ".html"
1023   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1024   data:
1025     csit-vpp-perf-1710-all:
1026     - 11
1027     - 12
1028     - 13
1029     - 14
1030     - 15
1031     - 16
1032     - 17
1033     - 18
1034     - 19
1035     - 20
1036   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1037   parameters:
1038   - "throughput"
1039   - "parent"
1040   traces:
1041     hoverinfo: "x+y"
1042     boxpoints: "outliers"
1043     whiskerwidth: 0
1044   layout:
1045     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1046     xaxis:
1047       autorange: True
1048       autotick: False
1049       fixedrange: False
1050       gridcolor: "rgb(238, 238, 238)"
1051       linecolor: "rgb(238, 238, 238)"
1052       linewidth: 1
1053       showgrid: True
1054       showline: True
1055       showticklabels: True
1056       tickcolor: "rgb(238, 238, 238)"
1057       tickmode: "linear"
1058       title: "Indexed Test Cases"
1059       zeroline: False
1060     yaxis:
1061       gridcolor: "rgb(238, 238, 238)'"
1062       hoverformat: ".4s"
1063       linecolor: "rgb(238, 238, 238)"
1064       linewidth: 1
1065       range: [5000000, 12000000]
1066       showgrid: True
1067       showline: True
1068       showticklabels: True
1069       tickcolor: "rgb(238, 238, 238)"
1070       title: "Packets Per Second [pps]"
1071       zeroline: False
1072     boxmode: "group"
1073     boxgroupgap: 0.5
1074     autosize: False
1075     margin:
1076       t: 50
1077       b: 20
1078       l: 50
1079       r: 20
1080     showlegend: True
1081     legend:
1082       orientation: "h"
1083     width: 700
1084     height: 1000
1085
1086 -
1087   type: "plot"
1088   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1089   algorithm: "plot_performance_box"
1090   output-file-type: ".html"
1091   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1092   data:
1093     csit-vpp-perf-1710-all:
1094     - 11
1095     - 12
1096     - 13
1097     - 14
1098     - 15
1099     - 16
1100     - 17
1101     - 18
1102     - 19
1103     - 20
1104   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1105   parameters:
1106   - "throughput"
1107   - "parent"
1108   traces:
1109     hoverinfo: "x+y"
1110     boxpoints: "outliers"
1111     whiskerwidth: 0
1112   layout:
1113     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1114     xaxis:
1115       autorange: True
1116       autotick: False
1117       fixedrange: False
1118       gridcolor: "rgb(238, 238, 238)"
1119       linecolor: "rgb(238, 238, 238)"
1120       linewidth: 1
1121       showgrid: True
1122       showline: True
1123       showticklabels: True
1124       tickcolor: "rgb(238, 238, 238)"
1125       tickmode: "linear"
1126       title: "Indexed Test Cases"
1127       zeroline: False
1128     yaxis:
1129       gridcolor: "rgb(238, 238, 238)'"
1130       hoverformat: ".4s"
1131       linecolor: "rgb(238, 238, 238)"
1132       linewidth: 1
1133       range: [0, 8000000]
1134       showgrid: True
1135       showline: True
1136       showticklabels: True
1137       tickcolor: "rgb(238, 238, 238)"
1138       title: "Packets Per Second [pps]"
1139       zeroline: False
1140     boxmode: "group"
1141     boxgroupgap: 0.5
1142     autosize: False
1143     margin:
1144       t: 50
1145       b: 20
1146       l: 50
1147       r: 20
1148     showlegend: True
1149     legend:
1150       orientation: "h"
1151     width: 700
1152     height: 1000
1153
1154 -
1155   type: "plot"
1156   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1157   algorithm: "plot_performance_box"
1158   output-file-type: ".html"
1159   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1160   data:
1161     csit-vpp-perf-1710-all:
1162     - 11
1163     - 12
1164     - 13
1165     - 14
1166     - 15
1167     - 16
1168     - 17
1169     - 18
1170     - 19
1171     - 20
1172   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1173   parameters:
1174   - "throughput"
1175   - "parent"
1176   traces:
1177     hoverinfo: "x+y"
1178     boxpoints: "outliers"
1179     whiskerwidth: 0
1180   layout:
1181     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1182     xaxis:
1183       autorange: True
1184       autotick: False
1185       fixedrange: False
1186       gridcolor: "rgb(238, 238, 238)"
1187       linecolor: "rgb(238, 238, 238)"
1188       linewidth: 1
1189       showgrid: True
1190       showline: True
1191       showticklabels: True
1192       tickcolor: "rgb(238, 238, 238)"
1193       tickmode: "linear"
1194       title: "Indexed Test Cases"
1195       zeroline: False
1196     yaxis:
1197       gridcolor: "rgb(238, 238, 238)'"
1198       hoverformat: ".4s"
1199       linecolor: "rgb(238, 238, 238)"
1200       linewidth: 1
1201       range: [5000000, 12000000]
1202       showgrid: True
1203       showline: True
1204       showticklabels: True
1205       tickcolor: "rgb(238, 238, 238)"
1206       title: "Packets Per Second [pps]"
1207       zeroline: False
1208     boxmode: "group"
1209     boxgroupgap: 0.5
1210     autosize: False
1211     margin:
1212       t: 50
1213       b: 20
1214       l: 50
1215       r: 20
1216     showlegend: True
1217     legend:
1218       orientation: "h"
1219     width: 700
1220     height: 1000
1221
1222 # VPP IP4
1223 -
1224   type: "plot"
1225   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1226   algorithm: "plot_performance_box"
1227   output-file-type: ".html"
1228   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1229   data:
1230     csit-vpp-perf-1710-all:
1231     - 11
1232     - 12
1233     - 13
1234     - 14
1235     - 15
1236     - 16
1237     - 17
1238     - 18
1239     - 19
1240     - 20
1241   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1242   parameters:
1243   - "throughput"
1244   - "parent"
1245   traces:
1246     hoverinfo: "x+y"
1247     boxpoints: "outliers"
1248     whiskerwidth: 0
1249   layout:
1250     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1251     xaxis:
1252       autorange: True
1253       autotick: False
1254       fixedrange: False
1255       gridcolor: "rgb(238, 238, 238)"
1256       linecolor: "rgb(238, 238, 238)"
1257       linewidth: 1
1258       showgrid: True
1259       showline: True
1260       showticklabels: True
1261       tickcolor: "rgb(238, 238, 238)"
1262       tickmode: "linear"
1263       title: "Indexed Test Cases"
1264       zeroline: False
1265     yaxis:
1266       gridcolor: "rgb(238, 238, 238)'"
1267       hoverformat: ".4s"
1268       linecolor: "rgb(238, 238, 238)"
1269       linewidth: 1
1270       range: []
1271       showgrid: True
1272       showline: True
1273       showticklabels: True
1274       tickcolor: "rgb(238, 238, 238)"
1275       title: "Packets Per Second [pps]"
1276       zeroline: False
1277     boxmode: "group"
1278     boxgroupgap: 0.5
1279     autosize: False
1280     margin:
1281       t: 50
1282       b: 20
1283       l: 50
1284       r: 20
1285     showlegend: True
1286     legend:
1287       orientation: "h"
1288     width: 700
1289     height: 1000
1290
1291 -
1292   type: "plot"
1293   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1294   algorithm: "plot_performance_box"
1295   output-file-type: ".html"
1296   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1297   data:
1298     csit-vpp-perf-1710-all:
1299     - 11
1300     - 12
1301     - 13
1302     - 14
1303     - 15
1304     - 16
1305     - 17
1306     - 18
1307     - 19
1308     - 20
1309   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1310   parameters:
1311   - "throughput"
1312   - "parent"
1313   traces:
1314     hoverinfo: "x+y"
1315     boxpoints: "outliers"
1316     whiskerwidth: 0
1317   layout:
1318     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1319     xaxis:
1320       autorange: True
1321       autotick: False
1322       fixedrange: False
1323       gridcolor: "rgb(238, 238, 238)"
1324       linecolor: "rgb(238, 238, 238)"
1325       linewidth: 1
1326       showgrid: True
1327       showline: True
1328       showticklabels: True
1329       tickcolor: "rgb(238, 238, 238)"
1330       tickmode: "linear"
1331       title: "Indexed Test Cases"
1332       zeroline: False
1333     yaxis:
1334       gridcolor: "rgb(238, 238, 238)'"
1335       hoverformat: ".4s"
1336       linecolor: "rgb(238, 238, 238)"
1337       linewidth: 1
1338       range: []
1339       showgrid: True
1340       showline: True
1341       showticklabels: True
1342       tickcolor: "rgb(238, 238, 238)"
1343       title: "Packets Per Second [pps]"
1344       zeroline: False
1345     boxmode: "group"
1346     boxgroupgap: 0.5
1347     autosize: False
1348     margin:
1349       t: 50
1350       b: 20
1351       l: 50
1352       r: 20
1353     showlegend: True
1354     legend:
1355       orientation: "h"
1356     width: 700
1357     height: 1000
1358
1359 -
1360   type: "plot"
1361   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1362   algorithm: "plot_performance_box"
1363   output-file-type: ".html"
1364   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1365   data:
1366     csit-vpp-perf-1710-all:
1367     - 11
1368     - 12
1369     - 13
1370     - 14
1371     - 15
1372     - 16
1373     - 17
1374     - 18
1375     - 19
1376     - 20
1377   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1378   parameters:
1379   - "throughput"
1380   - "parent"
1381   traces:
1382     hoverinfo: "x+y"
1383     boxpoints: "outliers"
1384     whiskerwidth: 0
1385   layout:
1386     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1387     xaxis:
1388       autorange: True
1389       autotick: False
1390       fixedrange: False
1391       gridcolor: "rgb(238, 238, 238)"
1392       linecolor: "rgb(238, 238, 238)"
1393       linewidth: 1
1394       showgrid: True
1395       showline: True
1396       showticklabels: True
1397       tickcolor: "rgb(238, 238, 238)"
1398       tickmode: "linear"
1399       title: "Indexed Test Cases"
1400       zeroline: False
1401     yaxis:
1402       gridcolor: "rgb(238, 238, 238)'"
1403       hoverformat: ".4s"
1404       linecolor: "rgb(238, 238, 238)"
1405       linewidth: 1
1406       range: []
1407       showgrid: True
1408       showline: True
1409       showticklabels: True
1410       tickcolor: "rgb(238, 238, 238)"
1411       title: "Packets Per Second [pps]"
1412       zeroline: False
1413     boxmode: "group"
1414     boxgroupgap: 0.5
1415     autosize: False
1416     margin:
1417       t: 50
1418       b: 20
1419       l: 50
1420       r: 20
1421     showlegend: True
1422     legend:
1423       orientation: "h"
1424     width: 700
1425     height: 1000
1426
1427 -
1428   type: "plot"
1429   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1430   algorithm: "plot_performance_box"
1431   output-file-type: ".html"
1432   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1433   data:
1434     csit-vpp-perf-1710-all:
1435     - 11
1436     - 12
1437     - 13
1438     - 14
1439     - 15
1440     - 16
1441     - 17
1442     - 18
1443     - 19
1444     - 20
1445   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1446   parameters:
1447   - "throughput"
1448   - "parent"
1449   traces:
1450     hoverinfo: "x+y"
1451     boxpoints: "outliers"
1452     whiskerwidth: 0
1453   layout:
1454     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1455     xaxis:
1456       autorange: True
1457       autotick: False
1458       fixedrange: False
1459       gridcolor: "rgb(238, 238, 238)"
1460       linecolor: "rgb(238, 238, 238)"
1461       linewidth: 1
1462       showgrid: True
1463       showline: True
1464       showticklabels: True
1465       tickcolor: "rgb(238, 238, 238)"
1466       tickmode: "linear"
1467       title: "Indexed Test Cases"
1468       zeroline: False
1469     yaxis:
1470       gridcolor: "rgb(238, 238, 238)'"
1471       hoverformat: ".4s"
1472       linecolor: "rgb(238, 238, 238)"
1473       linewidth: 1
1474       range: []
1475       showgrid: True
1476       showline: True
1477       showticklabels: True
1478       tickcolor: "rgb(238, 238, 238)"
1479       title: "Packets Per Second [pps]"
1480       zeroline: False
1481     boxmode: "group"
1482     boxgroupgap: 0.5
1483     autosize: False
1484     margin:
1485       t: 50
1486       b: 20
1487       l: 50
1488       r: 20
1489     showlegend: True
1490     legend:
1491       orientation: "h"
1492     width: 700
1493     height: 1000
1494
1495 # VPP IP6
1496 -
1497   type: "plot"
1498   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1499   algorithm: "plot_performance_box"
1500   output-file-type: ".html"
1501   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1502   data:
1503     csit-vpp-perf-1710-all:
1504     - 11
1505     - 12
1506     - 13
1507     - 14
1508     - 15
1509     - 16
1510     - 17
1511     - 18
1512     - 19
1513     - 20
1514   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1515   parameters:
1516   - "throughput"
1517   - "parent"
1518   traces:
1519     hoverinfo: "x+y"
1520     boxpoints: "outliers"
1521     whiskerwidth: 0
1522   layout:
1523     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1524     xaxis:
1525       autorange: True
1526       autotick: False
1527       fixedrange: False
1528       gridcolor: "rgb(238, 238, 238)"
1529       linecolor: "rgb(238, 238, 238)"
1530       linewidth: 1
1531       showgrid: True
1532       showline: True
1533       showticklabels: True
1534       tickcolor: "rgb(238, 238, 238)"
1535       tickmode: "linear"
1536       title: "Indexed Test Cases"
1537       zeroline: False
1538     yaxis:
1539       gridcolor: "rgb(238, 238, 238)'"
1540       hoverformat: ".4s"
1541       linecolor: "rgb(238, 238, 238)"
1542       linewidth: 1
1543       range: []
1544       showgrid: True
1545       showline: True
1546       showticklabels: True
1547       tickcolor: "rgb(238, 238, 238)"
1548       title: "Packets Per Second [pps]"
1549       zeroline: False
1550     boxmode: "group"
1551     boxgroupgap: 0.5
1552     autosize: False
1553     margin:
1554       t: 50
1555       b: 20
1556       l: 50
1557       r: 20
1558     showlegend: True
1559     legend:
1560       orientation: "h"
1561     width: 700
1562     height: 1000
1563
1564 -
1565   type: "plot"
1566   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1567   algorithm: "plot_performance_box"
1568   output-file-type: ".html"
1569   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1570   data:
1571     csit-vpp-perf-1710-all:
1572     - 11
1573     - 12
1574     - 13
1575     - 14
1576     - 15
1577     - 16
1578     - 17
1579     - 18
1580     - 19
1581     - 20
1582   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1583   parameters:
1584   - "throughput"
1585   - "parent"
1586   traces:
1587     hoverinfo: "x+y"
1588     boxpoints: "outliers"
1589     whiskerwidth: 0
1590   layout:
1591     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1592     xaxis:
1593       autorange: True
1594       autotick: False
1595       fixedrange: False
1596       gridcolor: "rgb(238, 238, 238)"
1597       linecolor: "rgb(238, 238, 238)"
1598       linewidth: 1
1599       showgrid: True
1600       showline: True
1601       showticklabels: True
1602       tickcolor: "rgb(238, 238, 238)"
1603       tickmode: "linear"
1604       title: "Indexed Test Cases"
1605       zeroline: False
1606     yaxis:
1607       gridcolor: "rgb(238, 238, 238)'"
1608       hoverformat: ".4s"
1609       linecolor: "rgb(238, 238, 238)"
1610       linewidth: 1
1611       range: []
1612       showgrid: True
1613       showline: True
1614       showticklabels: True
1615       tickcolor: "rgb(238, 238, 238)"
1616       title: "Packets Per Second [pps]"
1617       zeroline: False
1618     boxmode: "group"
1619     boxgroupgap: 0.5
1620     autosize: False
1621     margin:
1622       t: 50
1623       b: 20
1624       l: 50
1625       r: 20
1626     showlegend: True
1627     legend:
1628       orientation: "h"
1629     width: 700
1630     height: 1000
1631
1632 -
1633   type: "plot"
1634   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1635   algorithm: "plot_performance_box"
1636   output-file-type: ".html"
1637   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1638   data:
1639     csit-vpp-perf-1710-all:
1640     - 11
1641     - 12
1642     - 13
1643     - 14
1644     - 15
1645     - 16
1646     - 17
1647     - 18
1648     - 19
1649     - 20
1650   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1651   parameters:
1652   - "throughput"
1653   - "parent"
1654   traces:
1655     hoverinfo: "x+y"
1656     boxpoints: "outliers"
1657     whiskerwidth: 0
1658   layout:
1659     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1660     xaxis:
1661       autorange: True
1662       autotick: False
1663       fixedrange: False
1664       gridcolor: "rgb(238, 238, 238)"
1665       linecolor: "rgb(238, 238, 238)"
1666       linewidth: 1
1667       showgrid: True
1668       showline: True
1669       showticklabels: True
1670       tickcolor: "rgb(238, 238, 238)"
1671       tickmode: "linear"
1672       title: "Indexed Test Cases"
1673       zeroline: False
1674     yaxis:
1675       gridcolor: "rgb(238, 238, 238)'"
1676       hoverformat: ".4s"
1677       linecolor: "rgb(238, 238, 238)"
1678       linewidth: 1
1679       range: []
1680       showgrid: True
1681       showline: True
1682       showticklabels: True
1683       tickcolor: "rgb(238, 238, 238)"
1684       title: "Packets Per Second [pps]"
1685       zeroline: False
1686     boxmode: "group"
1687     boxgroupgap: 0.5
1688     autosize: False
1689     margin:
1690       t: 50
1691       b: 20
1692       l: 50
1693       r: 20
1694     showlegend: True
1695     legend:
1696       orientation: "h"
1697     width: 700
1698     height: 1000
1699
1700 -
1701   type: "plot"
1702   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1703   algorithm: "plot_performance_box"
1704   output-file-type: ".html"
1705   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1706   data:
1707     csit-vpp-perf-1710-all:
1708     - 11
1709     - 12
1710     - 13
1711     - 14
1712     - 15
1713     - 16
1714     - 17
1715     - 18
1716     - 19
1717     - 20
1718   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1719   parameters:
1720   - "throughput"
1721   - "parent"
1722   traces:
1723     hoverinfo: "x+y"
1724     boxpoints: "outliers"
1725     whiskerwidth: 0
1726   layout:
1727     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1728     xaxis:
1729       autorange: True
1730       autotick: False
1731       fixedrange: False
1732       gridcolor: "rgb(238, 238, 238)"
1733       linecolor: "rgb(238, 238, 238)"
1734       linewidth: 1
1735       showgrid: True
1736       showline: True
1737       showticklabels: True
1738       tickcolor: "rgb(238, 238, 238)"
1739       tickmode: "linear"
1740       title: "Indexed Test Cases"
1741       zeroline: False
1742     yaxis:
1743       gridcolor: "rgb(238, 238, 238)'"
1744       hoverformat: ".4s"
1745       linecolor: "rgb(238, 238, 238)"
1746       linewidth: 1
1747       range: []
1748       showgrid: True
1749       showline: True
1750       showticklabels: True
1751       tickcolor: "rgb(238, 238, 238)"
1752       title: "Packets Per Second [pps]"
1753       zeroline: False
1754     boxmode: "group"
1755     boxgroupgap: 0.5
1756     autosize: False
1757     margin:
1758       t: 50
1759       b: 20
1760       l: 50
1761       r: 20
1762     showlegend: True
1763     legend:
1764       orientation: "h"
1765     width: 700
1766     height: 1000
1767
1768 # VPP IP4_overlay
1769 -
1770   type: "plot"
1771   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1772   algorithm: "plot_performance_box"
1773   output-file-type: ".html"
1774   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1775   data:
1776     csit-vpp-perf-1710-all:
1777     - 11
1778     - 12
1779     - 13
1780     - 14
1781     - 15
1782     - 16
1783     - 17
1784     - 18
1785     - 19
1786     - 20
1787   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1788   parameters:
1789   - "throughput"
1790   - "parent"
1791   traces:
1792     hoverinfo: "x+y"
1793     boxpoints: "outliers"
1794     whiskerwidth: 0
1795   layout:
1796     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1797     xaxis:
1798       autorange: True
1799       autotick: False
1800       fixedrange: False
1801       gridcolor: "rgb(238, 238, 238)"
1802       linecolor: "rgb(238, 238, 238)"
1803       linewidth: 1
1804       showgrid: True
1805       showline: True
1806       showticklabels: True
1807       tickcolor: "rgb(238, 238, 238)"
1808       tickmode: "linear"
1809       title: "Indexed Test Cases"
1810       zeroline: False
1811     yaxis:
1812       gridcolor: "rgb(238, 238, 238)'"
1813       hoverformat: ".4s"
1814       linecolor: "rgb(238, 238, 238)"
1815       linewidth: 1
1816       range: []
1817       showgrid: True
1818       showline: True
1819       showticklabels: True
1820       tickcolor: "rgb(238, 238, 238)"
1821       title: "Packets Per Second [pps]"
1822       zeroline: False
1823     boxmode: "group"
1824     boxgroupgap: 0.5
1825     autosize: False
1826     margin:
1827       t: 50
1828       b: 20
1829       l: 50
1830       r: 20
1831     showlegend: True
1832     legend:
1833       orientation: "h"
1834     width: 700
1835     height: 1000
1836
1837 -
1838   type: "plot"
1839   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1840   algorithm: "plot_performance_box"
1841   output-file-type: ".html"
1842   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1843   data:
1844     csit-vpp-perf-1710-all:
1845     - 11
1846     - 12
1847     - 13
1848     - 14
1849     - 15
1850     - 16
1851     - 17
1852     - 18
1853     - 19
1854     - 20
1855   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1856   parameters:
1857   - "throughput"
1858   - "parent"
1859   traces:
1860     hoverinfo: "x+y"
1861     boxpoints: "outliers"
1862     whiskerwidth: 0
1863   layout:
1864     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1865     xaxis:
1866       autorange: True
1867       autotick: False
1868       fixedrange: False
1869       gridcolor: "rgb(238, 238, 238)"
1870       linecolor: "rgb(238, 238, 238)"
1871       linewidth: 1
1872       showgrid: True
1873       showline: True
1874       showticklabels: True
1875       tickcolor: "rgb(238, 238, 238)"
1876       tickmode: "linear"
1877       title: "Indexed Test Cases"
1878       zeroline: False
1879     yaxis:
1880       gridcolor: "rgb(238, 238, 238)'"
1881       hoverformat: ".4s"
1882       linecolor: "rgb(238, 238, 238)"
1883       linewidth: 1
1884       range: []
1885       showgrid: True
1886       showline: True
1887       showticklabels: True
1888       tickcolor: "rgb(238, 238, 238)"
1889       title: "Packets Per Second [pps]"
1890       zeroline: False
1891     boxmode: "group"
1892     boxgroupgap: 0.5
1893     autosize: False
1894     margin:
1895       t: 50
1896       b: 20
1897       l: 50
1898       r: 20
1899     showlegend: True
1900     legend:
1901       orientation: "h"
1902     width: 700
1903     height: 1000
1904
1905 -
1906   type: "plot"
1907   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1908   algorithm: "plot_performance_box"
1909   output-file-type: ".html"
1910   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1911   data:
1912     csit-vpp-perf-1710-all:
1913     - 11
1914     - 12
1915     - 13
1916     - 14
1917     - 15
1918     - 16
1919     - 17
1920     - 18
1921     - 19
1922     - 20
1923   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1924   parameters:
1925   - "throughput"
1926   - "parent"
1927   traces:
1928     hoverinfo: "x+y"
1929     boxpoints: "outliers"
1930     whiskerwidth: 0
1931   layout:
1932     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1933     xaxis:
1934       autorange: True
1935       autotick: False
1936       fixedrange: False
1937       gridcolor: "rgb(238, 238, 238)"
1938       linecolor: "rgb(238, 238, 238)"
1939       linewidth: 1
1940       showgrid: True
1941       showline: True
1942       showticklabels: True
1943       tickcolor: "rgb(238, 238, 238)"
1944       tickmode: "linear"
1945       title: "Indexed Test Cases"
1946       zeroline: False
1947     yaxis:
1948       gridcolor: "rgb(238, 238, 238)'"
1949       hoverformat: ".4s"
1950       linecolor: "rgb(238, 238, 238)"
1951       linewidth: 1
1952       range: []
1953       showgrid: True
1954       showline: True
1955       showticklabels: True
1956       tickcolor: "rgb(238, 238, 238)"
1957       title: "Packets Per Second [pps]"
1958       zeroline: False
1959     boxmode: "group"
1960     boxgroupgap: 0.5
1961     autosize: False
1962     margin:
1963       t: 50
1964       b: 20
1965       l: 50
1966       r: 20
1967     showlegend: True
1968     legend:
1969       orientation: "h"
1970     width: 700
1971     height: 1000
1972
1973 -
1974   type: "plot"
1975   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1976   algorithm: "plot_performance_box"
1977   output-file-type: ".html"
1978   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1979   data:
1980     csit-vpp-perf-1710-all:
1981     - 11
1982     - 12
1983     - 13
1984     - 14
1985     - 15
1986     - 16
1987     - 17
1988     - 18
1989     - 19
1990     - 20
1991   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1992   parameters:
1993   - "throughput"
1994   - "parent"
1995   traces:
1996     hoverinfo: "x+y"
1997     boxpoints: "outliers"
1998     whiskerwidth: 0
1999   layout:
2000     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2001     xaxis:
2002       autorange: True
2003       autotick: False
2004       fixedrange: False
2005       gridcolor: "rgb(238, 238, 238)"
2006       linecolor: "rgb(238, 238, 238)"
2007       linewidth: 1
2008       showgrid: True
2009       showline: True
2010       showticklabels: True
2011       tickcolor: "rgb(238, 238, 238)"
2012       tickmode: "linear"
2013       title: "Indexed Test Cases"
2014       zeroline: False
2015     yaxis:
2016       gridcolor: "rgb(238, 238, 238)'"
2017       hoverformat: ".4s"
2018       linecolor: "rgb(238, 238, 238)"
2019       linewidth: 1
2020       range: []
2021       showgrid: True
2022       showline: True
2023       showticklabels: True
2024       tickcolor: "rgb(238, 238, 238)"
2025       title: "Packets Per Second [pps]"
2026       zeroline: False
2027     boxmode: "group"
2028     boxgroupgap: 0.5
2029     autosize: False
2030     margin:
2031       t: 50
2032       b: 20
2033       l: 50
2034       r: 20
2035     showlegend: True
2036     legend:
2037       orientation: "h"
2038     width: 700
2039     height: 1000
2040
2041 # VPP IP6_overlay
2042 -
2043   type: "plot"
2044   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2045   algorithm: "plot_performance_box"
2046   output-file-type: ".html"
2047   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2048   data:
2049     csit-vpp-perf-1710-all:
2050     - 11
2051     - 12
2052     - 13
2053     - 14
2054     - 15
2055     - 16
2056     - 17
2057     - 18
2058     - 19
2059     - 20
2060   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2061   parameters:
2062   - "throughput"
2063   - "parent"
2064   traces:
2065     hoverinfo: "x+y"
2066     boxpoints: "outliers"
2067     whiskerwidth: 0
2068   layout:
2069     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2070     xaxis:
2071       autorange: True
2072       autotick: False
2073       fixedrange: False
2074       gridcolor: "rgb(238, 238, 238)"
2075       linecolor: "rgb(238, 238, 238)"
2076       linewidth: 1
2077       showgrid: True
2078       showline: True
2079       showticklabels: True
2080       tickcolor: "rgb(238, 238, 238)"
2081       tickmode: "linear"
2082       title: "Indexed Test Cases"
2083       zeroline: False
2084     yaxis:
2085       gridcolor: "rgb(238, 238, 238)'"
2086       hoverformat: ".4s"
2087       linecolor: "rgb(238, 238, 238)"
2088       linewidth: 1
2089       range: []
2090       showgrid: True
2091       showline: True
2092       showticklabels: True
2093       tickcolor: "rgb(238, 238, 238)"
2094       title: "Packets Per Second [pps]"
2095       zeroline: False
2096     boxmode: "group"
2097     boxgroupgap: 0.5
2098     autosize: False
2099     margin:
2100       t: 50
2101       b: 20
2102       l: 50
2103       r: 20
2104     showlegend: True
2105     legend:
2106       orientation: "h"
2107     width: 700
2108     height: 1000
2109
2110 -
2111   type: "plot"
2112   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2113   algorithm: "plot_performance_box"
2114   output-file-type: ".html"
2115   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2116   data:
2117     csit-vpp-perf-1710-all:
2118     - 11
2119     - 12
2120     - 13
2121     - 14
2122     - 15
2123     - 16
2124     - 17
2125     - 18
2126     - 19
2127     - 20
2128   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2129   parameters:
2130   - "throughput"
2131   - "parent"
2132   traces:
2133     hoverinfo: "x+y"
2134     boxpoints: "outliers"
2135     whiskerwidth: 0
2136   layout:
2137     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2138     xaxis:
2139       autorange: True
2140       autotick: False
2141       fixedrange: False
2142       gridcolor: "rgb(238, 238, 238)"
2143       linecolor: "rgb(238, 238, 238)"
2144       linewidth: 1
2145       showgrid: True
2146       showline: True
2147       showticklabels: True
2148       tickcolor: "rgb(238, 238, 238)"
2149       tickmode: "linear"
2150       title: "Indexed Test Cases"
2151       zeroline: False
2152     yaxis:
2153       gridcolor: "rgb(238, 238, 238)'"
2154       hoverformat: ".4s"
2155       linecolor: "rgb(238, 238, 238)"
2156       linewidth: 1
2157       range: []
2158       showgrid: True
2159       showline: True
2160       showticklabels: True
2161       tickcolor: "rgb(238, 238, 238)"
2162       title: "Packets Per Second [pps]"
2163       zeroline: False
2164     boxmode: "group"
2165     boxgroupgap: 0.5
2166     autosize: False
2167     margin:
2168       t: 50
2169       b: 20
2170       l: 50
2171       r: 20
2172     showlegend: True
2173     legend:
2174       orientation: "h"
2175     width: 700
2176     height: 1000
2177
2178 -
2179   type: "plot"
2180   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2181   algorithm: "plot_performance_box"
2182   output-file-type: ".html"
2183   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2184   data:
2185     csit-vpp-perf-1710-all:
2186     - 11
2187     - 12
2188     - 13
2189     - 14
2190     - 15
2191     - 16
2192     - 17
2193     - 18
2194     - 19
2195     - 20
2196   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2197   parameters:
2198   - "throughput"
2199   - "parent"
2200   traces:
2201     hoverinfo: "x+y"
2202     boxpoints: "outliers"
2203     whiskerwidth: 0
2204   layout:
2205     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2206     xaxis:
2207       autorange: True
2208       autotick: False
2209       fixedrange: False
2210       gridcolor: "rgb(238, 238, 238)"
2211       linecolor: "rgb(238, 238, 238)"
2212       linewidth: 1
2213       showgrid: True
2214       showline: True
2215       showticklabels: True
2216       tickcolor: "rgb(238, 238, 238)"
2217       tickmode: "linear"
2218       title: "Indexed Test Cases"
2219       zeroline: False
2220     yaxis:
2221       gridcolor: "rgb(238, 238, 238)'"
2222       hoverformat: ".4s"
2223       linecolor: "rgb(238, 238, 238)"
2224       linewidth: 1
2225       range: []
2226       showgrid: True
2227       showline: True
2228       showticklabels: True
2229       tickcolor: "rgb(238, 238, 238)"
2230       title: "Packets Per Second [pps]"
2231       zeroline: False
2232     boxmode: "group"
2233     boxgroupgap: 0.5
2234     autosize: False
2235     margin:
2236       t: 50
2237       b: 20
2238       l: 50
2239       r: 20
2240     showlegend: True
2241     legend:
2242       orientation: "h"
2243     width: 700
2244     height: 1000
2245
2246 -
2247   type: "plot"
2248   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2249   algorithm: "plot_performance_box"
2250   output-file-type: ".html"
2251   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2252   data:
2253     csit-vpp-perf-1710-all:
2254     - 11
2255     - 12
2256     - 13
2257     - 14
2258     - 15
2259     - 16
2260     - 17
2261     - 18
2262     - 19
2263     - 20
2264   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2265   parameters:
2266   - "throughput"
2267   - "parent"
2268   traces:
2269     hoverinfo: "x+y"
2270     boxpoints: "outliers"
2271     whiskerwidth: 0
2272   layout:
2273     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2274     xaxis:
2275       autorange: True
2276       autotick: False
2277       fixedrange: False
2278       gridcolor: "rgb(238, 238, 238)"
2279       linecolor: "rgb(238, 238, 238)"
2280       linewidth: 1
2281       showgrid: True
2282       showline: True
2283       showticklabels: True
2284       tickcolor: "rgb(238, 238, 238)"
2285       tickmode: "linear"
2286       title: "Indexed Test Cases"
2287       zeroline: False
2288     yaxis:
2289       gridcolor: "rgb(238, 238, 238)'"
2290       hoverformat: ".4s"
2291       linecolor: "rgb(238, 238, 238)"
2292       linewidth: 1
2293       range: []
2294       showgrid: True
2295       showline: True
2296       showticklabels: True
2297       tickcolor: "rgb(238, 238, 238)"
2298       title: "Packets Per Second [pps]"
2299       zeroline: False
2300     boxmode: "group"
2301     boxgroupgap: 0.5
2302     autosize: False
2303     margin:
2304       t: 50
2305       b: 20
2306       l: 50
2307       r: 20
2308     showlegend: True
2309     legend:
2310       orientation: "h"
2311     width: 700
2312     height: 1000
2313
2314 # VPP VM VHOST
2315 -
2316   type: "plot"
2317   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2318   algorithm: "plot_performance_box"
2319   output-file-type: ".html"
2320   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2321   data:
2322     csit-vpp-perf-1710-all:
2323     - 11
2324     - 12
2325     - 13
2326     - 14
2327     - 15
2328     - 16
2329     - 17
2330     - 18
2331     - 19
2332     - 20
2333   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2334   parameters:
2335   - "throughput"
2336   - "parent"
2337   traces:
2338     hoverinfo: "x+y"
2339     boxpoints: "outliers"
2340     whiskerwidth: 0
2341   layout:
2342     title: "64B-1t1c-.*vhost.*-ndrdisc"
2343     xaxis:
2344       autorange: True
2345       autotick: False
2346       fixedrange: False
2347       gridcolor: "rgb(238, 238, 238)"
2348       linecolor: "rgb(238, 238, 238)"
2349       linewidth: 1
2350       showgrid: True
2351       showline: True
2352       showticklabels: True
2353       tickcolor: "rgb(238, 238, 238)"
2354       tickmode: "linear"
2355       title: "Indexed Test Cases"
2356       zeroline: False
2357     yaxis:
2358       gridcolor: "rgb(238, 238, 238)'"
2359       hoverformat: ".4s"
2360       linecolor: "rgb(238, 238, 238)"
2361       linewidth: 1
2362       range: []
2363       showgrid: True
2364       showline: True
2365       showticklabels: True
2366       tickcolor: "rgb(238, 238, 238)"
2367       title: "Packets Per Second [pps]"
2368       zeroline: False
2369     boxmode: "group"
2370     boxgroupgap: 0.5
2371     autosize: False
2372     margin:
2373       t: 50
2374       b: 20
2375       l: 50
2376       r: 20
2377     showlegend: True
2378     legend:
2379       orientation: "h"
2380     width: 700
2381     height: 1000
2382
2383 -
2384   type: "plot"
2385   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2386   algorithm: "plot_performance_box"
2387   output-file-type: ".html"
2388   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2389   data:
2390     csit-vpp-perf-1710-all:
2391     - 11
2392     - 12
2393     - 13
2394     - 14
2395     - 15
2396     - 16
2397     - 17
2398     - 18
2399     - 19
2400     - 20
2401   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2402   parameters:
2403   - "throughput"
2404   - "parent"
2405   traces:
2406     hoverinfo: "x+y"
2407     boxpoints: "outliers"
2408     whiskerwidth: 0
2409   layout:
2410     title: "64B-2t2c-.*vhost.*-ndrdisc"
2411     xaxis:
2412       autorange: True
2413       autotick: False
2414       fixedrange: False
2415       gridcolor: "rgb(238, 238, 238)"
2416       linecolor: "rgb(238, 238, 238)"
2417       linewidth: 1
2418       showgrid: True
2419       showline: True
2420       showticklabels: True
2421       tickcolor: "rgb(238, 238, 238)"
2422       tickmode: "linear"
2423       title: "Indexed Test Cases"
2424       zeroline: False
2425     yaxis:
2426       gridcolor: "rgb(238, 238, 238)'"
2427       hoverformat: ".4s"
2428       linecolor: "rgb(238, 238, 238)"
2429       linewidth: 1
2430       range: []
2431       showgrid: True
2432       showline: True
2433       showticklabels: True
2434       tickcolor: "rgb(238, 238, 238)"
2435       title: "Packets Per Second [pps]"
2436       zeroline: False
2437     boxmode: "group"
2438     boxgroupgap: 0.5
2439     autosize: False
2440     margin:
2441       t: 50
2442       b: 20
2443       l: 50
2444       r: 20
2445     showlegend: True
2446     legend:
2447       orientation: "h"
2448     width: 700
2449     height: 1000
2450
2451 -
2452   type: "plot"
2453   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2454   algorithm: "plot_performance_box"
2455   output-file-type: ".html"
2456   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2457   data:
2458     csit-vpp-perf-1710-all:
2459     - 11
2460     - 12
2461     - 13
2462     - 14
2463     - 15
2464     - 16
2465     - 17
2466     - 18
2467     - 19
2468     - 20
2469   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2470   parameters:
2471   - "throughput"
2472   - "parent"
2473   traces:
2474     hoverinfo: "x+y"
2475     boxpoints: "outliers"
2476     whiskerwidth: 0
2477   layout:
2478     title: "64B-1t1c-.*vhost.*-pdrdisc"
2479     xaxis:
2480       autorange: True
2481       autotick: False
2482       fixedrange: False
2483       gridcolor: "rgb(238, 238, 238)"
2484       linecolor: "rgb(238, 238, 238)"
2485       linewidth: 1
2486       showgrid: True
2487       showline: True
2488       showticklabels: True
2489       tickcolor: "rgb(238, 238, 238)"
2490       tickmode: "linear"
2491       title: "Indexed Test Cases"
2492       zeroline: False
2493     yaxis:
2494       gridcolor: "rgb(238, 238, 238)'"
2495       hoverformat: ".4s"
2496       linecolor: "rgb(238, 238, 238)"
2497       linewidth: 1
2498       range: []
2499       showgrid: True
2500       showline: True
2501       showticklabels: True
2502       tickcolor: "rgb(238, 238, 238)"
2503       title: "Packets Per Second [pps]"
2504       zeroline: False
2505     boxmode: "group"
2506     boxgroupgap: 0.5
2507     autosize: False
2508     margin:
2509       t: 50
2510       b: 20
2511       l: 50
2512       r: 20
2513     showlegend: True
2514     legend:
2515       orientation: "h"
2516     width: 700
2517     height: 1000
2518
2519 -
2520   type: "plot"
2521   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2522   algorithm: "plot_performance_box"
2523   output-file-type: ".html"
2524   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2525   data:
2526     csit-vpp-perf-1710-all:
2527     - 11
2528     - 12
2529     - 13
2530     - 14
2531     - 15
2532     - 16
2533     - 17
2534     - 18
2535     - 19
2536     - 20
2537   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2538   parameters:
2539   - "throughput"
2540   - "parent"
2541   traces:
2542     hoverinfo: "x+y"
2543     boxpoints: "outliers"
2544     whiskerwidth: 0
2545   layout:
2546     title: "64B-2t2c-.*vhost.*-pdrdisc"
2547     xaxis:
2548       autorange: True
2549       autotick: False
2550       fixedrange: False
2551       gridcolor: "rgb(238, 238, 238)"
2552       linecolor: "rgb(238, 238, 238)"
2553       linewidth: 1
2554       showgrid: True
2555       showline: True
2556       showticklabels: True
2557       tickcolor: "rgb(238, 238, 238)"
2558       tickmode: "linear"
2559       title: "Indexed Test Cases"
2560       zeroline: False
2561     yaxis:
2562       gridcolor: "rgb(238, 238, 238)'"
2563       hoverformat: ".4s"
2564       linecolor: "rgb(238, 238, 238)"
2565       linewidth: 1
2566       range: []
2567       showgrid: True
2568       showline: True
2569       showticklabels: True
2570       tickcolor: "rgb(238, 238, 238)"
2571       title: "Packets Per Second [pps]"
2572       zeroline: False
2573     boxmode: "group"
2574     boxgroupgap: 0.5
2575     autosize: False
2576     margin:
2577       t: 50
2578       b: 20
2579       l: 50
2580       r: 20
2581     showlegend: True
2582     legend:
2583       orientation: "h"
2584     width: 700
2585     height: 1000
2586
2587 # VPP VM VHOST SELECTION
2588 -
2589   type: "plot"
2590   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2591   algorithm: "plot_performance_box"
2592   output-file-type: ".html"
2593   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2594   data:
2595     csit-vpp-perf-1710-all:
2596     - 11
2597     - 12
2598     - 13
2599     - 14
2600     - 15
2601     - 16
2602     - 17
2603     - 18
2604     - 19
2605     - 20
2606   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2607   parameters:
2608   - "throughput"
2609   - "parent"
2610   traces:
2611     hoverinfo: "x+y"
2612     boxpoints: "outliers"
2613     whiskerwidth: 0
2614   layout:
2615     title: "64B-1t1c-.*vhost.*-ndrdisc"
2616     xaxis:
2617       autorange: True
2618       autotick: False
2619       fixedrange: False
2620       gridcolor: "rgb(238, 238, 238)"
2621       linecolor: "rgb(238, 238, 238)"
2622       linewidth: 1
2623       showgrid: True
2624       showline: True
2625       showticklabels: True
2626       tickcolor: "rgb(238, 238, 238)"
2627       tickmode: "linear"
2628       title: "Indexed Test Cases"
2629       zeroline: False
2630     yaxis:
2631       gridcolor: "rgb(238, 238, 238)'"
2632       hoverformat: ".4s"
2633       linecolor: "rgb(238, 238, 238)"
2634       linewidth: 1
2635       range: []
2636       showgrid: True
2637       showline: True
2638       showticklabels: True
2639       tickcolor: "rgb(238, 238, 238)"
2640       title: "Packets Per Second [pps]"
2641       zeroline: False
2642     boxmode: "group"
2643     boxgroupgap: 0.5
2644     autosize: False
2645     margin:
2646       t: 50
2647       b: 20
2648       l: 50
2649       r: 20
2650     showlegend: True
2651     legend:
2652       orientation: "h"
2653     width: 700
2654     height: 1000
2655
2656 -
2657   type: "plot"
2658   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2659   algorithm: "plot_performance_box"
2660   output-file-type: ".html"
2661   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2662   data:
2663     csit-vpp-perf-1710-all:
2664     - 11
2665     - 12
2666     - 13
2667     - 14
2668     - 15
2669     - 16
2670     - 17
2671     - 18
2672     - 19
2673     - 20
2674   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2675   parameters:
2676   - "throughput"
2677   - "parent"
2678   traces:
2679     hoverinfo: "x+y"
2680     boxpoints: "outliers"
2681     whiskerwidth: 0
2682   layout:
2683     title: "64B-2t2c-.*vhost.*-ndrdisc"
2684     xaxis:
2685       autorange: True
2686       autotick: False
2687       fixedrange: False
2688       gridcolor: "rgb(238, 238, 238)"
2689       linecolor: "rgb(238, 238, 238)"
2690       linewidth: 1
2691       showgrid: True
2692       showline: True
2693       showticklabels: True
2694       tickcolor: "rgb(238, 238, 238)"
2695       tickmode: "linear"
2696       title: "Indexed Test Cases"
2697       zeroline: False
2698     yaxis:
2699       gridcolor: "rgb(238, 238, 238)'"
2700       hoverformat: ".4s"
2701       linecolor: "rgb(238, 238, 238)"
2702       linewidth: 1
2703       range: []
2704       showgrid: True
2705       showline: True
2706       showticklabels: True
2707       tickcolor: "rgb(238, 238, 238)"
2708       title: "Packets Per Second [pps]"
2709       zeroline: False
2710     boxmode: "group"
2711     boxgroupgap: 0.5
2712     autosize: False
2713     margin:
2714       t: 50
2715       b: 20
2716       l: 50
2717       r: 20
2718     showlegend: True
2719     legend:
2720       orientation: "h"
2721     width: 700
2722     height: 1000
2723
2724 -
2725   type: "plot"
2726   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2727   algorithm: "plot_performance_box"
2728   output-file-type: ".html"
2729   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2730   data:
2731     csit-vpp-perf-1710-all:
2732     - 11
2733     - 12
2734     - 13
2735     - 14
2736     - 15
2737     - 16
2738     - 17
2739     - 18
2740     - 19
2741     - 20
2742   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2743   parameters:
2744   - "throughput"
2745   - "parent"
2746   traces:
2747     hoverinfo: "x+y"
2748     boxpoints: "outliers"
2749     whiskerwidth: 0
2750   layout:
2751     title: "64B-1t1c-.*vhost.*-pdrdisc"
2752     xaxis:
2753       autorange: True
2754       autotick: False
2755       fixedrange: False
2756       gridcolor: "rgb(238, 238, 238)"
2757       linecolor: "rgb(238, 238, 238)"
2758       linewidth: 1
2759       showgrid: True
2760       showline: True
2761       showticklabels: True
2762       tickcolor: "rgb(238, 238, 238)"
2763       tickmode: "linear"
2764       title: "Indexed Test Cases"
2765       zeroline: False
2766     yaxis:
2767       gridcolor: "rgb(238, 238, 238)'"
2768       hoverformat: ".4s"
2769       linecolor: "rgb(238, 238, 238)"
2770       linewidth: 1
2771       range: []
2772       showgrid: True
2773       showline: True
2774       showticklabels: True
2775       tickcolor: "rgb(238, 238, 238)"
2776       title: "Packets Per Second [pps]"
2777       zeroline: False
2778     boxmode: "group"
2779     boxgroupgap: 0.5
2780     autosize: False
2781     margin:
2782       t: 50
2783       b: 20
2784       l: 50
2785       r: 20
2786     showlegend: True
2787     legend:
2788       orientation: "h"
2789     width: 700
2790     height: 1000
2791
2792 -
2793   type: "plot"
2794   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2795   algorithm: "plot_performance_box"
2796   output-file-type: ".html"
2797   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2798   data:
2799     csit-vpp-perf-1710-all:
2800     - 11
2801     - 12
2802     - 13
2803     - 14
2804     - 15
2805     - 16
2806     - 17
2807     - 18
2808     - 19
2809     - 20
2810   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2811   parameters:
2812   - "throughput"
2813   - "parent"
2814   traces:
2815     hoverinfo: "x+y"
2816     boxpoints: "outliers"
2817     whiskerwidth: 0
2818   layout:
2819     title: "64B-2t2c-.*vhost.*-pdrdisc"
2820     xaxis:
2821       autorange: True
2822       autotick: False
2823       fixedrange: False
2824       gridcolor: "rgb(238, 238, 238)"
2825       linecolor: "rgb(238, 238, 238)"
2826       linewidth: 1
2827       showgrid: True
2828       showline: True
2829       showticklabels: True
2830       tickcolor: "rgb(238, 238, 238)"
2831       tickmode: "linear"
2832       title: "Indexed Test Cases"
2833       zeroline: False
2834     yaxis:
2835       gridcolor: "rgb(238, 238, 238)'"
2836       hoverformat: ".4s"
2837       linecolor: "rgb(238, 238, 238)"
2838       linewidth: 1
2839       range: []
2840       showgrid: True
2841       showline: True
2842       showticklabels: True
2843       tickcolor: "rgb(238, 238, 238)"
2844       title: "Packets Per Second [pps]"
2845       zeroline: False
2846     boxmode: "group"
2847     boxgroupgap: 0.5
2848     autosize: False
2849     margin:
2850       t: 50
2851       b: 20
2852       l: 50
2853       r: 20
2854     showlegend: True
2855     legend:
2856       orientation: "h"
2857     width: 700
2858     height: 1000
2859
2860 # VPP CRYPTO
2861 -
2862   type: "plot"
2863   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2864   algorithm: "plot_performance_box"
2865   output-file-type: ".html"
2866   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2867   data:
2868     csit-vpp-perf-1710-all:
2869     - 11
2870     - 12
2871     - 13
2872     - 14
2873     - 15
2874     - 16
2875     - 17
2876     - 18
2877     - 19
2878     - 20
2879   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2880   parameters:
2881   - "throughput"
2882   - "parent"
2883   traces:
2884     hoverinfo: "x+y"
2885     boxpoints: "outliers"
2886     whiskerwidth: 0
2887   layout:
2888     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2889     xaxis:
2890       autorange: True
2891       autotick: False
2892       fixedrange: False
2893       gridcolor: "rgb(238, 238, 238)"
2894       linecolor: "rgb(238, 238, 238)"
2895       linewidth: 1
2896       showgrid: True
2897       showline: True
2898       showticklabels: True
2899       tickcolor: "rgb(238, 238, 238)"
2900       tickmode: "linear"
2901       title: "Indexed Test Cases"
2902       zeroline: False
2903     yaxis:
2904       gridcolor: "rgb(238, 238, 238)'"
2905       hoverformat: ".4s"
2906       linecolor: "rgb(238, 238, 238)"
2907       linewidth: 1
2908       range: []
2909       showgrid: True
2910       showline: True
2911       showticklabels: True
2912       tickcolor: "rgb(238, 238, 238)"
2913       title: "Packets Per Second [pps]"
2914       zeroline: False
2915     boxmode: "group"
2916     boxgroupgap: 0.5
2917     autosize: False
2918     margin:
2919       t: 50
2920       b: 20
2921       l: 50
2922       r: 20
2923     showlegend: True
2924     legend:
2925       orientation: "h"
2926     width: 700
2927     height: 1000
2928
2929 -
2930   type: "plot"
2931   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2932   algorithm: "plot_performance_box"
2933   output-file-type: ".html"
2934   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2935   data:
2936     csit-vpp-perf-1710-all:
2937     - 11
2938     - 12
2939     - 13
2940     - 14
2941     - 15
2942     - 16
2943     - 17
2944     - 18
2945     - 19
2946     - 20
2947   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2948   parameters:
2949   - "throughput"
2950   - "parent"
2951   traces:
2952     hoverinfo: "x+y"
2953     boxpoints: "outliers"
2954     whiskerwidth: 0
2955   layout:
2956     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2957     xaxis:
2958       autorange: True
2959       autotick: False
2960       fixedrange: False
2961       gridcolor: "rgb(238, 238, 238)"
2962       linecolor: "rgb(238, 238, 238)"
2963       linewidth: 1
2964       showgrid: True
2965       showline: True
2966       showticklabels: True
2967       tickcolor: "rgb(238, 238, 238)"
2968       tickmode: "linear"
2969       title: "Indexed Test Cases"
2970       zeroline: False
2971     yaxis:
2972       gridcolor: "rgb(238, 238, 238)'"
2973       hoverformat: ".4s"
2974       linecolor: "rgb(238, 238, 238)"
2975       linewidth: 1
2976       range: []
2977       showgrid: True
2978       showline: True
2979       showticklabels: True
2980       tickcolor: "rgb(238, 238, 238)"
2981       title: "Packets Per Second [pps]"
2982       zeroline: False
2983     boxmode: "group"
2984     boxgroupgap: 0.5
2985     autosize: False
2986     margin:
2987       t: 50
2988       b: 20
2989       l: 50
2990       r: 20
2991     showlegend: True
2992     legend:
2993       orientation: "h"
2994     width: 700
2995     height: 1000
2996
2997 -
2998   type: "plot"
2999   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
3000   algorithm: "plot_performance_box"
3001   output-file-type: ".html"
3002   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
3003   data:
3004     csit-vpp-perf-1710-all:
3005     - 11
3006     - 12
3007     - 13
3008     - 14
3009     - 15
3010     - 16
3011     - 17
3012     - 18
3013     - 19
3014     - 20
3015   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3016   parameters:
3017   - "throughput"
3018   - "parent"
3019   traces:
3020     hoverinfo: "x+y"
3021     boxpoints: "outliers"
3022     whiskerwidth: 0
3023   layout:
3024     title: "64B-1t1c-.*ipsec.*-pdrdisc"
3025     xaxis:
3026       autorange: True
3027       autotick: False
3028       fixedrange: False
3029       gridcolor: "rgb(238, 238, 238)"
3030       linecolor: "rgb(238, 238, 238)"
3031       linewidth: 1
3032       showgrid: True
3033       showline: True
3034       showticklabels: True
3035       tickcolor: "rgb(238, 238, 238)"
3036       tickmode: "linear"
3037       title: "Indexed Test Cases"
3038       zeroline: False
3039     yaxis:
3040       gridcolor: "rgb(238, 238, 238)'"
3041       hoverformat: ".4s"
3042       linecolor: "rgb(238, 238, 238)"
3043       linewidth: 1
3044       range: []
3045       showgrid: True
3046       showline: True
3047       showticklabels: True
3048       tickcolor: "rgb(238, 238, 238)"
3049       title: "Packets Per Second [pps]"
3050       zeroline: False
3051     boxmode: "group"
3052     boxgroupgap: 0.5
3053     autosize: False
3054     margin:
3055       t: 50
3056       b: 20
3057       l: 50
3058       r: 20
3059     showlegend: True
3060     legend:
3061       orientation: "h"
3062     width: 700
3063     height: 1000
3064
3065 -
3066   type: "plot"
3067   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
3068   algorithm: "plot_performance_box"
3069   output-file-type: ".html"
3070   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
3071   data:
3072     csit-vpp-perf-1710-all:
3073     - 11
3074     - 12
3075     - 13
3076     - 14
3077     - 15
3078     - 16
3079     - 17
3080     - 18
3081     - 19
3082     - 20
3083   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3084   parameters:
3085   - "throughput"
3086   - "parent"
3087   traces:
3088     hoverinfo: "x+y"
3089     boxpoints: "outliers"
3090     whiskerwidth: 0
3091   layout:
3092     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3093     xaxis:
3094       autorange: True
3095       autotick: False
3096       fixedrange: False
3097       gridcolor: "rgb(238, 238, 238)"
3098       linecolor: "rgb(238, 238, 238)"
3099       linewidth: 1
3100       showgrid: True
3101       showline: True
3102       showticklabels: True
3103       tickcolor: "rgb(238, 238, 238)"
3104       tickmode: "linear"
3105       title: "Indexed Test Cases"
3106       zeroline: False
3107     yaxis:
3108       gridcolor: "rgb(238, 238, 238)'"
3109       hoverformat: ".4s"
3110       linecolor: "rgb(238, 238, 238)"
3111       linewidth: 1
3112       range: []
3113       showgrid: True
3114       showline: True
3115       showticklabels: True
3116       tickcolor: "rgb(238, 238, 238)"
3117       title: "Packets Per Second [pps]"
3118       zeroline: False
3119     boxmode: "group"
3120     boxgroupgap: 0.5
3121     autosize: False
3122     margin:
3123       t: 50
3124       b: 20
3125       l: 50
3126       r: 20
3127     showlegend: True
3128     legend:
3129       orientation: "h"
3130     width: 700
3131     height: 1000
3132
3133 # DPDK
3134 -
3135   type: "plot"
3136   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3137   algorithm: "plot_performance_box"
3138   output-file-type: ".html"
3139   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3140   data:
3141     csit-dpdk-perf-1710-all:
3142     - 2
3143     - 3
3144     - 5
3145     - 6
3146     - 7
3147     - 8
3148     - 9
3149     - 10
3150     - 11
3151     - 13
3152   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3153   parameters:
3154   - "throughput"
3155   - "parent"
3156   traces:
3157     hoverinfo: "x+y"
3158     boxpoints: "outliers"
3159     whiskerwidth: 0
3160   layout:
3161     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3162     xaxis:
3163       autorange: True
3164       autotick: False
3165       fixedrange: False
3166       gridcolor: "rgb(238, 238, 238)"
3167       linecolor: "rgb(238, 238, 238)"
3168       linewidth: 1
3169       showgrid: True
3170       showline: True
3171       showticklabels: True
3172       tickcolor: "rgb(238, 238, 238)"
3173       tickmode: "linear"
3174       title: "Indexed Test Cases"
3175       zeroline: False
3176     yaxis:
3177       gridcolor: "rgb(238, 238, 238)'"
3178       hoverformat: ".4s"
3179       linecolor: "rgb(238, 238, 238)"
3180       linewidth: 1
3181       range: []
3182       showgrid: True
3183       showline: True
3184       showticklabels: True
3185       tickcolor: "rgb(238, 238, 238)"
3186       title: "Packets Per Second [pps]"
3187       zeroline: False
3188     boxmode: "group"
3189     boxgroupgap: 0.5
3190     autosize: False
3191     margin:
3192       t: 50
3193       b: 20
3194       l: 50
3195       r: 20
3196     showlegend: True
3197     legend:
3198       orientation: "h"
3199     width: 700
3200     height: 1000
3201
3202 -
3203   type: "plot"
3204   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3205   algorithm: "plot_performance_box"
3206   output-file-type: ".html"
3207   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3208   data:
3209     csit-dpdk-perf-1710-all:
3210     - 2
3211     - 3
3212     - 5
3213     - 6
3214     - 7
3215     - 8
3216     - 9
3217     - 10
3218     - 11
3219     - 13
3220   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3221   parameters:
3222   - "throughput"
3223   - "parent"
3224   traces:
3225     hoverinfo: "x+y"
3226     boxpoints: "outliers"
3227     whiskerwidth: 0
3228   layout:
3229     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3230     xaxis:
3231       autorange: True
3232       autotick: False
3233       fixedrange: False
3234       gridcolor: "rgb(238, 238, 238)"
3235       linecolor: "rgb(238, 238, 238)"
3236       linewidth: 1
3237       showgrid: True
3238       showline: True
3239       showticklabels: True
3240       tickcolor: "rgb(238, 238, 238)"
3241       tickmode: "linear"
3242       title: "Indexed Test Cases"
3243       zeroline: False
3244     yaxis:
3245       gridcolor: "rgb(238, 238, 238)'"
3246       hoverformat: ".4s"
3247       linecolor: "rgb(238, 238, 238)"
3248       linewidth: 1
3249       range: []
3250       showgrid: True
3251       showline: True
3252       showticklabels: True
3253       tickcolor: "rgb(238, 238, 238)"
3254       title: "Packets Per Second [pps]"
3255       zeroline: False
3256     boxmode: "group"
3257     boxgroupgap: 0.5
3258     autosize: False
3259     margin:
3260       t: 50
3261       b: 20
3262       l: 50
3263       r: 20
3264     showlegend: True
3265     legend:
3266       orientation: "h"
3267     width: 700
3268     height: 1000
3269
3270 -
3271   type: "plot"
3272   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3273   algorithm: "plot_performance_box"
3274   output-file-type: ".html"
3275   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3276   data:
3277     csit-dpdk-perf-1710-all:
3278     - 2
3279     - 3
3280     - 5
3281     - 6
3282     - 7
3283     - 8
3284     - 9
3285     - 10
3286     - 11
3287     - 13
3288   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3289   parameters:
3290   - "throughput"
3291   - "parent"
3292   traces:
3293     hoverinfo: "x+y"
3294     boxpoints: "outliers"
3295     whiskerwidth: 0
3296   layout:
3297     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3298     xaxis:
3299       autorange: True
3300       autotick: False
3301       fixedrange: False
3302       gridcolor: "rgb(238, 238, 238)"
3303       linecolor: "rgb(238, 238, 238)"
3304       linewidth: 1
3305       showgrid: True
3306       showline: True
3307       showticklabels: True
3308       tickcolor: "rgb(238, 238, 238)"
3309       tickmode: "linear"
3310       title: "Indexed Test Cases"
3311       zeroline: False
3312     yaxis:
3313       gridcolor: "rgb(238, 238, 238)'"
3314       hoverformat: ".4s"
3315       linecolor: "rgb(238, 238, 238)"
3316       linewidth: 1
3317       range: [2000000, 12000000]
3318       showgrid: True
3319       showline: True
3320       showticklabels: True
3321       tickcolor: "rgb(238, 238, 238)"
3322       title: "Packets Per Second [pps]"
3323       zeroline: False
3324     boxmode: "group"
3325     boxgroupgap: 0.5
3326     autosize: False
3327     margin:
3328       t: 50
3329       b: 20
3330       l: 50
3331       r: 20
3332     showlegend: True
3333     legend:
3334       orientation: "h"
3335     width: 700
3336     height: 1000
3337
3338 -
3339   type: "plot"
3340   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3341   algorithm: "plot_performance_box"
3342   output-file-type: ".html"
3343   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3344   data:
3345     csit-dpdk-perf-1710-all:
3346     - 2
3347     - 3
3348     - 5
3349     - 6
3350     - 7
3351     - 8
3352     - 9
3353     - 10
3354     - 11
3355     - 13
3356   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3357   parameters:
3358   - "throughput"
3359   - "parent"
3360   traces:
3361     hoverinfo: "x+y"
3362     boxpoints: "outliers"
3363     whiskerwidth: 0
3364   layout:
3365     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3366     xaxis:
3367       autorange: True
3368       autotick: False
3369       fixedrange: False
3370       gridcolor: "rgb(238, 238, 238)"
3371       linecolor: "rgb(238, 238, 238)"
3372       linewidth: 1
3373       showgrid: True
3374       showline: True
3375       showticklabels: True
3376       tickcolor: "rgb(238, 238, 238)"
3377       tickmode: "linear"
3378       title: "Indexed Test Cases"
3379       zeroline: False
3380     yaxis:
3381       gridcolor: "rgb(238, 238, 238)'"
3382       hoverformat: ".4s"
3383       linecolor: "rgb(238, 238, 238)"
3384       linewidth: 1
3385       range: [2000000, 12000000]
3386       showgrid: True
3387       showline: True
3388       showticklabels: True
3389       tickcolor: "rgb(238, 238, 238)"
3390       title: "Packets Per Second [pps]"
3391       zeroline: False
3392     boxmode: "group"
3393     boxgroupgap: 0.5
3394     autosize: False
3395     margin:
3396       t: 50
3397       b: 20
3398       l: 50
3399       r: 20
3400     showlegend: True
3401     legend:
3402       orientation: "h"
3403     width: 700
3404     height: 1000
3405
3406 -
3407   type: "plot"
3408   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3409   algorithm: "plot_performance_box"
3410   output-file-type: ".html"
3411   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3412   data:
3413     csit-dpdk-perf-1710-all:
3414     - 2
3415     - 3
3416     - 5
3417     - 6
3418     - 7
3419     - 8
3420     - 9
3421     - 10
3422     - 11
3423     - 13
3424   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3425   parameters:
3426   - "throughput"
3427   - "parent"
3428   traces:
3429     hoverinfo: "x+y"
3430     boxpoints: "outliers"
3431     whiskerwidth: 0
3432   layout:
3433     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3434     xaxis:
3435       autorange: True
3436       autotick: False
3437       fixedrange: False
3438       gridcolor: "rgb(238, 238, 238)"
3439       linecolor: "rgb(238, 238, 238)"
3440       linewidth: 1
3441       showgrid: True
3442       showline: True
3443       showticklabels: True
3444       tickcolor: "rgb(238, 238, 238)"
3445       tickmode: "linear"
3446       title: "Indexed Test Cases"
3447       zeroline: False
3448     yaxis:
3449       gridcolor: "rgb(238, 238, 238)'"
3450       hoverformat: ".4s"
3451       linecolor: "rgb(238, 238, 238)"
3452       linewidth: 1
3453       range: []
3454       showgrid: True
3455       showline: True
3456       showticklabels: True
3457       tickcolor: "rgb(238, 238, 238)"
3458       title: "Packets Per Second [pps]"
3459       zeroline: False
3460     boxmode: "group"
3461     boxgroupgap: 0.5
3462     autosize: False
3463     margin:
3464       t: 50
3465       b: 20
3466       l: 50
3467       r: 20
3468     showlegend: True
3469     legend:
3470       orientation: "h"
3471     width: 700
3472     height: 1000
3473
3474 -
3475   type: "plot"
3476   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3477   algorithm: "plot_performance_box"
3478   output-file-type: ".html"
3479   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3480   data:
3481     csit-dpdk-perf-1710-all:
3482     - 2
3483     - 3
3484     - 5
3485     - 6
3486     - 7
3487     - 8
3488     - 9
3489     - 10
3490     - 11
3491     - 13
3492   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3493   parameters:
3494   - "throughput"
3495   - "parent"
3496   traces:
3497     hoverinfo: "x+y"
3498     boxpoints: "outliers"
3499     whiskerwidth: 0
3500   layout:
3501     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3502     xaxis:
3503       autorange: True
3504       autotick: False
3505       fixedrange: False
3506       gridcolor: "rgb(238, 238, 238)"
3507       linecolor: "rgb(238, 238, 238)"
3508       linewidth: 1
3509       showgrid: True
3510       showline: True
3511       showticklabels: True
3512       tickcolor: "rgb(238, 238, 238)"
3513       tickmode: "linear"
3514       title: "Indexed Test Cases"
3515       zeroline: False
3516     yaxis:
3517       gridcolor: "rgb(238, 238, 238)'"
3518       hoverformat: ".4s"
3519       linecolor: "rgb(238, 238, 238)"
3520       linewidth: 1
3521       range: []
3522       showgrid: True
3523       showline: True
3524       showticklabels: True
3525       tickcolor: "rgb(238, 238, 238)"
3526       title: "Packets Per Second [pps]"
3527       zeroline: False
3528     boxmode: "group"
3529     boxgroupgap: 0.5
3530     autosize: False
3531     margin:
3532       t: 50
3533       b: 20
3534       l: 50
3535       r: 20
3536     showlegend: True
3537     legend:
3538       orientation: "h"
3539     width: 700
3540     height: 1000
3541
3542 -
3543   type: "plot"
3544   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3545   algorithm: "plot_performance_box"
3546   output-file-type: ".html"
3547   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3548   data:
3549     csit-dpdk-perf-1710-all:
3550     - 2
3551     - 3
3552     - 5
3553     - 6
3554     - 7
3555     - 8
3556     - 9
3557     - 10
3558     - 11
3559     - 13