fff337a8dc0c5cf0ca5936e4723559c1d07ce5a5
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64
65   make-dirs:
66   # List the directories which are created while preparing the environment.
67   # All directories MUST be defined in "paths" section.
68   - "DIR[WORKING,DATA]"
69   - "DIR[STATIC,VPP]"
70   - "DIR[STATIC,DPDK]"
71   - "DIR[STATIC,ARCH]"
72   - "DIR[BUILD,LATEX]"
73   - "DIR[WORKING,SRC]"
74   - "DIR[WORKING,SRC,STATIC]"
75
76   remove-dirs:
77   # List the directories which are deleted while cleaning the environment.
78   # All directories MUST be defined in "paths" section.
79   #- "DIR[BUILD,HTML]"
80
81   build-dirs:
82   # List the directories where the results (build) is stored.
83   # All directories MUST be defined in "paths" section.
84   - "DIR[BUILD,HTML]"
85   - "DIR[BUILD,LATEX]"
86
87 -
88   type: "debug"
89   general:
90     input-format: "xml"  # zip or xml
91     extract: "robot-plugin/output.xml"  # Only for zip
92   builds:
93     # The files must be in the directory DIR[WORKING,DATA]
94     csit-dpdk-perf-1707-all:
95     -
96       build: 10
97       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
98     -
99       build: 9
100       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
101     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
102     -
103       build: 2
104       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
105     csit-vpp-functional-1707-ubuntu1604-virl:
106     -
107       build: lastSuccessfulBuild
108       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
109     hc2vpp-csit-integration-1707-ubuntu1604:
110     -
111       build: lastSuccessfulBuild
112       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
113     csit-vpp-perf-1707-all:
114     -
115       build: 16
116       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
117     -
118       build: 17
119       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
120
121 -
122   type: "static"
123   src-path: "{DIR[RST]}"
124   dst-path: "{DIR[WORKING,SRC]}"
125
126 -
127   type: "input"  # Ignored in debug mode
128   general:
129     file-name: "robot-plugin.zip"
130     file-format: ".zip"
131     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
132     extract: "robot-plugin/output.xml"
133   builds:
134     csit-vpp-perf-1707-all:
135     - 9
136     - 10
137     - 13
138     - 14
139     - 15
140     - 16
141     - 17
142     - 18
143     - 19
144     - 21
145     csit-vpp-perf-1710-all:
146     - 2
147     - 5
148     csit-dpdk-perf-1710-all:
149     - 2
150     - 3
151     - 5
152     - 6
153     - 7
154     - 8
155     - 9
156     - 10
157     - 11
158     - 13
159     csit-ligato-perf-1710-all:
160     - 1
161     csit-vpp-functional-1710-ubuntu1604-virl:
162     - 62
163     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
164     - 7
165     hc2vpp-csit-integration-1710-ubuntu1604:
166     - lastSuccessfulBuild
167 #    hc2vpp-csit-perf-master-ubuntu1604:  # REMOVE???
168 #    - 8
169 #    - 9
170
171 -
172   type: "output"
173   format:
174     html:
175     - full
176     pdf:
177     - minimal
178
179 ################################################################################
180 ###                               T A B L E S                                ###
181 ################################################################################
182 #
183 -
184   type: "table"
185   title: "Performance improvements"
186   algorithm: "table_performance_improvements"
187   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
188   output-file-ext: ".csv"
189   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
190   columns:
191   -
192     title: "Functionality"
193     data: "template 1"
194   -
195     title: "Test Name"
196     data: "template 2"
197   -
198     title: "16.09 mean [Mpps]"
199     data: "template 3"
200   -
201     title: "17.01 mean [Mpps]"
202     data: "template 4"
203   -
204     title: "17.04 mean [Mpps]"
205     data: "template 5"
206   -
207     title: "17.07 mean [Mpps]"
208     data: "data csit-vpp-perf-1707-all mean"
209   -
210     title: "17.10 mean [Mpps]"
211     data: "data csit-vpp-perf-1710-all mean"
212   -
213     title: "17.10 stdev [Mpps]"
214     data: "data csit-vpp-perf-1710-all stdev"
215   -
216     title: "17.07 to 17.10 change [%]"
217     data: "operation relative_change 6 5"
218   rows: "generated"
219   data:
220     csit-vpp-perf-1707-all:
221     - 9
222     - 10
223     - 13
224     - 14
225     - 15
226     - 16
227     - 17
228     - 18
229     - 19
230     - 21
231     csit-vpp-perf-1710-all:
232     - 2
233     - 5
234   filter: "template"
235   parameters:
236   - "throughput"
237
238 -
239   type: "table"
240   title: "Detailed Test Results - VPP Performance Results"
241   algorithm: "table_details"
242   output-file-ext: ".csv"
243   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
244   columns:
245   -
246     title: "Name"
247     data: "data name"
248   -
249     title: "Documentation"
250     data: "data doc"
251   -
252     title: "Status"
253     data: "data msg"
254   rows: "generated"
255   data:
256     csit-vpp-perf-1710-all:
257     - 5
258   filter: "all"
259   parameters:
260   - "name"
261   - "parent"
262   - "doc"
263   - "msg"
264
265 -
266   type: "table"
267   title: "Test configuration - VPP Performance Test Configs"
268   algorithm: "table_details"
269   output-file-ext: ".csv"
270   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
271   columns:
272   -
273     title: "Name"
274     data: "data name"
275   -
276     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
277     data: "data vat-history"
278   rows: "generated"
279   data:
280     csit-vpp-perf-1710-all:
281     - 5
282   filter: "all"
283   parameters:
284   - "parent"
285   - "name"
286   - "vat-history"
287
288 -
289   type: "table"
290   title: "Test Operational Data - VPP Performance Operational Data"
291   algorithm: "table_details"
292   output-file-ext: ".csv"
293   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
294   columns:
295   -
296     title: "Name"
297     data: "data name"
298   -
299     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
300     data: "data show-run"
301   rows: "generated"
302   data:
303     csit-vpp-perf-1710-all:
304     - 5
305   filter: "all"
306   parameters:
307   - "parent"
308   - "name"
309   - "show-run"
310
311 -
312   type: "table"
313   title: "Detailed Test Results - VPP Functional Results"
314   algorithm: "table_details"
315   output-file-ext: ".csv"
316   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
317   columns:
318   -
319     title: "Name"
320     data: "data name"
321   -
322     title: "Documentation"
323     data: "data doc"
324   -
325     title: "Status"
326     data: "data status"
327   rows: "generated"
328   data:
329     csit-vpp-functional-1710-ubuntu1604-virl:
330     - 62
331   filter: "all"
332   parameters:
333   - "name"
334   - "parent"
335   - "doc"
336   - "status"
337
338 -
339   type: "table"
340   title: "Test configuration - VPP Functional Test Configs"
341   algorithm: "table_details"
342   output-file-ext: ".csv"
343   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
344   columns:
345   -
346     title: "Name"
347     data: "data name"
348   -
349     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
350     data: "data vat-history"
351   rows: "generated"
352   data:
353     csit-vpp-functional-1710-ubuntu1604-virl:
354     - 62
355   filter: "all"
356   parameters:
357   - "parent"
358   - "name"
359   - "vat-history"
360
361 -
362   type: "table"
363   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
364   algorithm: "table_details"
365   output-file-ext: ".csv"
366   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
367   columns:
368   -
369     title: "Name"
370     data: "data name"
371   -
372     title: "Documentation"
373     data: "data doc"
374   -
375     title: "Status"
376     data: "data msg"
377   rows: "generated"
378   data:
379     csit-ligato-perf-1710-all:
380     - 1
381   filter: "all"
382   parameters:
383   - "name"
384   - "parent"
385   - "doc"
386   - "msg"
387
388 -
389   type: "table"
390   title: "Detailed Test Results - DPDK Performance Results"
391   algorithm: "table_details"
392   output-file-ext: ".csv"
393   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
394   columns:
395   -
396     title: "Name"
397     data: "data name"
398   -
399     title: "Documentation"
400     data: "data doc"
401   -
402     title: "Status"
403     data: "data msg"
404   rows: "generated"
405   data:
406     csit-dpdk-perf-1710-all:
407     - 13
408   filter: "all"
409   parameters:
410   - "name"
411   - "parent"
412   - "doc"
413   - "msg"
414
415 -
416   type: "table"
417   title: "Detailed Test Results - Honeycomb Functional Results"
418   algorithm: "table_details"
419   output-file-ext: ".csv"
420   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
421   columns:
422   -
423     title: "Name"
424     data: "data name"
425   -
426     title: "Documentation"
427     data: "data doc"
428   -
429     title: "Status"
430     data: "data status"
431   rows: "generated"
432   data:
433     hc2vpp-csit-integration-1710-ubuntu1604:
434     - "lastSuccessfulBuild"
435   filter: "all"
436   parameters:
437   - "name"
438   - "parent"
439   - "doc"
440   - "status"
441
442 -
443   type: "table"
444   title: "Detailed Test Results - NSH SFC Functional Results"
445   algorithm: "table_details"
446   output-file-ext: ".csv"
447   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
448   columns:
449   -
450     title: "Name"
451     data: "data name"
452   -
453     title: "Documentation"
454     data: "data doc"
455   -
456     title: "Status"
457     data: "data status"
458   rows: "generated"
459   data:
460     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
461     - 7
462   filter: "all"
463   parameters:
464   - "name"
465   - "parent"
466   - "doc"
467   - "status"
468
469 ################################################################################
470 ###                                F I L E S                                 ###
471 ################################################################################
472
473 -
474   type: "file"
475   title: "VPP Performance Results"
476   algorithm: "file_test_results"
477   output-file-ext: ".rst"
478   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
479   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
480   dir-tables: "{DIR[DTR,PERF,VPP]}"
481   data:
482     csit-vpp-perf-1710-all:
483     - 5
484   filter: "all"
485   parameters:
486   - "name"
487   - "doc"
488   - "level"
489   data-start-level: 2  # 0, 1, 2, ...
490   chapters-start-level: 2  # 0, 1, 2, ...
491
492 -
493   type: "file"
494   title: "VPP Performance Configuration"
495   algorithm: "file_test_results"
496   output-file-ext: ".rst"
497   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
498   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
499   dir-tables: "{DIR[DTC,PERF,VPP]}"
500   data:
501     csit-vpp-perf-1710-all:
502     - 5
503   filter: "all"
504   parameters:
505   - "name"
506   - "doc"
507   - "level"
508   data-start-level: 2  # 0, 1, 2, ...
509   chapters-start-level: 2  # 0, 1, 2, ...
510
511 -
512   type: "file"
513   title: "VPP Performance Operational Data"
514   algorithm: "file_test_results"
515   output-file-ext: ".rst"
516   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
517   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
518   dir-tables: "{DIR[DTO,PERF,VPP]}"
519   data:
520     csit-vpp-perf-1710-all:
521     - 5
522   filter: "all"
523   parameters:
524   - "name"
525   - "doc"
526   - "level"
527   data-start-level: 2  # 0, 1, 2, ...
528   chapters-start-level: 2  # 0, 1, 2, ...
529
530 -
531   type: "file"
532   title: "VPP Functional Results"
533   algorithm: "file_test_results"
534   output-file-ext: ".rst"
535   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
536   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
537   dir-tables: "{DIR[DTR,FUNC,VPP]}"
538   data:
539     csit-vpp-functional-1710-ubuntu1604-virl:
540     - 62
541   filter: "all"
542   parameters:
543   - "name"
544   - "doc"
545   - "level"
546   data-start-level: 3  # 0, 1, 2, ...
547   chapters-start-level: 2  # 0, 1, 2, ...
548
549 -
550   type: "file"
551   title: "VPP Functional Configuration"
552   algorithm: "file_test_results"
553   output-file-ext: ".rst"
554   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
555   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
556   dir-tables: "{DIR[DTC,FUNC,VPP]}"
557   data:
558     csit-vpp-functional-1710-ubuntu1604-virl:
559     - 62
560   filter: "all"
561   parameters:
562   - "name"
563   - "doc"
564   - "level"
565   data-start-level: 3  # 0, 1, 2, ...
566   chapters-start-level: 2  # 0, 1, 2, ...
567
568 -
569   type: "file"
570   title: "Container Orchestrated Performance Results"
571   algorithm: "file_test_results"
572   output-file-ext: ".rst"
573   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
574   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
575   dir-tables: "{DIR[DTR,PERF,COT]}"
576   data:
577     csit-ligato-perf-1710-all:
578     - 1
579   filter: "all"
580   parameters:
581   - "name"
582   - "doc"
583   - "level"
584   data-start-level: 2  # 0, 1, 2, ...
585   chapters-start-level: 2  # 0, 1, 2, ...
586
587 -
588   type: "file"
589   title: "DPDK Performance Results"
590   algorithm: "file_test_results"
591   output-file-ext: ".rst"
592   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
593   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
594   dir-tables: "{DIR[DTR,PERF,DPDK]}"
595   data:
596     csit-dpdk-perf-1710-all:
597     - 13
598   filter: "all"
599   parameters:
600   - "name"
601   - "doc"
602   - "level"
603   chapters:
604   - "suites"
605   data-start-level: 2  # 0, 1, 2, ...
606   chapters-start-level: 2  # 0, 1, 2, ...
607
608 -
609   type: "file"
610   title: "Honeycomb Functional Results"
611   algorithm: "file_test_results"
612   output-file-ext: ".rst"
613   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
614   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
615   dir-tables: "{DIR[DTR,FUNC,HC]}"
616   data:
617     hc2vpp-csit-integration-1710-ubuntu1604:
618     - "lastSuccessfulBuild"
619   filter: "all"
620   parameters:
621   - "name"
622   - "doc"
623   - "level"
624   chapters:
625   - "suites"
626   data-start-level: 3  # 0, 1, 2, ...
627   chapters-start-level: 2  # 0, 1, 2, ...
628
629 -
630   type: "file"
631   title: "NSH SFC Functional Results"
632   algorithm: "file_test_results"
633   output-file-ext: ".rst"
634   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
635   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
636   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
637   data:
638     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
639     - 7
640   filter: "all"
641   parameters:
642   - "name"
643   - "doc"
644   - "level"
645   chapters:
646   - "suites"
647   data-start-level: 2  # 0, 1, 2, ...
648   chapters-start-level: 2  # 0, 1, 2, ...
649
650 ################################################################################
651 ###                                P L O T S                                 ###
652 ################################################################################
653
654 # Plot packets per second
655
656 # VPP L2 sel1
657 -
658   type: "plot"
659   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
660   algorithm: "plot_performance_box"
661   output-file-type: ".html"
662   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
663   data:
664     csit-vpp-perf-1710-all:
665     - 2
666     - 5
667   # Keep this formatting, the filter is enclosed with " (quotation mark) and
668   # each tag is enclosed with ' (apostrophe).
669   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
670   parameters:
671   - "throughput"
672   - "parent"
673   traces:
674     hoverinfo: "x+y"
675     boxpoints: "outliers"
676     whiskerwidth: 0
677   layout:
678     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
679     xaxis:
680       autorange: True
681       autotick: False
682       fixedrange: False
683       gridcolor: "rgb(238, 238, 238)"
684       linecolor: "rgb(238, 238, 238)"
685       linewidth: 1
686       showgrid: True
687       showline: True
688       showticklabels: True
689       tickcolor: "rgb(238, 238, 238)"
690       tickmode: "linear"
691       title: "Indexed Test Cases"
692       zeroline: False
693     yaxis:
694       gridcolor: "rgb(238, 238, 238)'"
695       hoverformat: ".4s"
696       linecolor: "rgb(238, 238, 238)"
697       linewidth: 1
698       range: []
699       showgrid: True
700       showline: True
701       showticklabels: True
702       tickcolor: "rgb(238, 238, 238)"
703       title: "Packets Per Second [pps]"
704       zeroline: False
705     boxmode: "group"
706     boxgroupgap: 0.5
707     autosize: False
708     margin:
709       t: 50
710       b: 20
711       l: 50
712       r: 20
713     showlegend: True
714     legend:
715       orientation: "h"
716     width: 700
717     height: 1000
718
719 -
720   type: "plot"
721   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
722   algorithm: "plot_performance_box"
723   output-file-type: ".html"
724   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
725   data:
726     csit-vpp-perf-1710-all:
727     - 2
728     - 5
729   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
730   parameters:
731   - "throughput"
732   - "parent"
733   traces:
734     hoverinfo: "x+y"
735     boxpoints: "outliers"
736     whiskerwidth: 0
737   layout:
738     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
739     xaxis:
740       autorange: True
741       autotick: False
742       fixedrange: False
743       gridcolor: "rgb(238, 238, 238)"
744       linecolor: "rgb(238, 238, 238)"
745       linewidth: 1
746       showgrid: True
747       showline: True
748       showticklabels: True
749       tickcolor: "rgb(238, 238, 238)"
750       tickmode: "linear"
751       title: "Indexed Test Cases"
752       zeroline: False
753     yaxis:
754       gridcolor: "rgb(238, 238, 238)'"
755       hoverformat: ".4s"
756       linecolor: "rgb(238, 238, 238)"
757       linewidth: 1
758       range: []
759       showgrid: True
760       showline: True
761       showticklabels: True
762       tickcolor: "rgb(238, 238, 238)"
763       title: "Packets Per Second [pps]"
764       zeroline: False
765     boxmode: "group"
766     boxgroupgap: 0.5
767     autosize: False
768     margin:
769       t: 50
770       b: 20
771       l: 50
772       r: 20
773     showlegend: True
774     legend:
775       orientation: "h"
776     width: 700
777     height: 1000
778
779 -
780   type: "plot"
781   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
782   algorithm: "plot_performance_box"
783   output-file-type: ".html"
784   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
785   data:
786     csit-vpp-perf-1710-all:
787     - 2
788     - 5
789   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
790   parameters:
791   - "throughput"
792   - "parent"
793   traces:
794     hoverinfo: "x+y"
795     boxpoints: "outliers"
796     whiskerwidth: 0
797   layout:
798     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
799     xaxis:
800       autorange: True
801       autotick: False
802       fixedrange: False
803       gridcolor: "rgb(238, 238, 238)"
804       linecolor: "rgb(238, 238, 238)"
805       linewidth: 1
806       showgrid: True
807       showline: True
808       showticklabels: True
809       tickcolor: "rgb(238, 238, 238)"
810       tickmode: "linear"
811       title: "Indexed Test Cases"
812       zeroline: False
813     yaxis:
814       gridcolor: "rgb(238, 238, 238)'"
815       hoverformat: ".4s"
816       linecolor: "rgb(238, 238, 238)"
817       linewidth: 1
818       range: []
819       showgrid: True
820       showline: True
821       showticklabels: True
822       tickcolor: "rgb(238, 238, 238)"
823       title: "Packets Per Second [pps]"
824       zeroline: False
825     boxmode: "group"
826     boxgroupgap: 0.5
827     autosize: False
828     margin:
829       t: 50
830       b: 20
831       l: 50
832       r: 20
833     showlegend: True
834     legend:
835       orientation: "h"
836     width: 700
837     height: 1000
838
839 -
840   type: "plot"
841   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
842   algorithm: "plot_performance_box"
843   output-file-type: ".html"
844   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
845   data:
846     csit-vpp-perf-1710-all:
847     - 2
848     - 5
849   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
850   parameters:
851   - "throughput"
852   - "parent"
853   traces:
854     hoverinfo: "x+y"
855     boxpoints: "outliers"
856     whiskerwidth: 0
857   layout:
858     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
859     xaxis:
860       autorange: True
861       autotick: False
862       fixedrange: False
863       gridcolor: "rgb(238, 238, 238)"
864       linecolor: "rgb(238, 238, 238)"
865       linewidth: 1
866       showgrid: True
867       showline: True
868       showticklabels: True
869       tickcolor: "rgb(238, 238, 238)"
870       tickmode: "linear"
871       title: "Indexed Test Cases"
872       zeroline: False
873     yaxis:
874       gridcolor: "rgb(238, 238, 238)'"
875       hoverformat: ".4s"
876       linecolor: "rgb(238, 238, 238)"
877       linewidth: 1
878       range: []
879       showgrid: True
880       showline: True
881       showticklabels: True
882       tickcolor: "rgb(238, 238, 238)"
883       title: "Packets Per Second [pps]"
884       zeroline: False
885     boxmode: "group"
886     boxgroupgap: 0.5
887     autosize: False
888     margin:
889       t: 50
890       b: 20
891       l: 50
892       r: 20
893     showlegend: True
894     legend:
895       orientation: "h"
896     width: 700
897     height: 1000
898
899 # VPP L2 sel2
900 -
901   type: "plot"
902   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
903   algorithm: "plot_performance_box"
904   output-file-type: ".html"
905   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
906   data:
907     csit-vpp-perf-1710-all:
908     - 2
909     - 5
910   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
911   parameters:
912   - "throughput"
913   - "parent"
914   traces:
915     hoverinfo: "x+y"
916     boxpoints: "outliers"
917     whiskerwidth: 0
918   layout:
919     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
920     xaxis:
921       autorange: True
922       autotick: False
923       fixedrange: False
924       gridcolor: "rgb(238, 238, 238)"
925       linecolor: "rgb(238, 238, 238)"
926       linewidth: 1
927       showgrid: True
928       showline: True
929       showticklabels: True
930       tickcolor: "rgb(238, 238, 238)"
931       tickmode: "linear"
932       title: "Indexed Test Cases"
933       zeroline: False
934     yaxis:
935       gridcolor: "rgb(238, 238, 238)'"
936       hoverformat: ".4s"
937       linecolor: "rgb(238, 238, 238)"
938       linewidth: 1
939       range: [0, 8000000]
940       showgrid: True
941       showline: True
942       showticklabels: True
943       tickcolor: "rgb(238, 238, 238)"
944       title: "Packets Per Second [pps]"
945       zeroline: False
946     boxmode: "group"
947     boxgroupgap: 0.5
948     autosize: False
949     margin:
950       t: 50
951       b: 20
952       l: 50
953       r: 20
954     showlegend: True
955     legend:
956       orientation: "h"
957     width: 700
958     height: 1000
959
960 -
961   type: "plot"
962   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
963   algorithm: "plot_performance_box"
964   output-file-type: ".html"
965   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
966   data:
967     csit-vpp-perf-1710-all:
968     - 2
969     - 5
970   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
971   parameters:
972   - "throughput"
973   - "parent"
974   traces:
975     hoverinfo: "x+y"
976     boxpoints: "outliers"
977     whiskerwidth: 0
978   layout:
979     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
980     xaxis:
981       autorange: True
982       autotick: False
983       fixedrange: False
984       gridcolor: "rgb(238, 238, 238)"
985       linecolor: "rgb(238, 238, 238)"
986       linewidth: 1
987       showgrid: True
988       showline: True
989       showticklabels: True
990       tickcolor: "rgb(238, 238, 238)"
991       tickmode: "linear"
992       title: "Indexed Test Cases"
993       zeroline: False
994     yaxis:
995       gridcolor: "rgb(238, 238, 238)'"
996       hoverformat: ".4s"
997       linecolor: "rgb(238, 238, 238)"
998       linewidth: 1
999       range: [5000000, 12000000]
1000       showgrid: True
1001       showline: True
1002       showticklabels: True
1003       tickcolor: "rgb(238, 238, 238)"
1004       title: "Packets Per Second [pps]"
1005       zeroline: False
1006     boxmode: "group"
1007     boxgroupgap: 0.5
1008     autosize: False
1009     margin:
1010       t: 50
1011       b: 20
1012       l: 50
1013       r: 20
1014     showlegend: True
1015     legend:
1016       orientation: "h"
1017     width: 700
1018     height: 1000
1019
1020 -
1021   type: "plot"
1022   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1023   algorithm: "plot_performance_box"
1024   output-file-type: ".html"
1025   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1026   data:
1027     csit-vpp-perf-1710-all:
1028     - 2
1029     - 5
1030   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1031   parameters:
1032   - "throughput"
1033   - "parent"
1034   traces:
1035     hoverinfo: "x+y"
1036     boxpoints: "outliers"
1037     whiskerwidth: 0
1038   layout:
1039     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1040     xaxis:
1041       autorange: True
1042       autotick: False
1043       fixedrange: False
1044       gridcolor: "rgb(238, 238, 238)"
1045       linecolor: "rgb(238, 238, 238)"
1046       linewidth: 1
1047       showgrid: True
1048       showline: True
1049       showticklabels: True
1050       tickcolor: "rgb(238, 238, 238)"
1051       tickmode: "linear"
1052       title: "Indexed Test Cases"
1053       zeroline: False
1054     yaxis:
1055       gridcolor: "rgb(238, 238, 238)'"
1056       hoverformat: ".4s"
1057       linecolor: "rgb(238, 238, 238)"
1058       linewidth: 1
1059       range: [0, 8000000]
1060       showgrid: True
1061       showline: True
1062       showticklabels: True
1063       tickcolor: "rgb(238, 238, 238)"
1064       title: "Packets Per Second [pps]"
1065       zeroline: False
1066     boxmode: "group"
1067     boxgroupgap: 0.5
1068     autosize: False
1069     margin:
1070       t: 50
1071       b: 20
1072       l: 50
1073       r: 20
1074     showlegend: True
1075     legend:
1076       orientation: "h"
1077     width: 700
1078     height: 1000
1079
1080 -
1081   type: "plot"
1082   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1083   algorithm: "plot_performance_box"
1084   output-file-type: ".html"
1085   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1086   data:
1087     csit-vpp-perf-1710-all:
1088     - 2
1089     - 5
1090   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1091   parameters:
1092   - "throughput"
1093   - "parent"
1094   traces:
1095     hoverinfo: "x+y"
1096     boxpoints: "outliers"
1097     whiskerwidth: 0
1098   layout:
1099     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1100     xaxis:
1101       autorange: True
1102       autotick: False
1103       fixedrange: False
1104       gridcolor: "rgb(238, 238, 238)"
1105       linecolor: "rgb(238, 238, 238)"
1106       linewidth: 1
1107       showgrid: True
1108       showline: True
1109       showticklabels: True
1110       tickcolor: "rgb(238, 238, 238)"
1111       tickmode: "linear"
1112       title: "Indexed Test Cases"
1113       zeroline: False
1114     yaxis:
1115       gridcolor: "rgb(238, 238, 238)'"
1116       hoverformat: ".4s"
1117       linecolor: "rgb(238, 238, 238)"
1118       linewidth: 1
1119       range: [5000000, 12000000]
1120       showgrid: True
1121       showline: True
1122       showticklabels: True
1123       tickcolor: "rgb(238, 238, 238)"
1124       title: "Packets Per Second [pps]"
1125       zeroline: False
1126     boxmode: "group"
1127     boxgroupgap: 0.5
1128     autosize: False
1129     margin:
1130       t: 50
1131       b: 20
1132       l: 50
1133       r: 20
1134     showlegend: True
1135     legend:
1136       orientation: "h"
1137     width: 700
1138     height: 1000
1139
1140 # VPP IP4
1141 -
1142   type: "plot"
1143   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1144   algorithm: "plot_performance_box"
1145   output-file-type: ".html"
1146   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1147   data:
1148     csit-vpp-perf-1710-all:
1149     - 2
1150     - 5
1151   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1152   parameters:
1153   - "throughput"
1154   - "parent"
1155   traces:
1156     hoverinfo: "x+y"
1157     boxpoints: "outliers"
1158     whiskerwidth: 0
1159   layout:
1160     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1161     xaxis:
1162       autorange: True
1163       autotick: False
1164       fixedrange: False
1165       gridcolor: "rgb(238, 238, 238)"
1166       linecolor: "rgb(238, 238, 238)"
1167       linewidth: 1
1168       showgrid: True
1169       showline: True
1170       showticklabels: True
1171       tickcolor: "rgb(238, 238, 238)"
1172       tickmode: "linear"
1173       title: "Indexed Test Cases"
1174       zeroline: False
1175     yaxis:
1176       gridcolor: "rgb(238, 238, 238)'"
1177       hoverformat: ".4s"
1178       linecolor: "rgb(238, 238, 238)"
1179       linewidth: 1
1180       range: []
1181       showgrid: True
1182       showline: True
1183       showticklabels: True
1184       tickcolor: "rgb(238, 238, 238)"
1185       title: "Packets Per Second [pps]"
1186       zeroline: False
1187     boxmode: "group"
1188     boxgroupgap: 0.5
1189     autosize: False
1190     margin:
1191       t: 50
1192       b: 20
1193       l: 50
1194       r: 20
1195     showlegend: True
1196     legend:
1197       orientation: "h"
1198     width: 700
1199     height: 1000
1200
1201 -
1202   type: "plot"
1203   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1204   algorithm: "plot_performance_box"
1205   output-file-type: ".html"
1206   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1207   data:
1208     csit-vpp-perf-1710-all:
1209     - 2
1210     - 5
1211   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1212   parameters:
1213   - "throughput"
1214   - "parent"
1215   traces:
1216     hoverinfo: "x+y"
1217     boxpoints: "outliers"
1218     whiskerwidth: 0
1219   layout:
1220     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1221     xaxis:
1222       autorange: True
1223       autotick: False
1224       fixedrange: False
1225       gridcolor: "rgb(238, 238, 238)"
1226       linecolor: "rgb(238, 238, 238)"
1227       linewidth: 1
1228       showgrid: True
1229       showline: True
1230       showticklabels: True
1231       tickcolor: "rgb(238, 238, 238)"
1232       tickmode: "linear"
1233       title: "Indexed Test Cases"
1234       zeroline: False
1235     yaxis:
1236       gridcolor: "rgb(238, 238, 238)'"
1237       hoverformat: ".4s"
1238       linecolor: "rgb(238, 238, 238)"
1239       linewidth: 1
1240       range: []
1241       showgrid: True
1242       showline: True
1243       showticklabels: True
1244       tickcolor: "rgb(238, 238, 238)"
1245       title: "Packets Per Second [pps]"
1246       zeroline: False
1247     boxmode: "group"
1248     boxgroupgap: 0.5
1249     autosize: False
1250     margin:
1251       t: 50
1252       b: 20
1253       l: 50
1254       r: 20
1255     showlegend: True
1256     legend:
1257       orientation: "h"
1258     width: 700
1259     height: 1000
1260
1261 -
1262   type: "plot"
1263   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1264   algorithm: "plot_performance_box"
1265   output-file-type: ".html"
1266   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1267   data:
1268     csit-vpp-perf-1710-all:
1269     - 2
1270     - 5
1271   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1272   parameters:
1273   - "throughput"
1274   - "parent"
1275   traces:
1276     hoverinfo: "x+y"
1277     boxpoints: "outliers"
1278     whiskerwidth: 0
1279   layout:
1280     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1281     xaxis:
1282       autorange: True
1283       autotick: False
1284       fixedrange: False
1285       gridcolor: "rgb(238, 238, 238)"
1286       linecolor: "rgb(238, 238, 238)"
1287       linewidth: 1
1288       showgrid: True
1289       showline: True
1290       showticklabels: True
1291       tickcolor: "rgb(238, 238, 238)"
1292       tickmode: "linear"
1293       title: "Indexed Test Cases"
1294       zeroline: False
1295     yaxis:
1296       gridcolor: "rgb(238, 238, 238)'"
1297       hoverformat: ".4s"
1298       linecolor: "rgb(238, 238, 238)"
1299       linewidth: 1
1300       range: []
1301       showgrid: True
1302       showline: True
1303       showticklabels: True
1304       tickcolor: "rgb(238, 238, 238)"
1305       title: "Packets Per Second [pps]"
1306       zeroline: False
1307     boxmode: "group"
1308     boxgroupgap: 0.5
1309     autosize: False
1310     margin:
1311       t: 50
1312       b: 20
1313       l: 50
1314       r: 20
1315     showlegend: True
1316     legend:
1317       orientation: "h"
1318     width: 700
1319     height: 1000
1320
1321 -
1322   type: "plot"
1323   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1324   algorithm: "plot_performance_box"
1325   output-file-type: ".html"
1326   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1327   data:
1328     csit-vpp-perf-1710-all:
1329     - 2
1330     - 5
1331   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1332   parameters:
1333   - "throughput"
1334   - "parent"
1335   traces:
1336     hoverinfo: "x+y"
1337     boxpoints: "outliers"
1338     whiskerwidth: 0
1339   layout:
1340     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1341     xaxis:
1342       autorange: True
1343       autotick: False
1344       fixedrange: False
1345       gridcolor: "rgb(238, 238, 238)"
1346       linecolor: "rgb(238, 238, 238)"
1347       linewidth: 1
1348       showgrid: True
1349       showline: True
1350       showticklabels: True
1351       tickcolor: "rgb(238, 238, 238)"
1352       tickmode: "linear"
1353       title: "Indexed Test Cases"
1354       zeroline: False
1355     yaxis:
1356       gridcolor: "rgb(238, 238, 238)'"
1357       hoverformat: ".4s"
1358       linecolor: "rgb(238, 238, 238)"
1359       linewidth: 1
1360       range: []
1361       showgrid: True
1362       showline: True
1363       showticklabels: True
1364       tickcolor: "rgb(238, 238, 238)"
1365       title: "Packets Per Second [pps]"
1366       zeroline: False
1367     boxmode: "group"
1368     boxgroupgap: 0.5
1369     autosize: False
1370     margin:
1371       t: 50
1372       b: 20
1373       l: 50
1374       r: 20
1375     showlegend: True
1376     legend:
1377       orientation: "h"
1378     width: 700
1379     height: 1000
1380
1381 # VPP IP6
1382 -
1383   type: "plot"
1384   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1385   algorithm: "plot_performance_box"
1386   output-file-type: ".html"
1387   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1388   data:
1389     csit-vpp-perf-1710-all:
1390     - 2
1391     - 5
1392   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1393   parameters:
1394   - "throughput"
1395   - "parent"
1396   traces:
1397     hoverinfo: "x+y"
1398     boxpoints: "outliers"
1399     whiskerwidth: 0
1400   layout:
1401     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1402     xaxis:
1403       autorange: True
1404       autotick: False
1405       fixedrange: False
1406       gridcolor: "rgb(238, 238, 238)"
1407       linecolor: "rgb(238, 238, 238)"
1408       linewidth: 1
1409       showgrid: True
1410       showline: True
1411       showticklabels: True
1412       tickcolor: "rgb(238, 238, 238)"
1413       tickmode: "linear"
1414       title: "Indexed Test Cases"
1415       zeroline: False
1416     yaxis:
1417       gridcolor: "rgb(238, 238, 238)'"
1418       hoverformat: ".4s"
1419       linecolor: "rgb(238, 238, 238)"
1420       linewidth: 1
1421       range: []
1422       showgrid: True
1423       showline: True
1424       showticklabels: True
1425       tickcolor: "rgb(238, 238, 238)"
1426       title: "Packets Per Second [pps]"
1427       zeroline: False
1428     boxmode: "group"
1429     boxgroupgap: 0.5
1430     autosize: False
1431     margin:
1432       t: 50
1433       b: 20
1434       l: 50
1435       r: 20
1436     showlegend: True
1437     legend:
1438       orientation: "h"
1439     width: 700
1440     height: 1000
1441
1442 -
1443   type: "plot"
1444   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1445   algorithm: "plot_performance_box"
1446   output-file-type: ".html"
1447   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1448   data:
1449     csit-vpp-perf-1710-all:
1450     - 2
1451     - 5
1452   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1453   parameters:
1454   - "throughput"
1455   - "parent"
1456   traces:
1457     hoverinfo: "x+y"
1458     boxpoints: "outliers"
1459     whiskerwidth: 0
1460   layout:
1461     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1462     xaxis:
1463       autorange: True
1464       autotick: False
1465       fixedrange: False
1466       gridcolor: "rgb(238, 238, 238)"
1467       linecolor: "rgb(238, 238, 238)"
1468       linewidth: 1
1469       showgrid: True
1470       showline: True
1471       showticklabels: True
1472       tickcolor: "rgb(238, 238, 238)"
1473       tickmode: "linear"
1474       title: "Indexed Test Cases"
1475       zeroline: False
1476     yaxis:
1477       gridcolor: "rgb(238, 238, 238)'"
1478       hoverformat: ".4s"
1479       linecolor: "rgb(238, 238, 238)"
1480       linewidth: 1
1481       range: []
1482       showgrid: True
1483       showline: True
1484       showticklabels: True
1485       tickcolor: "rgb(238, 238, 238)"
1486       title: "Packets Per Second [pps]"
1487       zeroline: False
1488     boxmode: "group"
1489     boxgroupgap: 0.5
1490     autosize: False
1491     margin:
1492       t: 50
1493       b: 20
1494       l: 50
1495       r: 20
1496     showlegend: True
1497     legend:
1498       orientation: "h"
1499     width: 700
1500     height: 1000
1501
1502 -
1503   type: "plot"
1504   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1505   algorithm: "plot_performance_box"
1506   output-file-type: ".html"
1507   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1508   data:
1509     csit-vpp-perf-1710-all:
1510     - 2
1511     - 5
1512   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1513   parameters:
1514   - "throughput"
1515   - "parent"
1516   traces:
1517     hoverinfo: "x+y"
1518     boxpoints: "outliers"
1519     whiskerwidth: 0
1520   layout:
1521     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1522     xaxis:
1523       autorange: True
1524       autotick: False
1525       fixedrange: False
1526       gridcolor: "rgb(238, 238, 238)"
1527       linecolor: "rgb(238, 238, 238)"
1528       linewidth: 1
1529       showgrid: True
1530       showline: True
1531       showticklabels: True
1532       tickcolor: "rgb(238, 238, 238)"
1533       tickmode: "linear"
1534       title: "Indexed Test Cases"
1535       zeroline: False
1536     yaxis:
1537       gridcolor: "rgb(238, 238, 238)'"
1538       hoverformat: ".4s"
1539       linecolor: "rgb(238, 238, 238)"
1540       linewidth: 1
1541       range: []
1542       showgrid: True
1543       showline: True
1544       showticklabels: True
1545       tickcolor: "rgb(238, 238, 238)"
1546       title: "Packets Per Second [pps]"
1547       zeroline: False
1548     boxmode: "group"
1549     boxgroupgap: 0.5
1550     autosize: False
1551     margin:
1552       t: 50
1553       b: 20
1554       l: 50
1555       r: 20
1556     showlegend: True
1557     legend:
1558       orientation: "h"
1559     width: 700
1560     height: 1000
1561
1562 -
1563   type: "plot"
1564   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1565   algorithm: "plot_performance_box"
1566   output-file-type: ".html"
1567   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1568   data:
1569     csit-vpp-perf-1710-all:
1570     - 2
1571     - 5
1572   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1573   parameters:
1574   - "throughput"
1575   - "parent"
1576   traces:
1577     hoverinfo: "x+y"
1578     boxpoints: "outliers"
1579     whiskerwidth: 0
1580   layout:
1581     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1582     xaxis:
1583       autorange: True
1584       autotick: False
1585       fixedrange: False
1586       gridcolor: "rgb(238, 238, 238)"
1587       linecolor: "rgb(238, 238, 238)"
1588       linewidth: 1
1589       showgrid: True
1590       showline: True
1591       showticklabels: True
1592       tickcolor: "rgb(238, 238, 238)"
1593       tickmode: "linear"
1594       title: "Indexed Test Cases"
1595       zeroline: False
1596     yaxis:
1597       gridcolor: "rgb(238, 238, 238)'"
1598       hoverformat: ".4s"
1599       linecolor: "rgb(238, 238, 238)"
1600       linewidth: 1
1601       range: []
1602       showgrid: True
1603       showline: True
1604       showticklabels: True
1605       tickcolor: "rgb(238, 238, 238)"
1606       title: "Packets Per Second [pps]"
1607       zeroline: False
1608     boxmode: "group"
1609     boxgroupgap: 0.5
1610     autosize: False
1611     margin:
1612       t: 50
1613       b: 20
1614       l: 50
1615       r: 20
1616     showlegend: True
1617     legend:
1618       orientation: "h"
1619     width: 700
1620     height: 1000
1621
1622 # VPP IP4_overlay
1623 -
1624   type: "plot"
1625   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1626   algorithm: "plot_performance_box"
1627   output-file-type: ".html"
1628   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1629   data:
1630     csit-vpp-perf-1710-all:
1631     - 2
1632     - 5
1633   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1634   parameters:
1635   - "throughput"
1636   - "parent"
1637   traces:
1638     hoverinfo: "x+y"
1639     boxpoints: "outliers"
1640     whiskerwidth: 0
1641   layout:
1642     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1643     xaxis:
1644       autorange: True
1645       autotick: False
1646       fixedrange: False
1647       gridcolor: "rgb(238, 238, 238)"
1648       linecolor: "rgb(238, 238, 238)"
1649       linewidth: 1
1650       showgrid: True
1651       showline: True
1652       showticklabels: True
1653       tickcolor: "rgb(238, 238, 238)"
1654       tickmode: "linear"
1655       title: "Indexed Test Cases"
1656       zeroline: False
1657     yaxis:
1658       gridcolor: "rgb(238, 238, 238)'"
1659       hoverformat: ".4s"
1660       linecolor: "rgb(238, 238, 238)"
1661       linewidth: 1
1662       range: []
1663       showgrid: True
1664       showline: True
1665       showticklabels: True
1666       tickcolor: "rgb(238, 238, 238)"
1667       title: "Packets Per Second [pps]"
1668       zeroline: False
1669     boxmode: "group"
1670     boxgroupgap: 0.5
1671     autosize: False
1672     margin:
1673       t: 50
1674       b: 20
1675       l: 50
1676       r: 20
1677     showlegend: True
1678     legend:
1679       orientation: "h"
1680     width: 700
1681     height: 1000
1682
1683 -
1684   type: "plot"
1685   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1686   algorithm: "plot_performance_box"
1687   output-file-type: ".html"
1688   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1689   data:
1690     csit-vpp-perf-1710-all:
1691     - 2
1692     - 5
1693   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1694   parameters:
1695   - "throughput"
1696   - "parent"
1697   traces:
1698     hoverinfo: "x+y"
1699     boxpoints: "outliers"
1700     whiskerwidth: 0
1701   layout:
1702     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1703     xaxis:
1704       autorange: True
1705       autotick: False
1706       fixedrange: False
1707       gridcolor: "rgb(238, 238, 238)"
1708       linecolor: "rgb(238, 238, 238)"
1709       linewidth: 1
1710       showgrid: True
1711       showline: True
1712       showticklabels: True
1713       tickcolor: "rgb(238, 238, 238)"
1714       tickmode: "linear"
1715       title: "Indexed Test Cases"
1716       zeroline: False
1717     yaxis:
1718       gridcolor: "rgb(238, 238, 238)'"
1719       hoverformat: ".4s"
1720       linecolor: "rgb(238, 238, 238)"
1721       linewidth: 1
1722       range: []
1723       showgrid: True
1724       showline: True
1725       showticklabels: True
1726       tickcolor: "rgb(238, 238, 238)"
1727       title: "Packets Per Second [pps]"
1728       zeroline: False
1729     boxmode: "group"
1730     boxgroupgap: 0.5
1731     autosize: False
1732     margin:
1733       t: 50
1734       b: 20
1735       l: 50
1736       r: 20
1737     showlegend: True
1738     legend:
1739       orientation: "h"
1740     width: 700
1741     height: 1000
1742
1743 -
1744   type: "plot"
1745   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1746   algorithm: "plot_performance_box"
1747   output-file-type: ".html"
1748   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1749   data:
1750     csit-vpp-perf-1710-all:
1751     - 2
1752     - 5
1753   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1754   parameters:
1755   - "throughput"
1756   - "parent"
1757   traces:
1758     hoverinfo: "x+y"
1759     boxpoints: "outliers"
1760     whiskerwidth: 0
1761   layout:
1762     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1763     xaxis:
1764       autorange: True
1765       autotick: False
1766       fixedrange: False
1767       gridcolor: "rgb(238, 238, 238)"
1768       linecolor: "rgb(238, 238, 238)"
1769       linewidth: 1
1770       showgrid: True
1771       showline: True
1772       showticklabels: True
1773       tickcolor: "rgb(238, 238, 238)"
1774       tickmode: "linear"
1775       title: "Indexed Test Cases"
1776       zeroline: False
1777     yaxis:
1778       gridcolor: "rgb(238, 238, 238)'"
1779       hoverformat: ".4s"
1780       linecolor: "rgb(238, 238, 238)"
1781       linewidth: 1
1782       range: []
1783       showgrid: True
1784       showline: True
1785       showticklabels: True
1786       tickcolor: "rgb(238, 238, 238)"
1787       title: "Packets Per Second [pps]"
1788       zeroline: False
1789     boxmode: "group"
1790     boxgroupgap: 0.5
1791     autosize: False
1792     margin:
1793       t: 50
1794       b: 20
1795       l: 50
1796       r: 20
1797     showlegend: True
1798     legend:
1799       orientation: "h"
1800     width: 700
1801     height: 1000
1802
1803 -
1804   type: "plot"
1805   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1806   algorithm: "plot_performance_box"
1807   output-file-type: ".html"
1808   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1809   data:
1810     csit-vpp-perf-1710-all:
1811     - 2
1812     - 5
1813   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1814   parameters:
1815   - "throughput"
1816   - "parent"
1817   traces:
1818     hoverinfo: "x+y"
1819     boxpoints: "outliers"
1820     whiskerwidth: 0
1821   layout:
1822     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1823     xaxis:
1824       autorange: True
1825       autotick: False
1826       fixedrange: False
1827       gridcolor: "rgb(238, 238, 238)"
1828       linecolor: "rgb(238, 238, 238)"
1829       linewidth: 1
1830       showgrid: True
1831       showline: True
1832       showticklabels: True
1833       tickcolor: "rgb(238, 238, 238)"
1834       tickmode: "linear"
1835       title: "Indexed Test Cases"
1836       zeroline: False
1837     yaxis:
1838       gridcolor: "rgb(238, 238, 238)'"
1839       hoverformat: ".4s"
1840       linecolor: "rgb(238, 238, 238)"
1841       linewidth: 1
1842       range: []
1843       showgrid: True
1844       showline: True
1845       showticklabels: True
1846       tickcolor: "rgb(238, 238, 238)"
1847       title: "Packets Per Second [pps]"
1848       zeroline: False
1849     boxmode: "group"
1850     boxgroupgap: 0.5
1851     autosize: False
1852     margin:
1853       t: 50
1854       b: 20
1855       l: 50
1856       r: 20
1857     showlegend: True
1858     legend:
1859       orientation: "h"
1860     width: 700
1861     height: 1000
1862
1863 # VPP IP6_overlay
1864 -
1865   type: "plot"
1866   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1867   algorithm: "plot_performance_box"
1868   output-file-type: ".html"
1869   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1870   data:
1871     csit-vpp-perf-1710-all:
1872     - 2
1873     - 5
1874   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1875   parameters:
1876   - "throughput"
1877   - "parent"
1878   traces:
1879     hoverinfo: "x+y"
1880     boxpoints: "outliers"
1881     whiskerwidth: 0
1882   layout:
1883     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1884     xaxis:
1885       autorange: True
1886       autotick: False
1887       fixedrange: False
1888       gridcolor: "rgb(238, 238, 238)"
1889       linecolor: "rgb(238, 238, 238)"
1890       linewidth: 1
1891       showgrid: True
1892       showline: True
1893       showticklabels: True
1894       tickcolor: "rgb(238, 238, 238)"
1895       tickmode: "linear"
1896       title: "Indexed Test Cases"
1897       zeroline: False
1898     yaxis:
1899       gridcolor: "rgb(238, 238, 238)'"
1900       hoverformat: ".4s"
1901       linecolor: "rgb(238, 238, 238)"
1902       linewidth: 1
1903       range: []
1904       showgrid: True
1905       showline: True
1906       showticklabels: True
1907       tickcolor: "rgb(238, 238, 238)"
1908       title: "Packets Per Second [pps]"
1909       zeroline: False
1910     boxmode: "group"
1911     boxgroupgap: 0.5
1912     autosize: False
1913     margin:
1914       t: 50
1915       b: 20
1916       l: 50
1917       r: 20
1918     showlegend: True
1919     legend:
1920       orientation: "h"
1921     width: 700
1922     height: 1000
1923
1924 -
1925   type: "plot"
1926   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1927   algorithm: "plot_performance_box"
1928   output-file-type: ".html"
1929   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1930   data:
1931     csit-vpp-perf-1710-all:
1932     - 2
1933     - 5
1934   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1935   parameters:
1936   - "throughput"
1937   - "parent"
1938   traces:
1939     hoverinfo: "x+y"
1940     boxpoints: "outliers"
1941     whiskerwidth: 0
1942   layout:
1943     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1944     xaxis:
1945       autorange: True
1946       autotick: False
1947       fixedrange: False
1948       gridcolor: "rgb(238, 238, 238)"
1949       linecolor: "rgb(238, 238, 238)"
1950       linewidth: 1
1951       showgrid: True
1952       showline: True
1953       showticklabels: True
1954       tickcolor: "rgb(238, 238, 238)"
1955       tickmode: "linear"
1956       title: "Indexed Test Cases"
1957       zeroline: False
1958     yaxis:
1959       gridcolor: "rgb(238, 238, 238)'"
1960       hoverformat: ".4s"
1961       linecolor: "rgb(238, 238, 238)"
1962       linewidth: 1
1963       range: []
1964       showgrid: True
1965       showline: True
1966       showticklabels: True
1967       tickcolor: "rgb(238, 238, 238)"
1968       title: "Packets Per Second [pps]"
1969       zeroline: False
1970     boxmode: "group"
1971     boxgroupgap: 0.5
1972     autosize: False
1973     margin:
1974       t: 50
1975       b: 20
1976       l: 50
1977       r: 20
1978     showlegend: True
1979     legend:
1980       orientation: "h"
1981     width: 700
1982     height: 1000
1983
1984 -
1985   type: "plot"
1986   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1987   algorithm: "plot_performance_box"
1988   output-file-type: ".html"
1989   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1990   data:
1991     csit-vpp-perf-1710-all:
1992     - 2
1993     - 5
1994   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1995   parameters:
1996   - "throughput"
1997   - "parent"
1998   traces:
1999     hoverinfo: "x+y"
2000     boxpoints: "outliers"
2001     whiskerwidth: 0
2002   layout:
2003     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2004     xaxis:
2005       autorange: True
2006       autotick: False
2007       fixedrange: False
2008       gridcolor: "rgb(238, 238, 238)"
2009       linecolor: "rgb(238, 238, 238)"
2010       linewidth: 1
2011       showgrid: True
2012       showline: True
2013       showticklabels: True
2014       tickcolor: "rgb(238, 238, 238)"
2015       tickmode: "linear"
2016       title: "Indexed Test Cases"
2017       zeroline: False
2018     yaxis:
2019       gridcolor: "rgb(238, 238, 238)'"
2020       hoverformat: ".4s"
2021       linecolor: "rgb(238, 238, 238)"
2022       linewidth: 1
2023       range: []
2024       showgrid: True
2025       showline: True
2026       showticklabels: True
2027       tickcolor: "rgb(238, 238, 238)"
2028       title: "Packets Per Second [pps]"
2029       zeroline: False
2030     boxmode: "group"
2031     boxgroupgap: 0.5
2032     autosize: False
2033     margin:
2034       t: 50
2035       b: 20
2036       l: 50
2037       r: 20
2038     showlegend: True
2039     legend:
2040       orientation: "h"
2041     width: 700
2042     height: 1000
2043
2044 -
2045   type: "plot"
2046   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2047   algorithm: "plot_performance_box"
2048   output-file-type: ".html"
2049   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2050   data:
2051     csit-vpp-perf-1710-all:
2052     - 2
2053     - 5
2054   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2055   parameters:
2056   - "throughput"
2057   - "parent"
2058   traces:
2059     hoverinfo: "x+y"
2060     boxpoints: "outliers"
2061     whiskerwidth: 0
2062   layout:
2063     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2064     xaxis:
2065       autorange: True
2066       autotick: False
2067       fixedrange: False
2068       gridcolor: "rgb(238, 238, 238)"
2069       linecolor: "rgb(238, 238, 238)"
2070       linewidth: 1
2071       showgrid: True
2072       showline: True
2073       showticklabels: True
2074       tickcolor: "rgb(238, 238, 238)"
2075       tickmode: "linear"
2076       title: "Indexed Test Cases"
2077       zeroline: False
2078     yaxis:
2079       gridcolor: "rgb(238, 238, 238)'"
2080       hoverformat: ".4s"
2081       linecolor: "rgb(238, 238, 238)"
2082       linewidth: 1
2083       range: []
2084       showgrid: True
2085       showline: True
2086       showticklabels: True
2087       tickcolor: "rgb(238, 238, 238)"
2088       title: "Packets Per Second [pps]"
2089       zeroline: False
2090     boxmode: "group"
2091     boxgroupgap: 0.5
2092     autosize: False
2093     margin:
2094       t: 50
2095       b: 20
2096       l: 50
2097       r: 20
2098     showlegend: True
2099     legend:
2100       orientation: "h"
2101     width: 700
2102     height: 1000
2103
2104 # VPP VM VHOST
2105 -
2106   type: "plot"
2107   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2108   algorithm: "plot_performance_box"
2109   output-file-type: ".html"
2110   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2111   data:
2112     csit-vpp-perf-1710-all:
2113     - 2
2114     - 5
2115   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2116   parameters:
2117   - "throughput"
2118   - "parent"
2119   traces:
2120     hoverinfo: "x+y"
2121     boxpoints: "outliers"
2122     whiskerwidth: 0
2123   layout:
2124     title: "64B-1t1c-.*vhost.*-ndrdisc"
2125     xaxis:
2126       autorange: True
2127       autotick: False
2128       fixedrange: False
2129       gridcolor: "rgb(238, 238, 238)"
2130       linecolor: "rgb(238, 238, 238)"
2131       linewidth: 1
2132       showgrid: True
2133       showline: True
2134       showticklabels: True
2135       tickcolor: "rgb(238, 238, 238)"
2136       tickmode: "linear"
2137       title: "Indexed Test Cases"
2138       zeroline: False
2139     yaxis:
2140       gridcolor: "rgb(238, 238, 238)'"
2141       hoverformat: ".4s"
2142       linecolor: "rgb(238, 238, 238)"
2143       linewidth: 1
2144       range: []
2145       showgrid: True
2146       showline: True
2147       showticklabels: True
2148       tickcolor: "rgb(238, 238, 238)"
2149       title: "Packets Per Second [pps]"
2150       zeroline: False
2151     boxmode: "group"
2152     boxgroupgap: 0.5
2153     autosize: False
2154     margin:
2155       t: 50
2156       b: 20
2157       l: 50
2158       r: 20
2159     showlegend: True
2160     legend:
2161       orientation: "h"
2162     width: 700
2163     height: 1000
2164
2165 -
2166   type: "plot"
2167   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2168   algorithm: "plot_performance_box"
2169   output-file-type: ".html"
2170   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2171   data:
2172     csit-vpp-perf-1710-all:
2173     - 2
2174     - 5
2175   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2176   parameters:
2177   - "throughput"
2178   - "parent"
2179   traces:
2180     hoverinfo: "x+y"
2181     boxpoints: "outliers"
2182     whiskerwidth: 0
2183   layout:
2184     title: "64B-2t2c-.*vhost.*-ndrdisc"
2185     xaxis:
2186       autorange: True
2187       autotick: False
2188       fixedrange: False
2189       gridcolor: "rgb(238, 238, 238)"
2190       linecolor: "rgb(238, 238, 238)"
2191       linewidth: 1
2192       showgrid: True
2193       showline: True
2194       showticklabels: True
2195       tickcolor: "rgb(238, 238, 238)"
2196       tickmode: "linear"
2197       title: "Indexed Test Cases"
2198       zeroline: False
2199     yaxis:
2200       gridcolor: "rgb(238, 238, 238)'"
2201       hoverformat: ".4s"
2202       linecolor: "rgb(238, 238, 238)"
2203       linewidth: 1
2204       range: []
2205       showgrid: True
2206       showline: True
2207       showticklabels: True
2208       tickcolor: "rgb(238, 238, 238)"
2209       title: "Packets Per Second [pps]"
2210       zeroline: False
2211     boxmode: "group"
2212     boxgroupgap: 0.5
2213     autosize: False
2214     margin:
2215       t: 50
2216       b: 20
2217       l: 50
2218       r: 20
2219     showlegend: True
2220     legend:
2221       orientation: "h"
2222     width: 700
2223     height: 1000
2224
2225 -
2226   type: "plot"
2227   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2228   algorithm: "plot_performance_box"
2229   output-file-type: ".html"
2230   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2231   data:
2232     csit-vpp-perf-1710-all:
2233     - 2
2234     - 5
2235   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2236   parameters:
2237   - "throughput"
2238   - "parent"
2239   traces:
2240     hoverinfo: "x+y"
2241     boxpoints: "outliers"
2242     whiskerwidth: 0
2243   layout:
2244     title: "64B-1t1c-.*vhost.*-pdrdisc"
2245     xaxis:
2246       autorange: True
2247       autotick: False
2248       fixedrange: False
2249       gridcolor: "rgb(238, 238, 238)"
2250       linecolor: "rgb(238, 238, 238)"
2251       linewidth: 1
2252       showgrid: True
2253       showline: True
2254       showticklabels: True
2255       tickcolor: "rgb(238, 238, 238)"
2256       tickmode: "linear"
2257       title: "Indexed Test Cases"
2258       zeroline: False
2259     yaxis:
2260       gridcolor: "rgb(238, 238, 238)'"
2261       hoverformat: ".4s"
2262       linecolor: "rgb(238, 238, 238)"
2263       linewidth: 1
2264       range: []
2265       showgrid: True
2266       showline: True
2267       showticklabels: True
2268       tickcolor: "rgb(238, 238, 238)"
2269       title: "Packets Per Second [pps]"
2270       zeroline: False
2271     boxmode: "group"
2272     boxgroupgap: 0.5
2273     autosize: False
2274     margin:
2275       t: 50
2276       b: 20
2277       l: 50
2278       r: 20
2279     showlegend: True
2280     legend:
2281       orientation: "h"
2282     width: 700
2283     height: 1000
2284
2285 -
2286   type: "plot"
2287   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2288   algorithm: "plot_performance_box"
2289   output-file-type: ".html"
2290   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2291   data:
2292     csit-vpp-perf-1710-all:
2293     - 2
2294     - 5
2295   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2296   parameters:
2297   - "throughput"
2298   - "parent"
2299   traces:
2300     hoverinfo: "x+y"
2301     boxpoints: "outliers"
2302     whiskerwidth: 0
2303   layout:
2304     title: "64B-2t2c-.*vhost.*-pdrdisc"
2305     xaxis:
2306       autorange: True
2307       autotick: False
2308       fixedrange: False
2309       gridcolor: "rgb(238, 238, 238)"
2310       linecolor: "rgb(238, 238, 238)"
2311       linewidth: 1
2312       showgrid: True
2313       showline: True
2314       showticklabels: True
2315       tickcolor: "rgb(238, 238, 238)"
2316       tickmode: "linear"
2317       title: "Indexed Test Cases"
2318       zeroline: False
2319     yaxis:
2320       gridcolor: "rgb(238, 238, 238)'"
2321       hoverformat: ".4s"
2322       linecolor: "rgb(238, 238, 238)"
2323       linewidth: 1
2324       range: []
2325       showgrid: True
2326       showline: True
2327       showticklabels: True
2328       tickcolor: "rgb(238, 238, 238)"
2329       title: "Packets Per Second [pps]"
2330       zeroline: False
2331     boxmode: "group"
2332     boxgroupgap: 0.5
2333     autosize: False
2334     margin:
2335       t: 50
2336       b: 20
2337       l: 50
2338       r: 20
2339     showlegend: True
2340     legend:
2341       orientation: "h"
2342     width: 700
2343     height: 1000
2344
2345 # VPP VM VHOST SELECTION
2346 -
2347   type: "plot"
2348   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2349   algorithm: "plot_performance_box"
2350   output-file-type: ".html"
2351   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2352   data:
2353     csit-vpp-perf-1710-all:
2354     - 2
2355     - 5
2356   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2357   parameters:
2358   - "throughput"
2359   - "parent"
2360   traces:
2361     hoverinfo: "x+y"
2362     boxpoints: "outliers"
2363     whiskerwidth: 0
2364   layout:
2365     title: "64B-1t1c-.*vhost.*-ndrdisc"
2366     xaxis:
2367       autorange: True
2368       autotick: False
2369       fixedrange: False
2370       gridcolor: "rgb(238, 238, 238)"
2371       linecolor: "rgb(238, 238, 238)"
2372       linewidth: 1
2373       showgrid: True
2374       showline: True
2375       showticklabels: True
2376       tickcolor: "rgb(238, 238, 238)"
2377       tickmode: "linear"
2378       title: "Indexed Test Cases"
2379       zeroline: False
2380     yaxis:
2381       gridcolor: "rgb(238, 238, 238)'"
2382       hoverformat: ".4s"
2383       linecolor: "rgb(238, 238, 238)"
2384       linewidth: 1
2385       range: []
2386       showgrid: True
2387       showline: True
2388       showticklabels: True
2389       tickcolor: "rgb(238, 238, 238)"
2390       title: "Packets Per Second [pps]"
2391       zeroline: False
2392     boxmode: "group"
2393     boxgroupgap: 0.5
2394     autosize: False
2395     margin:
2396       t: 50
2397       b: 20
2398       l: 50
2399       r: 20
2400     showlegend: True
2401     legend:
2402       orientation: "h"
2403     width: 700
2404     height: 1000
2405
2406 -
2407   type: "plot"
2408   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2409   algorithm: "plot_performance_box"
2410   output-file-type: ".html"
2411   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2412   data:
2413     csit-vpp-perf-1710-all:
2414     - 2
2415     - 5
2416   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2417   parameters:
2418   - "throughput"
2419   - "parent"
2420   traces:
2421     hoverinfo: "x+y"
2422     boxpoints: "outliers"
2423     whiskerwidth: 0
2424   layout:
2425     title: "64B-2t2c-.*vhost.*-ndrdisc"
2426     xaxis:
2427       autorange: True
2428       autotick: False
2429       fixedrange: False
2430       gridcolor: "rgb(238, 238, 238)"
2431       linecolor: "rgb(238, 238, 238)"
2432       linewidth: 1
2433       showgrid: True
2434       showline: True
2435       showticklabels: True
2436       tickcolor: "rgb(238, 238, 238)"
2437       tickmode: "linear"
2438       title: "Indexed Test Cases"
2439       zeroline: False
2440     yaxis:
2441       gridcolor: "rgb(238, 238, 238)'"
2442       hoverformat: ".4s"
2443       linecolor: "rgb(238, 238, 238)"
2444       linewidth: 1
2445       range: []
2446       showgrid: True
2447       showline: True
2448       showticklabels: True
2449       tickcolor: "rgb(238, 238, 238)"
2450       title: "Packets Per Second [pps]"
2451       zeroline: False
2452     boxmode: "group"
2453     boxgroupgap: 0.5
2454     autosize: False
2455     margin:
2456       t: 50
2457       b: 20
2458       l: 50
2459       r: 20
2460     showlegend: True
2461     legend:
2462       orientation: "h"
2463     width: 700
2464     height: 1000
2465
2466 -
2467   type: "plot"
2468   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2469   algorithm: "plot_performance_box"
2470   output-file-type: ".html"
2471   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2472   data:
2473     csit-vpp-perf-1710-all:
2474     - 2
2475     - 5
2476   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2477   parameters:
2478   - "throughput"
2479   - "parent"
2480   traces:
2481     hoverinfo: "x+y"
2482     boxpoints: "outliers"
2483     whiskerwidth: 0
2484   layout:
2485     title: "64B-1t1c-.*vhost.*-pdrdisc"
2486     xaxis:
2487       autorange: True
2488       autotick: False
2489       fixedrange: False
2490       gridcolor: "rgb(238, 238, 238)"
2491       linecolor: "rgb(238, 238, 238)"
2492       linewidth: 1
2493       showgrid: True
2494       showline: True
2495       showticklabels: True
2496       tickcolor: "rgb(238, 238, 238)"
2497       tickmode: "linear"
2498       title: "Indexed Test Cases"
2499       zeroline: False
2500     yaxis:
2501       gridcolor: "rgb(238, 238, 238)'"
2502       hoverformat: ".4s"
2503       linecolor: "rgb(238, 238, 238)"
2504       linewidth: 1
2505       range: []
2506       showgrid: True
2507       showline: True
2508       showticklabels: True
2509       tickcolor: "rgb(238, 238, 238)"
2510       title: "Packets Per Second [pps]"
2511       zeroline: False
2512     boxmode: "group"
2513     boxgroupgap: 0.5
2514     autosize: False
2515     margin:
2516       t: 50
2517       b: 20
2518       l: 50
2519       r: 20
2520     showlegend: True
2521     legend:
2522       orientation: "h"
2523     width: 700
2524     height: 1000
2525
2526 -
2527   type: "plot"
2528   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2529   algorithm: "plot_performance_box"
2530   output-file-type: ".html"
2531   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2532   data:
2533     csit-vpp-perf-1710-all:
2534     - 2
2535     - 5
2536   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2537   parameters:
2538   - "throughput"
2539   - "parent"
2540   traces:
2541     hoverinfo: "x+y"
2542     boxpoints: "outliers"
2543     whiskerwidth: 0
2544   layout:
2545     title: "64B-2t2c-.*vhost.*-pdrdisc"
2546     xaxis:
2547       autorange: True
2548       autotick: False
2549       fixedrange: False
2550       gridcolor: "rgb(238, 238, 238)"
2551       linecolor: "rgb(238, 238, 238)"
2552       linewidth: 1
2553       showgrid: True
2554       showline: True
2555       showticklabels: True
2556       tickcolor: "rgb(238, 238, 238)"
2557       tickmode: "linear"
2558       title: "Indexed Test Cases"
2559       zeroline: False
2560     yaxis:
2561       gridcolor: "rgb(238, 238, 238)'"
2562       hoverformat: ".4s"
2563       linecolor: "rgb(238, 238, 238)"
2564       linewidth: 1
2565       range: []
2566       showgrid: True
2567       showline: True
2568       showticklabels: True
2569       tickcolor: "rgb(238, 238, 238)"
2570       title: "Packets Per Second [pps]"
2571       zeroline: False
2572     boxmode: "group"
2573     boxgroupgap: 0.5
2574     autosize: False
2575     margin:
2576       t: 50
2577       b: 20
2578       l: 50
2579       r: 20
2580     showlegend: True
2581     legend:
2582       orientation: "h"
2583     width: 700
2584     height: 1000
2585
2586 # VPP CRYPTO
2587 -
2588   type: "plot"
2589   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2590   algorithm: "plot_performance_box"
2591   output-file-type: ".html"
2592   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2593   data:
2594     csit-vpp-perf-1710-all:
2595     - 2
2596     - 5
2597   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2598   parameters:
2599   - "throughput"
2600   - "parent"
2601   traces:
2602     hoverinfo: "x+y"
2603     boxpoints: "outliers"
2604     whiskerwidth: 0
2605   layout:
2606     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2607     xaxis:
2608       autorange: True
2609       autotick: False
2610       fixedrange: False
2611       gridcolor: "rgb(238, 238, 238)"
2612       linecolor: "rgb(238, 238, 238)"
2613       linewidth: 1
2614       showgrid: True
2615       showline: True
2616       showticklabels: True
2617       tickcolor: "rgb(238, 238, 238)"
2618       tickmode: "linear"
2619       title: "Indexed Test Cases"
2620       zeroline: False
2621     yaxis:
2622       gridcolor: "rgb(238, 238, 238)'"
2623       hoverformat: ".4s"
2624       linecolor: "rgb(238, 238, 238)"
2625       linewidth: 1
2626       range: []
2627       showgrid: True
2628       showline: True
2629       showticklabels: True
2630       tickcolor: "rgb(238, 238, 238)"
2631       title: "Packets Per Second [pps]"
2632       zeroline: False
2633     boxmode: "group"
2634     boxgroupgap: 0.5
2635     autosize: False
2636     margin:
2637       t: 50
2638       b: 20
2639       l: 50
2640       r: 20
2641     showlegend: True
2642     legend:
2643       orientation: "h"
2644     width: 700
2645     height: 1000
2646
2647 -
2648   type: "plot"
2649   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2650   algorithm: "plot_performance_box"
2651   output-file-type: ".html"
2652   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2653   data:
2654     csit-vpp-perf-1710-all:
2655     - 2
2656     - 5
2657   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2658   parameters:
2659   - "throughput"
2660   - "parent"
2661   traces:
2662     hoverinfo: "x+y"
2663     boxpoints: "outliers"
2664     whiskerwidth: 0
2665   layout:
2666     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2667     xaxis:
2668       autorange: True
2669       autotick: False
2670       fixedrange: False
2671       gridcolor: "rgb(238, 238, 238)"
2672       linecolor: "rgb(238, 238, 238)"
2673       linewidth: 1
2674       showgrid: True
2675       showline: True
2676       showticklabels: True
2677       tickcolor: "rgb(238, 238, 238)"
2678       tickmode: "linear"
2679       title: "Indexed Test Cases"
2680       zeroline: False
2681     yaxis:
2682       gridcolor: "rgb(238, 238, 238)'"
2683       hoverformat: ".4s"
2684       linecolor: "rgb(238, 238, 238)"
2685       linewidth: 1
2686       range: []
2687       showgrid: True
2688       showline: True
2689       showticklabels: True
2690       tickcolor: "rgb(238, 238, 238)"
2691       title: "Packets Per Second [pps]"
2692       zeroline: False
2693     boxmode: "group"
2694     boxgroupgap: 0.5
2695     autosize: False
2696     margin:
2697       t: 50
2698       b: 20
2699       l: 50
2700       r: 20
2701     showlegend: True
2702     legend:
2703       orientation: "h"
2704     width: 700
2705     height: 1000
2706
2707 -
2708   type: "plot"
2709   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2710   algorithm: "plot_performance_box"
2711   output-file-type: ".html"
2712   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2713   data:
2714     csit-vpp-perf-1710-all:
2715     - 2
2716     - 5
2717   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2718   parameters:
2719   - "throughput"
2720   - "parent"
2721   traces:
2722     hoverinfo: "x+y"
2723     boxpoints: "outliers"
2724     whiskerwidth: 0
2725   layout:
2726     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2727     xaxis:
2728       autorange: True
2729       autotick: False
2730       fixedrange: False
2731       gridcolor: "rgb(238, 238, 238)"
2732       linecolor: "rgb(238, 238, 238)"
2733       linewidth: 1
2734       showgrid: True
2735       showline: True
2736       showticklabels: True
2737       tickcolor: "rgb(238, 238, 238)"
2738       tickmode: "linear"
2739       title: "Indexed Test Cases"
2740       zeroline: False
2741     yaxis:
2742       gridcolor: "rgb(238, 238, 238)'"
2743       hoverformat: ".4s"
2744       linecolor: "rgb(238, 238, 238)"
2745       linewidth: 1
2746       range: []
2747       showgrid: True
2748       showline: True
2749       showticklabels: True
2750       tickcolor: "rgb(238, 238, 238)"
2751       title: "Packets Per Second [pps]"
2752       zeroline: False
2753     boxmode: "group"
2754     boxgroupgap: 0.5
2755     autosize: False
2756     margin:
2757       t: 50
2758       b: 20
2759       l: 50
2760       r: 20
2761     showlegend: True
2762     legend:
2763       orientation: "h"
2764     width: 700
2765     height: 1000
2766
2767 -
2768   type: "plot"
2769   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2770   algorithm: "plot_performance_box"
2771   output-file-type: ".html"
2772   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2773   data:
2774     csit-vpp-perf-1710-all:
2775     - 2
2776     - 5
2777   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2778   parameters:
2779   - "throughput"
2780   - "parent"
2781   traces:
2782     hoverinfo: "x+y"
2783     boxpoints: "outliers"
2784     whiskerwidth: 0
2785   layout:
2786     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2787     xaxis:
2788       autorange: True
2789       autotick: False
2790       fixedrange: False
2791       gridcolor: "rgb(238, 238, 238)"
2792       linecolor: "rgb(238, 238, 238)"
2793       linewidth: 1
2794       showgrid: True
2795       showline: True
2796       showticklabels: True
2797       tickcolor: "rgb(238, 238, 238)"
2798       tickmode: "linear"
2799       title: "Indexed Test Cases"
2800       zeroline: False
2801     yaxis:
2802       gridcolor: "rgb(238, 238, 238)'"
2803       hoverformat: ".4s"
2804       linecolor: "rgb(238, 238, 238)"
2805       linewidth: 1
2806       range: []
2807       showgrid: True
2808       showline: True
2809       showticklabels: True
2810       tickcolor: "rgb(238, 238, 238)"
2811       title: "Packets Per Second [pps]"
2812       zeroline: False
2813     boxmode: "group"
2814     boxgroupgap: 0.5
2815     autosize: False
2816     margin:
2817       t: 50
2818       b: 20
2819       l: 50
2820       r: 20
2821     showlegend: True
2822     legend:
2823       orientation: "h"
2824     width: 700
2825     height: 1000
2826
2827 # DPDK
2828 -
2829   type: "plot"
2830   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2831   algorithm: "plot_performance_box"
2832   output-file-type: ".html"
2833   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2834   data:
2835     csit-dpdk-perf-1710-all:
2836     - 2
2837     - 3
2838     - 5
2839     - 6
2840     - 7
2841     - 8
2842     - 9
2843     - 10
2844     - 11
2845     - 13
2846   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2847   parameters:
2848   - "throughput"
2849   - "parent"
2850   traces:
2851     hoverinfo: "x+y"
2852     boxpoints: "outliers"
2853     whiskerwidth: 0
2854   layout:
2855     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2856     xaxis:
2857       autorange: True
2858       autotick: False
2859       fixedrange: False
2860       gridcolor: "rgb(238, 238, 238)"
2861       linecolor: "rgb(238, 238, 238)"
2862       linewidth: 1
2863       showgrid: True
2864       showline: True
2865       showticklabels: True
2866       tickcolor: "rgb(238, 238, 238)"
2867       tickmode: "linear"
2868       title: "Indexed Test Cases"
2869       zeroline: False
2870     yaxis:
2871       gridcolor: "rgb(238, 238, 238)'"
2872       hoverformat: ".4s"
2873       linecolor: "rgb(238, 238, 238)"
2874       linewidth: 1
2875       range: []
2876       showgrid: True
2877       showline: True
2878       showticklabels: True
2879       tickcolor: "rgb(238, 238, 238)"
2880       title: "Packets Per Second [pps]"
2881       zeroline: False
2882     boxmode: "group"
2883     boxgroupgap: 0.5
2884     autosize: False
2885     margin:
2886       t: 50
2887       b: 20
2888       l: 50
2889       r: 20
2890     showlegend: True
2891     legend:
2892       orientation: "h"
2893     width: 700
2894     height: 1000
2895
2896 -
2897   type: "plot"
2898   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2899   algorithm: "plot_performance_box"
2900   output-file-type: ".html"
2901   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2902   data:
2903     csit-dpdk-perf-1710-all:
2904     - 2
2905     - 3
2906     - 5
2907     - 6
2908     - 7
2909     - 8
2910     - 9
2911     - 10
2912     - 11
2913     - 13
2914   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2915   parameters:
2916   - "throughput"
2917   - "parent"
2918   traces:
2919     hoverinfo: "x+y"
2920     boxpoints: "outliers"
2921     whiskerwidth: 0
2922   layout:
2923     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2924     xaxis:
2925       autorange: True
2926       autotick: False
2927       fixedrange: False
2928       gridcolor: "rgb(238, 238, 238)"
2929       linecolor: "rgb(238, 238, 238)"
2930       linewidth: 1
2931       showgrid: True
2932       showline: True
2933       showticklabels: True
2934       tickcolor: "rgb(238, 238, 238)"
2935       tickmode: "linear"
2936       title: "Indexed Test Cases"
2937       zeroline: False
2938     yaxis:
2939       gridcolor: "rgb(238, 238, 238)'"
2940       hoverformat: ".4s"
2941       linecolor: "rgb(238, 238, 238)"
2942       linewidth: 1
2943       range: []
2944       showgrid: True
2945       showline: True
2946       showticklabels: True
2947       tickcolor: "rgb(238, 238, 238)"
2948       title: "Packets Per Second [pps]"
2949       zeroline: False
2950     boxmode: "group"
2951     boxgroupgap: 0.5
2952     autosize: False
2953     margin:
2954       t: 50
2955       b: 20
2956       l: 50
2957       r: 20
2958     showlegend: True
2959     legend:
2960       orientation: "h"
2961     width: 700
2962     height: 1000
2963
2964 -
2965   type: "plot"
2966   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2967   algorithm: "plot_performance_box"
2968   output-file-type: ".html"
2969   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2970   data:
2971     csit-dpdk-perf-1710-all:
2972     - 2
2973     - 3
2974     - 5
2975     - 6
2976     - 7
2977     - 8
2978     - 9
2979     - 10
2980     - 11
2981     - 13
2982   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2983   parameters:
2984   - "throughput"
2985   - "parent"
2986   traces:
2987     hoverinfo: "x+y"
2988     boxpoints: "outliers"
2989     whiskerwidth: 0
2990   layout:
2991     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2992     xaxis:
2993       autorange: True
2994       autotick: False
2995       fixedrange: False
2996       gridcolor: "rgb(238, 238, 238)"
2997       linecolor: "rgb(238, 238, 238)"
2998       linewidth: 1
2999       showgrid: True
3000       showline: True
3001       showticklabels: True
3002       tickcolor: "rgb(238, 238, 238)"
3003       tickmode: "linear"
3004       title: "Indexed Test Cases"
3005       zeroline: False
3006     yaxis:
3007       gridcolor: "rgb(238, 238, 238)'"
3008       hoverformat: ".4s"
3009       linecolor: "rgb(238, 238, 238)"
3010       linewidth: 1
3011       range: [2000000, 12000000]
3012       showgrid: True
3013       showline: True
3014       showticklabels: True
3015       tickcolor: "rgb(238, 238, 238)"
3016       title: "Packets Per Second [pps]"
3017       zeroline: False
3018     boxmode: "group"
3019     boxgroupgap: 0.5
3020     autosize: False
3021     margin:
3022       t: 50
3023       b: 20
3024       l: 50
3025       r: 20
3026     showlegend: True
3027     legend:
3028       orientation: "h"
3029     width: 700
3030     height: 1000
3031
3032 -
3033   type: "plot"
3034   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3035   algorithm: "plot_performance_box"
3036   output-file-type: ".html"
3037   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3038   data:
3039     csit-dpdk-perf-1710-all:
3040     - 2
3041     - 3
3042     - 5
3043     - 6
3044     - 7
3045     - 8
3046     - 9
3047     - 10
3048     - 11
3049     - 13
3050   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3051   parameters:
3052   - "throughput"
3053   - "parent"
3054   traces:
3055     hoverinfo: "x+y"
3056     boxpoints: "outliers"
3057     whiskerwidth: 0
3058   layout:
3059     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3060     xaxis:
3061       autorange: True
3062       autotick: False
3063       fixedrange: False
3064       gridcolor: "rgb(238, 238, 238)"
3065       linecolor: "rgb(238, 238, 238)"
3066       linewidth: 1
3067       showgrid: True
3068       showline: True
3069       showticklabels: True
3070       tickcolor: "rgb(238, 238, 238)"
3071       tickmode: "linear"
3072       title: "Indexed Test Cases"
3073       zeroline: False
3074     yaxis:
3075       gridcolor: "rgb(238, 238, 238)'"
3076       hoverformat: ".4s"
3077       linecolor: "rgb(238, 238, 238)"
3078       linewidth: 1
3079       range: [2000000, 12000000]
3080       showgrid: True
3081       showline: True
3082       showticklabels: True
3083       tickcolor: "rgb(238, 238, 238)"
3084       title: "Packets Per Second [pps]"
3085       zeroline: False
3086     boxmode: "group"
3087     boxgroupgap: 0.5
3088     autosize: False
3089     margin:
3090       t: 50
3091       b: 20
3092       l: 50
3093       r: 20
3094     showlegend: True
3095     legend:
3096       orientation: "h"
3097     width: 700
3098     height: 1000
3099
3100 -
3101   type: "plot"
3102   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3103   algorithm: "plot_performance_box"
3104   output-file-type: ".html"
3105   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3106   data:
3107     csit-dpdk-perf-1710-all:
3108     - 2
3109     - 3
3110     - 5
3111     - 6
3112     - 7
3113     - 8
3114     - 9
3115     - 10
3116     - 11
3117     - 13
3118   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3119   parameters:
3120   - "throughput"
3121   - "parent"
3122   traces:
3123     hoverinfo: "x+y"
3124     boxpoints: "outliers"
3125     whiskerwidth: 0
3126   layout:
3127     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3128     xaxis:
3129       autorange: True
3130       autotick: False
3131       fixedrange: False
3132       gridcolor: "rgb(238, 238, 238)"
3133       linecolor: "rgb(238, 238, 238)"
3134       linewidth: 1
3135       showgrid: True
3136       showline: True
3137       showticklabels: True
3138       tickcolor: "rgb(238, 238, 238)"
3139       tickmode: "linear"
3140       title: "Indexed Test Cases"
3141       zeroline: False
3142     yaxis:
3143       gridcolor: "rgb(238, 238, 238)'"
3144       hoverformat: ".4s"
3145       linecolor: "rgb(238, 238, 238)"
3146       linewidth: 1
3147       range: []
3148       showgrid: True
3149       showline: True
3150       showticklabels: True
3151       tickcolor: "rgb(238, 238, 238)"
3152       title: "Packets Per Second [pps]"
3153       zeroline: False
3154     boxmode: "group"
3155     boxgroupgap: 0.5
3156     autosize: False
3157     margin:
3158       t: 50
3159       b: 20
3160       l: 50
3161       r: 20
3162     showlegend: True
3163     legend:
3164       orientation: "h"
3165     width: 700
3166     height: 1000
3167
3168 -
3169   type: "plot"
3170   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3171   algorithm: "plot_performance_box"
3172   output-file-type: ".html"
3173   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3174   data:
3175     csit-dpdk-perf-1710-all:
3176     - 2
3177     - 3
3178     - 5
3179     - 6
3180     - 7
3181     - 8
3182     - 9
3183     - 10
3184     - 11
3185     - 13
3186   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3187   parameters:
3188   - "throughput"
3189   - "parent"
3190   traces:
3191     hoverinfo: "x+y"
3192     boxpoints: "outliers"
3193     whiskerwidth: 0
3194   layout:
3195     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3196     xaxis:
3197       autorange: True
3198       autotick: False
3199       fixedrange: False
3200       gridcolor: "rgb(238, 238, 238)"
3201       linecolor: "rgb(238, 238, 238)"
3202       linewidth: 1
3203       showgrid: True
3204       showline: True
3205       showticklabels: True
3206       tickcolor: "rgb(238, 238, 238)"
3207       tickmode: "linear"
3208       title: "Indexed Test Cases"
3209       zeroline: False
3210     yaxis:
3211       gridcolor: "rgb(238, 238, 238)'"
3212       hoverformat: ".4s"
3213       linecolor: "rgb(238, 238, 238)"
3214       linewidth: 1
3215       range: []
3216       showgrid: True
3217       showline: True
3218       showticklabels: True
3219       tickcolor: "rgb(238, 238, 238)"
3220       title: "Packets Per Second [pps]"
3221       zeroline: False
3222     boxmode: "group"
3223     boxgroupgap: 0.5
3224     autosize: False
3225     margin:
3226       t: 50
3227       b: 20
3228       l: 50
3229       r: 20
3230     showlegend: True
3231     legend:
3232       orientation: "h"
3233     width: 700
3234     height: 1000
3235
3236 -
3237   type: "plot"
3238   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3239   algorithm: "plot_performance_box"
3240   output-file-type: ".html"
3241   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3242   data:
3243     csit-dpdk-perf-1710-all:
3244     - 2
3245     - 3
3246     - 5
3247     - 6
3248     - 7
3249     - 8
3250     - 9
3251     - 10
3252     - 11
3253     - 13
3254   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3255   parameters:
3256   - "throughput"
3257   - "parent"
3258   traces:
3259     hoverinfo: "x+y"
3260     boxpoints: "outliers"
3261     whiskerwidth: 0
3262   layout:
3263     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3264     xaxis:
3265       autorange: True
3266       autotick: False
3267       fixedrange: False
3268       gridcolor: "rgb(238, 238, 238)"
3269       linecolor: "rgb(238, 238, 238)"
3270       linewidth: 1
3271       showgrid: True
3272       showline: True
3273       showticklabels: True
3274       tickcolor: "rgb(238, 238, 238)"
3275       tickmode: "linear"
3276       title: "Indexed Test Cases"
3277       zeroline: False
3278     yaxis:
3279       gridcolor: "rgb(238, 238, 238)'"
3280       hoverformat: ".4s"
3281       linecolor: "rgb(238, 238, 238)"
3282       linewidth: 1
3283       range: [20000000, 30000000]
3284       showgrid: True
3285       showline: True
3286       showticklabels: True
3287       tickcolor: "rgb(238, 238, 238)"
3288       title: "Packets Per Second [pps]"
3289       zeroline: False
3290     boxmode: "group"
3291     boxgroupgap: 0.5
3292     autosize: False
3293     margin:
3294       t: 50
3295       b: 20
3296       l: 50
3297       r: 20
3298     showlegend: True
3299     legend:
3300       orientation: "h"
3301     width: 700
3302     height: 1000
3303
3304 -
3305   type: "plot"
3306   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3307   algorithm: "plot_performance_box"
3308   output-file-type: ".html"
3309   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3310   data:
3311     csit-dpdk-perf-1710-all:
3312     - 2
3313     - 3
3314     - 5
3315     - 6
3316     - 7
3317     - 8
3318     - 9
3319     - 10
3320     - 11
3321     - 13
3322   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3323   parameters:
3324   - "throughput"
3325   - "parent"
3326   traces:
3327     hoverinfo: "x+y"
3328     boxpoints: "outliers"
3329     whiskerwidth: 0
3330   layout:
3331     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3332     xaxis:
3333       autorange: True
3334       autotick: False
3335       fixedrange: False
3336       gridcolor: "rgb(238, 238, 238)"
3337       linecolor: "rgb(238, 238, 238)"
3338       linewidth: 1
3339       showgrid: True
3340       showline: True
3341       showticklabels: True
3342       tickcolor: "rgb(238, 238, 238)"
3343       tickmode: "linear"
3344       title: "Indexed Test Cases"
3345       zeroline: False
3346     yaxis:
3347       gridcolor: "rgb(238, 238, 238)'"
3348       hoverformat: ".4s"
3349       linecolor: "rgb(238, 238, 238)"
3350       linewidth: 1
3351       range: [20000000, 30000000]
3352       showgrid: True
3353       showline: True
3354       showticklabels: True
3355       tickcolor: "rgb(238, 238, 238)"
3356       title: "Packets Per Second [pps]"
3357       zeroline: False
3358     boxmode: "group"
3359     boxgroupgap: 0.5
3360     autosize: False
3361     margin:
3362       t: 50
3363       b: 20
3364       l: 50
3365       r: 20
3366     showlegend: True
3367     legend:
3368       orientation: "h"
3369     width: 700
3370     height: 1000
3371
3372 # Plot latency
3373
3374 # VPP L2 sel1
3375 -
3376   type: "plot"
3377   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3378   algorithm: "plot_latency_box"
3379   output-file-type: ".html"
3380   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3381   data:
3382     csit-vpp-perf-1710-all:
3383     - 2
3384     - 5
3385   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3386   parameters:
3387   - "latency"
3388   - "parent"
3389   traces:
3390     boxmean: False
3391   layout:
3392     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3393     xaxis:
3394       autorange: True
3395       autotick: False
3396       fixedrange: False
3397       gridcolor: "rgb(238, 238, 238)"
3398       linecolor: "rgb(238, 238, 238)"
3399       linewidth: 1
3400       showgrid: True
3401       showline: True
3402       showticklabels: True
3403       tickcolor: "rgb(238, 238, 238)"
3404       tickmode: "linear"
3405       title: "Indexed Test Cases"
3406       zeroline: False
3407     yaxis:
3408       gridcolor: "rgb(238, 238, 238)'"
3409       hoverformat: ""
3410       linecolor: "rgb(238, 238, 238)"
3411       linewidth: 1
3412       range: []
3413       showgrid: True
3414       showline: True
3415       showticklabels: True
3416       tickcolor: "rgb(238, 238, 238)"
3417       title: "Latency min/avg/max [uSec]"
3418       zeroline: False
3419     boxmode: "group"
3420     boxgroupgap: 0.5
3421     autosize: False
3422     margin:
3423       t: 50
3424       b: 20
3425       l: 50
3426       r: 20
3427     showlegend: True
3428     legend:
3429       orientation: "h"
3430     width: 700
3431     height: 1000
3432
3433 -
3434   type: "plot"
3435   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3436   algorithm: "plot_latency_box"
3437   output-file-type: ".html"
3438   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3439   data:
3440     csit-vpp-perf-1710-all:
3441     - 2
3442     - 5
3443   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3444   parameters:
3445   - "latency"
3446   - "parent"
3447   traces:
3448     boxmean: False
3449   layout:
3450     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3451     xaxis:
3452       autorange: True
3453       autotick: False
3454       fixedrange: False
3455       gridcolor: "rgb(238, 238, 238)"
3456       linecolor: "rgb(238, 238, 238)"
3457       linewidth: 1
3458       showgrid: True
3459       showline: True
3460       showticklabels: True
3461       tickcolor: "rgb(238, 238, 238)"
3462       tickmode: "linear"
3463       title: "Indexed Test Cases"
3464       zeroline: False
3465     yaxis:
3466       gridcolor: "rgb(238, 238, 238)'"
3467       hoverformat: ""
3468       linecolor: "rgb(238, 238, 238)"
3469       linewidth: 1
3470       range: []
3471       showgrid: True
3472       showline: True
3473       showticklabels: True
3474       tickcolor: "rgb(238, 238, 238)"
3475       title: "Latency min/avg/max [uSec]"
3476       zeroline: False
3477     boxmode: "group"
3478     boxgroupgap: 0.5
3479     autosize: False
3480     margin:
3481       t: 50
3482       b: 20
3483       l: 50
3484       r: 20
3485     showlegend: True
3486     legend:
3487       orientation: "h"
3488     width: 700
3489     height: 1000
3490
3491 # VPP L2 sel2
3492 -
3493   type: "plot"
3494   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3495   algorithm: "plot_latency_box"
3496   output-file-type: ".html"
3497   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3498   data:
3499     csit-vpp-perf-1710-all:
3500     - 2
3501     - 5
3502   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3503   parameters:
3504   - "latency"
3505   - "parent"
3506   traces:
3507     boxmean: False
3508   layout:
3509     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3510     xaxis:
3511       autorange: True
3512       autotick: False
3513       fixedrange: False
3514       gridcolor: "rgb(238, 238, 238)"
3515       linecolor: "rgb(238, 238, 238)"
3516       linewidth: 1
3517       showgrid: True
3518       showline: True
3519       showticklabels: True
3520       tickcolor: "rgb(238, 238, 238)"
3521       tickmode: "linear"
3522       title: "Indexed Test Cases"
3523       zeroline: False
3524     yaxis:
3525       gridcolor: "rgb(238, 238, 238)'"
3526       hoverformat: ""
3527       linecolor: "rgb(238, 238, 238)"
3528       linewidth: 1
3529       range: []
3530       showgrid: True
3531       showline: True
3532       showticklabels: True
3533       tickcolor: "rgb(238, 238, 238)"
3534       title: "Latency min/avg/max [uSec]"
3535       zeroline: False
3536     boxmode: "group"
3537     boxgroupgap: 0.5
3538     autosize: False
3539     margin:
3540       t: 50
3541       b: 20
3542       l: 50
3543       r: 20
3544     showlegend: True
3545     legend:
3546       orientation: "h"
3547     width: 700
3548     height: 1000
3549
3550 -
3551   type: "plot"
3552   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3553   algorithm: "plot_latency_box"
3554   output-file-type: ".html"
3555   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3556   data:
3557     csit-vpp-perf-1710-all:
3558     - 2
3559     - 5
3560   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3561   parameters:
3562   - "latency"
3563   - "parent"
3564   traces:
3565     boxmean: False
3566   layout:
3567     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3568     xaxis:
3569       autorange: True
3570       autotick: False
3571       fixedrange: False
3572       gridcolor: "rgb(238, 238, 238)"
3573       linecolor: "rgb(238, 238, 238)"
3574       linewidth: 1
3575       showgrid: True
3576       showline: True
3577       showticklabels: True
3578       tickcolor: "rgb(238, 238, 238)"
3579       tickmode: "linear"
3580       title: "Indexed Test Cases"
3581       zeroline: False
3582     yaxis:
3583       gridcolor: "rgb(238, 238, 238)'"
3584       hoverformat: ""
3585       linecolor: "rgb(238, 238, 238)"
3586       linewidth: 1
3587       range: []
3588       showgrid: True
3589       showline: True
3590       showticklabels: True
3591       tickcolor: "rgb(238, 238, 238)"
3592       title: "Latency min/avg/max [uSec]"
3593       zeroline: False
3594     boxmode: "group"
3595     boxgroupgap: 0.5
3596     autosize: False
3597     margin:
3598       t: 50
3599       b: 20
3600       l: 50
3601       r: 20
3602     showlegend: True
3603     legend:
3604       orientation: "h"
3605     width: 700
3606     height: 1000
3607
3608 # VPP IP4
3609 -
3610   type: "plot"
3611   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3612   algorithm: "plot_latency_box"
3613   output-file-type: ".html"
3614   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3615   data:
3616     csit-vpp-perf-1710-all:
3617     - 2
3618     - 5
3619   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3620   parameters:
3621   - "latency"
3622   - "parent"
3623   traces:
3624     boxmean: False
3625   layout:
3626     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3627     xaxis:
3628       autorange: True
3629       autotick: False
3630       fixedrange: False
3631       gridcolor: "rgb(238, 238, 238)"
3632       linecolor: "rgb(238, 238, 238)"
3633       linewidth: 1
3634       showgrid: True
3635       showline: True
3636       showticklabels: True
3637       tickcolor: "rgb(238, 238, 238)"
3638       tickmode: "linear"
3639       title: "Indexed Test Cases"
3640       zeroline: False
3641     yaxis:
3642       gridcolor: "rgb(238, 238, 238)'"
3643       hoverformat: ""
3644       linecolor: "rgb(238, 238, 238)"
3645       linewidth: 1
3646       range: []
3647       showgrid: True
3648       showline: True
3649       showticklabels: True
3650       tickcolor: "rgb(238, 238, 238)"
3651       title: "Latency min/avg/max [uSec]"
3652       zeroline: False
3653     boxmode: "group"
3654     boxgroupgap: 0.5
3655     autosize: False
3656     margin:
3657       t: 50
3658       b: 20
3659       l: 50
3660       r: 20
3661     showlegend: True
3662     legend:
3663       orientation: "h"
3664     width: 700
3665     height: 1000
3666
3667 -
3668   type: "plot"
3669   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3670   algorithm: "plot_latency_box"
3671   output-file-type: ".html"
3672   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3673   data:
3674     csit-vpp-perf-1710-all:
3675     - 2
3676     - 5
3677   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3678   parameters:
3679   - "latency"
3680   - "parent"
3681   traces:
3682     boxmean: False
3683   layout:
3684     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3685     xaxis:
3686       autorange: True
3687       autotick: False
3688       fixedrange: False
3689       gridcolor: "rgb(238, 238, 238)"
3690       linecolor: "rgb(238, 238, 238)"
3691       linewidth: 1
3692       showgrid: True
3693       showline: True
3694       showticklabels: True
3695       tickcolor: "rgb(238, 238, 238)"
3696       tickmode: "linear"
3697       title: "Indexed Test Cases"
3698       zeroline: False
3699     yaxis:
3700       gridcolor: "rgb(238, 238, 238)'"
3701       hoverformat: ""
3702       linecolor: "rgb(238, 238, 238)"
3703       linewidth: 1
3704       range: []
3705       showgrid: True
3706       showline: True
3707       showticklabels: True
3708       tickcolor: "rgb(238, 238, 238)"
3709       title: "Latency min/avg/max [uSec]"
3710       zeroline: False
3711     boxmode: "group"
3712     boxgroupgap: 0.5
3713     autosize: False
3714     margin:
3715       t: 50
3716       b: 20
3717       l: 50
3718       r: 20
3719     showlegend: True
3720     legend:
3721       orientation: "h"
3722     width: 700
3723     height: 1000
3724
3725 # VPP IP6
3726 -
3727   type: "plot"
3728   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3729   algorithm: "plot_latency_box"
3730   output-file-type: ".html"
3731   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3732   data:
3733     csit-vpp-perf-1710-all:
3734     - 2
3735     - 5
3736   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3737   parameters:
3738   - "latency"
3739   - "parent"
3740   traces:
3741     boxmean: False
3742   layout:
3743     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3744     xaxis:
3745       autorange: True
3746       autotick: False
3747       fixedrange: False
3748       gridcolor: "rgb(238, 238, 238)"
3749       linecolor: "rgb(238, 238, 238)"
3750       linewidth: 1
3751       showgrid: True
3752       showline: True
3753       showticklabels: True
3754       tickcolor: "rgb(238, 238, 238)"
3755       tickmode: "linear"
3756       title: "Indexed Test Cases"
3757       zeroline: False
3758     yaxis:
3759       gridcolor: "rgb(238, 238, 238)'"
3760       hoverformat: ""
3761       linecolor: "rgb(238, 238, 238)"
3762       linewidth: 1
3763       range: []
3764       showgrid: True
3765       showline: True
3766       showticklabels: True
3767       tickcolor: "rgb(238, 238, 238)"
3768       title: "Latency min/avg/max [uSec]"
3769       zeroline: False
3770     boxmode: "group"
3771     boxgroupgap: 0.5
3772     autosize: False
3773     margin:
3774       t: 50
3775       b: 20
3776       l: 50
3777       r: 20
3778     showlegend: True
3779     legend:
3780       orientation: "h"
3781     width: 700
3782     height: 1000
3783
3784 -
3785   type: "plot"
3786   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3787   algorithm: "plot_latency_box"
3788   output-file-type: ".html"
3789   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3790   data:
3791     csit-vpp-perf-1710-all:
3792     - 2
3793     - 5
3794   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3795   parameters:
3796   - "latency"
3797   - "parent"
3798   traces:
3799     boxmean: False
3800   layout:
3801     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3802     xaxis:
3803       autorange: True
3804       autotick: False
3805       fixedrange: False
3806       gridcolor: "rgb(238, 238, 238)"
3807       linecolor: "rgb(238, 238, 238)"
3808       linewidth: 1
3809       showgrid: True
3810       showline: True
3811       showticklabels: True
3812       tickcolor: "rgb(238, 238, 238)"
3813       tickmode: "linear"
3814       title: "Indexed Test Cases"
3815       zeroline: False
3816     yaxis:
3817       gridcolor: "rgb(238, 238, 238)'"
3818       hoverformat: ""
3819       linecolor: "rgb(238, 238, 238)"
3820       linewidth: 1
3821       range: []
3822       showgrid: True
3823       showline: True
3824       showticklabels: True
3825       tickcolor: "rgb(238, 238, 238)"
3826       title: "Latency min/avg/max [uSec]"
3827       zeroline: False
3828     boxmode: "group"
3829     boxgroupgap: 0.5
3830     autosize: False
3831     margin:
3832       t: 50
3833       b: 20
3834       l: 50
3835       r: 20
3836     showlegend: True
3837     legend:
3838       orientation: "h"
3839     width: 700
3840     height: 1000
3841
3842 # VPP IP4_overlay
3843 -
3844   type: "plot"
3845   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3846   algorithm: "plot_latency_box"
3847   output-file-type: ".html"
3848   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3849   data:
3850     csit-vpp-perf-1710-all:
3851     - 2
3852     - 5
3853   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3854   parameters:
3855   - "latency"
3856   - "parent"
3857   traces:
3858     boxmean: False
3859   layout:
3860     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3861     xaxis:
3862       autorange: True
3863       autotick: False
3864       fixedrange: False
3865       gridcolor: "rgb(238, 238, 238)"
3866       linecolor: "rgb(238, 238, 238)"
3867       linewidth: 1
3868       showgrid: True
3869       showline: True
3870       showticklabels: True
3871       tickcolor: "rgb(238, 238, 238)"
3872       tickmode: "linear"
3873       title: "Indexed Test Cases"
3874       zeroline: False
3875     yaxis:
3876       gridcolor: "rgb(238, 238, 238)'"
3877       hoverformat: ""
3878       linecolor: "rgb(238, 238, 238)"
3879       linewidth: 1
3880       range: []
3881       showgrid: True
3882       showline: True
3883       showticklabels: True
3884       tickcolor: "rgb(238, 238, 238)"
3885       title: "Latency min/avg/max [uSec]"
3886       zeroline: False
3887     boxmode: "group"
3888     boxgroupgap: 0.5
3889     autosize: False
3890     margin:
3891       t: 50
3892       b: 20
3893       l: 50
3894       r: 20
3895     showlegend: True
3896     legend:
3897       orientation: "h"
3898     width: 700
3899     height: 1000
3900
3901 -
3902   type: "plot"
3903   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3904   algorithm: "plot_latency_box"
3905   output-file-type: ".html"
3906   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3907   data:
3908     csit-vpp-perf-1710-all:
3909     - 2
3910     - 5
3911   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3912   parameters:
3913   - "latency"
3914   - "parent"
3915   traces:
3916     boxmean: False
3917   layout:
3918     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3919     xaxis:
3920       autorange: True
3921       autotick: False
3922       fixedrange: False
3923       gridcolor: "rgb(238, 238, 238)"
3924       linecolor: "rgb(238, 238, 238)"
3925       linewidth: 1
3926       showgrid: True
3927       showline: True
3928       showticklabels: True
3929       tickcolor: "rgb(238, 238, 238)"
3930       tickmode: "linear"
3931       title: "Indexed Test Cases"
3932       zeroline: False
3933     yaxis:
3934       gridcolor: "rgb(238, 238, 238)'"
3935       hoverformat: ""
3936       linecolor: "rgb(238, 238, 238)"
3937       linewidth: 1
3938       range: []
3939       showgrid: True
3940       showline: True
3941       showticklabels: True
3942       tickcolor: "rgb(238, 238, 238)"
3943       title: "Latency min/avg/max [uSec]"
3944       zeroline: False
3945     boxmode: "group"
3946     boxgroupgap: 0.5
3947     autosize: False
3948     margin:
3949       t: 50
3950       b: 20
3951       l: 50
3952       r: 20
3953     showlegend: True
3954     legend:
3955       orientation: "h"
3956     width: 700
3957     height: 1000
3958
3959 # VPP IP6_overlay
3960 -
3961   type: "plot"
3962   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3963   algorithm: "plot_latency_box"
3964   output-file-type: ".html"
3965   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3966   data:
3967     csit-vpp-perf-1710-all:
3968     - 2
3969     - 5
3970   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3971   parameters:
3972   - "latency"
3973   - "parent"
3974   traces:
3975     boxmean: False
3976   layout:
3977     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3978     xaxis:
3979       autorange: True
3980       autotick: False
3981       fixedrange: False
3982       gridcolor: "rgb(238, 238, 238)"
3983       linecolor: "rgb(238, 238, 238)"
3984       linewidth: 1
3985       showgrid: True
3986       showline: True
3987       showticklabels: True
3988       tickcolor: "rgb(238, 238, 238)"
3989       tickmode: "linear"
3990       title: "Indexed Test Cases"
3991       zeroline: False
3992     yaxis:
3993       gridcolor: "rgb(238, 238, 238)'"
3994       hoverformat: ""
3995       linecolor: "rgb(238, 238, 238)"
3996       linewidth: 1
3997       range: []
3998       showgrid: True
3999       showline: True
4000       showticklabels: True
4001       tickcolor: "rgb(238, 238, 238)"
4002       title: "Latency min/avg/max [uSec]"
4003       zeroline: False
4004     boxmode: "group"
4005     boxgroupgap: 0.5
4006     autosize: False
4007     margin:
4008       t: 50
4009       b: 20
4010       l: 50
4011       r: 20
4012     showlegend: True
4013     legend:
4014       orientation: "h"
4015     width: 700
4016     height: 1000
4017
4018 -
4019   type: "plot"
4020   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
4021   algorithm: "plot_latency_box"
4022   output-file-type: ".html"
4023   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
4024   data:
4025     csit-vpp-perf-1710-all:
4026     - 2
4027     - 5
4028   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
4029   parameters:
4030   - "latency"
4031   - "parent"
4032   traces:
4033     boxmean: False
4034   layout:
4035     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
4036     xaxis:
4037       autorange: True
4038       autotick: False
4039       fixedrange: False
4040       gridcolor: "rgb(238, 238, 238)"
4041       linecolor: "rgb(238, 238, 238)"
4042       linewidth: 1
4043       showgrid: True
4044       showline: True
4045       showticklabels: True
4046       tickcolor: "rgb(238, 238, 238)"
4047       tickmode: "linear"
4048       title: "Indexed Test Cases"
4049       zeroline: False
4050     yaxis:
4051       gridcolor: "rgb(238, 238, 238)'"
4052       hoverformat: ""
4053       linecolor: "rgb(238, 238, 238)"
4054       linewidth: 1
4055       range: []
4056       showgrid: True
4057       showline: True
4058       showticklabels: True
4059       tickcolor: "rgb(238, 238, 238)"
4060       title: "Latency min/avg/max [uSec]"
4061       zeroline: False
4062     boxmode: "group"
4063     boxgroupgap: 0.5
4064     autosize: False
4065     margin:
4066       t: 50
4067       b: 20
4068       l: 50
4069       r: 20
4070     showlegend: True
4071     legend:
4072       orientation: "h"
4073     width: 700
4074     height: 1000
4075
4076 # VPP VM VHOST
4077 -
4078   type: "plot"
4079   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
4080   algorithm: "plot_latency_box"
4081   output-file-type: ".html"
4082   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
4083   data:
4084     csit-vpp-perf-1710-all:
4085     - 2
4086     - 5
4087   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
4088   parameters:
4089   - "latency"
4090   - "parent"
4091   traces:
4092     boxmean: False
4093   layout:
4094     title: "64B-1t1c-.*vhost.*-ndrdisc"
4095     xaxis:
4096       autorange: True
4097       autotick: False
4098       fixedrange: False
4099       gridcolor: "rgb(238, 238, 238)"
4100       linecolor: "rgb(238, 238, 238)"
4101       linewidth: 1
4102       showgrid: True
4103       showline: True
4104       showticklabels: True
4105       tickcolor: "rgb(238, 238, 238)"
4106       tickmode: "linear"
4107       title: "Indexed Test Cases"
4108       zeroline: False
4109     yaxis:
4110       gridcolor: "rgb(238, 238, 238)'"
4111       hoverformat: ""
4112       linecolor: "rgb(238, 238, 238)"
4113       linewidth: 1
4114       range: []
4115       showgrid: True
4116       showline: True
4117       showticklabels: True
4118       tickcolor: "rgb(238, 238, 238)"
4119       title: "Latency min/avg/max [uSec]"
4120       zeroline: False
4121     boxmode: "group"
4122     boxgroupgap: 0.5
4123     autosize: False
4124     margin:
4125       t: 50
4126       b: 20
4127       l: 50
4128       r: 20
4129     showlegend: True
4130     legend:
4131       orientation: "h"
4132     width: 700
4133     height: 1000
4134
4135 -
4136   type: "plot"
4137   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
4138   algorithm: "plot_latency_box"
4139   output-file-type: ".html"
4140   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
4141   data:
4142     csit-vpp-perf-1710-all:
4143     - 2
4144     - 5
4145   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
4146   parameters:
4147   - "latency"
4148   - "parent"
4149   traces:
4150     boxmean: False
4151   layout:
4152     title: "64B-2t2c-.*vhost.*-ndrdisc"
4153     xaxis:
4154       autorange: True
4155       autotick: False
4156       fixedrange: False
4157       gridcolor: "rgb(238, 238, 238)"
4158       linecolor: "rgb(238, 238, 238)"
4159       linewidth: 1