a53623c1326ca0fd253e66c11ec969594186b580
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64
65   make-dirs:
66   # List the directories which are created while preparing the environment.
67   # All directories MUST be defined in "paths" section.
68   - "DIR[WORKING,DATA]"
69   - "DIR[STATIC,VPP]"
70   - "DIR[STATIC,DPDK]"
71   - "DIR[STATIC,ARCH]"
72   - "DIR[BUILD,LATEX]"
73   - "DIR[WORKING,SRC]"
74   - "DIR[WORKING,SRC,STATIC]"
75
76   remove-dirs:
77   # List the directories which are deleted while cleaning the environment.
78   # All directories MUST be defined in "paths" section.
79   #- "DIR[BUILD,HTML]"
80
81   build-dirs:
82   # List the directories where the results (build) is stored.
83   # All directories MUST be defined in "paths" section.
84   - "DIR[BUILD,HTML]"
85   - "DIR[BUILD,LATEX]"
86
87 -
88   type: "debug"
89   general:
90     input-format: "xml"  # zip or xml
91     extract: "robot-plugin/output.xml"  # Only for zip
92   builds:
93     # The files must be in the directory DIR[WORKING,DATA]
94     csit-dpdk-perf-1707-all:
95     -
96       build: 10
97       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
98     -
99       build: 9
100       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
101     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
102     -
103       build: 2
104       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
105     csit-vpp-functional-1707-ubuntu1604-virl:
106     -
107       build: lastSuccessfulBuild
108       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
109     hc2vpp-csit-integration-1707-ubuntu1604:
110     -
111       build: lastSuccessfulBuild
112       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
113     csit-vpp-perf-1707-all:
114     -
115       build: 16
116       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
117     -
118       build: 17
119       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
120
121 -
122   type: "static"
123   src-path: "{DIR[RST]}"
124   dst-path: "{DIR[WORKING,SRC]}"
125
126 -
127   type: "input"  # Ignored in debug mode
128   general:
129     file-name: "robot-plugin.zip"
130     file-format: ".zip"
131     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
132     extract: "robot-plugin/output.xml"
133   builds:
134     csit-vpp-perf-1707-all:
135     - 9
136     - 10
137     - 13
138     - 14
139     - 15
140     - 16
141     - 17
142     - 18
143     - 19
144     - 21
145     csit-vpp-perf-1710-all:
146     - 11
147     - 12
148     - 13
149     - 14
150     - 15
151     - 16
152     - 17
153     - 18
154     - 19
155     - 20
156     csit-dpdk-perf-1710-all:
157     - 2
158     - 3
159     - 5
160     - 6
161     - 7
162     - 8
163     - 9
164     - 10
165     - 11
166     - 13
167     csit-ligato-perf-1710-all:
168     - 5
169     - 7
170     - 8
171     - 9
172     - 10
173     - 11
174     - 12
175     - 13
176     - 16
177     - 17
178     csit-vpp-functional-1710-ubuntu1604-virl:
179     - 126
180     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
181     - 7
182     csit-hc2vpp-verify-func-1710-ubuntu1604:
183     - lastSuccessfulBuild
184
185 -
186   type: "output"
187   format:
188     html:
189     - full
190     pdf:
191     - minimal
192
193 ################################################################################
194 ###                               T A B L E S                                ###
195 ################################################################################
196
197 -
198   type: "table"
199   title: "Performance improvements"
200   algorithm: "table_performance_improvements"
201   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
202   output-file-ext: ".csv"
203   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
204   columns:
205   -
206     title: "Functionality"
207     data: "template 1"
208   -
209     title: "Test Name"
210     data: "template 2"
211   -
212     title: "16.09 mean [Mpps]"
213     data: "template 3"
214   -
215     title: "17.01 mean [Mpps]"
216     data: "template 4"
217   -
218     title: "17.04 mean [Mpps]"
219     data: "template 5"
220   -
221     title: "17.07 mean [Mpps]"
222     data: "data csit-vpp-perf-1707-all mean"
223   -
224     title: "17.10 mean [Mpps]"
225     data: "data csit-vpp-perf-1710-all mean"
226   -
227     title: "17.10 stdev [Mpps]"
228     data: "data csit-vpp-perf-1710-all stdev"
229   -
230     title: "17.07 to 17.10 change [%]"
231     data: "operation relative_change 5 6"
232   rows: "generated"
233   data:
234     csit-vpp-perf-1707-all:
235     - 9
236     - 10
237     - 13
238     - 14
239     - 15
240     - 16
241     - 17
242     - 18
243     - 19
244     - 21
245     csit-vpp-perf-1710-all:
246     - 11
247     - 12
248     - 13
249     - 14
250     - 15
251     - 16
252     - 17
253     - 18
254     - 19
255     - 20
256   filter: "template"
257   parameters:
258   - "throughput"
259
260 -
261   type: "table"
262   title: "Detailed Test Results - VPP Performance Results"
263   algorithm: "table_details"
264   output-file-ext: ".csv"
265   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
266   columns:
267   -
268     title: "Name"
269     data: "data name"
270   -
271     title: "Documentation"
272     data: "data doc"
273   -
274     title: "Status"
275     data: "data msg"
276   rows: "generated"
277   data:
278     csit-vpp-perf-1710-all:
279     - 19
280   filter: "all"
281   parameters:
282   - "name"
283   - "parent"
284   - "doc"
285   - "msg"
286
287 -
288   type: "table"
289   title: "Test configuration - VPP Performance Test Configs"
290   algorithm: "table_details"
291   output-file-ext: ".csv"
292   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
293   columns:
294   -
295     title: "Name"
296     data: "data name"
297   -
298     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
299     data: "data vat-history"
300   rows: "generated"
301   data:
302     csit-vpp-perf-1710-all:
303     - 19
304   filter: "all"
305   parameters:
306   - "parent"
307   - "name"
308   - "vat-history"
309
310 -
311   type: "table"
312   title: "Test Operational Data - VPP Performance Operational Data"
313   algorithm: "table_details"
314   output-file-ext: ".csv"
315   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
316   columns:
317   -
318     title: "Name"
319     data: "data name"
320   -
321     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
322     data: "data show-run"
323   rows: "generated"
324   data:
325     csit-vpp-perf-1710-all:
326     - 19
327   filter: "all"
328   parameters:
329   - "parent"
330   - "name"
331   - "show-run"
332
333 -
334   type: "table"
335   title: "Detailed Test Results - VPP Functional Results"
336   algorithm: "table_details"
337   output-file-ext: ".csv"
338   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
339   columns:
340   -
341     title: "Name"
342     data: "data name"
343   -
344     title: "Documentation"
345     data: "data doc"
346   -
347     title: "Status"
348     data: "data status"
349   rows: "generated"
350   data:
351     csit-vpp-functional-1710-ubuntu1604-virl:
352     - 126
353   filter: "all"
354   parameters:
355   - "name"
356   - "parent"
357   - "doc"
358   - "status"
359
360 -
361   type: "table"
362   title: "Test configuration - VPP Functional Test Configs"
363   algorithm: "table_details"
364   output-file-ext: ".csv"
365   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
366   columns:
367   -
368     title: "Name"
369     data: "data name"
370   -
371     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
372     data: "data vat-history"
373   rows: "generated"
374   data:
375     csit-vpp-functional-1710-ubuntu1604-virl:
376     - 126
377   filter: "all"
378   parameters:
379   - "parent"
380   - "name"
381   - "vat-history"
382
383 -
384   type: "table"
385   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
386   algorithm: "table_details"
387   output-file-ext: ".csv"
388   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
389   columns:
390   -
391     title: "Name"
392     data: "data name"
393   -
394     title: "Documentation"
395     data: "data doc"
396   -
397     title: "Status"
398     data: "data msg"
399   rows: "generated"
400   data:
401     csit-ligato-perf-1710-all:
402     - 17
403   filter: "all"
404   parameters:
405   - "name"
406   - "parent"
407   - "doc"
408   - "msg"
409
410 -
411   type: "table"
412   title: "Detailed Test Results - DPDK Performance Results"
413   algorithm: "table_details"
414   output-file-ext: ".csv"
415   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
416   columns:
417   -
418     title: "Name"
419     data: "data name"
420   -
421     title: "Documentation"
422     data: "data doc"
423   -
424     title: "Status"
425     data: "data msg"
426   rows: "generated"
427   data:
428     csit-dpdk-perf-1710-all:
429     - 13
430   filter: "all"
431   parameters:
432   - "name"
433   - "parent"
434   - "doc"
435   - "msg"
436
437 -
438   type: "table"
439   title: "Detailed Test Results - Honeycomb Functional Results"
440   algorithm: "table_details"
441   output-file-ext: ".csv"
442   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
443   columns:
444   -
445     title: "Name"
446     data: "data name"
447   -
448     title: "Documentation"
449     data: "data doc"
450   -
451     title: "Status"
452     data: "data status"
453   rows: "generated"
454   data:
455     csit-hc2vpp-verify-func-1710-ubuntu1604:
456     - "lastSuccessfulBuild"
457   filter: "all"
458   parameters:
459   - "name"
460   - "parent"
461   - "doc"
462   - "status"
463
464 -
465   type: "table"
466   title: "Detailed Test Results - NSH SFC Functional Results"
467   algorithm: "table_details"
468   output-file-ext: ".csv"
469   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
470   columns:
471   -
472     title: "Name"
473     data: "data name"
474   -
475     title: "Documentation"
476     data: "data doc"
477   -
478     title: "Status"
479     data: "data status"
480   rows: "generated"
481   data:
482     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
483     - 7
484   filter: "all"
485   parameters:
486   - "name"
487   - "parent"
488   - "doc"
489   - "status"
490
491 ################################################################################
492 ###                                F I L E S                                 ###
493 ################################################################################
494
495 -
496   type: "file"
497   title: "VPP Performance Results"
498   algorithm: "file_test_results"
499   output-file-ext: ".rst"
500   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
501   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
502   dir-tables: "{DIR[DTR,PERF,VPP]}"
503   data:
504     csit-vpp-perf-1710-all:
505     - 19
506   filter: "all"
507   parameters:
508   - "name"
509   - "doc"
510   - "level"
511   data-start-level: 2  # 0, 1, 2, ...
512   chapters-start-level: 2  # 0, 1, 2, ...
513
514 -
515   type: "file"
516   title: "VPP Performance Configuration"
517   algorithm: "file_test_results"
518   output-file-ext: ".rst"
519   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
520   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
521   dir-tables: "{DIR[DTC,PERF,VPP]}"
522   data:
523     csit-vpp-perf-1710-all:
524     - 19
525   filter: "all"
526   parameters:
527   - "name"
528   - "doc"
529   - "level"
530   data-start-level: 2  # 0, 1, 2, ...
531   chapters-start-level: 2  # 0, 1, 2, ...
532
533 -
534   type: "file"
535   title: "VPP Performance Operational Data"
536   algorithm: "file_test_results"
537   output-file-ext: ".rst"
538   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
539   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
540   dir-tables: "{DIR[DTO,PERF,VPP]}"
541   data:
542     csit-vpp-perf-1710-all:
543     - 19
544   filter: "all"
545   parameters:
546   - "name"
547   - "doc"
548   - "level"
549   data-start-level: 2  # 0, 1, 2, ...
550   chapters-start-level: 2  # 0, 1, 2, ...
551
552 -
553   type: "file"
554   title: "VPP Functional Results"
555   algorithm: "file_test_results"
556   output-file-ext: ".rst"
557   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
558   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
559   dir-tables: "{DIR[DTR,FUNC,VPP]}"
560   data:
561     csit-vpp-functional-1710-ubuntu1604-virl:
562     - 126
563   filter: "all"
564   parameters:
565   - "name"
566   - "doc"
567   - "level"
568   data-start-level: 3  # 0, 1, 2, ...
569   chapters-start-level: 2  # 0, 1, 2, ...
570
571 -
572   type: "file"
573   title: "VPP Functional Configuration"
574   algorithm: "file_test_results"
575   output-file-ext: ".rst"
576   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
577   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
578   dir-tables: "{DIR[DTC,FUNC,VPP]}"
579   data:
580     csit-vpp-functional-1710-ubuntu1604-virl:
581     - 126
582   filter: "all"
583   parameters:
584   - "name"
585   - "doc"
586   - "level"
587   data-start-level: 3  # 0, 1, 2, ...
588   chapters-start-level: 2  # 0, 1, 2, ...
589
590 -
591   type: "file"
592   title: "Container Orchestrated Performance Results"
593   algorithm: "file_test_results"
594   output-file-ext: ".rst"
595   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
596   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
597   dir-tables: "{DIR[DTR,PERF,COT]}"
598   data:
599     csit-ligato-perf-1710-all:
600     - 17
601   filter: "all"
602   parameters:
603   - "name"
604   - "doc"
605   - "level"
606   data-start-level: 2  # 0, 1, 2, ...
607   chapters-start-level: 2  # 0, 1, 2, ...
608
609 -
610   type: "file"
611   title: "DPDK Performance Results"
612   algorithm: "file_test_results"
613   output-file-ext: ".rst"
614   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
615   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
616   dir-tables: "{DIR[DTR,PERF,DPDK]}"
617   data:
618     csit-dpdk-perf-1710-all:
619     - 13
620   filter: "all"
621   parameters:
622   - "name"
623   - "doc"
624   - "level"
625   chapters:
626   - "suites"
627   data-start-level: 2  # 0, 1, 2, ...
628   chapters-start-level: 2  # 0, 1, 2, ...
629
630 -
631   type: "file"
632   title: "Honeycomb Functional Results"
633   algorithm: "file_test_results"
634   output-file-ext: ".rst"
635   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
636   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
637   dir-tables: "{DIR[DTR,FUNC,HC]}"
638   data:
639     csit-hc2vpp-verify-func-1710-ubuntu1604:
640     - "lastSuccessfulBuild"
641   filter: "all"
642   parameters:
643   - "name"
644   - "doc"
645   - "level"
646   chapters:
647   - "suites"
648   data-start-level: 3  # 0, 1, 2, ...
649   chapters-start-level: 2  # 0, 1, 2, ...
650
651 -
652   type: "file"
653   title: "NSH SFC Functional Results"
654   algorithm: "file_test_results"
655   output-file-ext: ".rst"
656   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
657   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
658   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
659   data:
660     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
661     - 7
662   filter: "all"
663   parameters:
664   - "name"
665   - "doc"
666   - "level"
667   chapters:
668   - "suites"
669   data-start-level: 2  # 0, 1, 2, ...
670   chapters-start-level: 2  # 0, 1, 2, ...
671
672 ################################################################################
673 ###                                P L O T S                                 ###
674 ################################################################################
675
676 # Plot packets per second
677
678 # VPP L2 sel1
679 -
680   type: "plot"
681   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
682   algorithm: "plot_performance_box"
683   output-file-type: ".html"
684   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
685   data:
686     csit-vpp-perf-1710-all:
687     - 11
688     - 12
689     - 13
690     - 14
691     - 15
692     - 16
693     - 17
694     - 18
695     - 19
696     - 20
697   # Keep this formatting, the filter is enclosed with " (quotation mark) and
698   # each tag is enclosed with ' (apostrophe).
699   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
700   parameters:
701   - "throughput"
702   - "parent"
703   traces:
704     hoverinfo: "x+y"
705     boxpoints: "outliers"
706     whiskerwidth: 0
707   layout:
708     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
709     xaxis:
710       autorange: True
711       autotick: False
712       fixedrange: False
713       gridcolor: "rgb(238, 238, 238)"
714       linecolor: "rgb(238, 238, 238)"
715       linewidth: 1
716       showgrid: True
717       showline: True
718       showticklabels: True
719       tickcolor: "rgb(238, 238, 238)"
720       tickmode: "linear"
721       title: "Indexed Test Cases"
722       zeroline: False
723     yaxis:
724       gridcolor: "rgb(238, 238, 238)'"
725       hoverformat: ".4s"
726       linecolor: "rgb(238, 238, 238)"
727       linewidth: 1
728       range: []
729       showgrid: True
730       showline: True
731       showticklabels: True
732       tickcolor: "rgb(238, 238, 238)"
733       title: "Packets Per Second [pps]"
734       zeroline: False
735     boxmode: "group"
736     boxgroupgap: 0.5
737     autosize: False
738     margin:
739       t: 50
740       b: 20
741       l: 50
742       r: 20
743     showlegend: True
744     legend:
745       orientation: "h"
746     width: 700
747     height: 1000
748
749 -
750   type: "plot"
751   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
752   algorithm: "plot_performance_box"
753   output-file-type: ".html"
754   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
755   data:
756     csit-vpp-perf-1710-all:
757     - 11
758     - 12
759     - 13
760     - 14
761     - 15
762     - 16
763     - 17
764     - 18
765     - 19
766     - 20
767   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
768   parameters:
769   - "throughput"
770   - "parent"
771   traces:
772     hoverinfo: "x+y"
773     boxpoints: "outliers"
774     whiskerwidth: 0
775   layout:
776     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
777     xaxis:
778       autorange: True
779       autotick: False
780       fixedrange: False
781       gridcolor: "rgb(238, 238, 238)"
782       linecolor: "rgb(238, 238, 238)"
783       linewidth: 1
784       showgrid: True
785       showline: True
786       showticklabels: True
787       tickcolor: "rgb(238, 238, 238)"
788       tickmode: "linear"
789       title: "Indexed Test Cases"
790       zeroline: False
791     yaxis:
792       gridcolor: "rgb(238, 238, 238)'"
793       hoverformat: ".4s"
794       linecolor: "rgb(238, 238, 238)"
795       linewidth: 1
796       range: []
797       showgrid: True
798       showline: True
799       showticklabels: True
800       tickcolor: "rgb(238, 238, 238)"
801       title: "Packets Per Second [pps]"
802       zeroline: False
803     boxmode: "group"
804     boxgroupgap: 0.5
805     autosize: False
806     margin:
807       t: 50
808       b: 20
809       l: 50
810       r: 20
811     showlegend: True
812     legend:
813       orientation: "h"
814     width: 700
815     height: 1000
816
817 -
818   type: "plot"
819   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
820   algorithm: "plot_performance_box"
821   output-file-type: ".html"
822   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
823   data:
824     csit-vpp-perf-1710-all:
825     - 11
826     - 12
827     - 13
828     - 14
829     - 15
830     - 16
831     - 17
832     - 18
833     - 19
834     - 20
835   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
836   parameters:
837   - "throughput"
838   - "parent"
839   traces:
840     hoverinfo: "x+y"
841     boxpoints: "outliers"
842     whiskerwidth: 0
843   layout:
844     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
845     xaxis:
846       autorange: True
847       autotick: False
848       fixedrange: False
849       gridcolor: "rgb(238, 238, 238)"
850       linecolor: "rgb(238, 238, 238)"
851       linewidth: 1
852       showgrid: True
853       showline: True
854       showticklabels: True
855       tickcolor: "rgb(238, 238, 238)"
856       tickmode: "linear"
857       title: "Indexed Test Cases"
858       zeroline: False
859     yaxis:
860       gridcolor: "rgb(238, 238, 238)'"
861       hoverformat: ".4s"
862       linecolor: "rgb(238, 238, 238)"
863       linewidth: 1
864       range: []
865       showgrid: True
866       showline: True
867       showticklabels: True
868       tickcolor: "rgb(238, 238, 238)"
869       title: "Packets Per Second [pps]"
870       zeroline: False
871     boxmode: "group"
872     boxgroupgap: 0.5
873     autosize: False
874     margin:
875       t: 50
876       b: 20
877       l: 50
878       r: 20
879     showlegend: True
880     legend:
881       orientation: "h"
882     width: 700
883     height: 1000
884
885 -
886   type: "plot"
887   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
888   algorithm: "plot_performance_box"
889   output-file-type: ".html"
890   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
891   data:
892     csit-vpp-perf-1710-all:
893     - 11
894     - 12
895     - 13
896     - 14
897     - 15
898     - 16
899     - 17
900     - 18
901     - 19
902     - 20
903   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
904   parameters:
905   - "throughput"
906   - "parent"
907   traces:
908     hoverinfo: "x+y"
909     boxpoints: "outliers"
910     whiskerwidth: 0
911   layout:
912     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
913     xaxis:
914       autorange: True
915       autotick: False
916       fixedrange: False
917       gridcolor: "rgb(238, 238, 238)"
918       linecolor: "rgb(238, 238, 238)"
919       linewidth: 1
920       showgrid: True
921       showline: True
922       showticklabels: True
923       tickcolor: "rgb(238, 238, 238)"
924       tickmode: "linear"
925       title: "Indexed Test Cases"
926       zeroline: False
927     yaxis:
928       gridcolor: "rgb(238, 238, 238)'"
929       hoverformat: ".4s"
930       linecolor: "rgb(238, 238, 238)"
931       linewidth: 1
932       range: []
933       showgrid: True
934       showline: True
935       showticklabels: True
936       tickcolor: "rgb(238, 238, 238)"
937       title: "Packets Per Second [pps]"
938       zeroline: False
939     boxmode: "group"
940     boxgroupgap: 0.5
941     autosize: False
942     margin:
943       t: 50
944       b: 20
945       l: 50
946       r: 20
947     showlegend: True
948     legend:
949       orientation: "h"
950     width: 700
951     height: 1000
952
953 # VPP L2 sel2
954 -
955   type: "plot"
956   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
957   algorithm: "plot_performance_box"
958   output-file-type: ".html"
959   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
960   data:
961     csit-vpp-perf-1710-all:
962     - 11
963     - 12
964     - 13
965     - 14
966     - 15
967     - 16
968     - 17
969     - 18
970     - 19
971     - 20
972   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
973   parameters:
974   - "throughput"
975   - "parent"
976   traces:
977     hoverinfo: "x+y"
978     boxpoints: "outliers"
979     whiskerwidth: 0
980   layout:
981     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
982     xaxis:
983       autorange: True
984       autotick: False
985       fixedrange: False
986       gridcolor: "rgb(238, 238, 238)"
987       linecolor: "rgb(238, 238, 238)"
988       linewidth: 1
989       showgrid: True
990       showline: True
991       showticklabels: True
992       tickcolor: "rgb(238, 238, 238)"
993       tickmode: "linear"
994       title: "Indexed Test Cases"
995       zeroline: False
996     yaxis:
997       gridcolor: "rgb(238, 238, 238)'"
998       hoverformat: ".4s"
999       linecolor: "rgb(238, 238, 238)"
1000       linewidth: 1
1001       range: [0, 8000000]
1002       showgrid: True
1003       showline: True
1004       showticklabels: True
1005       tickcolor: "rgb(238, 238, 238)"
1006       title: "Packets Per Second [pps]"
1007       zeroline: False
1008     boxmode: "group"
1009     boxgroupgap: 0.5
1010     autosize: False
1011     margin:
1012       t: 50
1013       b: 20
1014       l: 50
1015       r: 20
1016     showlegend: True
1017     legend:
1018       orientation: "h"
1019     width: 700
1020     height: 1000
1021
1022 -
1023   type: "plot"
1024   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1025   algorithm: "plot_performance_box"
1026   output-file-type: ".html"
1027   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1028   data:
1029     csit-vpp-perf-1710-all:
1030     - 11
1031     - 12
1032     - 13
1033     - 14
1034     - 15
1035     - 16
1036     - 17
1037     - 18
1038     - 19
1039     - 20
1040   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1041   parameters:
1042   - "throughput"
1043   - "parent"
1044   traces:
1045     hoverinfo: "x+y"
1046     boxpoints: "outliers"
1047     whiskerwidth: 0
1048   layout:
1049     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1050     xaxis:
1051       autorange: True
1052       autotick: False
1053       fixedrange: False
1054       gridcolor: "rgb(238, 238, 238)"
1055       linecolor: "rgb(238, 238, 238)"
1056       linewidth: 1
1057       showgrid: True
1058       showline: True
1059       showticklabels: True
1060       tickcolor: "rgb(238, 238, 238)"
1061       tickmode: "linear"
1062       title: "Indexed Test Cases"
1063       zeroline: False
1064     yaxis:
1065       gridcolor: "rgb(238, 238, 238)'"
1066       hoverformat: ".4s"
1067       linecolor: "rgb(238, 238, 238)"
1068       linewidth: 1
1069       range: [5000000, 12000000]
1070       showgrid: True
1071       showline: True
1072       showticklabels: True
1073       tickcolor: "rgb(238, 238, 238)"
1074       title: "Packets Per Second [pps]"
1075       zeroline: False
1076     boxmode: "group"
1077     boxgroupgap: 0.5
1078     autosize: False
1079     margin:
1080       t: 50
1081       b: 20
1082       l: 50
1083       r: 20
1084     showlegend: True
1085     legend:
1086       orientation: "h"
1087     width: 700
1088     height: 1000
1089
1090 -
1091   type: "plot"
1092   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1093   algorithm: "plot_performance_box"
1094   output-file-type: ".html"
1095   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1096   data:
1097     csit-vpp-perf-1710-all:
1098     - 11
1099     - 12
1100     - 13
1101     - 14
1102     - 15
1103     - 16
1104     - 17
1105     - 18
1106     - 19
1107     - 20
1108   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1109   parameters:
1110   - "throughput"
1111   - "parent"
1112   traces:
1113     hoverinfo: "x+y"
1114     boxpoints: "outliers"
1115     whiskerwidth: 0
1116   layout:
1117     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1118     xaxis:
1119       autorange: True
1120       autotick: False
1121       fixedrange: False
1122       gridcolor: "rgb(238, 238, 238)"
1123       linecolor: "rgb(238, 238, 238)"
1124       linewidth: 1
1125       showgrid: True
1126       showline: True
1127       showticklabels: True
1128       tickcolor: "rgb(238, 238, 238)"
1129       tickmode: "linear"
1130       title: "Indexed Test Cases"
1131       zeroline: False
1132     yaxis:
1133       gridcolor: "rgb(238, 238, 238)'"
1134       hoverformat: ".4s"
1135       linecolor: "rgb(238, 238, 238)"
1136       linewidth: 1
1137       range: [0, 8000000]
1138       showgrid: True
1139       showline: True
1140       showticklabels: True
1141       tickcolor: "rgb(238, 238, 238)"
1142       title: "Packets Per Second [pps]"
1143       zeroline: False
1144     boxmode: "group"
1145     boxgroupgap: 0.5
1146     autosize: False
1147     margin:
1148       t: 50
1149       b: 20
1150       l: 50
1151       r: 20
1152     showlegend: True
1153     legend:
1154       orientation: "h"
1155     width: 700
1156     height: 1000
1157
1158 -
1159   type: "plot"
1160   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1161   algorithm: "plot_performance_box"
1162   output-file-type: ".html"
1163   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1164   data:
1165     csit-vpp-perf-1710-all:
1166     - 11
1167     - 12
1168     - 13
1169     - 14
1170     - 15
1171     - 16
1172     - 17
1173     - 18
1174     - 19
1175     - 20
1176   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1177   parameters:
1178   - "throughput"
1179   - "parent"
1180   traces:
1181     hoverinfo: "x+y"
1182     boxpoints: "outliers"
1183     whiskerwidth: 0
1184   layout:
1185     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1186     xaxis:
1187       autorange: True
1188       autotick: False
1189       fixedrange: False
1190       gridcolor: "rgb(238, 238, 238)"
1191       linecolor: "rgb(238, 238, 238)"
1192       linewidth: 1
1193       showgrid: True
1194       showline: True
1195       showticklabels: True
1196       tickcolor: "rgb(238, 238, 238)"
1197       tickmode: "linear"
1198       title: "Indexed Test Cases"
1199       zeroline: False
1200     yaxis:
1201       gridcolor: "rgb(238, 238, 238)'"
1202       hoverformat: ".4s"
1203       linecolor: "rgb(238, 238, 238)"
1204       linewidth: 1
1205       range: [5000000, 12000000]
1206       showgrid: True
1207       showline: True
1208       showticklabels: True
1209       tickcolor: "rgb(238, 238, 238)"
1210       title: "Packets Per Second [pps]"
1211       zeroline: False
1212     boxmode: "group"
1213     boxgroupgap: 0.5
1214     autosize: False
1215     margin:
1216       t: 50
1217       b: 20
1218       l: 50
1219       r: 20
1220     showlegend: True
1221     legend:
1222       orientation: "h"
1223     width: 700
1224     height: 1000
1225
1226 # VPP IP4
1227 -
1228   type: "plot"
1229   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1230   algorithm: "plot_performance_box"
1231   output-file-type: ".html"
1232   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1233   data:
1234     csit-vpp-perf-1710-all:
1235     - 11
1236     - 12
1237     - 13
1238     - 14
1239     - 15
1240     - 16
1241     - 17
1242     - 18
1243     - 19
1244     - 20
1245   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1246   parameters:
1247   - "throughput"
1248   - "parent"
1249   traces:
1250     hoverinfo: "x+y"
1251     boxpoints: "outliers"
1252     whiskerwidth: 0
1253   layout:
1254     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1255     xaxis:
1256       autorange: True
1257       autotick: False
1258       fixedrange: False
1259       gridcolor: "rgb(238, 238, 238)"
1260       linecolor: "rgb(238, 238, 238)"
1261       linewidth: 1
1262       showgrid: True
1263       showline: True
1264       showticklabels: True
1265       tickcolor: "rgb(238, 238, 238)"
1266       tickmode: "linear"
1267       title: "Indexed Test Cases"
1268       zeroline: False
1269     yaxis:
1270       gridcolor: "rgb(238, 238, 238)'"
1271       hoverformat: ".4s"
1272       linecolor: "rgb(238, 238, 238)"
1273       linewidth: 1
1274       range: []
1275       showgrid: True
1276       showline: True
1277       showticklabels: True
1278       tickcolor: "rgb(238, 238, 238)"
1279       title: "Packets Per Second [pps]"
1280       zeroline: False
1281     boxmode: "group"
1282     boxgroupgap: 0.5
1283     autosize: False
1284     margin:
1285       t: 50
1286       b: 20
1287       l: 50
1288       r: 20
1289     showlegend: True
1290     legend:
1291       orientation: "h"
1292     width: 700
1293     height: 1000
1294
1295 -
1296   type: "plot"
1297   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1298   algorithm: "plot_performance_box"
1299   output-file-type: ".html"
1300   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1301   data:
1302     csit-vpp-perf-1710-all:
1303     - 11
1304     - 12
1305     - 13
1306     - 14
1307     - 15
1308     - 16
1309     - 17
1310     - 18
1311     - 19
1312     - 20
1313   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1314   parameters:
1315   - "throughput"
1316   - "parent"
1317   traces:
1318     hoverinfo: "x+y"
1319     boxpoints: "outliers"
1320     whiskerwidth: 0
1321   layout:
1322     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1323     xaxis:
1324       autorange: True
1325       autotick: False
1326       fixedrange: False
1327       gridcolor: "rgb(238, 238, 238)"
1328       linecolor: "rgb(238, 238, 238)"
1329       linewidth: 1
1330       showgrid: True
1331       showline: True
1332       showticklabels: True
1333       tickcolor: "rgb(238, 238, 238)"
1334       tickmode: "linear"
1335       title: "Indexed Test Cases"
1336       zeroline: False
1337     yaxis:
1338       gridcolor: "rgb(238, 238, 238)'"
1339       hoverformat: ".4s"
1340       linecolor: "rgb(238, 238, 238)"
1341       linewidth: 1
1342       range: []
1343       showgrid: True
1344       showline: True
1345       showticklabels: True
1346       tickcolor: "rgb(238, 238, 238)"
1347       title: "Packets Per Second [pps]"
1348       zeroline: False
1349     boxmode: "group"
1350     boxgroupgap: 0.5
1351     autosize: False
1352     margin:
1353       t: 50
1354       b: 20
1355       l: 50
1356       r: 20
1357     showlegend: True
1358     legend:
1359       orientation: "h"
1360     width: 700
1361     height: 1000
1362
1363 -
1364   type: "plot"
1365   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1366   algorithm: "plot_performance_box"
1367   output-file-type: ".html"
1368   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1369   data:
1370     csit-vpp-perf-1710-all:
1371     - 11
1372     - 12
1373     - 13
1374     - 14
1375     - 15
1376     - 16
1377     - 17
1378     - 18
1379     - 19
1380     - 20
1381   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1382   parameters:
1383   - "throughput"
1384   - "parent"
1385   traces:
1386     hoverinfo: "x+y"
1387     boxpoints: "outliers"
1388     whiskerwidth: 0
1389   layout:
1390     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1391     xaxis:
1392       autorange: True
1393       autotick: False
1394       fixedrange: False
1395       gridcolor: "rgb(238, 238, 238)"
1396       linecolor: "rgb(238, 238, 238)"
1397       linewidth: 1
1398       showgrid: True
1399       showline: True
1400       showticklabels: True
1401       tickcolor: "rgb(238, 238, 238)"
1402       tickmode: "linear"
1403       title: "Indexed Test Cases"
1404       zeroline: False
1405     yaxis:
1406       gridcolor: "rgb(238, 238, 238)'"
1407       hoverformat: ".4s"
1408       linecolor: "rgb(238, 238, 238)"
1409       linewidth: 1
1410       range: []
1411       showgrid: True
1412       showline: True
1413       showticklabels: True
1414       tickcolor: "rgb(238, 238, 238)"
1415       title: "Packets Per Second [pps]"
1416       zeroline: False
1417     boxmode: "group"
1418     boxgroupgap: 0.5
1419     autosize: False
1420     margin:
1421       t: 50
1422       b: 20
1423       l: 50
1424       r: 20
1425     showlegend: True
1426     legend:
1427       orientation: "h"
1428     width: 700
1429     height: 1000
1430
1431 -
1432   type: "plot"
1433   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1434   algorithm: "plot_performance_box"
1435   output-file-type: ".html"
1436   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1437   data:
1438     csit-vpp-perf-1710-all:
1439     - 11
1440     - 12
1441     - 13
1442     - 14
1443     - 15
1444     - 16
1445     - 17
1446     - 18
1447     - 19
1448     - 20
1449   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1450   parameters:
1451   - "throughput"
1452   - "parent"
1453   traces:
1454     hoverinfo: "x+y"
1455     boxpoints: "outliers"
1456     whiskerwidth: 0
1457   layout:
1458     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1459     xaxis:
1460       autorange: True
1461       autotick: False
1462       fixedrange: False
1463       gridcolor: "rgb(238, 238, 238)"
1464       linecolor: "rgb(238, 238, 238)"
1465       linewidth: 1
1466       showgrid: True
1467       showline: True
1468       showticklabels: True
1469       tickcolor: "rgb(238, 238, 238)"
1470       tickmode: "linear"
1471       title: "Indexed Test Cases"
1472       zeroline: False
1473     yaxis:
1474       gridcolor: "rgb(238, 238, 238)'"
1475       hoverformat: ".4s"
1476       linecolor: "rgb(238, 238, 238)"
1477       linewidth: 1
1478       range: []
1479       showgrid: True
1480       showline: True
1481       showticklabels: True
1482       tickcolor: "rgb(238, 238, 238)"
1483       title: "Packets Per Second [pps]"
1484       zeroline: False
1485     boxmode: "group"
1486     boxgroupgap: 0.5
1487     autosize: False
1488     margin:
1489       t: 50
1490       b: 20
1491       l: 50
1492       r: 20
1493     showlegend: True
1494     legend:
1495       orientation: "h"
1496     width: 700
1497     height: 1000
1498
1499 # VPP IP6
1500 -
1501   type: "plot"
1502   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1503   algorithm: "plot_performance_box"
1504   output-file-type: ".html"
1505   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1506   data:
1507     csit-vpp-perf-1710-all:
1508     - 11
1509     - 12
1510     - 13
1511     - 14
1512     - 15
1513     - 16
1514     - 17
1515     - 18
1516     - 19
1517     - 20
1518   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1519   parameters:
1520   - "throughput"
1521   - "parent"
1522   traces:
1523     hoverinfo: "x+y"
1524     boxpoints: "outliers"
1525     whiskerwidth: 0
1526   layout:
1527     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1528     xaxis:
1529       autorange: True
1530       autotick: False
1531       fixedrange: False
1532       gridcolor: "rgb(238, 238, 238)"
1533       linecolor: "rgb(238, 238, 238)"
1534       linewidth: 1
1535       showgrid: True
1536       showline: True
1537       showticklabels: True
1538       tickcolor: "rgb(238, 238, 238)"
1539       tickmode: "linear"
1540       title: "Indexed Test Cases"
1541       zeroline: False
1542     yaxis:
1543       gridcolor: "rgb(238, 238, 238)'"
1544       hoverformat: ".4s"
1545       linecolor: "rgb(238, 238, 238)"
1546       linewidth: 1
1547       range: []
1548       showgrid: True
1549       showline: True
1550       showticklabels: True
1551       tickcolor: "rgb(238, 238, 238)"
1552       title: "Packets Per Second [pps]"
1553       zeroline: False
1554     boxmode: "group"
1555     boxgroupgap: 0.5
1556     autosize: False
1557     margin:
1558       t: 50
1559       b: 20
1560       l: 50
1561       r: 20
1562     showlegend: True
1563     legend:
1564       orientation: "h"
1565     width: 700
1566     height: 1000
1567
1568 -
1569   type: "plot"
1570   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1571   algorithm: "plot_performance_box"
1572   output-file-type: ".html"
1573   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1574   data:
1575     csit-vpp-perf-1710-all:
1576     - 11
1577     - 12
1578     - 13
1579     - 14
1580     - 15
1581     - 16
1582     - 17
1583     - 18
1584     - 19
1585     - 20
1586   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1587   parameters:
1588   - "throughput"
1589   - "parent"
1590   traces:
1591     hoverinfo: "x+y"
1592     boxpoints: "outliers"
1593     whiskerwidth: 0
1594   layout:
1595     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1596     xaxis:
1597       autorange: True
1598       autotick: False
1599       fixedrange: False
1600       gridcolor: "rgb(238, 238, 238)"
1601       linecolor: "rgb(238, 238, 238)"
1602       linewidth: 1
1603       showgrid: True
1604       showline: True
1605       showticklabels: True
1606       tickcolor: "rgb(238, 238, 238)"
1607       tickmode: "linear"
1608       title: "Indexed Test Cases"
1609       zeroline: False
1610     yaxis:
1611       gridcolor: "rgb(238, 238, 238)'"
1612       hoverformat: ".4s"
1613       linecolor: "rgb(238, 238, 238)"
1614       linewidth: 1
1615       range: []
1616       showgrid: True
1617       showline: True
1618       showticklabels: True
1619       tickcolor: "rgb(238, 238, 238)"
1620       title: "Packets Per Second [pps]"
1621       zeroline: False
1622     boxmode: "group"
1623     boxgroupgap: 0.5
1624     autosize: False
1625     margin:
1626       t: 50
1627       b: 20
1628       l: 50
1629       r: 20
1630     showlegend: True
1631     legend:
1632       orientation: "h"
1633     width: 700
1634     height: 1000
1635
1636 -
1637   type: "plot"
1638   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1639   algorithm: "plot_performance_box"
1640   output-file-type: ".html"
1641   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1642   data:
1643     csit-vpp-perf-1710-all:
1644     - 11
1645     - 12
1646     - 13
1647     - 14
1648     - 15
1649     - 16
1650     - 17
1651     - 18
1652     - 19
1653     - 20
1654   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1655   parameters:
1656   - "throughput"
1657   - "parent"
1658   traces:
1659     hoverinfo: "x+y"
1660     boxpoints: "outliers"
1661     whiskerwidth: 0
1662   layout:
1663     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1664     xaxis:
1665       autorange: True
1666       autotick: False
1667       fixedrange: False
1668       gridcolor: "rgb(238, 238, 238)"
1669       linecolor: "rgb(238, 238, 238)"
1670       linewidth: 1
1671       showgrid: True
1672       showline: True
1673       showticklabels: True
1674       tickcolor: "rgb(238, 238, 238)"
1675       tickmode: "linear"
1676       title: "Indexed Test Cases"
1677       zeroline: False
1678     yaxis:
1679       gridcolor: "rgb(238, 238, 238)'"
1680       hoverformat: ".4s"
1681       linecolor: "rgb(238, 238, 238)"
1682       linewidth: 1
1683       range: []
1684       showgrid: True
1685       showline: True
1686       showticklabels: True
1687       tickcolor: "rgb(238, 238, 238)"
1688       title: "Packets Per Second [pps]"
1689       zeroline: False
1690     boxmode: "group"
1691     boxgroupgap: 0.5
1692     autosize: False
1693     margin:
1694       t: 50
1695       b: 20
1696       l: 50
1697       r: 20
1698     showlegend: True
1699     legend:
1700       orientation: "h"
1701     width: 700
1702     height: 1000
1703
1704 -
1705   type: "plot"
1706   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1707   algorithm: "plot_performance_box"
1708   output-file-type: ".html"
1709   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1710   data:
1711     csit-vpp-perf-1710-all:
1712     - 11
1713     - 12
1714     - 13
1715     - 14
1716     - 15
1717     - 16
1718     - 17
1719     - 18
1720     - 19
1721     - 20
1722   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1723   parameters:
1724   - "throughput"
1725   - "parent"
1726   traces:
1727     hoverinfo: "x+y"
1728     boxpoints: "outliers"
1729     whiskerwidth: 0
1730   layout:
1731     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1732     xaxis:
1733       autorange: True
1734       autotick: False
1735       fixedrange: False
1736       gridcolor: "rgb(238, 238, 238)"
1737       linecolor: "rgb(238, 238, 238)"
1738       linewidth: 1
1739       showgrid: True
1740       showline: True
1741       showticklabels: True
1742       tickcolor: "rgb(238, 238, 238)"
1743       tickmode: "linear"
1744       title: "Indexed Test Cases"
1745       zeroline: False
1746     yaxis:
1747       gridcolor: "rgb(238, 238, 238)'"
1748       hoverformat: ".4s"
1749       linecolor: "rgb(238, 238, 238)"
1750       linewidth: 1
1751       range: []
1752       showgrid: True
1753       showline: True
1754       showticklabels: True
1755       tickcolor: "rgb(238, 238, 238)"
1756       title: "Packets Per Second [pps]"
1757       zeroline: False
1758     boxmode: "group"
1759     boxgroupgap: 0.5
1760     autosize: False
1761     margin:
1762       t: 50
1763       b: 20
1764       l: 50
1765       r: 20
1766     showlegend: True
1767     legend:
1768       orientation: "h"
1769     width: 700
1770     height: 1000
1771
1772 # VPP IP4_overlay
1773 -
1774   type: "plot"
1775   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1776   algorithm: "plot_performance_box"
1777   output-file-type: ".html"
1778   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1779   data:
1780     csit-vpp-perf-1710-all:
1781     - 11
1782     - 12
1783     - 13
1784     - 14
1785     - 15
1786     - 16
1787     - 17
1788     - 18
1789     - 19
1790     - 20
1791   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1792   parameters:
1793   - "throughput"
1794   - "parent"
1795   traces:
1796     hoverinfo: "x+y"
1797     boxpoints: "outliers"
1798     whiskerwidth: 0
1799   layout:
1800     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1801     xaxis:
1802       autorange: True
1803       autotick: False
1804       fixedrange: False
1805       gridcolor: "rgb(238, 238, 238)"
1806       linecolor: "rgb(238, 238, 238)"
1807       linewidth: 1
1808       showgrid: True
1809       showline: True
1810       showticklabels: True
1811       tickcolor: "rgb(238, 238, 238)"
1812       tickmode: "linear"
1813       title: "Indexed Test Cases"
1814       zeroline: False
1815     yaxis:
1816       gridcolor: "rgb(238, 238, 238)'"
1817       hoverformat: ".4s"
1818       linecolor: "rgb(238, 238, 238)"
1819       linewidth: 1
1820       range: []
1821       showgrid: True
1822       showline: True
1823       showticklabels: True
1824       tickcolor: "rgb(238, 238, 238)"
1825       title: "Packets Per Second [pps]"
1826       zeroline: False
1827     boxmode: "group"
1828     boxgroupgap: 0.5
1829     autosize: False
1830     margin:
1831       t: 50
1832       b: 20
1833       l: 50
1834       r: 20
1835     showlegend: True
1836     legend:
1837       orientation: "h"
1838     width: 700
1839     height: 1000
1840
1841 -
1842   type: "plot"
1843   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1844   algorithm: "plot_performance_box"
1845   output-file-type: ".html"
1846   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1847   data:
1848     csit-vpp-perf-1710-all:
1849     - 11
1850     - 12
1851     - 13
1852     - 14
1853     - 15
1854     - 16
1855     - 17
1856     - 18
1857     - 19
1858     - 20
1859   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1860   parameters:
1861   - "throughput"
1862   - "parent"
1863   traces:
1864     hoverinfo: "x+y"
1865     boxpoints: "outliers"
1866     whiskerwidth: 0
1867   layout:
1868     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1869     xaxis:
1870       autorange: True
1871       autotick: False
1872       fixedrange: False
1873       gridcolor: "rgb(238, 238, 238)"
1874       linecolor: "rgb(238, 238, 238)"
1875       linewidth: 1
1876       showgrid: True
1877       showline: True
1878       showticklabels: True
1879       tickcolor: "rgb(238, 238, 238)"
1880       tickmode: "linear"
1881       title: "Indexed Test Cases"
1882       zeroline: False
1883     yaxis:
1884       gridcolor: "rgb(238, 238, 238)'"
1885       hoverformat: ".4s"
1886       linecolor: "rgb(238, 238, 238)"
1887       linewidth: 1
1888       range: []
1889       showgrid: True
1890       showline: True
1891       showticklabels: True
1892       tickcolor: "rgb(238, 238, 238)"
1893       title: "Packets Per Second [pps]"
1894       zeroline: False
1895     boxmode: "group"
1896     boxgroupgap: 0.5
1897     autosize: False
1898     margin:
1899       t: 50
1900       b: 20
1901       l: 50
1902       r: 20
1903     showlegend: True
1904     legend:
1905       orientation: "h"
1906     width: 700
1907     height: 1000
1908
1909 -
1910   type: "plot"
1911   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1912   algorithm: "plot_performance_box"
1913   output-file-type: ".html"
1914   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1915   data:
1916     csit-vpp-perf-1710-all:
1917     - 11
1918     - 12
1919     - 13
1920     - 14
1921     - 15
1922     - 16
1923     - 17
1924     - 18
1925     - 19
1926     - 20
1927   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1928   parameters:
1929   - "throughput"
1930   - "parent"
1931   traces:
1932     hoverinfo: "x+y"
1933     boxpoints: "outliers"
1934     whiskerwidth: 0
1935   layout:
1936     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1937     xaxis:
1938       autorange: True
1939       autotick: False
1940       fixedrange: False
1941       gridcolor: "rgb(238, 238, 238)"
1942       linecolor: "rgb(238, 238, 238)"
1943       linewidth: 1
1944       showgrid: True
1945       showline: True
1946       showticklabels: True
1947       tickcolor: "rgb(238, 238, 238)"
1948       tickmode: "linear"
1949       title: "Indexed Test Cases"
1950       zeroline: False
1951     yaxis:
1952       gridcolor: "rgb(238, 238, 238)'"
1953       hoverformat: ".4s"
1954       linecolor: "rgb(238, 238, 238)"
1955       linewidth: 1
1956       range: []
1957       showgrid: True
1958       showline: True
1959       showticklabels: True
1960       tickcolor: "rgb(238, 238, 238)"
1961       title: "Packets Per Second [pps]"
1962       zeroline: False
1963     boxmode: "group"
1964     boxgroupgap: 0.5
1965     autosize: False
1966     margin:
1967       t: 50
1968       b: 20
1969       l: 50
1970       r: 20
1971     showlegend: True
1972     legend:
1973       orientation: "h"
1974     width: 700
1975     height: 1000
1976
1977 -
1978   type: "plot"
1979   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1980   algorithm: "plot_performance_box"
1981   output-file-type: ".html"
1982   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1983   data:
1984     csit-vpp-perf-1710-all:
1985     - 11
1986     - 12
1987     - 13
1988     - 14
1989     - 15
1990     - 16
1991     - 17
1992     - 18
1993     - 19
1994     - 20
1995   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1996   parameters:
1997   - "throughput"
1998   - "parent"
1999   traces:
2000     hoverinfo: "x+y"
2001     boxpoints: "outliers"
2002     whiskerwidth: 0
2003   layout:
2004     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2005     xaxis:
2006       autorange: True
2007       autotick: False
2008       fixedrange: False
2009       gridcolor: "rgb(238, 238, 238)"
2010       linecolor: "rgb(238, 238, 238)"
2011       linewidth: 1
2012       showgrid: True
2013       showline: True
2014       showticklabels: True
2015       tickcolor: "rgb(238, 238, 238)"
2016       tickmode: "linear"
2017       title: "Indexed Test Cases"
2018       zeroline: False
2019     yaxis:
2020       gridcolor: "rgb(238, 238, 238)'"
2021       hoverformat: ".4s"
2022       linecolor: "rgb(238, 238, 238)"
2023       linewidth: 1
2024       range: []
2025       showgrid: True
2026       showline: True
2027       showticklabels: True
2028       tickcolor: "rgb(238, 238, 238)"
2029       title: "Packets Per Second [pps]"
2030       zeroline: False
2031     boxmode: "group"
2032     boxgroupgap: 0.5
2033     autosize: False
2034     margin:
2035       t: 50
2036       b: 20
2037       l: 50
2038       r: 20
2039     showlegend: True
2040     legend:
2041       orientation: "h"
2042     width: 700
2043     height: 1000
2044
2045 # VPP IP6_overlay
2046 -
2047   type: "plot"
2048   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2049   algorithm: "plot_performance_box"
2050   output-file-type: ".html"
2051   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2052   data:
2053     csit-vpp-perf-1710-all:
2054     - 11
2055     - 12
2056     - 13
2057     - 14
2058     - 15
2059     - 16
2060     - 17
2061     - 18
2062     - 19
2063     - 20
2064   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2065   parameters:
2066   - "throughput"
2067   - "parent"
2068   traces:
2069     hoverinfo: "x+y"
2070     boxpoints: "outliers"
2071     whiskerwidth: 0
2072   layout:
2073     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2074     xaxis:
2075       autorange: True
2076       autotick: False
2077       fixedrange: False
2078       gridcolor: "rgb(238, 238, 238)"
2079       linecolor: "rgb(238, 238, 238)"
2080       linewidth: 1
2081       showgrid: True
2082       showline: True
2083       showticklabels: True
2084       tickcolor: "rgb(238, 238, 238)"
2085       tickmode: "linear"
2086       title: "Indexed Test Cases"
2087       zeroline: False
2088     yaxis:
2089       gridcolor: "rgb(238, 238, 238)'"
2090       hoverformat: ".4s"
2091       linecolor: "rgb(238, 238, 238)"
2092       linewidth: 1
2093       range: []
2094       showgrid: True
2095       showline: True
2096       showticklabels: True
2097       tickcolor: "rgb(238, 238, 238)"
2098       title: "Packets Per Second [pps]"
2099       zeroline: False
2100     boxmode: "group"
2101     boxgroupgap: 0.5
2102     autosize: False
2103     margin:
2104       t: 50
2105       b: 20
2106       l: 50
2107       r: 20
2108     showlegend: True
2109     legend:
2110       orientation: "h"
2111     width: 700
2112     height: 1000
2113
2114 -
2115   type: "plot"
2116   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2117   algorithm: "plot_performance_box"
2118   output-file-type: ".html"
2119   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2120   data:
2121     csit-vpp-perf-1710-all:
2122     - 11
2123     - 12
2124     - 13
2125     - 14
2126     - 15
2127     - 16
2128     - 17
2129     - 18
2130     - 19
2131     - 20
2132   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2133   parameters:
2134   - "throughput"
2135   - "parent"
2136   traces:
2137     hoverinfo: "x+y"
2138     boxpoints: "outliers"
2139     whiskerwidth: 0
2140   layout:
2141     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2142     xaxis:
2143       autorange: True
2144       autotick: False
2145       fixedrange: False
2146       gridcolor: "rgb(238, 238, 238)"
2147       linecolor: "rgb(238, 238, 238)"
2148       linewidth: 1
2149       showgrid: True
2150       showline: True
2151       showticklabels: True
2152       tickcolor: "rgb(238, 238, 238)"
2153       tickmode: "linear"
2154       title: "Indexed Test Cases"
2155       zeroline: False
2156     yaxis:
2157       gridcolor: "rgb(238, 238, 238)'"
2158       hoverformat: ".4s"
2159       linecolor: "rgb(238, 238, 238)"
2160       linewidth: 1
2161       range: []
2162       showgrid: True
2163       showline: True
2164       showticklabels: True
2165       tickcolor: "rgb(238, 238, 238)"
2166       title: "Packets Per Second [pps]"
2167       zeroline: False
2168     boxmode: "group"
2169     boxgroupgap: 0.5
2170     autosize: False
2171     margin:
2172       t: 50
2173       b: 20
2174       l: 50
2175       r: 20
2176     showlegend: True
2177     legend:
2178       orientation: "h"
2179     width: 700
2180     height: 1000
2181
2182 -
2183   type: "plot"
2184   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2185   algorithm: "plot_performance_box"
2186   output-file-type: ".html"
2187   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2188   data:
2189     csit-vpp-perf-1710-all:
2190     - 11
2191     - 12
2192     - 13
2193     - 14
2194     - 15
2195     - 16
2196     - 17
2197     - 18
2198     - 19
2199     - 20
2200   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2201   parameters:
2202   - "throughput"
2203   - "parent"
2204   traces:
2205     hoverinfo: "x+y"
2206     boxpoints: "outliers"
2207     whiskerwidth: 0
2208   layout:
2209     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2210     xaxis:
2211       autorange: True
2212       autotick: False
2213       fixedrange: False
2214       gridcolor: "rgb(238, 238, 238)"
2215       linecolor: "rgb(238, 238, 238)"
2216       linewidth: 1
2217       showgrid: True
2218       showline: True
2219       showticklabels: True
2220       tickcolor: "rgb(238, 238, 238)"
2221       tickmode: "linear"
2222       title: "Indexed Test Cases"
2223       zeroline: False
2224     yaxis:
2225       gridcolor: "rgb(238, 238, 238)'"
2226       hoverformat: ".4s"
2227       linecolor: "rgb(238, 238, 238)"
2228       linewidth: 1
2229       range: []
2230       showgrid: True
2231       showline: True
2232       showticklabels: True
2233       tickcolor: "rgb(238, 238, 238)"
2234       title: "Packets Per Second [pps]"
2235       zeroline: False
2236     boxmode: "group"
2237     boxgroupgap: 0.5
2238     autosize: False
2239     margin:
2240       t: 50
2241       b: 20
2242       l: 50
2243       r: 20
2244     showlegend: True
2245     legend:
2246       orientation: "h"
2247     width: 700
2248     height: 1000
2249
2250 -
2251   type: "plot"
2252   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2253   algorithm: "plot_performance_box"
2254   output-file-type: ".html"
2255   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2256   data:
2257     csit-vpp-perf-1710-all:
2258     - 11
2259     - 12
2260     - 13
2261     - 14
2262     - 15
2263     - 16
2264     - 17
2265     - 18
2266     - 19
2267     - 20
2268   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2269   parameters:
2270   - "throughput"
2271   - "parent"
2272   traces:
2273     hoverinfo: "x+y"
2274     boxpoints: "outliers"
2275     whiskerwidth: 0
2276   layout:
2277     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2278     xaxis:
2279       autorange: True
2280       autotick: False
2281       fixedrange: False
2282       gridcolor: "rgb(238, 238, 238)"
2283       linecolor: "rgb(238, 238, 238)"
2284       linewidth: 1
2285       showgrid: True
2286       showline: True
2287       showticklabels: True
2288       tickcolor: "rgb(238, 238, 238)"
2289       tickmode: "linear"
2290       title: "Indexed Test Cases"
2291       zeroline: False
2292     yaxis:
2293       gridcolor: "rgb(238, 238, 238)'"
2294       hoverformat: ".4s"
2295       linecolor: "rgb(238, 238, 238)"
2296       linewidth: 1
2297       range: []
2298       showgrid: True
2299       showline: True
2300       showticklabels: True
2301       tickcolor: "rgb(238, 238, 238)"
2302       title: "Packets Per Second [pps]"
2303       zeroline: False
2304     boxmode: "group"
2305     boxgroupgap: 0.5
2306     autosize: False
2307     margin:
2308       t: 50
2309       b: 20
2310       l: 50
2311       r: 20
2312     showlegend: True
2313     legend:
2314       orientation: "h"
2315     width: 700
2316     height: 1000
2317
2318 # VPP VM VHOST
2319 -
2320   type: "plot"
2321   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2322   algorithm: "plot_performance_box"
2323   output-file-type: ".html"
2324   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2325   data:
2326     csit-vpp-perf-1710-all:
2327     - 11
2328     - 12
2329     - 13
2330     - 14
2331     - 15
2332     - 16
2333     - 17
2334     - 18
2335     - 19
2336     - 20
2337   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2338   parameters:
2339   - "throughput"
2340   - "parent"
2341   traces:
2342     hoverinfo: "x+y"
2343     boxpoints: "outliers"
2344     whiskerwidth: 0
2345   layout:
2346     title: "64B-1t1c-.*vhost.*-ndrdisc"
2347     xaxis:
2348       autorange: True
2349       autotick: False
2350       fixedrange: False
2351       gridcolor: "rgb(238, 238, 238)"
2352       linecolor: "rgb(238, 238, 238)"
2353       linewidth: 1
2354       showgrid: True
2355       showline: True
2356       showticklabels: True
2357       tickcolor: "rgb(238, 238, 238)"
2358       tickmode: "linear"
2359       title: "Indexed Test Cases"
2360       zeroline: False
2361     yaxis:
2362       gridcolor: "rgb(238, 238, 238)'"
2363       hoverformat: ".4s"
2364       linecolor: "rgb(238, 238, 238)"
2365       linewidth: 1
2366       range: []
2367       showgrid: True
2368       showline: True
2369       showticklabels: True
2370       tickcolor: "rgb(238, 238, 238)"
2371       title: "Packets Per Second [pps]"
2372       zeroline: False
2373     boxmode: "group"
2374     boxgroupgap: 0.5
2375     autosize: False
2376     margin:
2377       t: 50
2378       b: 20
2379       l: 50
2380       r: 20
2381     showlegend: True
2382     legend:
2383       orientation: "h"
2384     width: 700
2385     height: 1000
2386
2387 -
2388   type: "plot"
2389   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2390   algorithm: "plot_performance_box"
2391   output-file-type: ".html"
2392   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2393   data:
2394     csit-vpp-perf-1710-all:
2395     - 11
2396     - 12
2397     - 13
2398     - 14
2399     - 15
2400     - 16
2401     - 17
2402     - 18
2403     - 19
2404     - 20
2405   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2406   parameters:
2407   - "throughput"
2408   - "parent"
2409   traces:
2410     hoverinfo: "x+y"
2411     boxpoints: "outliers"
2412     whiskerwidth: 0
2413   layout:
2414     title: "64B-2t2c-.*vhost.*-ndrdisc"
2415     xaxis:
2416       autorange: True
2417       autotick: False
2418       fixedrange: False
2419       gridcolor: "rgb(238, 238, 238)"
2420       linecolor: "rgb(238, 238, 238)"
2421       linewidth: 1
2422       showgrid: True
2423       showline: True
2424       showticklabels: True
2425       tickcolor: "rgb(238, 238, 238)"
2426       tickmode: "linear"
2427       title: "Indexed Test Cases"
2428       zeroline: False
2429     yaxis:
2430       gridcolor: "rgb(238, 238, 238)'"
2431       hoverformat: ".4s"
2432       linecolor: "rgb(238, 238, 238)"
2433       linewidth: 1
2434       range: []
2435       showgrid: True
2436       showline: True
2437       showticklabels: True
2438       tickcolor: "rgb(238, 238, 238)"
2439       title: "Packets Per Second [pps]"
2440       zeroline: False
2441     boxmode: "group"
2442     boxgroupgap: 0.5
2443     autosize: False
2444     margin:
2445       t: 50
2446       b: 20
2447       l: 50
2448       r: 20
2449     showlegend: True
2450     legend:
2451       orientation: "h"
2452     width: 700
2453     height: 1000
2454
2455 -
2456   type: "plot"
2457   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2458   algorithm: "plot_performance_box"
2459   output-file-type: ".html"
2460   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2461   data:
2462     csit-vpp-perf-1710-all:
2463     - 11
2464     - 12
2465     - 13
2466     - 14
2467     - 15
2468     - 16
2469     - 17
2470     - 18
2471     - 19
2472     - 20
2473   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2474   parameters:
2475   - "throughput"
2476   - "parent"
2477   traces:
2478     hoverinfo: "x+y"
2479     boxpoints: "outliers"
2480     whiskerwidth: 0
2481   layout:
2482     title: "64B-1t1c-.*vhost.*-pdrdisc"
2483     xaxis:
2484       autorange: True
2485       autotick: False
2486       fixedrange: False
2487       gridcolor: "rgb(238, 238, 238)"
2488       linecolor: "rgb(238, 238, 238)"
2489       linewidth: 1
2490       showgrid: True
2491       showline: True
2492       showticklabels: True
2493       tickcolor: "rgb(238, 238, 238)"
2494       tickmode: "linear"
2495       title: "Indexed Test Cases"
2496       zeroline: False
2497     yaxis:
2498       gridcolor: "rgb(238, 238, 238)'"
2499       hoverformat: ".4s"
2500       linecolor: "rgb(238, 238, 238)"
2501       linewidth: 1
2502       range: []
2503       showgrid: True
2504       showline: True
2505       showticklabels: True
2506       tickcolor: "rgb(238, 238, 238)"
2507       title: "Packets Per Second [pps]"
2508       zeroline: False
2509     boxmode: "group"
2510     boxgroupgap: 0.5
2511     autosize: False
2512     margin:
2513       t: 50
2514       b: 20
2515       l: 50
2516       r: 20
2517     showlegend: True
2518     legend:
2519       orientation: "h"
2520     width: 700
2521     height: 1000
2522
2523 -
2524   type: "plot"
2525   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2526   algorithm: "plot_performance_box"
2527   output-file-type: ".html"
2528   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2529   data:
2530     csit-vpp-perf-1710-all:
2531     - 11
2532     - 12
2533     - 13
2534     - 14
2535     - 15
2536     - 16
2537     - 17
2538     - 18
2539     - 19
2540     - 20
2541   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2542   parameters:
2543   - "throughput"
2544   - "parent"
2545   traces:
2546     hoverinfo: "x+y"
2547     boxpoints: "outliers"
2548     whiskerwidth: 0
2549   layout:
2550     title: "64B-2t2c-.*vhost.*-pdrdisc"
2551     xaxis:
2552       autorange: True
2553       autotick: False
2554       fixedrange: False
2555       gridcolor: "rgb(238, 238, 238)"
2556       linecolor: "rgb(238, 238, 238)"
2557       linewidth: 1
2558       showgrid: True
2559       showline: True
2560       showticklabels: True
2561       tickcolor: "rgb(238, 238, 238)"
2562       tickmode: "linear"
2563       title: "Indexed Test Cases"
2564       zeroline: False
2565     yaxis:
2566       gridcolor: "rgb(238, 238, 238)'"
2567       hoverformat: ".4s"
2568       linecolor: "rgb(238, 238, 238)"
2569       linewidth: 1
2570       range: []
2571       showgrid: True
2572       showline: True
2573       showticklabels: True
2574       tickcolor: "rgb(238, 238, 238)"
2575       title: "Packets Per Second [pps]"
2576       zeroline: False
2577     boxmode: "group"
2578     boxgroupgap: 0.5
2579     autosize: False
2580     margin:
2581       t: 50
2582       b: 20
2583       l: 50
2584       r: 20
2585     showlegend: True
2586     legend:
2587       orientation: "h"
2588     width: 700
2589     height: 1000
2590
2591 # VPP VM VHOST SELECTION
2592 -
2593   type: "plot"
2594   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2595   algorithm: "plot_performance_box"
2596   output-file-type: ".html"
2597   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2598   data:
2599     csit-vpp-perf-1710-all:
2600     - 11
2601     - 12
2602     - 13
2603     - 14
2604     - 15
2605     - 16
2606     - 17
2607     - 18
2608     - 19
2609     - 20
2610   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2611   parameters:
2612   - "throughput"
2613   - "parent"
2614   traces:
2615     hoverinfo: "x+y"
2616     boxpoints: "outliers"
2617     whiskerwidth: 0
2618   layout:
2619     title: "64B-1t1c-.*vhost.*-ndrdisc"
2620     xaxis:
2621       autorange: True
2622       autotick: False
2623       fixedrange: False
2624       gridcolor: "rgb(238, 238, 238)"
2625       linecolor: "rgb(238, 238, 238)"
2626       linewidth: 1
2627       showgrid: True
2628       showline: True
2629       showticklabels: True
2630       tickcolor: "rgb(238, 238, 238)"
2631       tickmode: "linear"
2632       title: "Indexed Test Cases"
2633       zeroline: False
2634     yaxis:
2635       gridcolor: "rgb(238, 238, 238)'"
2636       hoverformat: ".4s"
2637       linecolor: "rgb(238, 238, 238)"
2638       linewidth: 1
2639       range: []
2640       showgrid: True
2641       showline: True
2642       showticklabels: True
2643       tickcolor: "rgb(238, 238, 238)"
2644       title: "Packets Per Second [pps]"
2645       zeroline: False
2646     boxmode: "group"
2647     boxgroupgap: 0.5
2648     autosize: False
2649     margin:
2650       t: 50
2651       b: 20
2652       l: 50
2653       r: 20
2654     showlegend: True
2655     legend:
2656       orientation: "h"
2657     width: 700
2658     height: 1000
2659
2660 -
2661   type: "plot"
2662   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2663   algorithm: "plot_performance_box"
2664   output-file-type: ".html"
2665   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2666   data:
2667     csit-vpp-perf-1710-all:
2668     - 11
2669     - 12
2670     - 13
2671     - 14
2672     - 15
2673     - 16
2674     - 17
2675     - 18
2676     - 19
2677     - 20
2678   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2679   parameters:
2680   - "throughput"
2681   - "parent"
2682   traces:
2683     hoverinfo: "x+y"
2684     boxpoints: "outliers"
2685     whiskerwidth: 0
2686   layout:
2687     title: "64B-2t2c-.*vhost.*-ndrdisc"
2688     xaxis:
2689       autorange: True
2690       autotick: False
2691       fixedrange: False
2692       gridcolor: "rgb(238, 238, 238)"
2693       linecolor: "rgb(238, 238, 238)"
2694       linewidth: 1
2695       showgrid: True
2696       showline: True
2697       showticklabels: True
2698       tickcolor: "rgb(238, 238, 238)"
2699       tickmode: "linear"
2700       title: "Indexed Test Cases"
2701       zeroline: False
2702     yaxis:
2703       gridcolor: "rgb(238, 238, 238)'"
2704       hoverformat: ".4s"
2705       linecolor: "rgb(238, 238, 238)"
2706       linewidth: 1
2707       range: []
2708       showgrid: True
2709       showline: True
2710       showticklabels: True
2711       tickcolor: "rgb(238, 238, 238)"
2712       title: "Packets Per Second [pps]"
2713       zeroline: False
2714     boxmode: "group"
2715     boxgroupgap: 0.5
2716     autosize: False
2717     margin:
2718       t: 50
2719       b: 20
2720       l: 50
2721       r: 20
2722     showlegend: True
2723     legend:
2724       orientation: "h"
2725     width: 700
2726     height: 1000
2727
2728 -
2729   type: "plot"
2730   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2731   algorithm: "plot_performance_box"
2732   output-file-type: ".html"
2733   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2734   data:
2735     csit-vpp-perf-1710-all:
2736     - 11
2737     - 12
2738     - 13
2739     - 14
2740     - 15
2741     - 16
2742     - 17
2743     - 18
2744     - 19
2745     - 20
2746   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2747   parameters:
2748   - "throughput"
2749   - "parent"
2750   traces:
2751     hoverinfo: "x+y"
2752     boxpoints: "outliers"
2753     whiskerwidth: 0
2754   layout:
2755     title: "64B-1t1c-.*vhost.*-pdrdisc"
2756     xaxis:
2757       autorange: True
2758       autotick: False
2759       fixedrange: False
2760       gridcolor: "rgb(238, 238, 238)"
2761       linecolor: "rgb(238, 238, 238)"
2762       linewidth: 1
2763       showgrid: True
2764       showline: True
2765       showticklabels: True
2766       tickcolor: "rgb(238, 238, 238)"
2767       tickmode: "linear"
2768       title: "Indexed Test Cases"
2769       zeroline: False
2770     yaxis:
2771       gridcolor: "rgb(238, 238, 238)'"
2772       hoverformat: ".4s"
2773       linecolor: "rgb(238, 238, 238)"
2774       linewidth: 1
2775       range: []
2776       showgrid: True
2777       showline: True
2778       showticklabels: True
2779       tickcolor: "rgb(238, 238, 238)"
2780       title: "Packets Per Second [pps]"
2781       zeroline: False
2782     boxmode: "group"
2783     boxgroupgap: 0.5
2784     autosize: False
2785     margin:
2786       t: 50
2787       b: 20
2788       l: 50
2789       r: 20
2790     showlegend: True
2791     legend:
2792       orientation: "h"
2793     width: 700
2794     height: 1000
2795
2796 -
2797   type: "plot"
2798   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2799   algorithm: "plot_performance_box"
2800   output-file-type: ".html"
2801   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2802   data:
2803     csit-vpp-perf-1710-all:
2804     - 11
2805     - 12
2806     - 13
2807     - 14
2808     - 15
2809     - 16
2810     - 17
2811     - 18
2812     - 19
2813     - 20
2814   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2815   parameters:
2816   - "throughput"
2817   - "parent"
2818   traces:
2819     hoverinfo: "x+y"
2820     boxpoints: "outliers"
2821     whiskerwidth: 0
2822   layout:
2823     title: "64B-2t2c-.*vhost.*-pdrdisc"
2824     xaxis:
2825       autorange: True
2826       autotick: False
2827       fixedrange: False
2828       gridcolor: "rgb(238, 238, 238)"
2829       linecolor: "rgb(238, 238, 238)"
2830       linewidth: 1
2831       showgrid: True
2832       showline: True
2833       showticklabels: True
2834       tickcolor: "rgb(238, 238, 238)"
2835       tickmode: "linear"
2836       title: "Indexed Test Cases"
2837       zeroline: False
2838     yaxis:
2839       gridcolor: "rgb(238, 238, 238)'"
2840       hoverformat: ".4s"
2841       linecolor: "rgb(238, 238, 238)"
2842       linewidth: 1
2843       range: []
2844       showgrid: True
2845       showline: True
2846       showticklabels: True
2847       tickcolor: "rgb(238, 238, 238)"
2848       title: "Packets Per Second [pps]"
2849       zeroline: False
2850     boxmode: "group"
2851     boxgroupgap: 0.5
2852     autosize: False
2853     margin:
2854       t: 50
2855       b: 20
2856       l: 50
2857       r: 20
2858     showlegend: True
2859     legend:
2860       orientation: "h"
2861     width: 700
2862     height: 1000
2863
2864 # VPP CRYPTO
2865 -
2866   type: "plot"
2867   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2868   algorithm: "plot_performance_box"
2869   output-file-type: ".html"
2870   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2871   data:
2872     csit-vpp-perf-1710-all:
2873     - 11
2874     - 12
2875     - 13
2876     - 14
2877     - 15
2878     - 16
2879     - 17
2880     - 18
2881     - 19
2882     - 20
2883   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2884   parameters:
2885   - "throughput"
2886   - "parent"
2887   traces:
2888     hoverinfo: "x+y"
2889     boxpoints: "outliers"
2890     whiskerwidth: 0
2891   layout:
2892     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2893     xaxis:
2894       autorange: True
2895       autotick: False
2896       fixedrange: False
2897       gridcolor: "rgb(238, 238, 238)"
2898       linecolor: "rgb(238, 238, 238)"
2899       linewidth: 1
2900       showgrid: True
2901       showline: True
2902       showticklabels: True
2903       tickcolor: "rgb(238, 238, 238)"
2904       tickmode: "linear"
2905       title: "Indexed Test Cases"
2906       zeroline: False
2907     yaxis:
2908       gridcolor: "rgb(238, 238, 238)'"
2909       hoverformat: ".4s"
2910       linecolor: "rgb(238, 238, 238)"
2911       linewidth: 1
2912       range: []
2913       showgrid: True
2914       showline: True
2915       showticklabels: True
2916       tickcolor: "rgb(238, 238, 238)"
2917       title: "Packets Per Second [pps]"
2918       zeroline: False
2919     boxmode: "group"
2920     boxgroupgap: 0.5
2921     autosize: False
2922     margin:
2923       t: 50
2924       b: 20
2925       l: 50
2926       r: 20
2927     showlegend: True
2928     legend:
2929       orientation: "h"
2930     width: 700
2931     height: 1000
2932
2933 -
2934   type: "plot"
2935   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2936   algorithm: "plot_performance_box"
2937   output-file-type: ".html"
2938   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2939   data:
2940     csit-vpp-perf-1710-all:
2941     - 11
2942     - 12
2943     - 13
2944     - 14
2945     - 15
2946     - 16
2947     - 17
2948     - 18
2949     - 19
2950     - 20
2951   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2952   parameters:
2953   - "throughput"
2954   - "parent"
2955   traces:
2956     hoverinfo: "x+y"
2957     boxpoints: "outliers"
2958     whiskerwidth: 0
2959   layout:
2960     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2961     xaxis:
2962       autorange: True
2963       autotick: False
2964       fixedrange: False
2965       gridcolor: "rgb(238, 238, 238)"
2966       linecolor: "rgb(238, 238, 238)"
2967       linewidth: 1
2968       showgrid: True
2969       showline: True
2970       showticklabels: True
2971       tickcolor: "rgb(238, 238, 238)"
2972       tickmode: "linear"
2973       title: "Indexed Test Cases"
2974       zeroline: False
2975     yaxis:
2976       gridcolor: "rgb(238, 238, 238)'"
2977       hoverformat: ".4s"
2978       linecolor: "rgb(238, 238, 238)"
2979       linewidth: 1
2980       range: []
2981       showgrid: True
2982       showline: True
2983       showticklabels: True
2984       tickcolor: "rgb(238, 238, 238)"
2985       title: "Packets Per Second [pps]"
2986       zeroline: False
2987     boxmode: "group"
2988     boxgroupgap: 0.5
2989     autosize: False
2990     margin:
2991       t: 50
2992       b: 20
2993       l: 50
2994       r: 20
2995     showlegend: True
2996     legend:
2997       orientation: "h"
2998     width: 700
2999     height: 1000
3000
3001 -
3002   type: "plot"
3003   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
3004   algorithm: "plot_performance_box"
3005   output-file-type: ".html"
3006   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
3007   data:
3008     csit-vpp-perf-1710-all:
3009     - 11
3010     - 12
3011     - 13
3012     - 14
3013     - 15
3014     - 16
3015     - 17
3016     - 18
3017     - 19
3018     - 20
3019   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3020   parameters:
3021   - "throughput"
3022   - "parent"
3023   traces:
3024     hoverinfo: "x+y"
3025     boxpoints: "outliers"
3026     whiskerwidth: 0
3027   layout:
3028     title: "64B-1t1c-.*ipsec.*-pdrdisc"
3029     xaxis:
3030       autorange: True
3031       autotick: False
3032       fixedrange: False
3033       gridcolor: "rgb(238, 238, 238)"
3034       linecolor: "rgb(238, 238, 238)"
3035       linewidth: 1
3036       showgrid: True
3037       showline: True
3038       showticklabels: True
3039       tickcolor: "rgb(238, 238, 238)"
3040       tickmode: "linear"
3041       title: "Indexed Test Cases"
3042       zeroline: False
3043     yaxis:
3044       gridcolor: "rgb(238, 238, 238)'"
3045       hoverformat: ".4s"
3046       linecolor: "rgb(238, 238, 238)"
3047       linewidth: 1
3048       range: []
3049       showgrid: True
3050       showline: True
3051       showticklabels: True
3052       tickcolor: "rgb(238, 238, 238)"
3053       title: "Packets Per Second [pps]"
3054       zeroline: False
3055     boxmode: "group"
3056     boxgroupgap: 0.5
3057     autosize: False
3058     margin:
3059       t: 50
3060       b: 20
3061       l: 50
3062       r: 20
3063     showlegend: True
3064     legend:
3065       orientation: "h"
3066     width: 700
3067     height: 1000
3068
3069 -
3070   type: "plot"
3071   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
3072   algorithm: "plot_performance_box"
3073   output-file-type: ".html"
3074   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
3075   data:
3076     csit-vpp-perf-1710-all:
3077     - 11
3078     - 12
3079     - 13
3080     - 14
3081     - 15
3082     - 16
3083     - 17
3084     - 18
3085     - 19
3086     - 20
3087   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3088   parameters:
3089   - "throughput"
3090   - "parent"
3091   traces:
3092     hoverinfo: "x+y"
3093     boxpoints: "outliers"
3094     whiskerwidth: 0
3095   layout:
3096     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3097     xaxis:
3098       autorange: True
3099       autotick: False
3100       fixedrange: False
3101       gridcolor: "rgb(238, 238, 238)"
3102       linecolor: "rgb(238, 238, 238)"
3103       linewidth: 1
3104       showgrid: True
3105       showline: True
3106       showticklabels: True
3107       tickcolor: "rgb(238, 238, 238)"
3108       tickmode: "linear"
3109       title: "Indexed Test Cases"
3110       zeroline: False
3111     yaxis:
3112       gridcolor: "rgb(238, 238, 238)'"
3113       hoverformat: ".4s"
3114       linecolor: "rgb(238, 238, 238)"
3115       linewidth: 1
3116       range: []
3117       showgrid: True
3118       showline: True
3119       showticklabels: True
3120       tickcolor: "rgb(238, 238, 238)"
3121       title: "Packets Per Second [pps]"
3122       zeroline: False
3123     boxmode: "group"
3124     boxgroupgap: 0.5
3125     autosize: False
3126     margin:
3127       t: 50
3128       b: 20
3129       l: 50
3130       r: 20
3131     showlegend: True
3132     legend:
3133       orientation: "h"
3134     width: 700
3135     height: 1000
3136
3137 # DPDK
3138 -
3139   type: "plot"
3140   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3141   algorithm: "plot_performance_box"
3142   output-file-type: ".html"
3143   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3144   data:
3145     csit-dpdk-perf-1710-all:
3146     - 2
3147     - 3
3148     - 5
3149     - 6
3150     - 7
3151     - 8
3152     - 9
3153     - 10
3154     - 11
3155     - 13
3156   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3157   parameters:
3158   - "throughput"
3159   - "parent"
3160   traces:
3161     hoverinfo: "x+y"
3162     boxpoints: "outliers"
3163     whiskerwidth: 0
3164   layout:
3165     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3166     xaxis:
3167       autorange: True
3168       autotick: False
3169       fixedrange: False
3170       gridcolor: "rgb(238, 238, 238)"
3171       linecolor: "rgb(238, 238, 238)"
3172       linewidth: 1
3173       showgrid: True
3174       showline: True
3175       showticklabels: True
3176       tickcolor: "rgb(238, 238, 238)"
3177       tickmode: "linear"
3178       title: "Indexed Test Cases"
3179       zeroline: False
3180     yaxis:
3181       gridcolor: "rgb(238, 238, 238)'"
3182       hoverformat: ".4s"
3183       linecolor: "rgb(238, 238, 238)"
3184       linewidth: 1
3185       range: []
3186       showgrid: True
3187       showline: True
3188       showticklabels: True
3189       tickcolor: "rgb(238, 238, 238)"
3190       title: "Packets Per Second [pps]"
3191       zeroline: False
3192     boxmode: "group"
3193     boxgroupgap: 0.5
3194     autosize: False
3195     margin:
3196       t: 50
3197       b: 20
3198       l: 50
3199       r: 20
3200     showlegend: True
3201     legend:
3202       orientation: "h"
3203     width: 700
3204     height: 1000
3205
3206 -
3207   type: "plot"
3208   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3209   algorithm: "plot_performance_box"
3210   output-file-type: ".html"
3211   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3212   data:
3213     csit-dpdk-perf-1710-all:
3214     - 2
3215     - 3
3216     - 5
3217     - 6
3218     - 7
3219     - 8
3220     - 9
3221     - 10
3222     - 11
3223     - 13
3224   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3225   parameters:
3226   - "throughput"
3227   - "parent"
3228   traces:
3229     hoverinfo: "x+y"
3230     boxpoints: "outliers"
3231     whiskerwidth: 0
3232   layout:
3233     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3234     xaxis:
3235       autorange: True
3236       autotick: False
3237       fixedrange: False
3238       gridcolor: "rgb(238, 238, 238)"
3239       linecolor: "rgb(238, 238, 238)"
3240       linewidth: 1
3241       showgrid: True
3242       showline: True
3243       showticklabels: True
3244       tickcolor: "rgb(238, 238, 238)"
3245       tickmode: "linear"
3246       title: "Indexed Test Cases"
3247       zeroline: False
3248     yaxis:
3249       gridcolor: "rgb(238, 238, 238)'"
3250       hoverformat: ".4s"
3251       linecolor: "rgb(238, 238, 238)"
3252       linewidth: 1
3253       range: []
3254       showgrid: True
3255       showline: True
3256       showticklabels: True
3257       tickcolor: "rgb(238, 238, 238)"
3258       title: "Packets Per Second [pps]"
3259       zeroline: False
3260     boxmode: "group"
3261     boxgroupgap: 0.5
3262     autosize: False
3263     margin:
3264       t: 50
3265       b: 20
3266       l: 50
3267       r: 20
3268     showlegend: True
3269     legend:
3270       orientation: "h"
3271     width: 700
3272     height: 1000
3273
3274 -
3275   type: "plot"
3276   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3277   algorithm: "plot_performance_box"
3278   output-file-type: ".html"
3279   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3280   data:
3281     csit-dpdk-perf-1710-all:
3282     - 2
3283     - 3
3284     - 5
3285     - 6
3286     - 7
3287     - 8
3288     - 9
3289     - 10
3290     - 11
3291     - 13
3292   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3293   parameters:
3294   - "throughput"
3295   - "parent"
3296   traces:
3297     hoverinfo: "x+y"
3298     boxpoints: "outliers"
3299     whiskerwidth: 0
3300   layout:
3301     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3302     xaxis:
3303       autorange: True
3304       autotick: False
3305       fixedrange: False
3306       gridcolor: "rgb(238, 238, 238)"
3307       linecolor: "rgb(238, 238, 238)"
3308       linewidth: 1
3309       showgrid: True
3310       showline: True
3311       showticklabels: True
3312       tickcolor: "rgb(238, 238, 238)"
3313       tickmode: "linear"
3314       title: "Indexed Test Cases"
3315       zeroline: False
3316     yaxis:
3317       gridcolor: "rgb(238, 238, 238)'"
3318       hoverformat: ".4s"
3319       linecolor: "rgb(238, 238, 238)"
3320       linewidth: 1
3321       range: [2000000, 12000000]
3322       showgrid: True
3323       showline: True
3324       showticklabels: True
3325       tickcolor: "rgb(238, 238, 238)"
3326       title: "Packets Per Second [pps]"
3327       zeroline: False
3328     boxmode: "group"
3329     boxgroupgap: 0.5
3330     autosize: False
3331     margin:
3332       t: 50
3333       b: 20
3334       l: 50
3335       r: 20
3336     showlegend: True
3337     legend:
3338       orientation: "h"
3339     width: 700
3340     height: 1000
3341
3342 -
3343   type: "plot"
3344   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3345   algorithm: "plot_performance_box"
3346   output-file-type: ".html"
3347   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3348   data:
3349     csit-dpdk-perf-1710-all:
3350     - 2
3351     - 3
3352     - 5
3353     - 6
3354     - 7
3355     - 8
3356     - 9
3357     - 10
3358     - 11
3359     - 13
3360   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3361   parameters:
3362   - "throughput"
3363   - "parent"
3364   traces:
3365     hoverinfo: "x+y"
3366     boxpoints: "outliers"
3367     whiskerwidth: 0
3368   layout:
3369     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3370     xaxis:
3371       autorange: True
3372       autotick: False
3373       fixedrange: False
3374       gridcolor: "rgb(238, 238, 238)"
3375       linecolor: "rgb(238, 238, 238)"
3376       linewidth: 1
3377       showgrid: True
3378       showline: True
3379       showticklabels: True
3380       tickcolor: "rgb(238, 238, 238)"
3381       tickmode: "linear"
3382       title: "Indexed Test Cases"
3383       zeroline: False
3384     yaxis:
3385       gridcolor: "rgb(238, 238, 238)'"
3386       hoverformat: ".4s"
3387       linecolor: "rgb(238, 238, 238)"
3388       linewidth: 1
3389       range: [2000000, 12000000]
3390       showgrid: True
3391       showline: True
3392       showticklabels: True
3393       tickcolor: "rgb(238, 238, 238)"
3394       title: "Packets Per Second [pps]"
3395       zeroline: False
3396     boxmode: "group"
3397     boxgroupgap: 0.5
3398     autosize: False
3399     margin:
3400       t: 50
3401       b: 20
3402       l: 50
3403       r: 20
3404     showlegend: True
3405     legend:
3406       orientation: "h"
3407     width: 700
3408     height: 1000
3409
3410 -
3411   type: "plot"
3412   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3413   algorithm: "plot_performance_box"
3414   output-file-type: ".html"
3415   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3416   data:
3417     csit-dpdk-perf-1710-all:
3418     - 2
3419     - 3
3420     - 5
3421     - 6
3422     - 7
3423     - 8
3424     - 9
3425     - 10
3426     - 11
3427     - 13
3428   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3429   parameters:
3430   - "throughput"
3431   - "parent"
3432   traces:
3433     hoverinfo: "x+y"
3434     boxpoints: "outliers"
3435     whiskerwidth: 0
3436   layout:
3437     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3438     xaxis:
3439       autorange: True
3440       autotick: False
3441       fixedrange: False
3442       gridcolor: "rgb(238, 238, 238)"
3443       linecolor: "rgb(238, 238, 238)"
3444       linewidth: 1
3445       showgrid: True
3446       showline: True
3447       showticklabels: True
3448       tickcolor: "rgb(238, 238, 238)"
3449       tickmode: "linear"
3450       title: "Indexed Test Cases"
3451       zeroline: False
3452     yaxis:
3453       gridcolor: "rgb(238, 238, 238)'"
3454       hoverformat: ".4s"
3455       linecolor: "rgb(238, 238, 238)"
3456       linewidth: 1
3457       range: []
3458       showgrid: True
3459       showline: True
3460       showticklabels: True
3461       tickcolor: "rgb(238, 238, 238)"
3462       title: "Packets Per Second [pps]"
3463       zeroline: False
3464     boxmode: "group"
3465     boxgroupgap: 0.5
3466     autosize: False
3467     margin:
3468       t: 50
3469       b: 20
3470       l: 50
3471       r: 20
3472     showlegend: True
3473     legend:
3474       orientation: "h"
3475     width: 700
3476     height: 1000
3477
3478 -
3479   type: "plot"
3480   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3481   algorithm: "plot_performance_box"
3482   output-file-type: ".html"
3483   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3484   data:
3485     csit-dpdk-perf-1710-all:
3486     - 2
3487     - 3
3488     - 5
3489     - 6
3490     - 7
3491     - 8
3492     - 9
3493     - 10
3494     - 11
3495     - 13
3496   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3497   parameters:
3498   - "throughput"
3499   - "parent"
3500   traces:
3501     hoverinfo: "x+y"
3502     boxpoints: "outliers"
3503     whiskerwidth: 0
3504   layout:
3505     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3506     xaxis:
3507       autorange: True
3508       autotick: False
3509       fixedrange: False
3510       gridcolor: "rgb(238, 238, 238)"
3511       linecolor: "rgb(238, 238, 238)"
3512       linewidth: 1
3513       showgrid: True
3514       showline: True
3515       showticklabels: True
3516       tickcolor: "rgb(238, 238, 238)"
3517       tickmode: "linear"
3518       title: "Indexed Test Cases"
3519       zeroline: False
3520     yaxis:
3521       gridcolor: "rgb(238, 238, 238)'"
3522       hoverformat: ".4s"
3523       linecolor: "rgb(238, 238, 238)"
3524       linewidth: 1
3525       range: []
3526       showgrid: True
3527       showline: True
3528       showticklabels: True
3529       tickcolor: "rgb(238, 238, 238)"
3530       title: "Packets Per Second [pps]"
3531       zeroline: False
3532     boxmode: "group"
3533     boxgroupgap: 0.5
3534     autosize: False
3535     margin:
3536       t: 50
3537       b: 20
3538       l: 50
3539       r: 20
3540     showlegend: True
3541     legend:
3542       orientation: "h"
3543     width: 700
3544     height: 1000
3545
3546 -
3547   type: "plot"
3548   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3549   algorithm: "plot_performance_box"
3550   output-file-type: ".html"
3551   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3552   data:
3553     csit-dpdk-perf-1710-all:
3554     - 2
3555     - 3
3556     - 5
3557     - 6
3558     - 7
3559     - 8
3560     - 9
3561     - 10
3562     - 11
3563     - 13
3564   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3565   parameters:
3566   - "throughput"
3567   - "parent"
3568   traces:
3569     hoverinfo: "x+y"
3570     boxpoints: "outliers"
3571     whiskerwidth: 0
3572   layout:
3573     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3574     xaxis:
3575       autorange: True
3576       autotick: False
3577       fixedrange: False
3578       gridcolor: "rgb(238, 238, 238)"
3579       linecolor: "rgb(238, 238, 238)"
3580       linewidth: 1
3581       showgrid: True
3582       showline: True
3583       showticklabels: True
3584       tickcolor: "rgb(238, 238, 238)"
3585       tickmode: "linear"
3586       title: "Indexed Test Cases"
3587       zeroline: False
3588     yaxis:
3589       gridcolor: "rgb(238, 238, 238)'"
3590       hoverformat: ".4s"
3591       linecolor: "rgb(238, 238, 238)"
3592       linewidth: 1
3593       range: [20000000, 30000000]
3594       showgrid: True
3595       showline: True
3596       showticklabels: True
3597       tickcolor: "rgb(238, 238, 238)"
3598       title: "Packets Per Second [pps]"
3599       zeroline: False
3600     boxmode: "group"
3601     boxgroupgap: 0.5
3602     autosize: False
3603     margin:
3604       t: 50
3605       b: 20
3606       l: 50
3607       r: 20
3608     showlegend: True
3609     legend:
3610       orientation: "h"
3611     width: 700
3612     height: 1000
3613
3614 -
3615   type: "plot"
3616   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3617   algorithm: "plot_performance_box"
3618   output-file-type: ".html"
3619   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3620   data:
3621     csit-dpdk-perf-1710-all:
3622     - 2
3623     - 3
3624     - 5
3625     - 6
3626     - 7
3627     - 8
3628     - 9
3629     - 10
3630     - 11
3631     - 13
3632   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3633   parameters:
3634   - "throughput"
3635   - "parent"
3636   traces:
3637     hoverinfo: "x+y"
3638     boxpoints: "outliers"
3639     whiskerwidth: 0
3640   layout:
3641     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3642     xaxis:
3643       autorange: True
3644       autotick: False
3645       fixedrange: False
3646       gridcolor: "rgb(238, 238, 238)"
3647       linecolor: "rgb(238, 238, 238)"
3648       linewidth: 1
3649       showgrid: True
3650       showline: True
3651       showticklabels: True
3652       tickcolor: "rgb(238, 238, 238)"
3653       tickmode: "linear"
3654       title: "Indexed Test Cases"
3655       zeroline: False
3656     yaxis:
3657       gridcolor: "rgb(238, 238, 238)'"
3658       hoverformat: ".4s"
3659       linecolor: "rgb(238, 238, 238)"
3660       linewidth: 1
3661       range: [20000000, 30000000]
3662       showgrid: True
3663       showline: True
3664       showticklabels: True
3665       tickcolor: "rgb(238, 238, 238)"
3666       title: "Packets Per Second [pps]"
3667       zeroline: False
3668     boxmode: "group"
3669     boxgroupgap: 0.5
3670     autosize: False
3671     margin:
3672       t: 50
3673       b: 20
3674       l: 50
3675       r: 20
3676     showlegend: True
3677     legend:
3678       orientation: "h"
3679     width: 700
3680     height: 1000
3681
3682 # Plot latency
3683
3684 # VPP L2 sel1
3685 -
3686   type: "plot"
3687   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3688   algorithm: "plot_latency_box"
3689   output-file-type: ".html"
3690   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3691   data:
3692     csit-vpp-perf-1710-all:
3693     - 11
3694     - 12
3695     - 13
3696     - 14
3697     - 15
3698     - 16
3699     - 17
3700     - 18
3701     - 19
3702     - 20
3703   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3704   parameters:
3705   - "latency"
3706   - "parent"
3707   traces:
3708     boxmean: False
3709   layout:
3710     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3711     xaxis:
3712       autorange: True
3713       autotick: False
3714       fixedrange: False
3715       gridcolor: "rgb(238, 238, 238)"
3716       linecolor: "rgb(238, 238, 238)"
3717       linewidth: 1
3718       showgrid: True
3719       showline: True
3720       showticklabels: True
3721       tickcolor: "rgb(238, 238, 238)"
3722       tickmode: "linear"
3723       title: "Indexed Test Cases"
3724       zeroline: False
3725     yaxis:
3726       gridcolor: "rgb(238, 238, 238)'"
3727       hoverformat: ""
3728       linecolor: "rgb(238, 238, 238)"
3729       linewidth: 1
3730       range: []
3731       showgrid: True
3732       showline: True
3733       showticklabels: True
3734       tickcolor: "rgb(238, 238, 238)"
3735       title: "Latency min/avg/max [uSec]"
3736       zeroline: False
3737     boxmode: "group"
3738     boxgroupgap: 0.5
3739     autosize: False
3740     margin:
3741       t: 50
3742       b: 20
3743       l: 50
3744       r: 20
3745     showlegend: True
3746     legend:
3747       orientation: "h"
3748     width: 700
3749     height: 1000
3750
3751 -
3752   type: "plot"
3753   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3754   algorithm: "plot_latency_box"
3755   output-file-type: ".html"
3756   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3757   data:
3758     csit-vpp-perf-1710-all:
3759     - 11
3760     - 12
3761     - 13
3762     - 14
3763     - 15
3764     - 16
3765     - 17
3766     - 18
3767     - 19
3768     - 20
3769   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3770   parameters:
3771   - "latency"
3772   - "parent"
3773   traces:
3774     boxmean: False
3775   layout:
3776     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3777     xaxis:
3778       autorange: True
3779       autotick: False
3780       fixedrange: False
3781       gridcolor: "rgb(238, 238, 238)"
3782       linecolor: "rgb(238, 238, 238)"
3783       linewidth: 1
3784       showgrid: True
3785       showline: True
3786       showticklabels: True
3787       tickcolor: "rgb(238, 238, 238)"
3788       tickmode: "linear"
3789       title: "Indexed Test Cases"
3790       zeroline: False
3791     yaxis:
3792       gridcolor: "rgb(238, 238, 238)'"
3793       hoverformat: ""
3794       linecolor: "rgb(238, 238, 238)"
3795       linewidth: 1
3796       range: []
3797       showgrid: True
3798       showline: True
3799       showticklabels: True
3800       tickcolor: "rgb(238, 238, 238)"
3801       title: "Latency min/avg/max [uSec]"
3802       zeroline: False
3803     boxmode: "group"
3804     boxgroupgap: 0.5
3805     autosize: False
3806     margin:
3807       t: 50
3808       b: 20
3809       l: 50
3810       r: 20
3811     showlegend: True
3812     legend:
3813       orientation: "h"
3814     width: 700
3815     height: 1000
3816
3817 # VPP L2 sel2
3818 -
3819   type: "plot"
3820   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3821   algorithm: "plot_latency_box"
3822   output-file-type: ".html"
3823   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3824   data:
3825     csit-vpp-perf-1710-all:
3826     - 11
3827     - 12
3828     - 13
3829     - 14
3830     - 15
3831     - 16
3832     - 17
3833     - 18
3834     - 19
3835     - 20
3836   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3837   parameters:
3838   - "latency"
3839   - "parent"
3840   traces:
3841     boxmean: False
3842   layout:
3843     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3844     xaxis:
3845       autorange: True
3846       autotick: False
3847       fixedrange: False
3848       gridcolor: "rgb(238, 238, 238)"
3849       linecolor: "rgb(238, 238, 238)"
3850       linewidth: 1
3851       showgrid: True
3852       showline: True
3853       showticklabels: True
3854       tickcolor: "rgb(238, 238, 238)"
3855       tickmode: "linear"
3856       title: "Indexed Test Cases"
3857       zeroline: False
3858     yaxis:
3859       gridcolor: "rgb(238, 238, 238)'"
3860       hoverformat: ""
3861       linecolor: "rgb(238, 238, 238)"
3862       linewidth: 1
3863       range: []
3864       showgrid: True
3865       showline: True
3866       showticklabels: True
3867       tickcolor: "rgb(238, 238, 238)"
3868       title: "Latency min/avg/max [uSec]"
3869       zeroline: False
3870     boxmode: "group"
3871     boxgroupgap: 0.5
3872     autosize: False
3873     margin:
3874       t: 50
3875       b: 20
3876       l: 50
3877       r: 20
3878     showlegend: True
3879     legend:
3880       orientation: "h"
3881     width: 700
3882     height: 1000
3883
3884 -
3885   type: "plot"
3886   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3887   algorithm: "plot_latency_box"
3888   output-file-type: ".html"
3889   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3890   data:
3891     csit-vpp-perf-1710-all:
3892     - 11
3893     - 12
3894     - 13
3895     - 14
3896     - 15
3897     - 16
3898     - 17
3899     - 18
3900     - 19
3901     - 20
3902   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3903   parameters:
3904   - "latency"
3905   - "parent"
3906   traces:
3907     boxmean: False
3908   layout:
3909     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3910     xaxis:
3911       autorange: True
3912       autotick: False
3913       fixedrange: False
3914       gridcolor: "rgb(238, 238, 238)"
3915       linecolor: "rgb(238, 238, 238)"
3916       linewidth: 1
3917       showgrid: True
3918       showline: True
3919       showticklabels: True
3920       tickcolor: "rgb(238, 238, 238)"
3921       tickmode: "linear"
3922       title: "Indexed Test Cases"
3923       zeroline: False
3924     yaxis:
3925       gridcolor: "rgb(238, 238, 238)'"
3926       hoverformat: ""
3927       linecolor: "rgb(238, 238, 238)"
3928       linewidth: 1
3929       range: []
3930       showgrid: True
3931       showline: True
3932       showticklabels: True
3933       tickcolor: "rgb(238, 238, 238)"
3934       title: "Latency min/avg/max [uSec]"
3935       zeroline: False
3936     boxmode: "group"
3937     boxgroupgap: 0.5
3938     autosize: False
3939     margin:
3940       t: 50
3941       b: 20
3942       l: 50
3943       r: 20
3944     showlegend: True
3945     legend:
3946       orientation: "h"
3947     width: 700
3948     height: 1000
3949
3950 # VPP IP4
3951 -
3952   type: "plot"
3953   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3954   algorithm: "plot_latency_box"
3955   output-file-type: ".html"
3956   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3957   data:
3958     csit-vpp-perf-1710-all:
3959     - 11
3960     - 12
3961     - 13
3962     - 14
3963     - 15
3964     - 16
3965     - 17
3966     - 18
3967     - 19
3968     - 20
3969   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3970   parameters:
3971   - "latency"
3972   - "parent"
3973   traces:
3974     boxmean: False
3975   layout:
3976     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3977     xaxis:
3978       autorange: True
3979       autotick: False
3980       fixedrange: False
3981       gridcolor: "rgb(238, 238, 238)"
3982       linecolor: "rgb(238, 238, 238)"
3983       linewidth: 1
3984       showgrid: True
3985       showline: True
3986       showticklabels: True
3987       tickcolor: "rgb(238, 238, 238)"
3988       tickmode: "linear"
3989       title: "Indexed Test Cases"
3990       zeroline: False
3991     yaxis:
3992       gridcolor: "rgb(238, 238, 238)'"
3993       hoverformat: ""
3994       linecolor: "rgb(238, 238, 238)"
3995       linewidth: 1
3996       range: []
3997       showgrid: True
3998       showline: True
3999       showticklabels: True
4000       tickcolor: "rgb(238, 238, 238)"
4001       title: "Latency min/avg/max [uSec]"
4002       zeroline: False
4003     boxmode: "group"
4004     boxgroupgap: 0.5
4005     autosize: False
4006     margin:
4007       t: 50
4008       b: 20
4009       l: 50
4010       r: 20
4011     showlegend: True
4012     legend:
4013       orientation: "h"
4014     width: 700
4015     height: 1000
4016
4017 -
4018   type: "plot"
4019   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
4020   algorithm: "plot_latency_box"
4021   output-file-type: ".html"
4022   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
4023   data:
4024     csit-vpp-perf-1710-all:
4025     - 11
4026     - 12
4027     - 13
4028     - 14
4029     - 15
4030     - 16
4031     - 17
4032     - 18
4033     - 19
4034     - 20
4035   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
4036   parameters:
4037   - "latency"
4038   - "parent"
4039   traces:
4040     boxmean: False
4041   layout:
4042     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
4043     xaxis:
4044       autorange: True
4045       autotick: False
4046       fixedrange: False
4047       gridcolor: "rgb(238, 238, 238)"
4048       linecolor: "rgb(238, 238, 238)"
4049       linewidth: 1
4050       showgrid: True
4051       showline: True
4052       showticklabels: True
4053       tickcolor: "rgb(238, 238, 238)"
4054       tickmode: "linear"
4055       title: "Indexed Test Cases"
4056       zeroline: False
4057     yaxis:
4058       gridcolor: "rgb(238, 238, 238)'"
4059       hoverformat: ""
4060       linecolor: "rgb(238, 238, 238)"
4061       linewidth: 1
4062       range: []
4063       showgrid: True
4064       showline: True
4065       showticklabels: True
4066       tickcolor: "rgb(238, 238, 238)"
4067       title: "Latency min/avg/max [uSec]"
4068       zeroline: False
4069     boxmode: "group"
4070     boxgroupgap: 0.5
4071     autosize: False
4072     margin:
4073       t: 50
4074       b: 20
4075       l: 50
4076       r: 20
4077     showlegend: True
4078     legend:
4079       orientation: "h"
4080     width: 700
4081     height: 1000
4082
4083 # VPP IP6
4084 -
4085   type: "plot"
4086   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
4087   algorithm: "plot_latency_box"
4088   output-file-type: ".html"
4089   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
4090   data:
4091     csit-vpp-perf-1710-all:
4092     - 11
4093     - 12
4094     - 13
4095     - 14
4096     - 15
4097     - 16
4098     - 17
4099     - 18
4100     - 19
4101     - 20
4102   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
4103   parameters:
4104   - "latency"
4105   - "parent"
4106   traces:
4107     boxmean: False
4108   layout:
4109     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
4110     xaxis:
4111       autorange: True
4112       autotick: False
4113       fixedrange: False
4114       gridcolor: "rgb(238, 238, 238)"
4115       linecolor: "rgb(238, 238, 238)"
4116       linewidth: 1
4117       showgrid: True
4118       showline: True
4119       showticklabels: True
4120       tickcolor: "rgb(238, 238, 238)"
4121       tickmode: "linear"
4122       title: "Indexed Test Cases"
4123       zeroline: False
4124     yaxis:
4125       gridcolor: "rgb(238, 238, 238)'"
4126       hoverformat: ""
4127       linecolor: "rgb(238, 238, 238)"
4128       linewidth: 1
4129       range: []
4130       showgrid: True
4131       showline: True
4132       showticklabels: True
4133       tickcolor: "rgb(238, 238, 238)"
4134       title: "Latency min/avg/max [uSec]"
4135       zeroline: False
4136     boxmode: "group"
4137     boxgroupgap: 0.5
4138     autosize: False
4139     margin:
4140       t: 50
4141       b: 20
4142       l: 50
4143       r: 20
4144     showlegend: True
4145     legend:
4146       orientation: "h"
4147     width: 700
4148     height: 1000
4149
4150 -
4151   type: "plot"
4152   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
4153   algorithm: "plot_latency_box"
4154   output-file-type: ".html"
4155   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
4156   data:
4157     csit-vpp-perf-1710-all:
4158     - 11
4159     - 12
4160     - 13
4161     - 14
4162     - 15
4163     - 16
4164     - 17
4165     - 18
4166     - 19
4167     - 20
4168   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
4169   parameters:
4170   - "latency"
4171   - "parent"
4172   traces:
4173     boxmean: False
4174   layout:
4175     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
4176     xaxis:
4177       autorange: True
4178       autotick: False
4179       fixedrange: False
4180       gridcolor: "rgb(238, 238, 238)"
4181       linecolor: "rgb(238, 238, 238)"
4182       linewidth: 1
4183       showgrid: True
4184       showline: True
4185       showticklabels: True
4186       tickcolor: "rgb(238, 238, 238)"
4187       tickmode: "linear"
4188       title: "Indexed Test Cases"
4189       zeroline: False
4190     yaxis:
4191       gridcolor: "rgb(238, 238, 238)'"
4192       hoverformat: ""