Report: Add VPP func results
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
42     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
43     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
44     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
45     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
46
47     # Detailed test configurations
48     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
49     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
50     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
51
52     # Detailed tests operational data
53     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
54     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
55
56     # .css patch file to fix tables generated by Sphinx
57     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
58     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
59
60   urls:
61     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
62     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
63
64   make-dirs:
65   # List the directories which are created while preparing the environment.
66   # All directories MUST be defined in "paths" section.
67   - "DIR[WORKING,DATA]"
68   - "DIR[STATIC,VPP]"
69   - "DIR[STATIC,DPDK]"
70   - "DIR[STATIC,ARCH]"
71   - "DIR[BUILD,LATEX]"
72   - "DIR[WORKING,SRC]"
73   - "DIR[WORKING,SRC,STATIC]"
74
75   remove-dirs:
76   # List the directories which are deleted while cleaning the environment.
77   # All directories MUST be defined in "paths" section.
78   #- "DIR[BUILD,HTML]"
79
80   build-dirs:
81   # List the directories where the results (build) is stored.
82   # All directories MUST be defined in "paths" section.
83   - "DIR[BUILD,HTML]"
84   - "DIR[BUILD,LATEX]"
85
86 -
87   type: "debug"
88   general:
89     input-format: "xml"  # zip or xml
90     extract: "robot-plugin/output.xml"  # Only for zip
91   builds:
92     # The files must be in the directory DIR[WORKING,DATA]
93     csit-dpdk-perf-1707-all:
94     -
95       build: 10
96       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
97     -
98       build: 9
99       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
100     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
101     -
102       build: 2
103       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
104     csit-vpp-functional-1707-ubuntu1604-virl:
105     -
106       build: lastSuccessfulBuild
107       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
108     hc2vpp-csit-integration-1707-ubuntu1604:
109     -
110       build: lastSuccessfulBuild
111       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
112     csit-vpp-perf-1707-all:
113     -
114       build: 16
115       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
116     -
117       build: 17
118       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
119
120 -
121   type: "static"
122   src-path: "{DIR[RST]}"
123   dst-path: "{DIR[WORKING,SRC]}"
124
125 -
126   type: "input"  # Ignored in debug mode
127   general:
128     file-name: "robot-plugin.zip"
129     file-format: ".zip"
130     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
131     extract: "robot-plugin/output.xml"
132   builds:
133     csit-vpp-perf-1707-all:
134     - 9
135     - 10
136     - 13
137     - 14
138     - 15
139     - 16
140     - 17
141     - 18
142     - 19
143     - 21
144     csit-vpp-perf-1710-all:
145     - 2
146     - 5
147     csit-dpdk-perf-1710-all:
148     - 2
149     - 3
150     - 5
151     - 6
152     - 7
153     - 8
154     - 9
155     - 10
156     - 11
157     - 13
158     csit-ligato-perf-1710-all:
159     - 1
160     csit-vpp-functional-1710-ubuntu1604-virl:
161     - 62
162     hc2vpp-csit-integration-1710-ubuntu1604:
163     - lastSuccessfulBuild
164 #    hc2vpp-csit-perf-master-ubuntu1604:  # REMOVE???
165 #    - 8
166 #    - 9
167 #    csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:  # REMOVE???
168 #    - 2
169
170 -
171   type: "output"
172   format:
173     html:
174     - full
175     pdf:
176     - minimal
177
178 ################################################################################
179 ###                               T A B L E S                                ###
180 ################################################################################
181
182 -
183   type: "table"
184   title: "Performance improvements"
185   algorithm: "table_performance_improvements"
186   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
187   output-file-ext: ".csv"
188   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
189   columns:
190   -
191     title: "Functionality"
192     data: "template 1"
193   -
194     title: "Test Name"
195     data: "template 2"
196   -
197     title: "16.09 mean [Mpps]"
198     data: "template 3"
199   -
200     title: "17.01 mean [Mpps]"
201     data: "template 4"
202   -
203     title: "17.04 mean [Mpps]"
204     data: "template 5"
205   -
206     title: "17.07 mean [Mpps]"
207     data: "data csit-vpp-perf-1707-all mean"
208   -
209     title: "17.10 mean [Mpps]"
210     data: "data csit-vpp-perf-1710-all mean"
211   -
212     title: "17.10 stdev [Mpps]"
213     data: "data csit-vpp-perf-1710-all stdev"
214   -
215     title: "17.07 to 17.10 change [%]"
216     data: "operation relative_change 6 5"
217   rows: "generated"
218   data:
219     csit-vpp-perf-1707-all:
220     - 9
221     - 10
222     - 13
223     - 14
224     - 15
225     - 16
226     - 17
227     - 18
228     - 19
229     - 21
230     csit-vpp-perf-1710-all:
231     - 2
232     - 5
233   filter: "template"
234   parameters:
235   - "throughput"
236
237 -
238   type: "table"
239   title: "Detailed Test Results - VPP Performance Results"
240   algorithm: "table_details"
241   output-file-ext: ".csv"
242   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
243   columns:
244   -
245     title: "Name"
246     data: "data name"
247   -
248     title: "Documentation"
249     data: "data doc"
250   -
251     title: "Status"
252     data: "data msg"
253   rows: "generated"
254   data:
255     csit-vpp-perf-1710-all:
256     - 5
257   filter: "all"
258   parameters:
259   - "name"
260   - "parent"
261   - "doc"
262   - "msg"
263
264 -
265   type: "table"
266   title: "Test configuration - VPP Performance Test Configs"
267   algorithm: "table_details"
268   output-file-ext: ".csv"
269   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
270   columns:
271   -
272     title: "Name"
273     data: "data name"
274   -
275     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
276     data: "data vat-history"
277   rows: "generated"
278   data:
279     csit-vpp-perf-1710-all:
280     - 5
281   filter: "all"
282   parameters:
283   - "parent"
284   - "name"
285   - "vat-history"
286
287 -
288   type: "table"
289   title: "Test Operational Data - VPP Performance Operational Data"
290   algorithm: "table_details"
291   output-file-ext: ".csv"
292   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
293   columns:
294   -
295     title: "Name"
296     data: "data name"
297   -
298     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
299     data: "data show-run"
300   rows: "generated"
301   data:
302     csit-vpp-perf-1710-all:
303     - 5
304   filter: "all"
305   parameters:
306   - "parent"
307   - "name"
308   - "show-run"
309
310 -
311   type: "table"
312   title: "Detailed Test Results - VPP Functional Results"
313   algorithm: "table_details"
314   output-file-ext: ".csv"
315   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
316   columns:
317   -
318     title: "Name"
319     data: "data name"
320   -
321     title: "Documentation"
322     data: "data doc"
323   -
324     title: "Status"
325     data: "data status"
326   rows: "generated"
327   data:
328     csit-vpp-functional-1710-ubuntu1604-virl:
329     - 62
330   filter: "all"
331   parameters:
332   - "name"
333   - "parent"
334   - "doc"
335   - "status"
336
337 -
338   type: "table"
339   title: "Test configuration - VPP Functional Test Configs"
340   algorithm: "table_details"
341   output-file-ext: ".csv"
342   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
343   columns:
344   -
345     title: "Name"
346     data: "data name"
347   -
348     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
349     data: "data vat-history"
350   rows: "generated"
351   data:
352     csit-vpp-functional-1710-ubuntu1604-virl:
353     - 62
354   filter: "all"
355   parameters:
356   - "parent"
357   - "name"
358   - "vat-history"
359
360 -
361   type: "table"
362   title: "Detailed Test Results - DPDK Performance Results"
363   algorithm: "table_details"
364   output-file-ext: ".csv"
365   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
366   columns:
367   -
368     title: "Name"
369     data: "data name"
370   -
371     title: "Documentation"
372     data: "data doc"
373   -
374     title: "Status"
375     data: "data msg"
376   rows: "generated"
377   data:
378     csit-dpdk-perf-1710-all:
379     - 13
380   filter: "all"
381   parameters:
382   - "name"
383   - "parent"
384   - "doc"
385   - "msg"
386
387 -
388   type: "table"
389   title: "Detailed Test Results - Honeycomb Functional Results"
390   algorithm: "table_details"
391   output-file-ext: ".csv"
392   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
393   columns:
394   -
395     title: "Name"
396     data: "data name"
397   -
398     title: "Documentation"
399     data: "data doc"
400   -
401     title: "Status"
402     data: "data status"
403   rows: "generated"
404   data:
405     hc2vpp-csit-integration-1710-ubuntu1604:
406     - "lastSuccessfulBuild"
407   filter: "all"
408   parameters:
409   - "name"
410   - "parent"
411   - "doc"
412   - "status"
413
414 #-
415 #  type: "table"
416 #  title: "Detailed Test Results - NSH SFC Functional Results"
417 #  algorithm: "table_details"
418 #  output-file-ext: ".csv"
419 #  output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
420 #  columns:
421 #  -
422 #    title: "Name"
423 #    data: "data name"
424 #  -
425 #    title: "Documentation"
426 #    data: "data doc"
427 #  -
428 #    title: "Status"
429 #    data: "data status"
430 #  rows: "generated"
431 #  data:
432 #    csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
433 #    - 2
434 #  filter: "all"
435 #  parameters:
436 #  - "name"
437 #  - "parent"
438 #  - "doc"
439 #  - "status"
440
441 ################################################################################
442 ###                                F I L E S                                 ###
443 ################################################################################
444
445 -
446   type: "file"
447   title: "VPP Performance Results"
448   algorithm: "file_test_results"
449   output-file-ext: ".rst"
450   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
451   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
452   dir-tables: "{DIR[DTR,PERF,VPP]}"
453   data:
454     csit-vpp-perf-1710-all:
455     - 5
456   filter: "all"
457   parameters:
458   - "name"
459   - "doc"
460   - "level"
461   data-start-level: 2  # 0, 1, 2, ...
462   chapters-start-level: 2  # 0, 1, 2, ...
463
464 -
465   type: "file"
466   title: "VPP Performance Configuration"
467   algorithm: "file_test_results"
468   output-file-ext: ".rst"
469   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
470   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
471   dir-tables: "{DIR[DTC,PERF,VPP]}"
472   data:
473     csit-vpp-perf-1710-all:
474     - 5
475   filter: "all"
476   parameters:
477   - "name"
478   - "doc"
479   - "level"
480   data-start-level: 2  # 0, 1, 2, ...
481   chapters-start-level: 2  # 0, 1, 2, ...
482
483 -
484   type: "file"
485   title: "VPP Performance Operational Data"
486   algorithm: "file_test_results"
487   output-file-ext: ".rst"
488   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
489   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
490   dir-tables: "{DIR[DTO,PERF,VPP]}"
491   data:
492     csit-vpp-perf-1710-all:
493     - 5
494   filter: "all"
495   parameters:
496   - "name"
497   - "doc"
498   - "level"
499   data-start-level: 2  # 0, 1, 2, ...
500   chapters-start-level: 2  # 0, 1, 2, ...
501
502 -
503   type: "file"
504   title: "VPP Functional Results"
505   algorithm: "file_test_results"
506   output-file-ext: ".rst"
507   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
508   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
509   dir-tables: "{DIR[DTR,FUNC,VPP]}"
510   data:
511     csit-vpp-functional-1710-ubuntu1604-virl:
512     - 62
513   filter: "all"
514   parameters:
515   - "name"
516   - "doc"
517   - "level"
518   data-start-level: 3  # 0, 1, 2, ...
519   chapters-start-level: 2  # 0, 1, 2, ...
520
521 -
522   type: "file"
523   title: "VPP Functional Configuration"
524   algorithm: "file_test_results"
525   output-file-ext: ".rst"
526   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
527   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
528   dir-tables: "{DIR[DTC,FUNC,VPP]}"
529   data:
530     csit-vpp-functional-1710-ubuntu1604-virl:
531     - 62
532   filter: "all"
533   parameters:
534   - "name"
535   - "doc"
536   - "level"
537   data-start-level: 3  # 0, 1, 2, ...
538   chapters-start-level: 2  # 0, 1, 2, ...
539
540 -
541   type: "file"
542   title: "DPDK Performance Results"
543   algorithm: "file_test_results"
544   output-file-ext: ".rst"
545   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
546   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
547   dir-tables: "{DIR[DTR,PERF,DPDK]}"
548   data:
549     csit-dpdk-perf-1710-all:
550     - 13
551   filter: "all"
552   parameters:
553   - "name"
554   - "doc"
555   - "level"
556   chapters:
557   - "suites"
558   data-start-level: 2  # 0, 1, 2, ...
559   chapters-start-level: 2  # 0, 1, 2, ...
560
561 -
562   type: "file"
563   title: "Honeycomb Functional Results"
564   algorithm: "file_test_results"
565   output-file-ext: ".rst"
566   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
567   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
568   dir-tables: "{DIR[DTR,FUNC,HC]}"
569   data:
570     hc2vpp-csit-integration-1710-ubuntu1604:
571     - "lastSuccessfulBuild"
572   filter: "all"
573   parameters:
574   - "name"
575   - "doc"
576   - "level"
577   chapters:
578   - "suites"
579   data-start-level: 3  # 0, 1, 2, ...
580   chapters-start-level: 2  # 0, 1, 2, ...
581
582 #-
583 #  type: "file"
584 #  title: "NSH SFC Functional Results"
585 #  algorithm: "file_test_results"
586 #  output-file-ext: ".rst"
587 #  output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
588 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
589 #  dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
590 #  data:
591 #    csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
592 #    - 
593 #  filter: "all"
594 #  parameters:
595 #  - "name"
596 #  - "doc"
597 #  - "level"
598 #  chapters:
599 #  - "suites"
600 #  data-start-level: 2  # 0, 1, 2, ...
601 #  chapters-start-level: 2  # 0, 1, 2, ...
602
603 ################################################################################
604 ###                                P L O T S                                 ###
605 ################################################################################
606
607 # Plot packets per second
608
609 # VPP L2 sel1
610 -
611   type: "plot"
612   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
613   algorithm: "plot_performance_box"
614   output-file-type: ".html"
615   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
616   data:
617     csit-vpp-perf-1710-all:
618     - 2
619     - 5
620   # Keep this formatting, the filter is enclosed with " (quotation mark) and
621   # each tag is enclosed with ' (apostrophe).
622   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
623   parameters:
624   - "throughput"
625   - "parent"
626   traces:
627     hoverinfo: "x+y"
628     boxpoints: "outliers"
629     whiskerwidth: 0
630   layout:
631     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
632     xaxis:
633       autorange: True
634       autotick: False
635       fixedrange: False
636       gridcolor: "rgb(238, 238, 238)"
637       linecolor: "rgb(238, 238, 238)"
638       linewidth: 1
639       showgrid: True
640       showline: True
641       showticklabels: True
642       tickcolor: "rgb(238, 238, 238)"
643       tickmode: "linear"
644       title: "Indexed Test Cases"
645       zeroline: False
646     yaxis:
647       gridcolor: "rgb(238, 238, 238)'"
648       hoverformat: ".4s"
649       linecolor: "rgb(238, 238, 238)"
650       linewidth: 1
651       range: []
652       showgrid: True
653       showline: True
654       showticklabels: True
655       tickcolor: "rgb(238, 238, 238)"
656       title: "Packets Per Second [pps]"
657       zeroline: False
658     boxmode: "group"
659     boxgroupgap: 0.5
660     autosize: False
661     margin:
662       t: 50
663       b: 20
664       l: 50
665       r: 20
666     showlegend: True
667     legend:
668       orientation: "h"
669     width: 700
670     height: 1000
671
672 -
673   type: "plot"
674   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
675   algorithm: "plot_performance_box"
676   output-file-type: ".html"
677   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
678   data:
679     csit-vpp-perf-1710-all:
680     - 2
681     - 5
682   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
683   parameters:
684   - "throughput"
685   - "parent"
686   traces:
687     hoverinfo: "x+y"
688     boxpoints: "outliers"
689     whiskerwidth: 0
690   layout:
691     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
692     xaxis:
693       autorange: True
694       autotick: False
695       fixedrange: False
696       gridcolor: "rgb(238, 238, 238)"
697       linecolor: "rgb(238, 238, 238)"
698       linewidth: 1
699       showgrid: True
700       showline: True
701       showticklabels: True
702       tickcolor: "rgb(238, 238, 238)"
703       tickmode: "linear"
704       title: "Indexed Test Cases"
705       zeroline: False
706     yaxis:
707       gridcolor: "rgb(238, 238, 238)'"
708       hoverformat: ".4s"
709       linecolor: "rgb(238, 238, 238)"
710       linewidth: 1
711       range: []
712       showgrid: True
713       showline: True
714       showticklabels: True
715       tickcolor: "rgb(238, 238, 238)"
716       title: "Packets Per Second [pps]"
717       zeroline: False
718     boxmode: "group"
719     boxgroupgap: 0.5
720     autosize: False
721     margin:
722       t: 50
723       b: 20
724       l: 50
725       r: 20
726     showlegend: True
727     legend:
728       orientation: "h"
729     width: 700
730     height: 1000
731
732 -
733   type: "plot"
734   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
735   algorithm: "plot_performance_box"
736   output-file-type: ".html"
737   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
738   data:
739     csit-vpp-perf-1710-all:
740     - 2
741     - 5
742   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
743   parameters:
744   - "throughput"
745   - "parent"
746   traces:
747     hoverinfo: "x+y"
748     boxpoints: "outliers"
749     whiskerwidth: 0
750   layout:
751     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
752     xaxis:
753       autorange: True
754       autotick: False
755       fixedrange: False
756       gridcolor: "rgb(238, 238, 238)"
757       linecolor: "rgb(238, 238, 238)"
758       linewidth: 1
759       showgrid: True
760       showline: True
761       showticklabels: True
762       tickcolor: "rgb(238, 238, 238)"
763       tickmode: "linear"
764       title: "Indexed Test Cases"
765       zeroline: False
766     yaxis:
767       gridcolor: "rgb(238, 238, 238)'"
768       hoverformat: ".4s"
769       linecolor: "rgb(238, 238, 238)"
770       linewidth: 1
771       range: []
772       showgrid: True
773       showline: True
774       showticklabels: True
775       tickcolor: "rgb(238, 238, 238)"
776       title: "Packets Per Second [pps]"
777       zeroline: False
778     boxmode: "group"
779     boxgroupgap: 0.5
780     autosize: False
781     margin:
782       t: 50
783       b: 20
784       l: 50
785       r: 20
786     showlegend: True
787     legend:
788       orientation: "h"
789     width: 700
790     height: 1000
791
792 -
793   type: "plot"
794   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
795   algorithm: "plot_performance_box"
796   output-file-type: ".html"
797   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
798   data:
799     csit-vpp-perf-1710-all:
800     - 2
801     - 5
802   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
803   parameters:
804   - "throughput"
805   - "parent"
806   traces:
807     hoverinfo: "x+y"
808     boxpoints: "outliers"
809     whiskerwidth: 0
810   layout:
811     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
812     xaxis:
813       autorange: True
814       autotick: False
815       fixedrange: False
816       gridcolor: "rgb(238, 238, 238)"
817       linecolor: "rgb(238, 238, 238)"
818       linewidth: 1
819       showgrid: True
820       showline: True
821       showticklabels: True
822       tickcolor: "rgb(238, 238, 238)"
823       tickmode: "linear"
824       title: "Indexed Test Cases"
825       zeroline: False
826     yaxis:
827       gridcolor: "rgb(238, 238, 238)'"
828       hoverformat: ".4s"
829       linecolor: "rgb(238, 238, 238)"
830       linewidth: 1
831       range: []
832       showgrid: True
833       showline: True
834       showticklabels: True
835       tickcolor: "rgb(238, 238, 238)"
836       title: "Packets Per Second [pps]"
837       zeroline: False
838     boxmode: "group"
839     boxgroupgap: 0.5
840     autosize: False
841     margin:
842       t: 50
843       b: 20
844       l: 50
845       r: 20
846     showlegend: True
847     legend:
848       orientation: "h"
849     width: 700
850     height: 1000
851
852 # VPP L2 sel2
853 -
854   type: "plot"
855   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
856   algorithm: "plot_performance_box"
857   output-file-type: ".html"
858   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
859   data:
860     csit-vpp-perf-1710-all:
861     - 2
862     - 5
863   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
864   parameters:
865   - "throughput"
866   - "parent"
867   traces:
868     hoverinfo: "x+y"
869     boxpoints: "outliers"
870     whiskerwidth: 0
871   layout:
872     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
873     xaxis:
874       autorange: True
875       autotick: False
876       fixedrange: False
877       gridcolor: "rgb(238, 238, 238)"
878       linecolor: "rgb(238, 238, 238)"
879       linewidth: 1
880       showgrid: True
881       showline: True
882       showticklabels: True
883       tickcolor: "rgb(238, 238, 238)"
884       tickmode: "linear"
885       title: "Indexed Test Cases"
886       zeroline: False
887     yaxis:
888       gridcolor: "rgb(238, 238, 238)'"
889       hoverformat: ".4s"
890       linecolor: "rgb(238, 238, 238)"
891       linewidth: 1
892       range: [0, 8000000]
893       showgrid: True
894       showline: True
895       showticklabels: True
896       tickcolor: "rgb(238, 238, 238)"
897       title: "Packets Per Second [pps]"
898       zeroline: False
899     boxmode: "group"
900     boxgroupgap: 0.5
901     autosize: False
902     margin:
903       t: 50
904       b: 20
905       l: 50
906       r: 20
907     showlegend: True
908     legend:
909       orientation: "h"
910     width: 700
911     height: 1000
912
913 -
914   type: "plot"
915   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
916   algorithm: "plot_performance_box"
917   output-file-type: ".html"
918   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
919   data:
920     csit-vpp-perf-1710-all:
921     - 2
922     - 5
923   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
924   parameters:
925   - "throughput"
926   - "parent"
927   traces:
928     hoverinfo: "x+y"
929     boxpoints: "outliers"
930     whiskerwidth: 0
931   layout:
932     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
933     xaxis:
934       autorange: True
935       autotick: False
936       fixedrange: False
937       gridcolor: "rgb(238, 238, 238)"
938       linecolor: "rgb(238, 238, 238)"
939       linewidth: 1
940       showgrid: True
941       showline: True
942       showticklabels: True
943       tickcolor: "rgb(238, 238, 238)"
944       tickmode: "linear"
945       title: "Indexed Test Cases"
946       zeroline: False
947     yaxis:
948       gridcolor: "rgb(238, 238, 238)'"
949       hoverformat: ".4s"
950       linecolor: "rgb(238, 238, 238)"
951       linewidth: 1
952       range: [5000000, 12000000]
953       showgrid: True
954       showline: True
955       showticklabels: True
956       tickcolor: "rgb(238, 238, 238)"
957       title: "Packets Per Second [pps]"
958       zeroline: False
959     boxmode: "group"
960     boxgroupgap: 0.5
961     autosize: False
962     margin:
963       t: 50
964       b: 20
965       l: 50
966       r: 20
967     showlegend: True
968     legend:
969       orientation: "h"
970     width: 700
971     height: 1000
972
973 -
974   type: "plot"
975   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
976   algorithm: "plot_performance_box"
977   output-file-type: ".html"
978   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
979   data:
980     csit-vpp-perf-1710-all:
981     - 2
982     - 5
983   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
984   parameters:
985   - "throughput"
986   - "parent"
987   traces:
988     hoverinfo: "x+y"
989     boxpoints: "outliers"
990     whiskerwidth: 0
991   layout:
992     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
993     xaxis:
994       autorange: True
995       autotick: False
996       fixedrange: False
997       gridcolor: "rgb(238, 238, 238)"
998       linecolor: "rgb(238, 238, 238)"
999       linewidth: 1
1000       showgrid: True
1001       showline: True
1002       showticklabels: True
1003       tickcolor: "rgb(238, 238, 238)"
1004       tickmode: "linear"
1005       title: "Indexed Test Cases"
1006       zeroline: False
1007     yaxis:
1008       gridcolor: "rgb(238, 238, 238)'"
1009       hoverformat: ".4s"
1010       linecolor: "rgb(238, 238, 238)"
1011       linewidth: 1
1012       range: [0, 8000000]
1013       showgrid: True
1014       showline: True
1015       showticklabels: True
1016       tickcolor: "rgb(238, 238, 238)"
1017       title: "Packets Per Second [pps]"
1018       zeroline: False
1019     boxmode: "group"
1020     boxgroupgap: 0.5
1021     autosize: False
1022     margin:
1023       t: 50
1024       b: 20
1025       l: 50
1026       r: 20
1027     showlegend: True
1028     legend:
1029       orientation: "h"
1030     width: 700
1031     height: 1000
1032
1033 -
1034   type: "plot"
1035   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1036   algorithm: "plot_performance_box"
1037   output-file-type: ".html"
1038   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1039   data:
1040     csit-vpp-perf-1710-all:
1041     - 2
1042     - 5
1043   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1044   parameters:
1045   - "throughput"
1046   - "parent"
1047   traces:
1048     hoverinfo: "x+y"
1049     boxpoints: "outliers"
1050     whiskerwidth: 0
1051   layout:
1052     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1053     xaxis:
1054       autorange: True
1055       autotick: False
1056       fixedrange: False
1057       gridcolor: "rgb(238, 238, 238)"
1058       linecolor: "rgb(238, 238, 238)"
1059       linewidth: 1
1060       showgrid: True
1061       showline: True
1062       showticklabels: True
1063       tickcolor: "rgb(238, 238, 238)"
1064       tickmode: "linear"
1065       title: "Indexed Test Cases"
1066       zeroline: False
1067     yaxis:
1068       gridcolor: "rgb(238, 238, 238)'"
1069       hoverformat: ".4s"
1070       linecolor: "rgb(238, 238, 238)"
1071       linewidth: 1
1072       range: [5000000, 12000000]
1073       showgrid: True
1074       showline: True
1075       showticklabels: True
1076       tickcolor: "rgb(238, 238, 238)"
1077       title: "Packets Per Second [pps]"
1078       zeroline: False
1079     boxmode: "group"
1080     boxgroupgap: 0.5
1081     autosize: False
1082     margin:
1083       t: 50
1084       b: 20
1085       l: 50
1086       r: 20
1087     showlegend: True
1088     legend:
1089       orientation: "h"
1090     width: 700
1091     height: 1000
1092
1093 # VPP IP4
1094 -
1095   type: "plot"
1096   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1097   algorithm: "plot_performance_box"
1098   output-file-type: ".html"
1099   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1100   data:
1101     csit-vpp-perf-1710-all:
1102     - 2
1103     - 5
1104   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1105   parameters:
1106   - "throughput"
1107   - "parent"
1108   traces:
1109     hoverinfo: "x+y"
1110     boxpoints: "outliers"
1111     whiskerwidth: 0
1112   layout:
1113     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1114     xaxis:
1115       autorange: True
1116       autotick: False
1117       fixedrange: False
1118       gridcolor: "rgb(238, 238, 238)"
1119       linecolor: "rgb(238, 238, 238)"
1120       linewidth: 1
1121       showgrid: True
1122       showline: True
1123       showticklabels: True
1124       tickcolor: "rgb(238, 238, 238)"
1125       tickmode: "linear"
1126       title: "Indexed Test Cases"
1127       zeroline: False
1128     yaxis:
1129       gridcolor: "rgb(238, 238, 238)'"
1130       hoverformat: ".4s"
1131       linecolor: "rgb(238, 238, 238)"
1132       linewidth: 1
1133       range: []
1134       showgrid: True
1135       showline: True
1136       showticklabels: True
1137       tickcolor: "rgb(238, 238, 238)"
1138       title: "Packets Per Second [pps]"
1139       zeroline: False
1140     boxmode: "group"
1141     boxgroupgap: 0.5
1142     autosize: False
1143     margin:
1144       t: 50
1145       b: 20
1146       l: 50
1147       r: 20
1148     showlegend: True
1149     legend:
1150       orientation: "h"
1151     width: 700
1152     height: 1000
1153
1154 -
1155   type: "plot"
1156   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1157   algorithm: "plot_performance_box"
1158   output-file-type: ".html"
1159   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1160   data:
1161     csit-vpp-perf-1710-all:
1162     - 2
1163     - 5
1164   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1165   parameters:
1166   - "throughput"
1167   - "parent"
1168   traces:
1169     hoverinfo: "x+y"
1170     boxpoints: "outliers"
1171     whiskerwidth: 0
1172   layout:
1173     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1174     xaxis:
1175       autorange: True
1176       autotick: False
1177       fixedrange: False
1178       gridcolor: "rgb(238, 238, 238)"
1179       linecolor: "rgb(238, 238, 238)"
1180       linewidth: 1
1181       showgrid: True
1182       showline: True
1183       showticklabels: True
1184       tickcolor: "rgb(238, 238, 238)"
1185       tickmode: "linear"
1186       title: "Indexed Test Cases"
1187       zeroline: False
1188     yaxis:
1189       gridcolor: "rgb(238, 238, 238)'"
1190       hoverformat: ".4s"
1191       linecolor: "rgb(238, 238, 238)"
1192       linewidth: 1
1193       range: []
1194       showgrid: True
1195       showline: True
1196       showticklabels: True
1197       tickcolor: "rgb(238, 238, 238)"
1198       title: "Packets Per Second [pps]"
1199       zeroline: False
1200     boxmode: "group"
1201     boxgroupgap: 0.5
1202     autosize: False
1203     margin:
1204       t: 50
1205       b: 20
1206       l: 50
1207       r: 20
1208     showlegend: True
1209     legend:
1210       orientation: "h"
1211     width: 700
1212     height: 1000
1213
1214 -
1215   type: "plot"
1216   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1217   algorithm: "plot_performance_box"
1218   output-file-type: ".html"
1219   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1220   data:
1221     csit-vpp-perf-1710-all:
1222     - 2
1223     - 5
1224   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1225   parameters:
1226   - "throughput"
1227   - "parent"
1228   traces:
1229     hoverinfo: "x+y"
1230     boxpoints: "outliers"
1231     whiskerwidth: 0
1232   layout:
1233     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1234     xaxis:
1235       autorange: True
1236       autotick: False
1237       fixedrange: False
1238       gridcolor: "rgb(238, 238, 238)"
1239       linecolor: "rgb(238, 238, 238)"
1240       linewidth: 1
1241       showgrid: True
1242       showline: True
1243       showticklabels: True
1244       tickcolor: "rgb(238, 238, 238)"
1245       tickmode: "linear"
1246       title: "Indexed Test Cases"
1247       zeroline: False
1248     yaxis:
1249       gridcolor: "rgb(238, 238, 238)'"
1250       hoverformat: ".4s"
1251       linecolor: "rgb(238, 238, 238)"
1252       linewidth: 1
1253       range: []
1254       showgrid: True
1255       showline: True
1256       showticklabels: True
1257       tickcolor: "rgb(238, 238, 238)"
1258       title: "Packets Per Second [pps]"
1259       zeroline: False
1260     boxmode: "group"
1261     boxgroupgap: 0.5
1262     autosize: False
1263     margin:
1264       t: 50
1265       b: 20
1266       l: 50
1267       r: 20
1268     showlegend: True
1269     legend:
1270       orientation: "h"
1271     width: 700
1272     height: 1000
1273
1274 -
1275   type: "plot"
1276   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1277   algorithm: "plot_performance_box"
1278   output-file-type: ".html"
1279   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1280   data:
1281     csit-vpp-perf-1710-all:
1282     - 2
1283     - 5
1284   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1285   parameters:
1286   - "throughput"
1287   - "parent"
1288   traces:
1289     hoverinfo: "x+y"
1290     boxpoints: "outliers"
1291     whiskerwidth: 0
1292   layout:
1293     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1294     xaxis:
1295       autorange: True
1296       autotick: False
1297       fixedrange: False
1298       gridcolor: "rgb(238, 238, 238)"
1299       linecolor: "rgb(238, 238, 238)"
1300       linewidth: 1
1301       showgrid: True
1302       showline: True
1303       showticklabels: True
1304       tickcolor: "rgb(238, 238, 238)"
1305       tickmode: "linear"
1306       title: "Indexed Test Cases"
1307       zeroline: False
1308     yaxis:
1309       gridcolor: "rgb(238, 238, 238)'"
1310       hoverformat: ".4s"
1311       linecolor: "rgb(238, 238, 238)"
1312       linewidth: 1
1313       range: []
1314       showgrid: True
1315       showline: True
1316       showticklabels: True
1317       tickcolor: "rgb(238, 238, 238)"
1318       title: "Packets Per Second [pps]"
1319       zeroline: False
1320     boxmode: "group"
1321     boxgroupgap: 0.5
1322     autosize: False
1323     margin:
1324       t: 50
1325       b: 20
1326       l: 50
1327       r: 20
1328     showlegend: True
1329     legend:
1330       orientation: "h"
1331     width: 700
1332     height: 1000
1333
1334 # VPP IP6
1335 -
1336   type: "plot"
1337   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1338   algorithm: "plot_performance_box"
1339   output-file-type: ".html"
1340   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1341   data:
1342     csit-vpp-perf-1710-all:
1343     - 2
1344     - 5
1345   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1346   parameters:
1347   - "throughput"
1348   - "parent"
1349   traces:
1350     hoverinfo: "x+y"
1351     boxpoints: "outliers"
1352     whiskerwidth: 0
1353   layout:
1354     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1355     xaxis:
1356       autorange: True
1357       autotick: False
1358       fixedrange: False
1359       gridcolor: "rgb(238, 238, 238)"
1360       linecolor: "rgb(238, 238, 238)"
1361       linewidth: 1
1362       showgrid: True
1363       showline: True
1364       showticklabels: True
1365       tickcolor: "rgb(238, 238, 238)"
1366       tickmode: "linear"
1367       title: "Indexed Test Cases"
1368       zeroline: False
1369     yaxis:
1370       gridcolor: "rgb(238, 238, 238)'"
1371       hoverformat: ".4s"
1372       linecolor: "rgb(238, 238, 238)"
1373       linewidth: 1
1374       range: []
1375       showgrid: True
1376       showline: True
1377       showticklabels: True
1378       tickcolor: "rgb(238, 238, 238)"
1379       title: "Packets Per Second [pps]"
1380       zeroline: False
1381     boxmode: "group"
1382     boxgroupgap: 0.5
1383     autosize: False
1384     margin:
1385       t: 50
1386       b: 20
1387       l: 50
1388       r: 20
1389     showlegend: True
1390     legend:
1391       orientation: "h"
1392     width: 700
1393     height: 1000
1394
1395 -
1396   type: "plot"
1397   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1398   algorithm: "plot_performance_box"
1399   output-file-type: ".html"
1400   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1401   data:
1402     csit-vpp-perf-1710-all:
1403     - 2
1404     - 5
1405   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1406   parameters:
1407   - "throughput"
1408   - "parent"
1409   traces:
1410     hoverinfo: "x+y"
1411     boxpoints: "outliers"
1412     whiskerwidth: 0
1413   layout:
1414     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1415     xaxis:
1416       autorange: True
1417       autotick: False
1418       fixedrange: False
1419       gridcolor: "rgb(238, 238, 238)"
1420       linecolor: "rgb(238, 238, 238)"
1421       linewidth: 1
1422       showgrid: True
1423       showline: True
1424       showticklabels: True
1425       tickcolor: "rgb(238, 238, 238)"
1426       tickmode: "linear"
1427       title: "Indexed Test Cases"
1428       zeroline: False
1429     yaxis:
1430       gridcolor: "rgb(238, 238, 238)'"
1431       hoverformat: ".4s"
1432       linecolor: "rgb(238, 238, 238)"
1433       linewidth: 1
1434       range: []
1435       showgrid: True
1436       showline: True
1437       showticklabels: True
1438       tickcolor: "rgb(238, 238, 238)"
1439       title: "Packets Per Second [pps]"
1440       zeroline: False
1441     boxmode: "group"
1442     boxgroupgap: 0.5
1443     autosize: False
1444     margin:
1445       t: 50
1446       b: 20
1447       l: 50
1448       r: 20
1449     showlegend: True
1450     legend:
1451       orientation: "h"
1452     width: 700
1453     height: 1000
1454
1455 -
1456   type: "plot"
1457   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1458   algorithm: "plot_performance_box"
1459   output-file-type: ".html"
1460   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1461   data:
1462     csit-vpp-perf-1710-all:
1463     - 2
1464     - 5
1465   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1466   parameters:
1467   - "throughput"
1468   - "parent"
1469   traces:
1470     hoverinfo: "x+y"
1471     boxpoints: "outliers"
1472     whiskerwidth: 0
1473   layout:
1474     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1475     xaxis:
1476       autorange: True
1477       autotick: False
1478       fixedrange: False
1479       gridcolor: "rgb(238, 238, 238)"
1480       linecolor: "rgb(238, 238, 238)"
1481       linewidth: 1
1482       showgrid: True
1483       showline: True
1484       showticklabels: True
1485       tickcolor: "rgb(238, 238, 238)"
1486       tickmode: "linear"
1487       title: "Indexed Test Cases"
1488       zeroline: False
1489     yaxis:
1490       gridcolor: "rgb(238, 238, 238)'"
1491       hoverformat: ".4s"
1492       linecolor: "rgb(238, 238, 238)"
1493       linewidth: 1
1494       range: []
1495       showgrid: True
1496       showline: True
1497       showticklabels: True
1498       tickcolor: "rgb(238, 238, 238)"
1499       title: "Packets Per Second [pps]"
1500       zeroline: False
1501     boxmode: "group"
1502     boxgroupgap: 0.5
1503     autosize: False
1504     margin:
1505       t: 50
1506       b: 20
1507       l: 50
1508       r: 20
1509     showlegend: True
1510     legend:
1511       orientation: "h"
1512     width: 700
1513     height: 1000
1514
1515 -
1516   type: "plot"
1517   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1518   algorithm: "plot_performance_box"
1519   output-file-type: ".html"
1520   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1521   data:
1522     csit-vpp-perf-1710-all:
1523     - 2
1524     - 5
1525   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1526   parameters:
1527   - "throughput"
1528   - "parent"
1529   traces:
1530     hoverinfo: "x+y"
1531     boxpoints: "outliers"
1532     whiskerwidth: 0
1533   layout:
1534     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1535     xaxis:
1536       autorange: True
1537       autotick: False
1538       fixedrange: False
1539       gridcolor: "rgb(238, 238, 238)"
1540       linecolor: "rgb(238, 238, 238)"
1541       linewidth: 1
1542       showgrid: True
1543       showline: True
1544       showticklabels: True
1545       tickcolor: "rgb(238, 238, 238)"
1546       tickmode: "linear"
1547       title: "Indexed Test Cases"
1548       zeroline: False
1549     yaxis:
1550       gridcolor: "rgb(238, 238, 238)'"
1551       hoverformat: ".4s"
1552       linecolor: "rgb(238, 238, 238)"
1553       linewidth: 1
1554       range: []
1555       showgrid: True
1556       showline: True
1557       showticklabels: True
1558       tickcolor: "rgb(238, 238, 238)"
1559       title: "Packets Per Second [pps]"
1560       zeroline: False
1561     boxmode: "group"
1562     boxgroupgap: 0.5
1563     autosize: False
1564     margin:
1565       t: 50
1566       b: 20
1567       l: 50
1568       r: 20
1569     showlegend: True
1570     legend:
1571       orientation: "h"
1572     width: 700
1573     height: 1000
1574
1575 # VPP IP4_overlay
1576 -
1577   type: "plot"
1578   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1579   algorithm: "plot_performance_box"
1580   output-file-type: ".html"
1581   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1582   data:
1583     csit-vpp-perf-1710-all:
1584     - 2
1585     - 5
1586   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1587   parameters:
1588   - "throughput"
1589   - "parent"
1590   traces:
1591     hoverinfo: "x+y"
1592     boxpoints: "outliers"
1593     whiskerwidth: 0
1594   layout:
1595     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1596     xaxis:
1597       autorange: True
1598       autotick: False
1599       fixedrange: False
1600       gridcolor: "rgb(238, 238, 238)"
1601       linecolor: "rgb(238, 238, 238)"
1602       linewidth: 1
1603       showgrid: True
1604       showline: True
1605       showticklabels: True
1606       tickcolor: "rgb(238, 238, 238)"
1607       tickmode: "linear"
1608       title: "Indexed Test Cases"
1609       zeroline: False
1610     yaxis:
1611       gridcolor: "rgb(238, 238, 238)'"
1612       hoverformat: ".4s"
1613       linecolor: "rgb(238, 238, 238)"
1614       linewidth: 1
1615       range: []
1616       showgrid: True
1617       showline: True
1618       showticklabels: True
1619       tickcolor: "rgb(238, 238, 238)"
1620       title: "Packets Per Second [pps]"
1621       zeroline: False
1622     boxmode: "group"
1623     boxgroupgap: 0.5
1624     autosize: False
1625     margin:
1626       t: 50
1627       b: 20
1628       l: 50
1629       r: 20
1630     showlegend: True
1631     legend:
1632       orientation: "h"
1633     width: 700
1634     height: 1000
1635
1636 -
1637   type: "plot"
1638   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1639   algorithm: "plot_performance_box"
1640   output-file-type: ".html"
1641   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1642   data:
1643     csit-vpp-perf-1710-all:
1644     - 2
1645     - 5
1646   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1647   parameters:
1648   - "throughput"
1649   - "parent"
1650   traces:
1651     hoverinfo: "x+y"
1652     boxpoints: "outliers"
1653     whiskerwidth: 0
1654   layout:
1655     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1656     xaxis:
1657       autorange: True
1658       autotick: False
1659       fixedrange: False
1660       gridcolor: "rgb(238, 238, 238)"
1661       linecolor: "rgb(238, 238, 238)"
1662       linewidth: 1
1663       showgrid: True
1664       showline: True
1665       showticklabels: True
1666       tickcolor: "rgb(238, 238, 238)"
1667       tickmode: "linear"
1668       title: "Indexed Test Cases"
1669       zeroline: False
1670     yaxis:
1671       gridcolor: "rgb(238, 238, 238)'"
1672       hoverformat: ".4s"
1673       linecolor: "rgb(238, 238, 238)"
1674       linewidth: 1
1675       range: []
1676       showgrid: True
1677       showline: True
1678       showticklabels: True
1679       tickcolor: "rgb(238, 238, 238)"
1680       title: "Packets Per Second [pps]"
1681       zeroline: False
1682     boxmode: "group"
1683     boxgroupgap: 0.5
1684     autosize: False
1685     margin:
1686       t: 50
1687       b: 20
1688       l: 50
1689       r: 20
1690     showlegend: True
1691     legend:
1692       orientation: "h"
1693     width: 700
1694     height: 1000
1695
1696 -
1697   type: "plot"
1698   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1699   algorithm: "plot_performance_box"
1700   output-file-type: ".html"
1701   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1702   data:
1703     csit-vpp-perf-1710-all:
1704     - 2
1705     - 5
1706   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1707   parameters:
1708   - "throughput"
1709   - "parent"
1710   traces:
1711     hoverinfo: "x+y"
1712     boxpoints: "outliers"
1713     whiskerwidth: 0
1714   layout:
1715     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1716     xaxis:
1717       autorange: True
1718       autotick: False
1719       fixedrange: False
1720       gridcolor: "rgb(238, 238, 238)"
1721       linecolor: "rgb(238, 238, 238)"
1722       linewidth: 1
1723       showgrid: True
1724       showline: True
1725       showticklabels: True
1726       tickcolor: "rgb(238, 238, 238)"
1727       tickmode: "linear"
1728       title: "Indexed Test Cases"
1729       zeroline: False
1730     yaxis:
1731       gridcolor: "rgb(238, 238, 238)'"
1732       hoverformat: ".4s"
1733       linecolor: "rgb(238, 238, 238)"
1734       linewidth: 1
1735       range: []
1736       showgrid: True
1737       showline: True
1738       showticklabels: True
1739       tickcolor: "rgb(238, 238, 238)"
1740       title: "Packets Per Second [pps]"
1741       zeroline: False
1742     boxmode: "group"
1743     boxgroupgap: 0.5
1744     autosize: False
1745     margin:
1746       t: 50
1747       b: 20
1748       l: 50
1749       r: 20
1750     showlegend: True
1751     legend:
1752       orientation: "h"
1753     width: 700
1754     height: 1000
1755
1756 -
1757   type: "plot"
1758   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1759   algorithm: "plot_performance_box"
1760   output-file-type: ".html"
1761   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1762   data:
1763     csit-vpp-perf-1710-all:
1764     - 2
1765     - 5
1766   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1767   parameters:
1768   - "throughput"
1769   - "parent"
1770   traces:
1771     hoverinfo: "x+y"
1772     boxpoints: "outliers"
1773     whiskerwidth: 0
1774   layout:
1775     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1776     xaxis:
1777       autorange: True
1778       autotick: False
1779       fixedrange: False
1780       gridcolor: "rgb(238, 238, 238)"
1781       linecolor: "rgb(238, 238, 238)"
1782       linewidth: 1
1783       showgrid: True
1784       showline: True
1785       showticklabels: True
1786       tickcolor: "rgb(238, 238, 238)"
1787       tickmode: "linear"
1788       title: "Indexed Test Cases"
1789       zeroline: False
1790     yaxis:
1791       gridcolor: "rgb(238, 238, 238)'"
1792       hoverformat: ".4s"
1793       linecolor: "rgb(238, 238, 238)"
1794       linewidth: 1
1795       range: []
1796       showgrid: True
1797       showline: True
1798       showticklabels: True
1799       tickcolor: "rgb(238, 238, 238)"
1800       title: "Packets Per Second [pps]"
1801       zeroline: False
1802     boxmode: "group"
1803     boxgroupgap: 0.5
1804     autosize: False
1805     margin:
1806       t: 50
1807       b: 20
1808       l: 50
1809       r: 20
1810     showlegend: True
1811     legend:
1812       orientation: "h"
1813     width: 700
1814     height: 1000
1815
1816 # VPP IP6_overlay
1817 -
1818   type: "plot"
1819   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1820   algorithm: "plot_performance_box"
1821   output-file-type: ".html"
1822   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1823   data:
1824     csit-vpp-perf-1710-all:
1825     - 2
1826     - 5
1827   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1828   parameters:
1829   - "throughput"
1830   - "parent"
1831   traces:
1832     hoverinfo: "x+y"
1833     boxpoints: "outliers"
1834     whiskerwidth: 0
1835   layout:
1836     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1837     xaxis:
1838       autorange: True
1839       autotick: False
1840       fixedrange: False
1841       gridcolor: "rgb(238, 238, 238)"
1842       linecolor: "rgb(238, 238, 238)"
1843       linewidth: 1
1844       showgrid: True
1845       showline: True
1846       showticklabels: True
1847       tickcolor: "rgb(238, 238, 238)"
1848       tickmode: "linear"
1849       title: "Indexed Test Cases"
1850       zeroline: False
1851     yaxis:
1852       gridcolor: "rgb(238, 238, 238)'"
1853       hoverformat: ".4s"
1854       linecolor: "rgb(238, 238, 238)"
1855       linewidth: 1
1856       range: []
1857       showgrid: True
1858       showline: True
1859       showticklabels: True
1860       tickcolor: "rgb(238, 238, 238)"
1861       title: "Packets Per Second [pps]"
1862       zeroline: False
1863     boxmode: "group"
1864     boxgroupgap: 0.5
1865     autosize: False
1866     margin:
1867       t: 50
1868       b: 20
1869       l: 50
1870       r: 20
1871     showlegend: True
1872     legend:
1873       orientation: "h"
1874     width: 700
1875     height: 1000
1876
1877 -
1878   type: "plot"
1879   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1880   algorithm: "plot_performance_box"
1881   output-file-type: ".html"
1882   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1883   data:
1884     csit-vpp-perf-1710-all:
1885     - 2
1886     - 5
1887   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1888   parameters:
1889   - "throughput"
1890   - "parent"
1891   traces:
1892     hoverinfo: "x+y"
1893     boxpoints: "outliers"
1894     whiskerwidth: 0
1895   layout:
1896     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1897     xaxis:
1898       autorange: True
1899       autotick: False
1900       fixedrange: False
1901       gridcolor: "rgb(238, 238, 238)"
1902       linecolor: "rgb(238, 238, 238)"
1903       linewidth: 1
1904       showgrid: True
1905       showline: True
1906       showticklabels: True
1907       tickcolor: "rgb(238, 238, 238)"
1908       tickmode: "linear"
1909       title: "Indexed Test Cases"
1910       zeroline: False
1911     yaxis:
1912       gridcolor: "rgb(238, 238, 238)'"
1913       hoverformat: ".4s"
1914       linecolor: "rgb(238, 238, 238)"
1915       linewidth: 1
1916       range: []
1917       showgrid: True
1918       showline: True
1919       showticklabels: True
1920       tickcolor: "rgb(238, 238, 238)"
1921       title: "Packets Per Second [pps]"
1922       zeroline: False
1923     boxmode: "group"
1924     boxgroupgap: 0.5
1925     autosize: False
1926     margin:
1927       t: 50
1928       b: 20
1929       l: 50
1930       r: 20
1931     showlegend: True
1932     legend:
1933       orientation: "h"
1934     width: 700
1935     height: 1000
1936
1937 -
1938   type: "plot"
1939   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1940   algorithm: "plot_performance_box"
1941   output-file-type: ".html"
1942   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1943   data:
1944     csit-vpp-perf-1710-all:
1945     - 2
1946     - 5
1947   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1948   parameters:
1949   - "throughput"
1950   - "parent"
1951   traces:
1952     hoverinfo: "x+y"
1953     boxpoints: "outliers"
1954     whiskerwidth: 0
1955   layout:
1956     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1957     xaxis:
1958       autorange: True
1959       autotick: False
1960       fixedrange: False
1961       gridcolor: "rgb(238, 238, 238)"
1962       linecolor: "rgb(238, 238, 238)"
1963       linewidth: 1
1964       showgrid: True
1965       showline: True
1966       showticklabels: True
1967       tickcolor: "rgb(238, 238, 238)"
1968       tickmode: "linear"
1969       title: "Indexed Test Cases"
1970       zeroline: False
1971     yaxis:
1972       gridcolor: "rgb(238, 238, 238)'"
1973       hoverformat: ".4s"
1974       linecolor: "rgb(238, 238, 238)"
1975       linewidth: 1
1976       range: []
1977       showgrid: True
1978       showline: True
1979       showticklabels: True
1980       tickcolor: "rgb(238, 238, 238)"
1981       title: "Packets Per Second [pps]"
1982       zeroline: False
1983     boxmode: "group"
1984     boxgroupgap: 0.5
1985     autosize: False
1986     margin:
1987       t: 50
1988       b: 20
1989       l: 50
1990       r: 20
1991     showlegend: True
1992     legend:
1993       orientation: "h"
1994     width: 700
1995     height: 1000
1996
1997 -
1998   type: "plot"
1999   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2000   algorithm: "plot_performance_box"
2001   output-file-type: ".html"
2002   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2003   data:
2004     csit-vpp-perf-1710-all:
2005     - 2
2006     - 5
2007   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2008   parameters:
2009   - "throughput"
2010   - "parent"
2011   traces:
2012     hoverinfo: "x+y"
2013     boxpoints: "outliers"
2014     whiskerwidth: 0
2015   layout:
2016     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2017     xaxis:
2018       autorange: True
2019       autotick: False
2020       fixedrange: False
2021       gridcolor: "rgb(238, 238, 238)"
2022       linecolor: "rgb(238, 238, 238)"
2023       linewidth: 1
2024       showgrid: True
2025       showline: True
2026       showticklabels: True
2027       tickcolor: "rgb(238, 238, 238)"
2028       tickmode: "linear"
2029       title: "Indexed Test Cases"
2030       zeroline: False
2031     yaxis:
2032       gridcolor: "rgb(238, 238, 238)'"
2033       hoverformat: ".4s"
2034       linecolor: "rgb(238, 238, 238)"
2035       linewidth: 1
2036       range: []
2037       showgrid: True
2038       showline: True
2039       showticklabels: True
2040       tickcolor: "rgb(238, 238, 238)"
2041       title: "Packets Per Second [pps]"
2042       zeroline: False
2043     boxmode: "group"
2044     boxgroupgap: 0.5
2045     autosize: False
2046     margin:
2047       t: 50
2048       b: 20
2049       l: 50
2050       r: 20
2051     showlegend: True
2052     legend:
2053       orientation: "h"
2054     width: 700
2055     height: 1000
2056
2057 # VPP VM VHOST
2058 -
2059   type: "plot"
2060   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2061   algorithm: "plot_performance_box"
2062   output-file-type: ".html"
2063   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2064   data:
2065     csit-vpp-perf-1710-all:
2066     - 2
2067     - 5
2068   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2069   parameters:
2070   - "throughput"
2071   - "parent"
2072   traces:
2073     hoverinfo: "x+y"
2074     boxpoints: "outliers"
2075     whiskerwidth: 0
2076   layout:
2077     title: "64B-1t1c-.*vhost.*-ndrdisc"
2078     xaxis:
2079       autorange: True
2080       autotick: False
2081       fixedrange: False
2082       gridcolor: "rgb(238, 238, 238)"
2083       linecolor: "rgb(238, 238, 238)"
2084       linewidth: 1
2085       showgrid: True
2086       showline: True
2087       showticklabels: True
2088       tickcolor: "rgb(238, 238, 238)"
2089       tickmode: "linear"
2090       title: "Indexed Test Cases"
2091       zeroline: False
2092     yaxis:
2093       gridcolor: "rgb(238, 238, 238)'"
2094       hoverformat: ".4s"
2095       linecolor: "rgb(238, 238, 238)"
2096       linewidth: 1
2097       range: []
2098       showgrid: True
2099       showline: True
2100       showticklabels: True
2101       tickcolor: "rgb(238, 238, 238)"
2102       title: "Packets Per Second [pps]"
2103       zeroline: False
2104     boxmode: "group"
2105     boxgroupgap: 0.5
2106     autosize: False
2107     margin:
2108       t: 50
2109       b: 20
2110       l: 50
2111       r: 20
2112     showlegend: True
2113     legend:
2114       orientation: "h"
2115     width: 700
2116     height: 1000
2117
2118 -
2119   type: "plot"
2120   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2121   algorithm: "plot_performance_box"
2122   output-file-type: ".html"
2123   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2124   data:
2125     csit-vpp-perf-1710-all:
2126     - 2
2127     - 5
2128   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2129   parameters:
2130   - "throughput"
2131   - "parent"
2132   traces:
2133     hoverinfo: "x+y"
2134     boxpoints: "outliers"
2135     whiskerwidth: 0
2136   layout:
2137     title: "64B-2t2c-.*vhost.*-ndrdisc"
2138     xaxis:
2139       autorange: True
2140       autotick: False
2141       fixedrange: False
2142       gridcolor: "rgb(238, 238, 238)"
2143       linecolor: "rgb(238, 238, 238)"
2144       linewidth: 1
2145       showgrid: True
2146       showline: True
2147       showticklabels: True
2148       tickcolor: "rgb(238, 238, 238)"
2149       tickmode: "linear"
2150       title: "Indexed Test Cases"
2151       zeroline: False
2152     yaxis:
2153       gridcolor: "rgb(238, 238, 238)'"
2154       hoverformat: ".4s"
2155       linecolor: "rgb(238, 238, 238)"
2156       linewidth: 1
2157       range: []
2158       showgrid: True
2159       showline: True
2160       showticklabels: True
2161       tickcolor: "rgb(238, 238, 238)"
2162       title: "Packets Per Second [pps]"
2163       zeroline: False
2164     boxmode: "group"
2165     boxgroupgap: 0.5
2166     autosize: False
2167     margin:
2168       t: 50
2169       b: 20
2170       l: 50
2171       r: 20
2172     showlegend: True
2173     legend:
2174       orientation: "h"
2175     width: 700
2176     height: 1000
2177
2178 -
2179   type: "plot"
2180   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2181   algorithm: "plot_performance_box"
2182   output-file-type: ".html"
2183   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2184   data:
2185     csit-vpp-perf-1710-all:
2186     - 2
2187     - 5
2188   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2189   parameters:
2190   - "throughput"
2191   - "parent"
2192   traces:
2193     hoverinfo: "x+y"
2194     boxpoints: "outliers"
2195     whiskerwidth: 0
2196   layout:
2197     title: "64B-1t1c-.*vhost.*-pdrdisc"
2198     xaxis:
2199       autorange: True
2200       autotick: False
2201       fixedrange: False
2202       gridcolor: "rgb(238, 238, 238)"
2203       linecolor: "rgb(238, 238, 238)"
2204       linewidth: 1
2205       showgrid: True
2206       showline: True
2207       showticklabels: True
2208       tickcolor: "rgb(238, 238, 238)"
2209       tickmode: "linear"
2210       title: "Indexed Test Cases"
2211       zeroline: False
2212     yaxis:
2213       gridcolor: "rgb(238, 238, 238)'"
2214       hoverformat: ".4s"
2215       linecolor: "rgb(238, 238, 238)"
2216       linewidth: 1
2217       range: []
2218       showgrid: True
2219       showline: True
2220       showticklabels: True
2221       tickcolor: "rgb(238, 238, 238)"
2222       title: "Packets Per Second [pps]"
2223       zeroline: False
2224     boxmode: "group"
2225     boxgroupgap: 0.5
2226     autosize: False
2227     margin:
2228       t: 50
2229       b: 20
2230       l: 50
2231       r: 20
2232     showlegend: True
2233     legend:
2234       orientation: "h"
2235     width: 700
2236     height: 1000
2237
2238 -
2239   type: "plot"
2240   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2241   algorithm: "plot_performance_box"
2242   output-file-type: ".html"
2243   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2244   data:
2245     csit-vpp-perf-1710-all:
2246     - 2
2247     - 5
2248   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2249   parameters:
2250   - "throughput"
2251   - "parent"
2252   traces:
2253     hoverinfo: "x+y"
2254     boxpoints: "outliers"
2255     whiskerwidth: 0
2256   layout:
2257     title: "64B-2t2c-.*vhost.*-pdrdisc"
2258     xaxis:
2259       autorange: True
2260       autotick: False
2261       fixedrange: False
2262       gridcolor: "rgb(238, 238, 238)"
2263       linecolor: "rgb(238, 238, 238)"
2264       linewidth: 1
2265       showgrid: True
2266       showline: True
2267       showticklabels: True
2268       tickcolor: "rgb(238, 238, 238)"
2269       tickmode: "linear"
2270       title: "Indexed Test Cases"
2271       zeroline: False
2272     yaxis:
2273       gridcolor: "rgb(238, 238, 238)'"
2274       hoverformat: ".4s"
2275       linecolor: "rgb(238, 238, 238)"
2276       linewidth: 1
2277       range: []
2278       showgrid: True
2279       showline: True
2280       showticklabels: True
2281       tickcolor: "rgb(238, 238, 238)"
2282       title: "Packets Per Second [pps]"
2283       zeroline: False
2284     boxmode: "group"
2285     boxgroupgap: 0.5
2286     autosize: False
2287     margin:
2288       t: 50
2289       b: 20
2290       l: 50
2291       r: 20
2292     showlegend: True
2293     legend:
2294       orientation: "h"
2295     width: 700
2296     height: 1000
2297
2298 # VPP VM VHOST SELECTION
2299 -
2300   type: "plot"
2301   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2302   algorithm: "plot_performance_box"
2303   output-file-type: ".html"
2304   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2305   data:
2306     csit-vpp-perf-1710-all:
2307     - 2
2308     - 5
2309   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2310   parameters:
2311   - "throughput"
2312   - "parent"
2313   traces:
2314     hoverinfo: "x+y"
2315     boxpoints: "outliers"
2316     whiskerwidth: 0
2317   layout:
2318     title: "64B-1t1c-.*vhost.*-ndrdisc"
2319     xaxis:
2320       autorange: True
2321       autotick: False
2322       fixedrange: False
2323       gridcolor: "rgb(238, 238, 238)"
2324       linecolor: "rgb(238, 238, 238)"
2325       linewidth: 1
2326       showgrid: True
2327       showline: True
2328       showticklabels: True
2329       tickcolor: "rgb(238, 238, 238)"
2330       tickmode: "linear"
2331       title: "Indexed Test Cases"
2332       zeroline: False
2333     yaxis:
2334       gridcolor: "rgb(238, 238, 238)'"
2335       hoverformat: ".4s"
2336       linecolor: "rgb(238, 238, 238)"
2337       linewidth: 1
2338       range: []
2339       showgrid: True
2340       showline: True
2341       showticklabels: True
2342       tickcolor: "rgb(238, 238, 238)"
2343       title: "Packets Per Second [pps]"
2344       zeroline: False
2345     boxmode: "group"
2346     boxgroupgap: 0.5
2347     autosize: False
2348     margin:
2349       t: 50
2350       b: 20
2351       l: 50
2352       r: 20
2353     showlegend: True
2354     legend:
2355       orientation: "h"
2356     width: 700
2357     height: 1000
2358
2359 -
2360   type: "plot"
2361   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2362   algorithm: "plot_performance_box"
2363   output-file-type: ".html"
2364   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2365   data:
2366     csit-vpp-perf-1710-all:
2367     - 2
2368     - 5
2369   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2370   parameters:
2371   - "throughput"
2372   - "parent"
2373   traces:
2374     hoverinfo: "x+y"
2375     boxpoints: "outliers"
2376     whiskerwidth: 0
2377   layout:
2378     title: "64B-2t2c-.*vhost.*-ndrdisc"
2379     xaxis:
2380       autorange: True
2381       autotick: False
2382       fixedrange: False
2383       gridcolor: "rgb(238, 238, 238)"
2384       linecolor: "rgb(238, 238, 238)"
2385       linewidth: 1
2386       showgrid: True
2387       showline: True
2388       showticklabels: True
2389       tickcolor: "rgb(238, 238, 238)"
2390       tickmode: "linear"
2391       title: "Indexed Test Cases"
2392       zeroline: False
2393     yaxis:
2394       gridcolor: "rgb(238, 238, 238)'"
2395       hoverformat: ".4s"
2396       linecolor: "rgb(238, 238, 238)"
2397       linewidth: 1
2398       range: []
2399       showgrid: True
2400       showline: True
2401       showticklabels: True
2402       tickcolor: "rgb(238, 238, 238)"
2403       title: "Packets Per Second [pps]"
2404       zeroline: False
2405     boxmode: "group"
2406     boxgroupgap: 0.5
2407     autosize: False
2408     margin:
2409       t: 50
2410       b: 20
2411       l: 50
2412       r: 20
2413     showlegend: True
2414     legend:
2415       orientation: "h"
2416     width: 700
2417     height: 1000
2418
2419 -
2420   type: "plot"
2421   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2422   algorithm: "plot_performance_box"
2423   output-file-type: ".html"
2424   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2425   data:
2426     csit-vpp-perf-1710-all:
2427     - 2
2428     - 5
2429   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2430   parameters:
2431   - "throughput"
2432   - "parent"
2433   traces:
2434     hoverinfo: "x+y"
2435     boxpoints: "outliers"
2436     whiskerwidth: 0
2437   layout:
2438     title: "64B-1t1c-.*vhost.*-pdrdisc"
2439     xaxis:
2440       autorange: True
2441       autotick: False
2442       fixedrange: False
2443       gridcolor: "rgb(238, 238, 238)"
2444       linecolor: "rgb(238, 238, 238)"
2445       linewidth: 1
2446       showgrid: True
2447       showline: True
2448       showticklabels: True
2449       tickcolor: "rgb(238, 238, 238)"
2450       tickmode: "linear"
2451       title: "Indexed Test Cases"
2452       zeroline: False
2453     yaxis:
2454       gridcolor: "rgb(238, 238, 238)'"
2455       hoverformat: ".4s"
2456       linecolor: "rgb(238, 238, 238)"
2457       linewidth: 1
2458       range: []
2459       showgrid: True
2460       showline: True
2461       showticklabels: True
2462       tickcolor: "rgb(238, 238, 238)"
2463       title: "Packets Per Second [pps]"
2464       zeroline: False
2465     boxmode: "group"
2466     boxgroupgap: 0.5
2467     autosize: False
2468     margin:
2469       t: 50
2470       b: 20
2471       l: 50
2472       r: 20
2473     showlegend: True
2474     legend:
2475       orientation: "h"
2476     width: 700
2477     height: 1000
2478
2479 -
2480   type: "plot"
2481   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2482   algorithm: "plot_performance_box"
2483   output-file-type: ".html"
2484   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2485   data:
2486     csit-vpp-perf-1710-all:
2487     - 2
2488     - 5
2489   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2490   parameters:
2491   - "throughput"
2492   - "parent"
2493   traces:
2494     hoverinfo: "x+y"
2495     boxpoints: "outliers"
2496     whiskerwidth: 0
2497   layout:
2498     title: "64B-2t2c-.*vhost.*-pdrdisc"
2499     xaxis:
2500       autorange: True
2501       autotick: False
2502       fixedrange: False
2503       gridcolor: "rgb(238, 238, 238)"
2504       linecolor: "rgb(238, 238, 238)"
2505       linewidth: 1
2506       showgrid: True
2507       showline: True
2508       showticklabels: True
2509       tickcolor: "rgb(238, 238, 238)"
2510       tickmode: "linear"
2511       title: "Indexed Test Cases"
2512       zeroline: False
2513     yaxis:
2514       gridcolor: "rgb(238, 238, 238)'"
2515       hoverformat: ".4s"
2516       linecolor: "rgb(238, 238, 238)"
2517       linewidth: 1
2518       range: []
2519       showgrid: True
2520       showline: True
2521       showticklabels: True
2522       tickcolor: "rgb(238, 238, 238)"
2523       title: "Packets Per Second [pps]"
2524       zeroline: False
2525     boxmode: "group"
2526     boxgroupgap: 0.5
2527     autosize: False
2528     margin:
2529       t: 50
2530       b: 20
2531       l: 50
2532       r: 20
2533     showlegend: True
2534     legend:
2535       orientation: "h"
2536     width: 700
2537     height: 1000
2538
2539 # VPP CRYPTO
2540 -
2541   type: "plot"
2542   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2543   algorithm: "plot_performance_box"
2544   output-file-type: ".html"
2545   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2546   data:
2547     csit-vpp-perf-1710-all:
2548     - 2
2549     - 5
2550   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2551   parameters:
2552   - "throughput"
2553   - "parent"
2554   traces:
2555     hoverinfo: "x+y"
2556     boxpoints: "outliers"
2557     whiskerwidth: 0
2558   layout:
2559     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2560     xaxis:
2561       autorange: True
2562       autotick: False
2563       fixedrange: False
2564       gridcolor: "rgb(238, 238, 238)"
2565       linecolor: "rgb(238, 238, 238)"
2566       linewidth: 1
2567       showgrid: True
2568       showline: True
2569       showticklabels: True
2570       tickcolor: "rgb(238, 238, 238)"
2571       tickmode: "linear"
2572       title: "Indexed Test Cases"
2573       zeroline: False
2574     yaxis:
2575       gridcolor: "rgb(238, 238, 238)'"
2576       hoverformat: ".4s"
2577       linecolor: "rgb(238, 238, 238)"
2578       linewidth: 1
2579       range: []
2580       showgrid: True
2581       showline: True
2582       showticklabels: True
2583       tickcolor: "rgb(238, 238, 238)"
2584       title: "Packets Per Second [pps]"
2585       zeroline: False
2586     boxmode: "group"
2587     boxgroupgap: 0.5
2588     autosize: False
2589     margin:
2590       t: 50
2591       b: 20
2592       l: 50
2593       r: 20
2594     showlegend: True
2595     legend:
2596       orientation: "h"
2597     width: 700
2598     height: 1000
2599
2600 -
2601   type: "plot"
2602   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2603   algorithm: "plot_performance_box"
2604   output-file-type: ".html"
2605   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2606   data:
2607     csit-vpp-perf-1710-all:
2608     - 2
2609     - 5
2610   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2611   parameters:
2612   - "throughput"
2613   - "parent"
2614   traces:
2615     hoverinfo: "x+y"
2616     boxpoints: "outliers"
2617     whiskerwidth: 0
2618   layout:
2619     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2620     xaxis:
2621       autorange: True
2622       autotick: False
2623       fixedrange: False
2624       gridcolor: "rgb(238, 238, 238)"
2625       linecolor: "rgb(238, 238, 238)"
2626       linewidth: 1
2627       showgrid: True
2628       showline: True
2629       showticklabels: True
2630       tickcolor: "rgb(238, 238, 238)"
2631       tickmode: "linear"
2632       title: "Indexed Test Cases"
2633       zeroline: False
2634     yaxis:
2635       gridcolor: "rgb(238, 238, 238)'"
2636       hoverformat: ".4s"
2637       linecolor: "rgb(238, 238, 238)"
2638       linewidth: 1
2639       range: []
2640       showgrid: True
2641       showline: True
2642       showticklabels: True
2643       tickcolor: "rgb(238, 238, 238)"
2644       title: "Packets Per Second [pps]"
2645       zeroline: False
2646     boxmode: "group"
2647     boxgroupgap: 0.5
2648     autosize: False
2649     margin:
2650       t: 50
2651       b: 20
2652       l: 50
2653       r: 20
2654     showlegend: True
2655     legend:
2656       orientation: "h"
2657     width: 700
2658     height: 1000
2659
2660 -
2661   type: "plot"
2662   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2663   algorithm: "plot_performance_box"
2664   output-file-type: ".html"
2665   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2666   data:
2667     csit-vpp-perf-1710-all:
2668     - 2
2669     - 5
2670   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2671   parameters:
2672   - "throughput"
2673   - "parent"
2674   traces:
2675     hoverinfo: "x+y"
2676     boxpoints: "outliers"
2677     whiskerwidth: 0
2678   layout:
2679     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2680     xaxis:
2681       autorange: True
2682       autotick: False
2683       fixedrange: False
2684       gridcolor: "rgb(238, 238, 238)"
2685       linecolor: "rgb(238, 238, 238)"
2686       linewidth: 1
2687       showgrid: True
2688       showline: True
2689       showticklabels: True
2690       tickcolor: "rgb(238, 238, 238)"
2691       tickmode: "linear"
2692       title: "Indexed Test Cases"
2693       zeroline: False
2694     yaxis:
2695       gridcolor: "rgb(238, 238, 238)'"
2696       hoverformat: ".4s"
2697       linecolor: "rgb(238, 238, 238)"
2698       linewidth: 1
2699       range: []
2700       showgrid: True
2701       showline: True
2702       showticklabels: True
2703       tickcolor: "rgb(238, 238, 238)"
2704       title: "Packets Per Second [pps]"
2705       zeroline: False
2706     boxmode: "group"
2707     boxgroupgap: 0.5
2708     autosize: False
2709     margin:
2710       t: 50
2711       b: 20
2712       l: 50
2713       r: 20
2714     showlegend: True
2715     legend:
2716       orientation: "h"
2717     width: 700
2718     height: 1000
2719
2720 -
2721   type: "plot"
2722   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2723   algorithm: "plot_performance_box"
2724   output-file-type: ".html"
2725   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2726   data:
2727     csit-vpp-perf-1710-all:
2728     - 2
2729     - 5
2730   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2731   parameters:
2732   - "throughput"
2733   - "parent"
2734   traces:
2735     hoverinfo: "x+y"
2736     boxpoints: "outliers"
2737     whiskerwidth: 0
2738   layout:
2739     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2740     xaxis:
2741       autorange: True
2742       autotick: False
2743       fixedrange: False
2744       gridcolor: "rgb(238, 238, 238)"
2745       linecolor: "rgb(238, 238, 238)"
2746       linewidth: 1
2747       showgrid: True
2748       showline: True
2749       showticklabels: True
2750       tickcolor: "rgb(238, 238, 238)"
2751       tickmode: "linear"
2752       title: "Indexed Test Cases"
2753       zeroline: False
2754     yaxis:
2755       gridcolor: "rgb(238, 238, 238)'"
2756       hoverformat: ".4s"
2757       linecolor: "rgb(238, 238, 238)"
2758       linewidth: 1
2759       range: []
2760       showgrid: True
2761       showline: True
2762       showticklabels: True
2763       tickcolor: "rgb(238, 238, 238)"
2764       title: "Packets Per Second [pps]"
2765       zeroline: False
2766     boxmode: "group"
2767     boxgroupgap: 0.5
2768     autosize: False
2769     margin:
2770       t: 50
2771       b: 20
2772       l: 50
2773       r: 20
2774     showlegend: True
2775     legend:
2776       orientation: "h"
2777     width: 700
2778     height: 1000
2779
2780 # DPDK
2781 -
2782   type: "plot"
2783   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2784   algorithm: "plot_performance_box"
2785   output-file-type: ".html"
2786   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2787   data:
2788     csit-dpdk-perf-1710-all:
2789     - 2
2790     - 3
2791     - 5
2792     - 6
2793     - 7
2794     - 8
2795     - 9
2796     - 10
2797     - 11
2798     - 13
2799   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2800   parameters:
2801   - "throughput"
2802   - "parent"
2803   traces:
2804     hoverinfo: "x+y"
2805     boxpoints: "outliers"
2806     whiskerwidth: 0
2807   layout:
2808     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2809     xaxis:
2810       autorange: True
2811       autotick: False
2812       fixedrange: False
2813       gridcolor: "rgb(238, 238, 238)"
2814       linecolor: "rgb(238, 238, 238)"
2815       linewidth: 1
2816       showgrid: True
2817       showline: True
2818       showticklabels: True
2819       tickcolor: "rgb(238, 238, 238)"
2820       tickmode: "linear"
2821       title: "Indexed Test Cases"
2822       zeroline: False
2823     yaxis:
2824       gridcolor: "rgb(238, 238, 238)'"
2825       hoverformat: ".4s"
2826       linecolor: "rgb(238, 238, 238)"
2827       linewidth: 1
2828       range: []
2829       showgrid: True
2830       showline: True
2831       showticklabels: True
2832       tickcolor: "rgb(238, 238, 238)"
2833       title: "Packets Per Second [pps]"
2834       zeroline: False
2835     boxmode: "group"
2836     boxgroupgap: 0.5
2837     autosize: False
2838     margin:
2839       t: 50
2840       b: 20
2841       l: 50
2842       r: 20
2843     showlegend: True
2844     legend:
2845       orientation: "h"
2846     width: 700
2847     height: 1000
2848
2849 -
2850   type: "plot"
2851   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2852   algorithm: "plot_performance_box"
2853   output-file-type: ".html"
2854   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2855   data:
2856     csit-dpdk-perf-1710-all:
2857     - 2
2858     - 3
2859     - 5
2860     - 6
2861     - 7
2862     - 8
2863     - 9
2864     - 10
2865     - 11
2866     - 13
2867   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2868   parameters:
2869   - "throughput"
2870   - "parent"
2871   traces:
2872     hoverinfo: "x+y"
2873     boxpoints: "outliers"
2874     whiskerwidth: 0
2875   layout:
2876     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2877     xaxis:
2878       autorange: True
2879       autotick: False
2880       fixedrange: False
2881       gridcolor: "rgb(238, 238, 238)"
2882       linecolor: "rgb(238, 238, 238)"
2883       linewidth: 1
2884       showgrid: True
2885       showline: True
2886       showticklabels: True
2887       tickcolor: "rgb(238, 238, 238)"
2888       tickmode: "linear"
2889       title: "Indexed Test Cases"
2890       zeroline: False
2891     yaxis:
2892       gridcolor: "rgb(238, 238, 238)'"
2893       hoverformat: ".4s"
2894       linecolor: "rgb(238, 238, 238)"
2895       linewidth: 1
2896       range: []
2897       showgrid: True
2898       showline: True
2899       showticklabels: True
2900       tickcolor: "rgb(238, 238, 238)"
2901       title: "Packets Per Second [pps]"
2902       zeroline: False
2903     boxmode: "group"
2904     boxgroupgap: 0.5
2905     autosize: False
2906     margin:
2907       t: 50
2908       b: 20
2909       l: 50
2910       r: 20
2911     showlegend: True
2912     legend:
2913       orientation: "h"
2914     width: 700
2915     height: 1000
2916
2917 -
2918   type: "plot"
2919   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2920   algorithm: "plot_performance_box"
2921   output-file-type: ".html"
2922   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2923   data:
2924     csit-dpdk-perf-1710-all:
2925     - 2
2926     - 3
2927     - 5
2928     - 6
2929     - 7
2930     - 8
2931     - 9
2932     - 10
2933     - 11
2934     - 13
2935   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2936   parameters:
2937   - "throughput"
2938   - "parent"
2939   traces:
2940     hoverinfo: "x+y"
2941     boxpoints: "outliers"
2942     whiskerwidth: 0
2943   layout:
2944     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2945     xaxis:
2946       autorange: True
2947       autotick: False
2948       fixedrange: False
2949       gridcolor: "rgb(238, 238, 238)"
2950       linecolor: "rgb(238, 238, 238)"
2951       linewidth: 1
2952       showgrid: True
2953       showline: True
2954       showticklabels: True
2955       tickcolor: "rgb(238, 238, 238)"
2956       tickmode: "linear"
2957       title: "Indexed Test Cases"
2958       zeroline: False
2959     yaxis:
2960       gridcolor: "rgb(238, 238, 238)'"
2961       hoverformat: ".4s"
2962       linecolor: "rgb(238, 238, 238)"
2963       linewidth: 1
2964       range: [2000000, 12000000]
2965       showgrid: True
2966       showline: True
2967       showticklabels: True
2968       tickcolor: "rgb(238, 238, 238)"
2969       title: "Packets Per Second [pps]"
2970       zeroline: False
2971     boxmode: "group"
2972     boxgroupgap: 0.5
2973     autosize: False
2974     margin:
2975       t: 50
2976       b: 20
2977       l: 50
2978       r: 20
2979     showlegend: True
2980     legend:
2981       orientation: "h"
2982     width: 700
2983     height: 1000
2984
2985 -
2986   type: "plot"
2987   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2988   algorithm: "plot_performance_box"
2989   output-file-type: ".html"
2990   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2991   data:
2992     csit-dpdk-perf-1710-all:
2993     - 2
2994     - 3
2995     - 5
2996     - 6
2997     - 7
2998     - 8
2999     - 9
3000     - 10
3001     - 11
3002     - 13
3003   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3004   parameters:
3005   - "throughput"
3006   - "parent"
3007   traces:
3008     hoverinfo: "x+y"
3009     boxpoints: "outliers"
3010     whiskerwidth: 0
3011   layout:
3012     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3013     xaxis:
3014       autorange: True
3015       autotick: False
3016       fixedrange: False
3017       gridcolor: "rgb(238, 238, 238)"
3018       linecolor: "rgb(238, 238, 238)"
3019       linewidth: 1
3020       showgrid: True
3021       showline: True
3022       showticklabels: True
3023       tickcolor: "rgb(238, 238, 238)"
3024       tickmode: "linear"
3025       title: "Indexed Test Cases"
3026       zeroline: False
3027     yaxis:
3028       gridcolor: "rgb(238, 238, 238)'"
3029       hoverformat: ".4s"
3030       linecolor: "rgb(238, 238, 238)"
3031       linewidth: 1
3032       range: [2000000, 12000000]
3033       showgrid: True
3034       showline: True
3035       showticklabels: True
3036       tickcolor: "rgb(238, 238, 238)"
3037       title: "Packets Per Second [pps]"
3038       zeroline: False
3039     boxmode: "group"
3040     boxgroupgap: 0.5
3041     autosize: False
3042     margin:
3043       t: 50
3044       b: 20
3045       l: 50
3046       r: 20
3047     showlegend: True
3048     legend:
3049       orientation: "h"
3050     width: 700
3051     height: 1000
3052
3053 -
3054   type: "plot"
3055   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3056   algorithm: "plot_performance_box"
3057   output-file-type: ".html"
3058   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3059   data:
3060     csit-dpdk-perf-1710-all:
3061     - 2
3062     - 3
3063     - 5
3064     - 6
3065     - 7
3066     - 8
3067     - 9
3068     - 10
3069     - 11
3070     - 13
3071   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3072   parameters:
3073   - "throughput"
3074   - "parent"
3075   traces:
3076     hoverinfo: "x+y"
3077     boxpoints: "outliers"
3078     whiskerwidth: 0
3079   layout:
3080     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3081     xaxis:
3082       autorange: True
3083       autotick: False
3084       fixedrange: False
3085       gridcolor: "rgb(238, 238, 238)"
3086       linecolor: "rgb(238, 238, 238)"
3087       linewidth: 1
3088       showgrid: True
3089       showline: True
3090       showticklabels: True
3091       tickcolor: "rgb(238, 238, 238)"
3092       tickmode: "linear"
3093       title: "Indexed Test Cases"
3094       zeroline: False
3095     yaxis:
3096       gridcolor: "rgb(238, 238, 238)'"
3097       hoverformat: ".4s"
3098       linecolor: "rgb(238, 238, 238)"
3099       linewidth: 1
3100       range: []
3101       showgrid: True
3102       showline: True
3103       showticklabels: True
3104       tickcolor: "rgb(238, 238, 238)"
3105       title: "Packets Per Second [pps]"
3106       zeroline: False
3107     boxmode: "group"
3108     boxgroupgap: 0.5
3109     autosize: False
3110     margin:
3111       t: 50
3112       b: 20
3113       l: 50
3114       r: 20
3115     showlegend: True
3116     legend:
3117       orientation: "h"
3118     width: 700
3119     height: 1000
3120
3121 -
3122   type: "plot"
3123   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3124   algorithm: "plot_performance_box"
3125   output-file-type: ".html"
3126   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3127   data:
3128     csit-dpdk-perf-1710-all:
3129     - 2
3130     - 3
3131     - 5
3132     - 6
3133     - 7
3134     - 8
3135     - 9
3136     - 10
3137     - 11
3138     - 13
3139   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3140   parameters:
3141   - "throughput"
3142   - "parent"
3143   traces:
3144     hoverinfo: "x+y"
3145     boxpoints: "outliers"
3146     whiskerwidth: 0
3147   layout:
3148     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3149     xaxis:
3150       autorange: True
3151       autotick: False
3152       fixedrange: False
3153       gridcolor: "rgb(238, 238, 238)"
3154       linecolor: "rgb(238, 238, 238)"
3155       linewidth: 1
3156       showgrid: True
3157       showline: True
3158       showticklabels: True
3159       tickcolor: "rgb(238, 238, 238)"
3160       tickmode: "linear"
3161       title: "Indexed Test Cases"
3162       zeroline: False
3163     yaxis:
3164       gridcolor: "rgb(238, 238, 238)'"
3165       hoverformat: ".4s"
3166       linecolor: "rgb(238, 238, 238)"
3167       linewidth: 1
3168       range: []
3169       showgrid: True
3170       showline: True
3171       showticklabels: True
3172       tickcolor: "rgb(238, 238, 238)"
3173       title: "Packets Per Second [pps]"
3174       zeroline: False
3175     boxmode: "group"
3176     boxgroupgap: 0.5
3177     autosize: False
3178     margin:
3179       t: 50
3180       b: 20
3181       l: 50
3182       r: 20
3183     showlegend: True
3184     legend:
3185       orientation: "h"
3186     width: 700
3187     height: 1000
3188
3189 -
3190   type: "plot"
3191   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3192   algorithm: "plot_performance_box"
3193   output-file-type: ".html"
3194   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3195   data:
3196     csit-dpdk-perf-1710-all:
3197     - 2
3198     - 3
3199     - 5
3200     - 6
3201     - 7
3202     - 8
3203     - 9
3204     - 10
3205     - 11
3206     - 13
3207   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3208   parameters:
3209   - "throughput"
3210   - "parent"
3211   traces:
3212     hoverinfo: "x+y"
3213     boxpoints: "outliers"
3214     whiskerwidth: 0
3215   layout:
3216     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3217     xaxis:
3218       autorange: True
3219       autotick: False
3220       fixedrange: False
3221       gridcolor: "rgb(238, 238, 238)"
3222       linecolor: "rgb(238, 238, 238)"
3223       linewidth: 1
3224       showgrid: True
3225       showline: True
3226       showticklabels: True
3227       tickcolor: "rgb(238, 238, 238)"
3228       tickmode: "linear"
3229       title: "Indexed Test Cases"
3230       zeroline: False
3231     yaxis:
3232       gridcolor: "rgb(238, 238, 238)'"
3233       hoverformat: ".4s"
3234       linecolor: "rgb(238, 238, 238)"
3235       linewidth: 1
3236       range: [20000000, 30000000]
3237       showgrid: True
3238       showline: True
3239       showticklabels: True
3240       tickcolor: "rgb(238, 238, 238)"
3241       title: "Packets Per Second [pps]"
3242       zeroline: False
3243     boxmode: "group"
3244     boxgroupgap: 0.5
3245     autosize: False
3246     margin:
3247       t: 50
3248       b: 20
3249       l: 50
3250       r: 20
3251     showlegend: True
3252     legend:
3253       orientation: "h"
3254     width: 700
3255     height: 1000
3256
3257 -
3258   type: "plot"
3259   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3260   algorithm: "plot_performance_box"
3261   output-file-type: ".html"
3262   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3263   data:
3264     csit-dpdk-perf-1710-all:
3265     - 2
3266     - 3
3267     - 5
3268     - 6
3269     - 7
3270     - 8
3271     - 9
3272     - 10
3273     - 11
3274     - 13
3275   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3276   parameters:
3277   - "throughput"
3278   - "parent"
3279   traces:
3280     hoverinfo: "x+y"
3281     boxpoints: "outliers"
3282     whiskerwidth: 0
3283   layout:
3284     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3285     xaxis:
3286       autorange: True
3287       autotick: False
3288       fixedrange: False
3289       gridcolor: "rgb(238, 238, 238)"
3290       linecolor: "rgb(238, 238, 238)"
3291       linewidth: 1
3292       showgrid: True
3293       showline: True
3294       showticklabels: True
3295       tickcolor: "rgb(238, 238, 238)"
3296       tickmode: "linear"
3297       title: "Indexed Test Cases"
3298       zeroline: False
3299     yaxis:
3300       gridcolor: "rgb(238, 238, 238)'"
3301       hoverformat: ".4s"
3302       linecolor: "rgb(238, 238, 238)"
3303       linewidth: 1
3304       range: [20000000, 30000000]
3305       showgrid: True
3306       showline: True
3307       showticklabels: True
3308       tickcolor: "rgb(238, 238, 238)"
3309       title: "Packets Per Second [pps]"
3310       zeroline: False
3311     boxmode: "group"
3312     boxgroupgap: 0.5
3313     autosize: False
3314     margin:
3315       t: 50
3316       b: 20
3317       l: 50
3318       r: 20
3319     showlegend: True
3320     legend:
3321       orientation: "h"
3322     width: 700
3323     height: 1000
3324
3325 # Plot latency
3326
3327 # VPP L2 sel1
3328 -
3329   type: "plot"
3330   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3331   algorithm: "plot_latency_box"
3332   output-file-type: ".html"
3333   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3334   data:
3335     csit-vpp-perf-1710-all:
3336     - 2
3337     - 5
3338   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3339   parameters:
3340   - "latency"
3341   - "parent"
3342   traces:
3343     boxmean: False
3344   layout:
3345     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3346     xaxis:
3347       autorange: True
3348       autotick: False
3349       fixedrange: False
3350       gridcolor: "rgb(238, 238, 238)"
3351       linecolor: "rgb(238, 238, 238)"
3352       linewidth: 1
3353       showgrid: True
3354       showline: True
3355       showticklabels: True
3356       tickcolor: "rgb(238, 238, 238)"
3357       tickmode: "linear"
3358       title: "Indexed Test Cases"
3359       zeroline: False
3360     yaxis:
3361       gridcolor: "rgb(238, 238, 238)'"
3362       hoverformat: ""
3363       linecolor: "rgb(238, 238, 238)"
3364       linewidth: 1
3365       range: []
3366       showgrid: True
3367       showline: True
3368       showticklabels: True
3369       tickcolor: "rgb(238, 238, 238)"
3370       title: "Latency min/avg/max [uSec]"
3371       zeroline: False
3372     boxmode: "group"
3373     boxgroupgap: 0.5
3374     autosize: False
3375     margin:
3376       t: 50
3377       b: 20
3378       l: 50
3379       r: 20
3380     showlegend: True
3381     legend:
3382       orientation: "h"
3383     width: 700
3384     height: 1000
3385
3386 -
3387   type: "plot"
3388   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3389   algorithm: "plot_latency_box"
3390   output-file-type: ".html"
3391   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3392   data:
3393     csit-vpp-perf-1710-all:
3394     - 2
3395     - 5
3396   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3397   parameters:
3398   - "latency"
3399   - "parent"
3400   traces:
3401     boxmean: False
3402   layout:
3403     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3404     xaxis:
3405       autorange: True
3406       autotick: False
3407       fixedrange: False
3408       gridcolor: "rgb(238, 238, 238)"
3409       linecolor: "rgb(238, 238, 238)"
3410       linewidth: 1
3411       showgrid: True
3412       showline: True
3413       showticklabels: True
3414       tickcolor: "rgb(238, 238, 238)"
3415       tickmode: "linear"
3416       title: "Indexed Test Cases"
3417       zeroline: False
3418     yaxis:
3419       gridcolor: "rgb(238, 238, 238)'"
3420       hoverformat: ""
3421       linecolor: "rgb(238, 238, 238)"
3422       linewidth: 1
3423       range: []
3424       showgrid: True
3425       showline: True
3426       showticklabels: True
3427       tickcolor: "rgb(238, 238, 238)"
3428       title: "Latency min/avg/max [uSec]"
3429       zeroline: False
3430     boxmode: "group"
3431     boxgroupgap: 0.5
3432     autosize: False
3433     margin:
3434       t: 50
3435       b: 20
3436       l: 50
3437       r: 20
3438     showlegend: True
3439     legend:
3440       orientation: "h"
3441     width: 700
3442     height: 1000
3443
3444 # VPP L2 sel2
3445 -
3446   type: "plot"
3447   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3448   algorithm: "plot_latency_box"
3449   output-file-type: ".html"
3450   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3451   data:
3452     csit-vpp-perf-1710-all:
3453     - 2
3454     - 5
3455   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3456   parameters:
3457   - "latency"
3458   - "parent"
3459   traces:
3460     boxmean: False
3461   layout:
3462     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3463     xaxis:
3464       autorange: True
3465       autotick: False
3466       fixedrange: False
3467       gridcolor: "rgb(238, 238, 238)"
3468       linecolor: "rgb(238, 238, 238)"
3469       linewidth: 1
3470       showgrid: True
3471       showline: True
3472       showticklabels: True
3473       tickcolor: "rgb(238, 238, 238)"
3474       tickmode: "linear"
3475       title: "Indexed Test Cases"
3476       zeroline: False
3477     yaxis:
3478       gridcolor: "rgb(238, 238, 238)'"
3479       hoverformat: ""
3480       linecolor: "rgb(238, 238, 238)"
3481       linewidth: 1
3482       range: []
3483       showgrid: True
3484       showline: True
3485       showticklabels: True
3486       tickcolor: "rgb(238, 238, 238)"
3487       title: "Latency min/avg/max [uSec]"
3488       zeroline: False
3489     boxmode: "group"
3490     boxgroupgap: 0.5
3491     autosize: False
3492     margin:
3493       t: 50
3494       b: 20
3495       l: 50
3496       r: 20
3497     showlegend: True
3498     legend:
3499       orientation: "h"
3500     width: 700
3501     height: 1000
3502
3503 -
3504   type: "plot"
3505   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3506   algorithm: "plot_latency_box"
3507   output-file-type: ".html"
3508   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3509   data:
3510     csit-vpp-perf-1710-all:
3511     - 2
3512     - 5
3513   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3514   parameters:
3515   - "latency"
3516   - "parent"
3517   traces:
3518     boxmean: False
3519   layout:
3520     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3521     xaxis:
3522       autorange: True
3523       autotick: False
3524       fixedrange: False
3525       gridcolor: "rgb(238, 238, 238)"
3526       linecolor: "rgb(238, 238, 238)"
3527       linewidth: 1
3528       showgrid: True
3529       showline: True
3530       showticklabels: True
3531       tickcolor: "rgb(238, 238, 238)"
3532       tickmode: "linear"
3533       title: "Indexed Test Cases"
3534       zeroline: False
3535     yaxis:
3536       gridcolor: "rgb(238, 238, 238)'"
3537       hoverformat: ""
3538       linecolor: "rgb(238, 238, 238)"
3539       linewidth: 1
3540       range: []
3541       showgrid: True
3542       showline: True
3543       showticklabels: True
3544       tickcolor: "rgb(238, 238, 238)"
3545       title: "Latency min/avg/max [uSec]"
3546       zeroline: False
3547     boxmode: "group"
3548     boxgroupgap: 0.5
3549     autosize: False
3550     margin:
3551       t: 50
3552       b: 20
3553       l: 50
3554       r: 20
3555     showlegend: True
3556     legend:
3557       orientation: "h"
3558     width: 700
3559     height: 1000
3560
3561 # VPP IP4
3562 -
3563   type: "plot"
3564   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3565   algorithm: "plot_latency_box"
3566   output-file-type: ".html"
3567   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3568   data:
3569     csit-vpp-perf-1710-all:
3570     - 2
3571     - 5
3572   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3573   parameters:
3574   - "latency"
3575   - "parent"
3576   traces:
3577     boxmean: False
3578   layout:
3579     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3580     xaxis:
3581       autorange: True
3582       autotick: False
3583       fixedrange: False
3584       gridcolor: "rgb(238, 238, 238)"
3585       linecolor: "rgb(238, 238, 238)"
3586       linewidth: 1
3587       showgrid: True
3588       showline: True
3589       showticklabels: True
3590       tickcolor: "rgb(238, 238, 238)"
3591       tickmode: "linear"
3592       title: "Indexed Test Cases"
3593       zeroline: False
3594     yaxis:
3595       gridcolor: "rgb(238, 238, 238)'"
3596       hoverformat: ""
3597       linecolor: "rgb(238, 238, 238)"
3598       linewidth: 1
3599       range: []
3600       showgrid: True
3601       showline: True
3602       showticklabels: True
3603       tickcolor: "rgb(238, 238, 238)"
3604       title: "Latency min/avg/max [uSec]"
3605       zeroline: False
3606     boxmode: "group"
3607     boxgroupgap: 0.5
3608     autosize: False
3609     margin:
3610       t: 50
3611       b: 20
3612       l: 50
3613       r: 20
3614     showlegend: True
3615     legend:
3616       orientation: "h"
3617     width: 700
3618     height: 1000
3619
3620 -
3621   type: "plot"
3622   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3623   algorithm: "plot_latency_box"
3624   output-file-type: ".html"
3625   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3626   data:
3627     csit-vpp-perf-1710-all:
3628     - 2
3629     - 5
3630   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3631   parameters:
3632   - "latency"
3633   - "parent"
3634   traces:
3635     boxmean: False
3636   layout:
3637     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3638     xaxis:
3639       autorange: True
3640       autotick: False
3641       fixedrange: False
3642       gridcolor: "rgb(238, 238, 238)"
3643       linecolor: "rgb(238, 238, 238)"
3644       linewidth: 1
3645       showgrid: True
3646       showline: True
3647       showticklabels: True
3648       tickcolor: "rgb(238, 238, 238)"
3649       tickmode: "linear"
3650       title: "Indexed Test Cases"
3651       zeroline: False
3652     yaxis:
3653       gridcolor: "rgb(238, 238, 238)'"
3654       hoverformat: ""
3655       linecolor: "rgb(238, 238, 238)"
3656       linewidth: 1
3657       range: []
3658       showgrid: True
3659       showline: True
3660       showticklabels: True
3661       tickcolor: "rgb(238, 238, 238)"
3662       title: "Latency min/avg/max [uSec]"
3663       zeroline: False
3664     boxmode: "group"
3665     boxgroupgap: 0.5
3666     autosize: False
3667     margin:
3668       t: 50
3669       b: 20
3670       l: 50
3671       r: 20
3672     showlegend: True
3673     legend:
3674       orientation: "h"
3675     width: 700
3676     height: 1000
3677
3678 # VPP IP6
3679 -
3680   type: "plot"
3681   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3682   algorithm: "plot_latency_box"
3683   output-file-type: ".html"
3684   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3685   data:
3686     csit-vpp-perf-1710-all:
3687     - 2
3688     - 5
3689   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3690   parameters:
3691   - "latency"
3692   - "parent"
3693   traces:
3694     boxmean: False
3695   layout:
3696     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3697     xaxis:
3698       autorange: True
3699       autotick: False
3700       fixedrange: False
3701       gridcolor: "rgb(238, 238, 238)"
3702       linecolor: "rgb(238, 238, 238)"
3703       linewidth: 1
3704       showgrid: True
3705       showline: True
3706       showticklabels: True
3707       tickcolor: "rgb(238, 238, 238)"
3708       tickmode: "linear"
3709       title: "Indexed Test Cases"
3710       zeroline: False
3711     yaxis:
3712       gridcolor: "rgb(238, 238, 238)'"
3713       hoverformat: ""
3714       linecolor: "rgb(238, 238, 238)"
3715       linewidth: 1
3716       range: []
3717       showgrid: True
3718       showline: True
3719       showticklabels: True
3720       tickcolor: "rgb(238, 238, 238)"
3721       title: "Latency min/avg/max [uSec]"
3722       zeroline: False
3723     boxmode: "group"
3724     boxgroupgap: 0.5
3725     autosize: False
3726     margin:
3727       t: 50
3728       b: 20
3729       l: 50
3730       r: 20
3731     showlegend: True
3732     legend:
3733       orientation: "h"
3734     width: 700
3735     height: 1000
3736
3737 -
3738   type: "plot"
3739   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3740   algorithm: "plot_latency_box"
3741   output-file-type: ".html"
3742   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3743   data:
3744     csit-vpp-perf-1710-all:
3745     - 2
3746     - 5
3747   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3748   parameters:
3749   - "latency"
3750   - "parent"
3751   traces:
3752     boxmean: False
3753   layout:
3754     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3755     xaxis:
3756       autorange: True
3757       autotick: False
3758       fixedrange: False
3759       gridcolor: "rgb(238, 238, 238)"
3760       linecolor: "rgb(238, 238, 238)"
3761       linewidth: 1
3762       showgrid: True
3763       showline: True
3764       showticklabels: True
3765       tickcolor: "rgb(238, 238, 238)"
3766       tickmode: "linear"
3767       title: "Indexed Test Cases"
3768       zeroline: False
3769     yaxis:
3770       gridcolor: "rgb(238, 238, 238)'"
3771       hoverformat: ""
3772       linecolor: "rgb(238, 238, 238)"
3773       linewidth: 1
3774       range: []
3775       showgrid: True
3776       showline: True
3777       showticklabels: True
3778       tickcolor: "rgb(238, 238, 238)"
3779       title: "Latency min/avg/max [uSec]"
3780       zeroline: False
3781     boxmode: "group"
3782     boxgroupgap: 0.5
3783     autosize: False
3784     margin:
3785       t: 50
3786       b: 20
3787       l: 50
3788       r: 20
3789     showlegend: True
3790     legend:
3791       orientation: "h"
3792     width: 700
3793     height: 1000
3794
3795 # VPP IP4_overlay
3796 -
3797   type: "plot"
3798   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3799   algorithm: "plot_latency_box"
3800   output-file-type: ".html"
3801   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3802   data:
3803     csit-vpp-perf-1710-all:
3804     - 2
3805     - 5
3806   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3807   parameters:
3808   - "latency"
3809   - "parent"
3810   traces:
3811     boxmean: False
3812   layout:
3813     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3814     xaxis:
3815       autorange: True
3816       autotick: False
3817       fixedrange: False
3818       gridcolor: "rgb(238, 238, 238)"
3819       linecolor: "rgb(238, 238, 238)"
3820       linewidth: 1
3821       showgrid: True
3822       showline: True
3823       showticklabels: True
3824       tickcolor: "rgb(238, 238, 238)"
3825       tickmode: "linear"
3826       title: "Indexed Test Cases"
3827       zeroline: False
3828     yaxis:
3829       gridcolor: "rgb(238, 238, 238)'"
3830       hoverformat: ""
3831       linecolor: "rgb(238, 238, 238)"
3832       linewidth: 1
3833       range: []
3834       showgrid: True
3835       showline: True
3836       showticklabels: True
3837       tickcolor: "rgb(238, 238, 238)"
3838       title: "Latency min/avg/max [uSec]"
3839       zeroline: False
3840     boxmode: "group"
3841     boxgroupgap: 0.5
3842     autosize: False
3843     margin:
3844       t: 50
3845       b: 20
3846       l: 50
3847       r: 20
3848     showlegend: True
3849     legend:
3850       orientation: "h"
3851     width: 700
3852     height: 1000
3853
3854 -
3855   type: "plot"
3856   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3857   algorithm: "plot_latency_box"
3858   output-file-type: ".html"
3859   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3860   data:
3861     csit-vpp-perf-1710-all:
3862     - 2
3863     - 5
3864   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3865   parameters:
3866   - "latency"
3867   - "parent"
3868   traces:
3869     boxmean: False
3870   layout:
3871     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3872     xaxis:
3873       autorange: True
3874       autotick: False
3875       fixedrange: False
3876       gridcolor: "rgb(238, 238, 238)"
3877       linecolor: "rgb(238, 238, 238)"
3878       linewidth: 1
3879       showgrid: True
3880       showline: True
3881       showticklabels: True
3882       tickcolor: "rgb(238, 238, 238)"
3883       tickmode: "linear"
3884       title: "Indexed Test Cases"
3885       zeroline: False
3886     yaxis:
3887       gridcolor: "rgb(238, 238, 238)'"
3888       hoverformat: ""
3889       linecolor: "rgb(238, 238, 238)"
3890       linewidth: 1
3891       range: []
3892       showgrid: True
3893       showline: True
3894       showticklabels: True
3895       tickcolor: "rgb(238, 238, 238)"
3896       title: "Latency min/avg/max [uSec]"
3897       zeroline: False
3898     boxmode: "group"
3899     boxgroupgap: 0.5
3900     autosize: False
3901     margin:
3902       t: 50
3903       b: 20
3904       l: 50
3905       r: 20
3906     showlegend: True
3907     legend:
3908       orientation: "h"
3909     width: 700
3910     height: 1000
3911
3912 # VPP IP6_overlay
3913 -
3914   type: "plot"
3915   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3916   algorithm: "plot_latency_box"
3917   output-file-type: ".html"
3918   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3919   data:
3920     csit-vpp-perf-1710-all:
3921     - 2
3922     - 5
3923   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3924   parameters:
3925   - "latency"
3926   - "parent"
3927   traces:
3928     boxmean: False
3929   layout:
3930     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3931     xaxis:
3932       autorange: True
3933       autotick: False
3934       fixedrange: False
3935       gridcolor: "rgb(238, 238, 238)"
3936       linecolor: "rgb(238, 238, 238)"
3937       linewidth: 1
3938       showgrid: True
3939       showline: True
3940       showticklabels: True
3941       tickcolor: "rgb(238, 238, 238)"
3942       tickmode: "linear"
3943       title: "Indexed Test Cases"
3944       zeroline: False
3945     yaxis:
3946       gridcolor: "rgb(238, 238, 238)'"
3947       hoverformat: ""
3948       linecolor: "rgb(238, 238, 238)"
3949       linewidth: 1
3950       range: []
3951       showgrid: True
3952       showline: True
3953       showticklabels: True
3954       tickcolor: "rgb(238, 238, 238)"
3955       title: "Latency min/avg/max [uSec]"
3956       zeroline: False
3957     boxmode: "group"
3958     boxgroupgap: 0.5
3959     autosize: False
3960     margin:
3961       t: 50
3962       b: 20
3963       l: 50
3964       r: 20
3965     showlegend: True
3966     legend:
3967       orientation: "h"
3968     width: 700
3969     height: 1000
3970
3971 -
3972   type: "plot"
3973   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3974   algorithm: "plot_latency_box"
3975   output-file-type: ".html"
3976   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3977   data:
3978     csit-vpp-perf-1710-all:
3979     - 2
3980     - 5
3981   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3982   parameters:
3983   - "latency"
3984   - "parent"
3985   traces:
3986     boxmean: False
3987   layout:
3988     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3989     xaxis:
3990       autorange: True
3991       autotick: False
3992       fixedrange: False
3993       gridcolor: "rgb(238, 238, 238)"
3994       linecolor: "rgb(238, 238, 238)"
3995       linewidth: 1
3996       showgrid: True
3997       showline: True
3998       showticklabels: True
3999       tickcolor: "rgb(238, 238, 238)"
4000       tickmode: "linear"
4001       title: "Indexed Test Cases"
4002       zeroline: False
4003     yaxis:
4004       gridcolor: "rgb(238, 238, 238)'"
4005       hoverformat: ""
4006       linecolor: "rgb(238, 238, 238)"
4007       linewidth: 1
4008       range: []
4009       showgrid: True
4010       showline: True
4011       showticklabels: True
4012       tickcolor: "rgb(238, 238, 238)"
4013       title: "Latency min/avg/max [uSec]"
4014       zeroline: False
4015     boxmode: "group"
4016     boxgroupgap: 0.5
4017     autosize: False
4018     margin:
4019       t: 50
4020       b: 20
4021       l: 50
4022       r: 20
4023     showlegend: True
4024     legend:
4025       orientation: "h"
4026     width: 700
4027     height: 1000
4028
4029 # VPP VM VHOST
4030 -
4031   type: "plot"
4032   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
4033   algorithm: "plot_latency_box"
4034   output-file-type: ".html"
4035   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
4036   data:
4037     csit-vpp-perf-1710-all:
4038     - 2
4039     - 5
4040   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
4041   parameters:
4042   - "latency"
4043   - "parent"
4044   traces:
4045     boxmean: False
4046   layout:
4047     title: "64B-1t1c-.*vhost.*-ndrdisc"
4048     xaxis:
4049       autorange: True
4050       autotick: False
4051       fixedrange: False
4052       gridcolor: "rgb(238, 238, 238)"
4053       linecolor: "rgb(238, 238, 238)"
4054       linewidth: 1
4055       showgrid: True
4056       showline: True
4057       showticklabels: True
4058       tickcolor: "rgb(238, 238, 238)"
4059       tickmode: "linear"
4060       title: "Indexed Test Cases"
4061       zeroline: False
4062     yaxis:
4063       gridcolor: "rgb(238, 238, 238)'"
4064       hoverformat: ""
4065       linecolor: "rgb(238, 238, 238)"
4066       linewidth: 1
4067       range: []
4068       showgrid: True
4069       showline: True
4070       showticklabels: True
4071       tickcolor: "rgb(238, 238, 238)"
4072       title: "Latency min/avg/max [uSec]"
4073       zeroline: False
4074     boxmode: "group"
4075     boxgroupgap: 0.5
4076     autosize: False
4077     margin:
4078       t: 50
4079       b: 20
4080       l: 50
4081       r: 20
4082     showlegend: True
4083     legend:
4084       orientation: "h"
4085     width: 700
4086     height: 1000
4087
4088 -
4089   type: "plot"
4090   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
4091   algorithm: "plot_latency_box"
4092   output-file-type: ".html"
4093   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
4094   data:
4095     csit-vpp-perf-1710-all:
4096     - 2
4097     - 5
4098   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
4099   parameters:
4100   - "latency"
4101   - "parent"
4102   traces:
4103     boxmean: False
4104   layout:
4105     title: "64B-2t2c-.*vhost.*-ndrdisc"
4106     xaxis:
4107       autorange: True
4108       autotick: False
4109       fixedrange: False
4110       gridcolor: "rgb(238, 238, 238)"
4111       linecolor: "rgb(238, 238, 238)"
4112       linewidth: 1
4113       showgrid: True
4114       showline: True
4115       showticklabels: True
4116       tickcolor: "rgb(238, 238, 238)"
4117       tickmode: "linear"
4118       title: "Indexed Test Cases"
4119       zeroline: False
4120     yaxis:
4121       gridcolor: "rgb(238, 238, 238)'"
4122       hoverformat: ""
4123       linecolor: "rgb(238, 238, 238)"
4124       linewidth: 1
4125       range: []
4126       showgrid: True
4127       showline: True
4128       showticklabels: True
4129       tickcolor: "rgb(238, 238, 238)"
4130       title: "Latency min/avg/max [uSec]"
4131       zeroline: False
4132     boxmode: "group"
4133     boxgroupgap: 0.5
4134     autosize: False
4135     margin:
4136       t