035dbbd762c2dc9cc157aadc1c2ae39078cf98d1
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
42     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
43     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
44     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
45     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
46
47     # Detailed test configurations
48     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
49     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
50     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
51
52     # Detailed tests operational data
53     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
54     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
55
56     # .css patch file to fix tables generated by Sphinx
57     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
58     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
59
60   urls:
61     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
62     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
63
64   make-dirs:
65   # List the directories which are created while preparing the environment.
66   # All directories MUST be defined in "paths" section.
67   - "DIR[WORKING,DATA]"
68   - "DIR[STATIC,VPP]"
69   - "DIR[STATIC,DPDK]"
70   - "DIR[STATIC,ARCH]"
71   - "DIR[BUILD,LATEX]"
72   - "DIR[WORKING,SRC]"
73   - "DIR[WORKING,SRC,STATIC]"
74
75   remove-dirs:
76   # List the directories which are deleted while cleaning the environment.
77   # All directories MUST be defined in "paths" section.
78   #- "DIR[BUILD,HTML]"
79
80   build-dirs:
81   # List the directories where the results (build) is stored.
82   # All directories MUST be defined in "paths" section.
83   - "DIR[BUILD,HTML]"
84   - "DIR[BUILD,LATEX]"
85
86 -
87   type: "debug"
88   general:
89     input-format: "xml"  # zip or xml
90     extract: "robot-plugin/output.xml"  # Only for zip
91   builds:
92     # The files must be in the directory DIR[WORKING,DATA]
93     csit-dpdk-perf-1707-all:
94     -
95       build: 10
96       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
97     -
98       build: 9
99       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
100     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
101     -
102       build: 2
103       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
104     csit-vpp-functional-1707-ubuntu1604-virl:
105     -
106       build: lastSuccessfulBuild
107       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
108     hc2vpp-csit-integration-1707-ubuntu1604:
109     -
110       build: lastSuccessfulBuild
111       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
112     csit-vpp-perf-1707-all:
113     -
114       build: 16
115       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
116     -
117       build: 17
118       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
119
120 -
121   type: "static"
122   src-path: "{DIR[RST]}"
123   dst-path: "{DIR[WORKING,SRC]}"
124
125 -
126   type: "input"  # Ignored in debug mode
127   general:
128     file-name: "robot-plugin.zip"
129     file-format: ".zip"
130     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
131     extract: "robot-plugin/output.xml"
132   builds:
133     csit-vpp-perf-1707-all:
134     - 9
135     - 10
136     - 13
137     - 14
138     - 15
139     - 16
140     - 17
141     - 18
142     - 19
143     - 21
144     csit-vpp-perf-1710-all:
145     - 2
146     - 5
147     csit-dpdk-perf-1710-all:
148     - 2
149     - 3
150     - 5
151     - 6
152     - 7
153     - 8
154     - 9
155     - 10
156     - 11
157     - 13
158     csit-vpp-functional-1710-ubuntu1604-virl:
159     - 16
160 #    hc2vpp-csit-perf-master-ubuntu1604:  # REMOVE???
161 #    - 8
162 #    - 9
163     hc2vpp-csit-integration-1710-ubuntu1604:
164     - lastSuccessfulBuild
165 #    csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:  # REMOVE???
166 #    - 2
167
168 -
169   type: "output"
170   format:
171     html:
172     - full
173     pdf:
174     - minimal
175
176 ################################################################################
177 ###                               T A B L E S                                ###
178 ################################################################################
179
180 -
181   type: "table"
182   title: "Performance improvements"
183   algorithm: "table_performance_improvements"
184   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
185   output-file-ext: ".csv"
186   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
187   columns:
188   -
189     title: "Functionality"
190     data: "template 1"
191   -
192     title: "Test Name"
193     data: "template 2"
194   -
195     title: "16.09 mean [Mpps]"
196     data: "template 3"
197   -
198     title: "17.01 mean [Mpps]"
199     data: "template 4"
200   -
201     title: "17.04 mean [Mpps]"
202     data: "template 5"
203   -
204     title: "17.07 mean [Mpps]"
205     data: "data csit-vpp-perf-1707-all mean"
206   -
207     title: "17.10 mean [Mpps]"
208     data: "data csit-vpp-perf-1710-all mean"
209   -
210     title: "17.10 stdev [Mpps]"
211     data: "data csit-vpp-perf-1710-all stdev"
212   -
213     title: "17.07 to 17.10 change [%]"
214     data: "operation relative_change 6 5"
215   rows: "generated"
216   data:
217     csit-vpp-perf-1707-all:
218     - 9
219     - 10
220     - 13
221     - 14
222     - 15
223     - 16
224     - 17
225     - 18
226     - 19
227     - 21
228     csit-vpp-perf-1710-all:
229     - 2
230     - 5
231   filter: "template"
232   parameters:
233   - "throughput"
234
235 -
236   type: "table"
237   title: "Detailed Test Results - VPP Performance Results"
238   algorithm: "table_details"
239   output-file-ext: ".csv"
240   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
241   columns:
242   -
243     title: "Name"
244     data: "data name"
245   -
246     title: "Documentation"
247     data: "data doc"
248   -
249     title: "Status"
250     data: "data msg"
251   rows: "generated"
252   data:
253     csit-vpp-perf-1710-all:
254     - 5
255   filter: "all"
256   parameters:
257   - "name"
258   - "parent"
259   - "doc"
260   - "msg"
261
262 -
263   type: "table"
264   title: "Test configuration - VPP Performance Test Configs"
265   algorithm: "table_details"
266   output-file-ext: ".csv"
267   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
268   columns:
269   -
270     title: "Name"
271     data: "data name"
272   -
273     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
274     data: "data vat-history"
275   rows: "generated"
276   data:
277     csit-vpp-perf-1710-all:
278     - 5
279   filter: "all"
280   parameters:
281   - "parent"
282   - "name"
283   - "vat-history"
284
285 -
286   type: "table"
287   title: "Test Operational Data - VPP Performance Operational Data"
288   algorithm: "table_details"
289   output-file-ext: ".csv"
290   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
291   columns:
292   -
293     title: "Name"
294     data: "data name"
295   -
296     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
297     data: "data show-run"
298   rows: "generated"
299   data:
300     csit-vpp-perf-1710-all:
301     - 5
302   filter: "all"
303   parameters:
304   - "parent"
305   - "name"
306   - "show-run"
307
308 -
309   type: "table"
310   title: "Detailed Test Results - VPP Functional Results"
311   algorithm: "table_details"
312   output-file-ext: ".csv"
313   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
314   columns:
315   -
316     title: "Name"
317     data: "data name"
318   -
319     title: "Documentation"
320     data: "data doc"
321   -
322     title: "Status"
323     data: "data status"
324   rows: "generated"
325   data:
326     csit-vpp-functional-1710-ubuntu1604-virl:
327     - 16
328   filter: "all"
329   parameters:
330   - "name"
331   - "parent"
332   - "doc"
333   - "status"
334
335 -
336   type: "table"
337   title: "Test configuration - VPP Functional Test Configs"
338   algorithm: "table_details"
339   output-file-ext: ".csv"
340   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
341   columns:
342   -
343     title: "Name"
344     data: "data name"
345   -
346     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
347     data: "data vat-history"
348   rows: "generated"
349   data:
350     csit-vpp-functional-1710-ubuntu1604-virl:
351     - 16
352   filter: "all"
353   parameters:
354   - "parent"
355   - "name"
356   - "vat-history"
357
358 -
359   type: "table"
360   title: "Detailed Test Results - DPDK Performance Results"
361   algorithm: "table_details"
362   output-file-ext: ".csv"
363   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
364   columns:
365   -
366     title: "Name"
367     data: "data name"
368   -
369     title: "Documentation"
370     data: "data doc"
371   -
372     title: "Status"
373     data: "data msg"
374   rows: "generated"
375   data:
376     csit-dpdk-perf-1710-all:
377     - 13
378   filter: "all"
379   parameters:
380   - "name"
381   - "parent"
382   - "doc"
383   - "msg"
384
385 -
386   type: "table"
387   title: "Detailed Test Results - Honeycomb Functional Results"
388   algorithm: "table_details"
389   output-file-ext: ".csv"
390   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
391   columns:
392   -
393     title: "Name"
394     data: "data name"
395   -
396     title: "Documentation"
397     data: "data doc"
398   -
399     title: "Status"
400     data: "data status"
401   rows: "generated"
402   data:
403     hc2vpp-csit-integration-1710-ubuntu1604:
404     - "lastSuccessfulBuild"
405   filter: "all"
406   parameters:
407   - "name"
408   - "parent"
409   - "doc"
410   - "status"
411
412 #-
413 #  type: "table"
414 #  title: "Detailed Test Results - NSH SFC Functional Results"
415 #  algorithm: "table_details"
416 #  output-file-ext: ".csv"
417 #  output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
418 #  columns:
419 #  -
420 #    title: "Name"
421 #    data: "data name"
422 #  -
423 #    title: "Documentation"
424 #    data: "data doc"
425 #  -
426 #    title: "Status"
427 #    data: "data status"
428 #  rows: "generated"
429 #  data:
430 #    csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
431 #    - 2
432 #  filter: "all"
433 #  parameters:
434 #  - "name"
435 #  - "parent"
436 #  - "doc"
437 #  - "status"
438
439 ################################################################################
440 ###                                F I L E S                                 ###
441 ################################################################################
442
443 -
444   type: "file"
445   title: "VPP Performance Results"
446   algorithm: "file_test_results"
447   output-file-ext: ".rst"
448   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
449   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
450   dir-tables: "{DIR[DTR,PERF,VPP]}"
451   data:
452     csit-vpp-perf-1710-all:
453     - 5
454   filter: "all"
455   parameters:
456   - "name"
457   - "doc"
458   - "level"
459   data-start-level: 2  # 0, 1, 2, ...
460   chapters-start-level: 2  # 0, 1, 2, ...
461
462 -
463   type: "file"
464   title: "VPP Performance Configuration"
465   algorithm: "file_test_results"
466   output-file-ext: ".rst"
467   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
468   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
469   dir-tables: "{DIR[DTC,PERF,VPP]}"
470   data:
471     csit-vpp-perf-1710-all:
472     - 5
473   filter: "all"
474   parameters:
475   - "name"
476   - "doc"
477   - "level"
478   data-start-level: 2  # 0, 1, 2, ...
479   chapters-start-level: 2  # 0, 1, 2, ...
480
481 -
482   type: "file"
483   title: "VPP Performance Operational Data"
484   algorithm: "file_test_results"
485   output-file-ext: ".rst"
486   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
487   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
488   dir-tables: "{DIR[DTO,PERF,VPP]}"
489   data:
490     csit-vpp-perf-1710-all:
491     - 5
492   filter: "all"
493   parameters:
494   - "name"
495   - "doc"
496   - "level"
497   data-start-level: 2  # 0, 1, 2, ...
498   chapters-start-level: 2  # 0, 1, 2, ...
499
500 -
501   type: "file"
502   title: "VPP Functional Results"
503   algorithm: "file_test_results"
504   output-file-ext: ".rst"
505   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
506   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
507   dir-tables: "{DIR[DTR,FUNC,VPP]}"
508   data:
509     csit-vpp-functional-1710-ubuntu1604-virl:
510     - 16
511   filter: "all"
512   parameters:
513   - "name"
514   - "doc"
515   - "level"
516   data-start-level: 3  # 0, 1, 2, ...
517   chapters-start-level: 2  # 0, 1, 2, ...
518
519 -
520   type: "file"
521   title: "VPP Functional Configuration"
522   algorithm: "file_test_results"
523   output-file-ext: ".rst"
524   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
525   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
526   dir-tables: "{DIR[DTC,FUNC,VPP]}"
527   data:
528     csit-vpp-functional-1710-ubuntu1604-virl:
529     - 16
530   filter: "all"
531   parameters:
532   - "name"
533   - "doc"
534   - "level"
535   data-start-level: 3  # 0, 1, 2, ...
536   chapters-start-level: 2  # 0, 1, 2, ...
537
538 -
539   type: "file"
540   title: "DPDK Performance Results"
541   algorithm: "file_test_results"
542   output-file-ext: ".rst"
543   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
544   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
545   dir-tables: "{DIR[DTR,PERF,DPDK]}"
546   data:
547     csit-dpdk-perf-1710-all:
548     - 13
549   filter: "all"
550   parameters:
551   - "name"
552   - "doc"
553   - "level"
554   chapters:
555   - "suites"
556   data-start-level: 2  # 0, 1, 2, ...
557   chapters-start-level: 2  # 0, 1, 2, ...
558
559 -
560   type: "file"
561   title: "Honeycomb Functional Results"
562   algorithm: "file_test_results"
563   output-file-ext: ".rst"
564   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
565   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
566   dir-tables: "{DIR[DTR,FUNC,HC]}"
567   data:
568     hc2vpp-csit-integration-1710-ubuntu1604:
569     - "lastSuccessfulBuild"
570   filter: "all"
571   parameters:
572   - "name"
573   - "doc"
574   - "level"
575   chapters:
576   - "suites"
577   data-start-level: 3  # 0, 1, 2, ...
578   chapters-start-level: 2  # 0, 1, 2, ...
579
580 #-
581 #  type: "file"
582 #  title: "NSH SFC Functional Results"
583 #  algorithm: "file_test_results"
584 #  output-file-ext: ".rst"
585 #  output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
586 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
587 #  dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
588 #  data:
589 #    csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
590 #    - 
591 #  filter: "all"
592 #  parameters:
593 #  - "name"
594 #  - "doc"
595 #  - "level"
596 #  chapters:
597 #  - "suites"
598 #  data-start-level: 2  # 0, 1, 2, ...
599 #  chapters-start-level: 2  # 0, 1, 2, ...
600
601 ################################################################################
602 ###                                P L O T S                                 ###
603 ################################################################################
604
605 # Plot packets per second
606
607 # VPP L2 sel1
608 -
609   type: "plot"
610   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
611   algorithm: "plot_performance_box"
612   output-file-type: ".html"
613   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
614   data:
615     csit-vpp-perf-1710-all:
616     - 2
617     - 5
618   # Keep this formatting, the filter is enclosed with " (quotation mark) and
619   # each tag is enclosed with ' (apostrophe).
620   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
621   parameters:
622   - "throughput"
623   - "parent"
624   traces:
625     hoverinfo: "x+y"
626     boxpoints: "outliers"
627     whiskerwidth: 0
628   layout:
629     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
630     xaxis:
631       autorange: True
632       autotick: False
633       fixedrange: False
634       gridcolor: "rgb(238, 238, 238)"
635       linecolor: "rgb(238, 238, 238)"
636       linewidth: 1
637       showgrid: True
638       showline: True
639       showticklabels: True
640       tickcolor: "rgb(238, 238, 238)"
641       tickmode: "linear"
642       title: "Indexed Test Cases"
643       zeroline: False
644     yaxis:
645       gridcolor: "rgb(238, 238, 238)'"
646       hoverformat: ".4s"
647       linecolor: "rgb(238, 238, 238)"
648       linewidth: 1
649       range: []
650       showgrid: True
651       showline: True
652       showticklabels: True
653       tickcolor: "rgb(238, 238, 238)"
654       title: "Packets Per Second [pps]"
655       zeroline: False
656     boxmode: "group"
657     boxgroupgap: 0.5
658     autosize: False
659     margin:
660       t: 50
661       b: 20
662       l: 50
663       r: 20
664     showlegend: True
665     legend:
666       orientation: "h"
667     width: 700
668     height: 1000
669
670 -
671   type: "plot"
672   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
673   algorithm: "plot_performance_box"
674   output-file-type: ".html"
675   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
676   data:
677     csit-vpp-perf-1710-all:
678     - 2
679     - 5
680   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
681   parameters:
682   - "throughput"
683   - "parent"
684   traces:
685     hoverinfo: "x+y"
686     boxpoints: "outliers"
687     whiskerwidth: 0
688   layout:
689     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
690     xaxis:
691       autorange: True
692       autotick: False
693       fixedrange: False
694       gridcolor: "rgb(238, 238, 238)"
695       linecolor: "rgb(238, 238, 238)"
696       linewidth: 1
697       showgrid: True
698       showline: True
699       showticklabels: True
700       tickcolor: "rgb(238, 238, 238)"
701       tickmode: "linear"
702       title: "Indexed Test Cases"
703       zeroline: False
704     yaxis:
705       gridcolor: "rgb(238, 238, 238)'"
706       hoverformat: ".4s"
707       linecolor: "rgb(238, 238, 238)"
708       linewidth: 1
709       range: []
710       showgrid: True
711       showline: True
712       showticklabels: True
713       tickcolor: "rgb(238, 238, 238)"
714       title: "Packets Per Second [pps]"
715       zeroline: False
716     boxmode: "group"
717     boxgroupgap: 0.5
718     autosize: False
719     margin:
720       t: 50
721       b: 20
722       l: 50
723       r: 20
724     showlegend: True
725     legend:
726       orientation: "h"
727     width: 700
728     height: 1000
729
730 -
731   type: "plot"
732   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
733   algorithm: "plot_performance_box"
734   output-file-type: ".html"
735   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
736   data:
737     csit-vpp-perf-1710-all:
738     - 2
739     - 5
740   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
741   parameters:
742   - "throughput"
743   - "parent"
744   traces:
745     hoverinfo: "x+y"
746     boxpoints: "outliers"
747     whiskerwidth: 0
748   layout:
749     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
750     xaxis:
751       autorange: True
752       autotick: False
753       fixedrange: False
754       gridcolor: "rgb(238, 238, 238)"
755       linecolor: "rgb(238, 238, 238)"
756       linewidth: 1
757       showgrid: True
758       showline: True
759       showticklabels: True
760       tickcolor: "rgb(238, 238, 238)"
761       tickmode: "linear"
762       title: "Indexed Test Cases"
763       zeroline: False
764     yaxis:
765       gridcolor: "rgb(238, 238, 238)'"
766       hoverformat: ".4s"
767       linecolor: "rgb(238, 238, 238)"
768       linewidth: 1
769       range: []
770       showgrid: True
771       showline: True
772       showticklabels: True
773       tickcolor: "rgb(238, 238, 238)"
774       title: "Packets Per Second [pps]"
775       zeroline: False
776     boxmode: "group"
777     boxgroupgap: 0.5
778     autosize: False
779     margin:
780       t: 50
781       b: 20
782       l: 50
783       r: 20
784     showlegend: True
785     legend:
786       orientation: "h"
787     width: 700
788     height: 1000
789
790 -
791   type: "plot"
792   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
793   algorithm: "plot_performance_box"
794   output-file-type: ".html"
795   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
796   data:
797     csit-vpp-perf-1710-all:
798     - 2
799     - 5
800   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
801   parameters:
802   - "throughput"
803   - "parent"
804   traces:
805     hoverinfo: "x+y"
806     boxpoints: "outliers"
807     whiskerwidth: 0
808   layout:
809     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
810     xaxis:
811       autorange: True
812       autotick: False
813       fixedrange: False
814       gridcolor: "rgb(238, 238, 238)"
815       linecolor: "rgb(238, 238, 238)"
816       linewidth: 1
817       showgrid: True
818       showline: True
819       showticklabels: True
820       tickcolor: "rgb(238, 238, 238)"
821       tickmode: "linear"
822       title: "Indexed Test Cases"
823       zeroline: False
824     yaxis:
825       gridcolor: "rgb(238, 238, 238)'"
826       hoverformat: ".4s"
827       linecolor: "rgb(238, 238, 238)"
828       linewidth: 1
829       range: []
830       showgrid: True
831       showline: True
832       showticklabels: True
833       tickcolor: "rgb(238, 238, 238)"
834       title: "Packets Per Second [pps]"
835       zeroline: False
836     boxmode: "group"
837     boxgroupgap: 0.5
838     autosize: False
839     margin:
840       t: 50
841       b: 20
842       l: 50
843       r: 20
844     showlegend: True
845     legend:
846       orientation: "h"
847     width: 700
848     height: 1000
849
850 # VPP L2 sel2
851 -
852   type: "plot"
853   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
854   algorithm: "plot_performance_box"
855   output-file-type: ".html"
856   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
857   data:
858     csit-vpp-perf-1710-all:
859     - 2
860     - 5
861   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
862   parameters:
863   - "throughput"
864   - "parent"
865   traces:
866     hoverinfo: "x+y"
867     boxpoints: "outliers"
868     whiskerwidth: 0
869   layout:
870     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
871     xaxis:
872       autorange: True
873       autotick: False
874       fixedrange: False
875       gridcolor: "rgb(238, 238, 238)"
876       linecolor: "rgb(238, 238, 238)"
877       linewidth: 1
878       showgrid: True
879       showline: True
880       showticklabels: True
881       tickcolor: "rgb(238, 238, 238)"
882       tickmode: "linear"
883       title: "Indexed Test Cases"
884       zeroline: False
885     yaxis:
886       gridcolor: "rgb(238, 238, 238)'"
887       hoverformat: ".4s"
888       linecolor: "rgb(238, 238, 238)"
889       linewidth: 1
890       range: [0, 8000000]
891       showgrid: True
892       showline: True
893       showticklabels: True
894       tickcolor: "rgb(238, 238, 238)"
895       title: "Packets Per Second [pps]"
896       zeroline: False
897     boxmode: "group"
898     boxgroupgap: 0.5
899     autosize: False
900     margin:
901       t: 50
902       b: 20
903       l: 50
904       r: 20
905     showlegend: True
906     legend:
907       orientation: "h"
908     width: 700
909     height: 1000
910
911 -
912   type: "plot"
913   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
914   algorithm: "plot_performance_box"
915   output-file-type: ".html"
916   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
917   data:
918     csit-vpp-perf-1710-all:
919     - 2
920     - 5
921   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
922   parameters:
923   - "throughput"
924   - "parent"
925   traces:
926     hoverinfo: "x+y"
927     boxpoints: "outliers"
928     whiskerwidth: 0
929   layout:
930     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
931     xaxis:
932       autorange: True
933       autotick: False
934       fixedrange: False
935       gridcolor: "rgb(238, 238, 238)"
936       linecolor: "rgb(238, 238, 238)"
937       linewidth: 1
938       showgrid: True
939       showline: True
940       showticklabels: True
941       tickcolor: "rgb(238, 238, 238)"
942       tickmode: "linear"
943       title: "Indexed Test Cases"
944       zeroline: False
945     yaxis:
946       gridcolor: "rgb(238, 238, 238)'"
947       hoverformat: ".4s"
948       linecolor: "rgb(238, 238, 238)"
949       linewidth: 1
950       range: [5000000, 12000000]
951       showgrid: True
952       showline: True
953       showticklabels: True
954       tickcolor: "rgb(238, 238, 238)"
955       title: "Packets Per Second [pps]"
956       zeroline: False
957     boxmode: "group"
958     boxgroupgap: 0.5
959     autosize: False
960     margin:
961       t: 50
962       b: 20
963       l: 50
964       r: 20
965     showlegend: True
966     legend:
967       orientation: "h"
968     width: 700
969     height: 1000
970
971 -
972   type: "plot"
973   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
974   algorithm: "plot_performance_box"
975   output-file-type: ".html"
976   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
977   data:
978     csit-vpp-perf-1710-all:
979     - 2
980     - 5
981   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
982   parameters:
983   - "throughput"
984   - "parent"
985   traces:
986     hoverinfo: "x+y"
987     boxpoints: "outliers"
988     whiskerwidth: 0
989   layout:
990     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
991     xaxis:
992       autorange: True
993       autotick: False
994       fixedrange: False
995       gridcolor: "rgb(238, 238, 238)"
996       linecolor: "rgb(238, 238, 238)"
997       linewidth: 1
998       showgrid: True
999       showline: True
1000       showticklabels: True
1001       tickcolor: "rgb(238, 238, 238)"
1002       tickmode: "linear"
1003       title: "Indexed Test Cases"
1004       zeroline: False
1005     yaxis:
1006       gridcolor: "rgb(238, 238, 238)'"
1007       hoverformat: ".4s"
1008       linecolor: "rgb(238, 238, 238)"
1009       linewidth: 1
1010       range: [0, 8000000]
1011       showgrid: True
1012       showline: True
1013       showticklabels: True
1014       tickcolor: "rgb(238, 238, 238)"
1015       title: "Packets Per Second [pps]"
1016       zeroline: False
1017     boxmode: "group"
1018     boxgroupgap: 0.5
1019     autosize: False
1020     margin:
1021       t: 50
1022       b: 20
1023       l: 50
1024       r: 20
1025     showlegend: True
1026     legend:
1027       orientation: "h"
1028     width: 700
1029     height: 1000
1030
1031 -
1032   type: "plot"
1033   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1034   algorithm: "plot_performance_box"
1035   output-file-type: ".html"
1036   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1037   data:
1038     csit-vpp-perf-1710-all:
1039     - 2
1040     - 5
1041   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1042   parameters:
1043   - "throughput"
1044   - "parent"
1045   traces:
1046     hoverinfo: "x+y"
1047     boxpoints: "outliers"
1048     whiskerwidth: 0
1049   layout:
1050     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1051     xaxis:
1052       autorange: True
1053       autotick: False
1054       fixedrange: False
1055       gridcolor: "rgb(238, 238, 238)"
1056       linecolor: "rgb(238, 238, 238)"
1057       linewidth: 1
1058       showgrid: True
1059       showline: True
1060       showticklabels: True
1061       tickcolor: "rgb(238, 238, 238)"
1062       tickmode: "linear"
1063       title: "Indexed Test Cases"
1064       zeroline: False
1065     yaxis:
1066       gridcolor: "rgb(238, 238, 238)'"
1067       hoverformat: ".4s"
1068       linecolor: "rgb(238, 238, 238)"
1069       linewidth: 1
1070       range: [5000000, 12000000]
1071       showgrid: True
1072       showline: True
1073       showticklabels: True
1074       tickcolor: "rgb(238, 238, 238)"
1075       title: "Packets Per Second [pps]"
1076       zeroline: False
1077     boxmode: "group"
1078     boxgroupgap: 0.5
1079     autosize: False
1080     margin:
1081       t: 50
1082       b: 20
1083       l: 50
1084       r: 20
1085     showlegend: True
1086     legend:
1087       orientation: "h"
1088     width: 700
1089     height: 1000
1090
1091 # VPP IP4
1092 -
1093   type: "plot"
1094   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1095   algorithm: "plot_performance_box"
1096   output-file-type: ".html"
1097   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1098   data:
1099     csit-vpp-perf-1710-all:
1100     - 2
1101     - 5
1102   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1103   parameters:
1104   - "throughput"
1105   - "parent"
1106   traces:
1107     hoverinfo: "x+y"
1108     boxpoints: "outliers"
1109     whiskerwidth: 0
1110   layout:
1111     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1112     xaxis:
1113       autorange: True
1114       autotick: False
1115       fixedrange: False
1116       gridcolor: "rgb(238, 238, 238)"
1117       linecolor: "rgb(238, 238, 238)"
1118       linewidth: 1
1119       showgrid: True
1120       showline: True
1121       showticklabels: True
1122       tickcolor: "rgb(238, 238, 238)"
1123       tickmode: "linear"
1124       title: "Indexed Test Cases"
1125       zeroline: False
1126     yaxis:
1127       gridcolor: "rgb(238, 238, 238)'"
1128       hoverformat: ".4s"
1129       linecolor: "rgb(238, 238, 238)"
1130       linewidth: 1
1131       range: []
1132       showgrid: True
1133       showline: True
1134       showticklabels: True
1135       tickcolor: "rgb(238, 238, 238)"
1136       title: "Packets Per Second [pps]"
1137       zeroline: False
1138     boxmode: "group"
1139     boxgroupgap: 0.5
1140     autosize: False
1141     margin:
1142       t: 50
1143       b: 20
1144       l: 50
1145       r: 20
1146     showlegend: True
1147     legend:
1148       orientation: "h"
1149     width: 700
1150     height: 1000
1151
1152 -
1153   type: "plot"
1154   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1155   algorithm: "plot_performance_box"
1156   output-file-type: ".html"
1157   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1158   data:
1159     csit-vpp-perf-1710-all:
1160     - 2
1161     - 5
1162   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1163   parameters:
1164   - "throughput"
1165   - "parent"
1166   traces:
1167     hoverinfo: "x+y"
1168     boxpoints: "outliers"
1169     whiskerwidth: 0
1170   layout:
1171     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1172     xaxis:
1173       autorange: True
1174       autotick: False
1175       fixedrange: False
1176       gridcolor: "rgb(238, 238, 238)"
1177       linecolor: "rgb(238, 238, 238)"
1178       linewidth: 1
1179       showgrid: True
1180       showline: True
1181       showticklabels: True
1182       tickcolor: "rgb(238, 238, 238)"
1183       tickmode: "linear"
1184       title: "Indexed Test Cases"
1185       zeroline: False
1186     yaxis:
1187       gridcolor: "rgb(238, 238, 238)'"
1188       hoverformat: ".4s"
1189       linecolor: "rgb(238, 238, 238)"
1190       linewidth: 1
1191       range: []
1192       showgrid: True
1193       showline: True
1194       showticklabels: True
1195       tickcolor: "rgb(238, 238, 238)"
1196       title: "Packets Per Second [pps]"
1197       zeroline: False
1198     boxmode: "group"
1199     boxgroupgap: 0.5
1200     autosize: False
1201     margin:
1202       t: 50
1203       b: 20
1204       l: 50
1205       r: 20
1206     showlegend: True
1207     legend:
1208       orientation: "h"
1209     width: 700
1210     height: 1000
1211
1212 -
1213   type: "plot"
1214   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1215   algorithm: "plot_performance_box"
1216   output-file-type: ".html"
1217   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1218   data:
1219     csit-vpp-perf-1710-all:
1220     - 2
1221     - 5
1222   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1223   parameters:
1224   - "throughput"
1225   - "parent"
1226   traces:
1227     hoverinfo: "x+y"
1228     boxpoints: "outliers"
1229     whiskerwidth: 0
1230   layout:
1231     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1232     xaxis:
1233       autorange: True
1234       autotick: False
1235       fixedrange: False
1236       gridcolor: "rgb(238, 238, 238)"
1237       linecolor: "rgb(238, 238, 238)"
1238       linewidth: 1
1239       showgrid: True
1240       showline: True
1241       showticklabels: True
1242       tickcolor: "rgb(238, 238, 238)"
1243       tickmode: "linear"
1244       title: "Indexed Test Cases"
1245       zeroline: False
1246     yaxis:
1247       gridcolor: "rgb(238, 238, 238)'"
1248       hoverformat: ".4s"
1249       linecolor: "rgb(238, 238, 238)"
1250       linewidth: 1
1251       range: []
1252       showgrid: True
1253       showline: True
1254       showticklabels: True
1255       tickcolor: "rgb(238, 238, 238)"
1256       title: "Packets Per Second [pps]"
1257       zeroline: False
1258     boxmode: "group"
1259     boxgroupgap: 0.5
1260     autosize: False
1261     margin:
1262       t: 50
1263       b: 20
1264       l: 50
1265       r: 20
1266     showlegend: True
1267     legend:
1268       orientation: "h"
1269     width: 700
1270     height: 1000
1271
1272 -
1273   type: "plot"
1274   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1275   algorithm: "plot_performance_box"
1276   output-file-type: ".html"
1277   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1278   data:
1279     csit-vpp-perf-1710-all:
1280     - 2
1281     - 5
1282   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1283   parameters:
1284   - "throughput"
1285   - "parent"
1286   traces:
1287     hoverinfo: "x+y"
1288     boxpoints: "outliers"
1289     whiskerwidth: 0
1290   layout:
1291     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1292     xaxis:
1293       autorange: True
1294       autotick: False
1295       fixedrange: False
1296       gridcolor: "rgb(238, 238, 238)"
1297       linecolor: "rgb(238, 238, 238)"
1298       linewidth: 1
1299       showgrid: True
1300       showline: True
1301       showticklabels: True
1302       tickcolor: "rgb(238, 238, 238)"
1303       tickmode: "linear"
1304       title: "Indexed Test Cases"
1305       zeroline: False
1306     yaxis:
1307       gridcolor: "rgb(238, 238, 238)'"
1308       hoverformat: ".4s"
1309       linecolor: "rgb(238, 238, 238)"
1310       linewidth: 1
1311       range: []
1312       showgrid: True
1313       showline: True
1314       showticklabels: True
1315       tickcolor: "rgb(238, 238, 238)"
1316       title: "Packets Per Second [pps]"
1317       zeroline: False
1318     boxmode: "group"
1319     boxgroupgap: 0.5
1320     autosize: False
1321     margin:
1322       t: 50
1323       b: 20
1324       l: 50
1325       r: 20
1326     showlegend: True
1327     legend:
1328       orientation: "h"
1329     width: 700
1330     height: 1000
1331
1332 # VPP IP6
1333 -
1334   type: "plot"
1335   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1336   algorithm: "plot_performance_box"
1337   output-file-type: ".html"
1338   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1339   data:
1340     csit-vpp-perf-1710-all:
1341     - 2
1342     - 5
1343   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1344   parameters:
1345   - "throughput"
1346   - "parent"
1347   traces:
1348     hoverinfo: "x+y"
1349     boxpoints: "outliers"
1350     whiskerwidth: 0
1351   layout:
1352     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1353     xaxis:
1354       autorange: True
1355       autotick: False
1356       fixedrange: False
1357       gridcolor: "rgb(238, 238, 238)"
1358       linecolor: "rgb(238, 238, 238)"
1359       linewidth: 1
1360       showgrid: True
1361       showline: True
1362       showticklabels: True
1363       tickcolor: "rgb(238, 238, 238)"
1364       tickmode: "linear"
1365       title: "Indexed Test Cases"
1366       zeroline: False
1367     yaxis:
1368       gridcolor: "rgb(238, 238, 238)'"
1369       hoverformat: ".4s"
1370       linecolor: "rgb(238, 238, 238)"
1371       linewidth: 1
1372       range: []
1373       showgrid: True
1374       showline: True
1375       showticklabels: True
1376       tickcolor: "rgb(238, 238, 238)"
1377       title: "Packets Per Second [pps]"
1378       zeroline: False
1379     boxmode: "group"
1380     boxgroupgap: 0.5
1381     autosize: False
1382     margin:
1383       t: 50
1384       b: 20
1385       l: 50
1386       r: 20
1387     showlegend: True
1388     legend:
1389       orientation: "h"
1390     width: 700
1391     height: 1000
1392
1393 -
1394   type: "plot"
1395   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1396   algorithm: "plot_performance_box"
1397   output-file-type: ".html"
1398   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1399   data:
1400     csit-vpp-perf-1710-all:
1401     - 2
1402     - 5
1403   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1404   parameters:
1405   - "throughput"
1406   - "parent"
1407   traces:
1408     hoverinfo: "x+y"
1409     boxpoints: "outliers"
1410     whiskerwidth: 0
1411   layout:
1412     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1413     xaxis:
1414       autorange: True
1415       autotick: False
1416       fixedrange: False
1417       gridcolor: "rgb(238, 238, 238)"
1418       linecolor: "rgb(238, 238, 238)"
1419       linewidth: 1
1420       showgrid: True
1421       showline: True
1422       showticklabels: True
1423       tickcolor: "rgb(238, 238, 238)"
1424       tickmode: "linear"
1425       title: "Indexed Test Cases"
1426       zeroline: False
1427     yaxis:
1428       gridcolor: "rgb(238, 238, 238)'"
1429       hoverformat: ".4s"
1430       linecolor: "rgb(238, 238, 238)"
1431       linewidth: 1
1432       range: []
1433       showgrid: True
1434       showline: True
1435       showticklabels: True
1436       tickcolor: "rgb(238, 238, 238)"
1437       title: "Packets Per Second [pps]"
1438       zeroline: False
1439     boxmode: "group"
1440     boxgroupgap: 0.5
1441     autosize: False
1442     margin:
1443       t: 50
1444       b: 20
1445       l: 50
1446       r: 20
1447     showlegend: True
1448     legend:
1449       orientation: "h"
1450     width: 700
1451     height: 1000
1452
1453 -
1454   type: "plot"
1455   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1456   algorithm: "plot_performance_box"
1457   output-file-type: ".html"
1458   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1459   data:
1460     csit-vpp-perf-1710-all:
1461     - 2
1462     - 5
1463   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1464   parameters:
1465   - "throughput"
1466   - "parent"
1467   traces:
1468     hoverinfo: "x+y"
1469     boxpoints: "outliers"
1470     whiskerwidth: 0
1471   layout:
1472     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1473     xaxis:
1474       autorange: True
1475       autotick: False
1476       fixedrange: False
1477       gridcolor: "rgb(238, 238, 238)"
1478       linecolor: "rgb(238, 238, 238)"
1479       linewidth: 1
1480       showgrid: True
1481       showline: True
1482       showticklabels: True
1483       tickcolor: "rgb(238, 238, 238)"
1484       tickmode: "linear"
1485       title: "Indexed Test Cases"
1486       zeroline: False
1487     yaxis:
1488       gridcolor: "rgb(238, 238, 238)'"
1489       hoverformat: ".4s"
1490       linecolor: "rgb(238, 238, 238)"
1491       linewidth: 1
1492       range: []
1493       showgrid: True
1494       showline: True
1495       showticklabels: True
1496       tickcolor: "rgb(238, 238, 238)"
1497       title: "Packets Per Second [pps]"
1498       zeroline: False
1499     boxmode: "group"
1500     boxgroupgap: 0.5
1501     autosize: False
1502     margin:
1503       t: 50
1504       b: 20
1505       l: 50
1506       r: 20
1507     showlegend: True
1508     legend:
1509       orientation: "h"
1510     width: 700
1511     height: 1000
1512
1513 -
1514   type: "plot"
1515   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1516   algorithm: "plot_performance_box"
1517   output-file-type: ".html"
1518   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1519   data:
1520     csit-vpp-perf-1710-all:
1521     - 2
1522     - 5
1523   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1524   parameters:
1525   - "throughput"
1526   - "parent"
1527   traces:
1528     hoverinfo: "x+y"
1529     boxpoints: "outliers"
1530     whiskerwidth: 0
1531   layout:
1532     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1533     xaxis:
1534       autorange: True
1535       autotick: False
1536       fixedrange: False
1537       gridcolor: "rgb(238, 238, 238)"
1538       linecolor: "rgb(238, 238, 238)"
1539       linewidth: 1
1540       showgrid: True
1541       showline: True
1542       showticklabels: True
1543       tickcolor: "rgb(238, 238, 238)"
1544       tickmode: "linear"
1545       title: "Indexed Test Cases"
1546       zeroline: False
1547     yaxis:
1548       gridcolor: "rgb(238, 238, 238)'"
1549       hoverformat: ".4s"
1550       linecolor: "rgb(238, 238, 238)"
1551       linewidth: 1
1552       range: []
1553       showgrid: True
1554       showline: True
1555       showticklabels: True
1556       tickcolor: "rgb(238, 238, 238)"
1557       title: "Packets Per Second [pps]"
1558       zeroline: False
1559     boxmode: "group"
1560     boxgroupgap: 0.5
1561     autosize: False
1562     margin:
1563       t: 50
1564       b: 20
1565       l: 50
1566       r: 20
1567     showlegend: True
1568     legend:
1569       orientation: "h"
1570     width: 700
1571     height: 1000
1572
1573 # VPP IP4_overlay
1574 -
1575   type: "plot"
1576   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1577   algorithm: "plot_performance_box"
1578   output-file-type: ".html"
1579   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1580   data:
1581     csit-vpp-perf-1710-all:
1582     - 2
1583     - 5
1584   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1585   parameters:
1586   - "throughput"
1587   - "parent"
1588   traces:
1589     hoverinfo: "x+y"
1590     boxpoints: "outliers"
1591     whiskerwidth: 0
1592   layout:
1593     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1594     xaxis:
1595       autorange: True
1596       autotick: False
1597       fixedrange: False
1598       gridcolor: "rgb(238, 238, 238)"
1599       linecolor: "rgb(238, 238, 238)"
1600       linewidth: 1
1601       showgrid: True
1602       showline: True
1603       showticklabels: True
1604       tickcolor: "rgb(238, 238, 238)"
1605       tickmode: "linear"
1606       title: "Indexed Test Cases"
1607       zeroline: False
1608     yaxis:
1609       gridcolor: "rgb(238, 238, 238)'"
1610       hoverformat: ".4s"
1611       linecolor: "rgb(238, 238, 238)"
1612       linewidth: 1
1613       range: []
1614       showgrid: True
1615       showline: True
1616       showticklabels: True
1617       tickcolor: "rgb(238, 238, 238)"
1618       title: "Packets Per Second [pps]"
1619       zeroline: False
1620     boxmode: "group"
1621     boxgroupgap: 0.5
1622     autosize: False
1623     margin:
1624       t: 50
1625       b: 20
1626       l: 50
1627       r: 20
1628     showlegend: True
1629     legend:
1630       orientation: "h"
1631     width: 700
1632     height: 1000
1633
1634 -
1635   type: "plot"
1636   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1637   algorithm: "plot_performance_box"
1638   output-file-type: ".html"
1639   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1640   data:
1641     csit-vpp-perf-1710-all:
1642     - 2
1643     - 5
1644   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1645   parameters:
1646   - "throughput"
1647   - "parent"
1648   traces:
1649     hoverinfo: "x+y"
1650     boxpoints: "outliers"
1651     whiskerwidth: 0
1652   layout:
1653     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1654     xaxis:
1655       autorange: True
1656       autotick: False
1657       fixedrange: False
1658       gridcolor: "rgb(238, 238, 238)"
1659       linecolor: "rgb(238, 238, 238)"
1660       linewidth: 1
1661       showgrid: True
1662       showline: True
1663       showticklabels: True
1664       tickcolor: "rgb(238, 238, 238)"
1665       tickmode: "linear"
1666       title: "Indexed Test Cases"
1667       zeroline: False
1668     yaxis:
1669       gridcolor: "rgb(238, 238, 238)'"
1670       hoverformat: ".4s"
1671       linecolor: "rgb(238, 238, 238)"
1672       linewidth: 1
1673       range: []
1674       showgrid: True
1675       showline: True
1676       showticklabels: True
1677       tickcolor: "rgb(238, 238, 238)"
1678       title: "Packets Per Second [pps]"
1679       zeroline: False
1680     boxmode: "group"
1681     boxgroupgap: 0.5
1682     autosize: False
1683     margin:
1684       t: 50
1685       b: 20
1686       l: 50
1687       r: 20
1688     showlegend: True
1689     legend:
1690       orientation: "h"
1691     width: 700
1692     height: 1000
1693
1694 -
1695   type: "plot"
1696   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1697   algorithm: "plot_performance_box"
1698   output-file-type: ".html"
1699   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1700   data:
1701     csit-vpp-perf-1710-all:
1702     - 2
1703     - 5
1704   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1705   parameters:
1706   - "throughput"
1707   - "parent"
1708   traces:
1709     hoverinfo: "x+y"
1710     boxpoints: "outliers"
1711     whiskerwidth: 0
1712   layout:
1713     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1714     xaxis:
1715       autorange: True
1716       autotick: False
1717       fixedrange: False
1718       gridcolor: "rgb(238, 238, 238)"
1719       linecolor: "rgb(238, 238, 238)"
1720       linewidth: 1
1721       showgrid: True
1722       showline: True
1723       showticklabels: True
1724       tickcolor: "rgb(238, 238, 238)"
1725       tickmode: "linear"
1726       title: "Indexed Test Cases"
1727       zeroline: False
1728     yaxis:
1729       gridcolor: "rgb(238, 238, 238)'"
1730       hoverformat: ".4s"
1731       linecolor: "rgb(238, 238, 238)"
1732       linewidth: 1
1733       range: []
1734       showgrid: True
1735       showline: True
1736       showticklabels: True
1737       tickcolor: "rgb(238, 238, 238)"
1738       title: "Packets Per Second [pps]"
1739       zeroline: False
1740     boxmode: "group"
1741     boxgroupgap: 0.5
1742     autosize: False
1743     margin:
1744       t: 50
1745       b: 20
1746       l: 50
1747       r: 20
1748     showlegend: True
1749     legend:
1750       orientation: "h"
1751     width: 700
1752     height: 1000
1753
1754 -
1755   type: "plot"
1756   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1757   algorithm: "plot_performance_box"
1758   output-file-type: ".html"
1759   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1760   data:
1761     csit-vpp-perf-1710-all:
1762     - 2
1763     - 5
1764   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1765   parameters:
1766   - "throughput"
1767   - "parent"
1768   traces:
1769     hoverinfo: "x+y"
1770     boxpoints: "outliers"
1771     whiskerwidth: 0
1772   layout:
1773     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1774     xaxis:
1775       autorange: True
1776       autotick: False
1777       fixedrange: False
1778       gridcolor: "rgb(238, 238, 238)"
1779       linecolor: "rgb(238, 238, 238)"
1780       linewidth: 1
1781       showgrid: True
1782       showline: True
1783       showticklabels: True
1784       tickcolor: "rgb(238, 238, 238)"
1785       tickmode: "linear"
1786       title: "Indexed Test Cases"
1787       zeroline: False
1788     yaxis:
1789       gridcolor: "rgb(238, 238, 238)'"
1790       hoverformat: ".4s"
1791       linecolor: "rgb(238, 238, 238)"
1792       linewidth: 1
1793       range: []
1794       showgrid: True
1795       showline: True
1796       showticklabels: True
1797       tickcolor: "rgb(238, 238, 238)"
1798       title: "Packets Per Second [pps]"
1799       zeroline: False
1800     boxmode: "group"
1801     boxgroupgap: 0.5
1802     autosize: False
1803     margin:
1804       t: 50
1805       b: 20
1806       l: 50
1807       r: 20
1808     showlegend: True
1809     legend:
1810       orientation: "h"
1811     width: 700
1812     height: 1000
1813
1814 # VPP IP6_overlay
1815 -
1816   type: "plot"
1817   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1818   algorithm: "plot_performance_box"
1819   output-file-type: ".html"
1820   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1821   data:
1822     csit-vpp-perf-1710-all:
1823     - 2
1824     - 5
1825   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1826   parameters:
1827   - "throughput"
1828   - "parent"
1829   traces:
1830     hoverinfo: "x+y"
1831     boxpoints: "outliers"
1832     whiskerwidth: 0
1833   layout:
1834     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1835     xaxis:
1836       autorange: True
1837       autotick: False
1838       fixedrange: False
1839       gridcolor: "rgb(238, 238, 238)"
1840       linecolor: "rgb(238, 238, 238)"
1841       linewidth: 1
1842       showgrid: True
1843       showline: True
1844       showticklabels: True
1845       tickcolor: "rgb(238, 238, 238)"
1846       tickmode: "linear"
1847       title: "Indexed Test Cases"
1848       zeroline: False
1849     yaxis:
1850       gridcolor: "rgb(238, 238, 238)'"
1851       hoverformat: ".4s"
1852       linecolor: "rgb(238, 238, 238)"
1853       linewidth: 1
1854       range: []
1855       showgrid: True
1856       showline: True
1857       showticklabels: True
1858       tickcolor: "rgb(238, 238, 238)"
1859       title: "Packets Per Second [pps]"
1860       zeroline: False
1861     boxmode: "group"
1862     boxgroupgap: 0.5
1863     autosize: False
1864     margin:
1865       t: 50
1866       b: 20
1867       l: 50
1868       r: 20
1869     showlegend: True
1870     legend:
1871       orientation: "h"
1872     width: 700
1873     height: 1000
1874
1875 -
1876   type: "plot"
1877   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1878   algorithm: "plot_performance_box"
1879   output-file-type: ".html"
1880   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1881   data:
1882     csit-vpp-perf-1710-all:
1883     - 2
1884     - 5
1885   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1886   parameters:
1887   - "throughput"
1888   - "parent"
1889   traces:
1890     hoverinfo: "x+y"
1891     boxpoints: "outliers"
1892     whiskerwidth: 0
1893   layout:
1894     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1895     xaxis:
1896       autorange: True
1897       autotick: False
1898       fixedrange: False
1899       gridcolor: "rgb(238, 238, 238)"
1900       linecolor: "rgb(238, 238, 238)"
1901       linewidth: 1
1902       showgrid: True
1903       showline: True
1904       showticklabels: True
1905       tickcolor: "rgb(238, 238, 238)"
1906       tickmode: "linear"
1907       title: "Indexed Test Cases"
1908       zeroline: False
1909     yaxis:
1910       gridcolor: "rgb(238, 238, 238)'"
1911       hoverformat: ".4s"
1912       linecolor: "rgb(238, 238, 238)"
1913       linewidth: 1
1914       range: []
1915       showgrid: True
1916       showline: True
1917       showticklabels: True
1918       tickcolor: "rgb(238, 238, 238)"
1919       title: "Packets Per Second [pps]"
1920       zeroline: False
1921     boxmode: "group"
1922     boxgroupgap: 0.5
1923     autosize: False
1924     margin:
1925       t: 50
1926       b: 20
1927       l: 50
1928       r: 20
1929     showlegend: True
1930     legend:
1931       orientation: "h"
1932     width: 700
1933     height: 1000
1934
1935 -
1936   type: "plot"
1937   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1938   algorithm: "plot_performance_box"
1939   output-file-type: ".html"
1940   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1941   data:
1942     csit-vpp-perf-1710-all:
1943     - 2
1944     - 5
1945   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1946   parameters:
1947   - "throughput"
1948   - "parent"
1949   traces:
1950     hoverinfo: "x+y"
1951     boxpoints: "outliers"
1952     whiskerwidth: 0
1953   layout:
1954     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1955     xaxis:
1956       autorange: True
1957       autotick: False
1958       fixedrange: False
1959       gridcolor: "rgb(238, 238, 238)"
1960       linecolor: "rgb(238, 238, 238)"
1961       linewidth: 1
1962       showgrid: True
1963       showline: True
1964       showticklabels: True
1965       tickcolor: "rgb(238, 238, 238)"
1966       tickmode: "linear"
1967       title: "Indexed Test Cases"
1968       zeroline: False
1969     yaxis:
1970       gridcolor: "rgb(238, 238, 238)'"
1971       hoverformat: ".4s"
1972       linecolor: "rgb(238, 238, 238)"
1973       linewidth: 1
1974       range: []
1975       showgrid: True
1976       showline: True
1977       showticklabels: True
1978       tickcolor: "rgb(238, 238, 238)"
1979       title: "Packets Per Second [pps]"
1980       zeroline: False
1981     boxmode: "group"
1982     boxgroupgap: 0.5
1983     autosize: False
1984     margin:
1985       t: 50
1986       b: 20
1987       l: 50
1988       r: 20
1989     showlegend: True
1990     legend:
1991       orientation: "h"
1992     width: 700
1993     height: 1000
1994
1995 -
1996   type: "plot"
1997   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1998   algorithm: "plot_performance_box"
1999   output-file-type: ".html"
2000   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2001   data:
2002     csit-vpp-perf-1710-all:
2003     - 2
2004     - 5
2005   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2006   parameters:
2007   - "throughput"
2008   - "parent"
2009   traces:
2010     hoverinfo: "x+y"
2011     boxpoints: "outliers"
2012     whiskerwidth: 0
2013   layout:
2014     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2015     xaxis:
2016       autorange: True
2017       autotick: False
2018       fixedrange: False
2019       gridcolor: "rgb(238, 238, 238)"
2020       linecolor: "rgb(238, 238, 238)"
2021       linewidth: 1
2022       showgrid: True
2023       showline: True
2024       showticklabels: True
2025       tickcolor: "rgb(238, 238, 238)"
2026       tickmode: "linear"
2027       title: "Indexed Test Cases"
2028       zeroline: False
2029     yaxis:
2030       gridcolor: "rgb(238, 238, 238)'"
2031       hoverformat: ".4s"
2032       linecolor: "rgb(238, 238, 238)"
2033       linewidth: 1
2034       range: []
2035       showgrid: True
2036       showline: True
2037       showticklabels: True
2038       tickcolor: "rgb(238, 238, 238)"
2039       title: "Packets Per Second [pps]"
2040       zeroline: False
2041     boxmode: "group"
2042     boxgroupgap: 0.5
2043     autosize: False
2044     margin:
2045       t: 50
2046       b: 20
2047       l: 50
2048       r: 20
2049     showlegend: True
2050     legend:
2051       orientation: "h"
2052     width: 700
2053     height: 1000
2054
2055 # VPP VM VHOST
2056 -
2057   type: "plot"
2058   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2059   algorithm: "plot_performance_box"
2060   output-file-type: ".html"
2061   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2062   data:
2063     csit-vpp-perf-1710-all:
2064     - 2
2065     - 5
2066   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2067   parameters:
2068   - "throughput"
2069   - "parent"
2070   traces:
2071     hoverinfo: "x+y"
2072     boxpoints: "outliers"
2073     whiskerwidth: 0
2074   layout:
2075     title: "64B-1t1c-.*vhost.*-ndrdisc"
2076     xaxis:
2077       autorange: True
2078       autotick: False
2079       fixedrange: False
2080       gridcolor: "rgb(238, 238, 238)"
2081       linecolor: "rgb(238, 238, 238)"
2082       linewidth: 1
2083       showgrid: True
2084       showline: True
2085       showticklabels: True
2086       tickcolor: "rgb(238, 238, 238)"
2087       tickmode: "linear"
2088       title: "Indexed Test Cases"
2089       zeroline: False
2090     yaxis:
2091       gridcolor: "rgb(238, 238, 238)'"
2092       hoverformat: ".4s"
2093       linecolor: "rgb(238, 238, 238)"
2094       linewidth: 1
2095       range: []
2096       showgrid: True
2097       showline: True
2098       showticklabels: True
2099       tickcolor: "rgb(238, 238, 238)"
2100       title: "Packets Per Second [pps]"
2101       zeroline: False
2102     boxmode: "group"
2103     boxgroupgap: 0.5
2104     autosize: False
2105     margin:
2106       t: 50
2107       b: 20
2108       l: 50
2109       r: 20
2110     showlegend: True
2111     legend:
2112       orientation: "h"
2113     width: 700
2114     height: 1000
2115
2116 -
2117   type: "plot"
2118   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2119   algorithm: "plot_performance_box"
2120   output-file-type: ".html"
2121   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2122   data:
2123     csit-vpp-perf-1710-all:
2124     - 2
2125     - 5
2126   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2127   parameters:
2128   - "throughput"
2129   - "parent"
2130   traces:
2131     hoverinfo: "x+y"
2132     boxpoints: "outliers"
2133     whiskerwidth: 0
2134   layout:
2135     title: "64B-2t2c-.*vhost.*-ndrdisc"
2136     xaxis:
2137       autorange: True
2138       autotick: False
2139       fixedrange: False
2140       gridcolor: "rgb(238, 238, 238)"
2141       linecolor: "rgb(238, 238, 238)"
2142       linewidth: 1
2143       showgrid: True
2144       showline: True
2145       showticklabels: True
2146       tickcolor: "rgb(238, 238, 238)"
2147       tickmode: "linear"
2148       title: "Indexed Test Cases"
2149       zeroline: False
2150     yaxis:
2151       gridcolor: "rgb(238, 238, 238)'"
2152       hoverformat: ".4s"
2153       linecolor: "rgb(238, 238, 238)"
2154       linewidth: 1
2155       range: []
2156       showgrid: True
2157       showline: True
2158       showticklabels: True
2159       tickcolor: "rgb(238, 238, 238)"
2160       title: "Packets Per Second [pps]"
2161       zeroline: False
2162     boxmode: "group"
2163     boxgroupgap: 0.5
2164     autosize: False
2165     margin:
2166       t: 50
2167       b: 20
2168       l: 50
2169       r: 20
2170     showlegend: True
2171     legend:
2172       orientation: "h"
2173     width: 700
2174     height: 1000
2175
2176 -
2177   type: "plot"
2178   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2179   algorithm: "plot_performance_box"
2180   output-file-type: ".html"
2181   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2182   data:
2183     csit-vpp-perf-1710-all:
2184     - 2
2185     - 5
2186   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2187   parameters:
2188   - "throughput"
2189   - "parent"
2190   traces:
2191     hoverinfo: "x+y"
2192     boxpoints: "outliers"
2193     whiskerwidth: 0
2194   layout:
2195     title: "64B-1t1c-.*vhost.*-pdrdisc"
2196     xaxis:
2197       autorange: True
2198       autotick: False
2199       fixedrange: False
2200       gridcolor: "rgb(238, 238, 238)"
2201       linecolor: "rgb(238, 238, 238)"
2202       linewidth: 1
2203       showgrid: True
2204       showline: True
2205       showticklabels: True
2206       tickcolor: "rgb(238, 238, 238)"
2207       tickmode: "linear"
2208       title: "Indexed Test Cases"
2209       zeroline: False
2210     yaxis:
2211       gridcolor: "rgb(238, 238, 238)'"
2212       hoverformat: ".4s"
2213       linecolor: "rgb(238, 238, 238)"
2214       linewidth: 1
2215       range: []
2216       showgrid: True
2217       showline: True
2218       showticklabels: True
2219       tickcolor: "rgb(238, 238, 238)"
2220       title: "Packets Per Second [pps]"
2221       zeroline: False
2222     boxmode: "group"
2223     boxgroupgap: 0.5
2224     autosize: False
2225     margin:
2226       t: 50
2227       b: 20
2228       l: 50
2229       r: 20
2230     showlegend: True
2231     legend:
2232       orientation: "h"
2233     width: 700
2234     height: 1000
2235
2236 -
2237   type: "plot"
2238   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2239   algorithm: "plot_performance_box"
2240   output-file-type: ".html"
2241   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2242   data:
2243     csit-vpp-perf-1710-all:
2244     - 2
2245     - 5
2246   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2247   parameters:
2248   - "throughput"
2249   - "parent"
2250   traces:
2251     hoverinfo: "x+y"
2252     boxpoints: "outliers"
2253     whiskerwidth: 0
2254   layout:
2255     title: "64B-2t2c-.*vhost.*-pdrdisc"
2256     xaxis:
2257       autorange: True
2258       autotick: False
2259       fixedrange: False
2260       gridcolor: "rgb(238, 238, 238)"
2261       linecolor: "rgb(238, 238, 238)"
2262       linewidth: 1
2263       showgrid: True
2264       showline: True
2265       showticklabels: True
2266       tickcolor: "rgb(238, 238, 238)"
2267       tickmode: "linear"
2268       title: "Indexed Test Cases"
2269       zeroline: False
2270     yaxis:
2271       gridcolor: "rgb(238, 238, 238)'"
2272       hoverformat: ".4s"
2273       linecolor: "rgb(238, 238, 238)"
2274       linewidth: 1
2275       range: []
2276       showgrid: True
2277       showline: True
2278       showticklabels: True
2279       tickcolor: "rgb(238, 238, 238)"
2280       title: "Packets Per Second [pps]"
2281       zeroline: False
2282     boxmode: "group"
2283     boxgroupgap: 0.5
2284     autosize: False
2285     margin:
2286       t: 50
2287       b: 20
2288       l: 50
2289       r: 20
2290     showlegend: True
2291     legend:
2292       orientation: "h"
2293     width: 700
2294     height: 1000
2295
2296 # VPP VM VHOST SELECTION
2297 -
2298   type: "plot"
2299   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2300   algorithm: "plot_performance_box"
2301   output-file-type: ".html"
2302   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2303   data:
2304     csit-vpp-perf-1710-all:
2305     - 2
2306     - 5
2307   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2308   parameters:
2309   - "throughput"
2310   - "parent"
2311   traces:
2312     hoverinfo: "x+y"
2313     boxpoints: "outliers"
2314     whiskerwidth: 0
2315   layout:
2316     title: "64B-1t1c-.*vhost.*-ndrdisc"
2317     xaxis:
2318       autorange: True
2319       autotick: False
2320       fixedrange: False
2321       gridcolor: "rgb(238, 238, 238)"
2322       linecolor: "rgb(238, 238, 238)"
2323       linewidth: 1
2324       showgrid: True
2325       showline: True
2326       showticklabels: True
2327       tickcolor: "rgb(238, 238, 238)"
2328       tickmode: "linear"
2329       title: "Indexed Test Cases"
2330       zeroline: False
2331     yaxis:
2332       gridcolor: "rgb(238, 238, 238)'"
2333       hoverformat: ".4s"
2334       linecolor: "rgb(238, 238, 238)"
2335       linewidth: 1
2336       range: []
2337       showgrid: True
2338       showline: True
2339       showticklabels: True
2340       tickcolor: "rgb(238, 238, 238)"
2341       title: "Packets Per Second [pps]"
2342       zeroline: False
2343     boxmode: "group"
2344     boxgroupgap: 0.5
2345     autosize: False
2346     margin:
2347       t: 50
2348       b: 20
2349       l: 50
2350       r: 20
2351     showlegend: True
2352     legend:
2353       orientation: "h"
2354     width: 700
2355     height: 1000
2356
2357 -
2358   type: "plot"
2359   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2360   algorithm: "plot_performance_box"
2361   output-file-type: ".html"
2362   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2363   data:
2364     csit-vpp-perf-1710-all:
2365     - 2
2366     - 5
2367   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2368   parameters:
2369   - "throughput"
2370   - "parent"
2371   traces:
2372     hoverinfo: "x+y"
2373     boxpoints: "outliers"
2374     whiskerwidth: 0
2375   layout:
2376     title: "64B-2t2c-.*vhost.*-ndrdisc"
2377     xaxis:
2378       autorange: True
2379       autotick: False
2380       fixedrange: False
2381       gridcolor: "rgb(238, 238, 238)"
2382       linecolor: "rgb(238, 238, 238)"
2383       linewidth: 1
2384       showgrid: True
2385       showline: True
2386       showticklabels: True
2387       tickcolor: "rgb(238, 238, 238)"
2388       tickmode: "linear"
2389       title: "Indexed Test Cases"
2390       zeroline: False
2391     yaxis:
2392       gridcolor: "rgb(238, 238, 238)'"
2393       hoverformat: ".4s"
2394       linecolor: "rgb(238, 238, 238)"
2395       linewidth: 1
2396       range: []
2397       showgrid: True
2398       showline: True
2399       showticklabels: True
2400       tickcolor: "rgb(238, 238, 238)"
2401       title: "Packets Per Second [pps]"
2402       zeroline: False
2403     boxmode: "group"
2404     boxgroupgap: 0.5
2405     autosize: False
2406     margin:
2407       t: 50
2408       b: 20
2409       l: 50
2410       r: 20
2411     showlegend: True
2412     legend:
2413       orientation: "h"
2414     width: 700
2415     height: 1000
2416
2417 -
2418   type: "plot"
2419   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2420   algorithm: "plot_performance_box"
2421   output-file-type: ".html"
2422   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2423   data:
2424     csit-vpp-perf-1710-all:
2425     - 2
2426     - 5
2427   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2428   parameters:
2429   - "throughput"
2430   - "parent"
2431   traces:
2432     hoverinfo: "x+y"
2433     boxpoints: "outliers"
2434     whiskerwidth: 0
2435   layout:
2436     title: "64B-1t1c-.*vhost.*-pdrdisc"
2437     xaxis:
2438       autorange: True
2439       autotick: False
2440       fixedrange: False
2441       gridcolor: "rgb(238, 238, 238)"
2442       linecolor: "rgb(238, 238, 238)"
2443       linewidth: 1
2444       showgrid: True
2445       showline: True
2446       showticklabels: True
2447       tickcolor: "rgb(238, 238, 238)"
2448       tickmode: "linear"
2449       title: "Indexed Test Cases"
2450       zeroline: False
2451     yaxis:
2452       gridcolor: "rgb(238, 238, 238)'"
2453       hoverformat: ".4s"
2454       linecolor: "rgb(238, 238, 238)"
2455       linewidth: 1
2456       range: []
2457       showgrid: True
2458       showline: True
2459       showticklabels: True
2460       tickcolor: "rgb(238, 238, 238)"
2461       title: "Packets Per Second [pps]"
2462       zeroline: False
2463     boxmode: "group"
2464     boxgroupgap: 0.5
2465     autosize: False
2466     margin:
2467       t: 50
2468       b: 20
2469       l: 50
2470       r: 20
2471     showlegend: True
2472     legend:
2473       orientation: "h"
2474     width: 700
2475     height: 1000
2476
2477 -
2478   type: "plot"
2479   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2480   algorithm: "plot_performance_box"
2481   output-file-type: ".html"
2482   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2483   data:
2484     csit-vpp-perf-1710-all:
2485     - 2
2486     - 5
2487   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2488   parameters:
2489   - "throughput"
2490   - "parent"
2491   traces:
2492     hoverinfo: "x+y"
2493     boxpoints: "outliers"
2494     whiskerwidth: 0
2495   layout:
2496     title: "64B-2t2c-.*vhost.*-pdrdisc"
2497     xaxis:
2498       autorange: True
2499       autotick: False
2500       fixedrange: False
2501       gridcolor: "rgb(238, 238, 238)"
2502       linecolor: "rgb(238, 238, 238)"
2503       linewidth: 1
2504       showgrid: True
2505       showline: True
2506       showticklabels: True
2507       tickcolor: "rgb(238, 238, 238)"
2508       tickmode: "linear"
2509       title: "Indexed Test Cases"
2510       zeroline: False
2511     yaxis:
2512       gridcolor: "rgb(238, 238, 238)'"
2513       hoverformat: ".4s"
2514       linecolor: "rgb(238, 238, 238)"
2515       linewidth: 1
2516       range: []
2517       showgrid: True
2518       showline: True
2519       showticklabels: True
2520       tickcolor: "rgb(238, 238, 238)"
2521       title: "Packets Per Second [pps]"
2522       zeroline: False
2523     boxmode: "group"
2524     boxgroupgap: 0.5
2525     autosize: False
2526     margin:
2527       t: 50
2528       b: 20
2529       l: 50
2530       r: 20
2531     showlegend: True
2532     legend:
2533       orientation: "h"
2534     width: 700
2535     height: 1000
2536
2537 # VPP CRYPTO
2538 -
2539   type: "plot"
2540   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2541   algorithm: "plot_performance_box"
2542   output-file-type: ".html"
2543   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2544   data:
2545     csit-vpp-perf-1710-all:
2546     - 2
2547     - 5
2548   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2549   parameters:
2550   - "throughput"
2551   - "parent"
2552   traces:
2553     hoverinfo: "x+y"
2554     boxpoints: "outliers"
2555     whiskerwidth: 0
2556   layout:
2557     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2558     xaxis:
2559       autorange: True
2560       autotick: False
2561       fixedrange: False
2562       gridcolor: "rgb(238, 238, 238)"
2563       linecolor: "rgb(238, 238, 238)"
2564       linewidth: 1
2565       showgrid: True
2566       showline: True
2567       showticklabels: True
2568       tickcolor: "rgb(238, 238, 238)"
2569       tickmode: "linear"
2570       title: "Indexed Test Cases"
2571       zeroline: False
2572     yaxis:
2573       gridcolor: "rgb(238, 238, 238)'"
2574       hoverformat: ".4s"
2575       linecolor: "rgb(238, 238, 238)"
2576       linewidth: 1
2577       range: []
2578       showgrid: True
2579       showline: True
2580       showticklabels: True
2581       tickcolor: "rgb(238, 238, 238)"
2582       title: "Packets Per Second [pps]"
2583       zeroline: False
2584     boxmode: "group"
2585     boxgroupgap: 0.5
2586     autosize: False
2587     margin:
2588       t: 50
2589       b: 20
2590       l: 50
2591       r: 20
2592     showlegend: True
2593     legend:
2594       orientation: "h"
2595     width: 700
2596     height: 1000
2597
2598 -
2599   type: "plot"
2600   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2601   algorithm: "plot_performance_box"
2602   output-file-type: ".html"
2603   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2604   data:
2605     csit-vpp-perf-1710-all:
2606     - 2
2607     - 5
2608   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2609   parameters:
2610   - "throughput"
2611   - "parent"
2612   traces:
2613     hoverinfo: "x+y"
2614     boxpoints: "outliers"
2615     whiskerwidth: 0
2616   layout:
2617     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2618     xaxis:
2619       autorange: True
2620       autotick: False
2621       fixedrange: False
2622       gridcolor: "rgb(238, 238, 238)"
2623       linecolor: "rgb(238, 238, 238)"
2624       linewidth: 1
2625       showgrid: True
2626       showline: True
2627       showticklabels: True
2628       tickcolor: "rgb(238, 238, 238)"
2629       tickmode: "linear"
2630       title: "Indexed Test Cases"
2631       zeroline: False
2632     yaxis:
2633       gridcolor: "rgb(238, 238, 238)'"
2634       hoverformat: ".4s"
2635       linecolor: "rgb(238, 238, 238)"
2636       linewidth: 1
2637       range: []
2638       showgrid: True
2639       showline: True
2640       showticklabels: True
2641       tickcolor: "rgb(238, 238, 238)"
2642       title: "Packets Per Second [pps]"
2643       zeroline: False
2644     boxmode: "group"
2645     boxgroupgap: 0.5
2646     autosize: False
2647     margin:
2648       t: 50
2649       b: 20
2650       l: 50
2651       r: 20
2652     showlegend: True
2653     legend:
2654       orientation: "h"
2655     width: 700
2656     height: 1000
2657
2658 -
2659   type: "plot"
2660   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2661   algorithm: "plot_performance_box"
2662   output-file-type: ".html"
2663   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2664   data:
2665     csit-vpp-perf-1710-all:
2666     - 2
2667     - 5
2668   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2669   parameters:
2670   - "throughput"
2671   - "parent"
2672   traces:
2673     hoverinfo: "x+y"
2674     boxpoints: "outliers"
2675     whiskerwidth: 0
2676   layout:
2677     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2678     xaxis:
2679       autorange: True
2680       autotick: False
2681       fixedrange: False
2682       gridcolor: "rgb(238, 238, 238)"
2683       linecolor: "rgb(238, 238, 238)"
2684       linewidth: 1
2685       showgrid: True
2686       showline: True
2687       showticklabels: True
2688       tickcolor: "rgb(238, 238, 238)"
2689       tickmode: "linear"
2690       title: "Indexed Test Cases"
2691       zeroline: False
2692     yaxis:
2693       gridcolor: "rgb(238, 238, 238)'"
2694       hoverformat: ".4s"
2695       linecolor: "rgb(238, 238, 238)"
2696       linewidth: 1
2697       range: []
2698       showgrid: True
2699       showline: True
2700       showticklabels: True
2701       tickcolor: "rgb(238, 238, 238)"
2702       title: "Packets Per Second [pps]"
2703       zeroline: False
2704     boxmode: "group"
2705     boxgroupgap: 0.5
2706     autosize: False
2707     margin:
2708       t: 50
2709       b: 20
2710       l: 50
2711       r: 20
2712     showlegend: True
2713     legend:
2714       orientation: "h"
2715     width: 700
2716     height: 1000
2717
2718 -
2719   type: "plot"
2720   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2721   algorithm: "plot_performance_box"
2722   output-file-type: ".html"
2723   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2724   data:
2725     csit-vpp-perf-1710-all:
2726     - 2
2727     - 5
2728   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2729   parameters:
2730   - "throughput"
2731   - "parent"
2732   traces:
2733     hoverinfo: "x+y"
2734     boxpoints: "outliers"
2735     whiskerwidth: 0
2736   layout:
2737     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2738     xaxis:
2739       autorange: True
2740       autotick: False
2741       fixedrange: False
2742       gridcolor: "rgb(238, 238, 238)"
2743       linecolor: "rgb(238, 238, 238)"
2744       linewidth: 1
2745       showgrid: True
2746       showline: True
2747       showticklabels: True
2748       tickcolor: "rgb(238, 238, 238)"
2749       tickmode: "linear"
2750       title: "Indexed Test Cases"
2751       zeroline: False
2752     yaxis:
2753       gridcolor: "rgb(238, 238, 238)'"
2754       hoverformat: ".4s"
2755       linecolor: "rgb(238, 238, 238)"
2756       linewidth: 1
2757       range: []
2758       showgrid: True
2759       showline: True
2760       showticklabels: True
2761       tickcolor: "rgb(238, 238, 238)"
2762       title: "Packets Per Second [pps]"
2763       zeroline: False
2764     boxmode: "group"
2765     boxgroupgap: 0.5
2766     autosize: False
2767     margin:
2768       t: 50
2769       b: 20
2770       l: 50
2771       r: 20
2772     showlegend: True
2773     legend:
2774       orientation: "h"
2775     width: 700
2776     height: 1000
2777
2778 # DPDK
2779 -
2780   type: "plot"
2781   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2782   algorithm: "plot_performance_box"
2783   output-file-type: ".html"
2784   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2785   data:
2786     csit-dpdk-perf-1710-all:
2787     - 2
2788     - 3
2789     - 5
2790     - 6
2791     - 7
2792     - 8
2793     - 9
2794     - 10
2795     - 11
2796     - 13
2797   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2798   parameters:
2799   - "throughput"
2800   - "parent"
2801   traces:
2802     hoverinfo: "x+y"
2803     boxpoints: "outliers"
2804     whiskerwidth: 0
2805   layout:
2806     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2807     xaxis:
2808       autorange: True
2809       autotick: False
2810       fixedrange: False
2811       gridcolor: "rgb(238, 238, 238)"
2812       linecolor: "rgb(238, 238, 238)"
2813       linewidth: 1
2814       showgrid: True
2815       showline: True
2816       showticklabels: True
2817       tickcolor: "rgb(238, 238, 238)"
2818       tickmode: "linear"
2819       title: "Indexed Test Cases"
2820       zeroline: False
2821     yaxis:
2822       gridcolor: "rgb(238, 238, 238)'"
2823       hoverformat: ".4s"
2824       linecolor: "rgb(238, 238, 238)"
2825       linewidth: 1
2826       range: []
2827       showgrid: True
2828       showline: True
2829       showticklabels: True
2830       tickcolor: "rgb(238, 238, 238)"
2831       title: "Packets Per Second [pps]"
2832       zeroline: False
2833     boxmode: "group"
2834     boxgroupgap: 0.5
2835     autosize: False
2836     margin:
2837       t: 50
2838       b: 20
2839       l: 50
2840       r: 20
2841     showlegend: True
2842     legend:
2843       orientation: "h"
2844     width: 700
2845     height: 1000
2846
2847 -
2848   type: "plot"
2849   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2850   algorithm: "plot_performance_box"
2851   output-file-type: ".html"
2852   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2853   data:
2854     csit-dpdk-perf-1710-all:
2855     - 2
2856     - 3
2857     - 5
2858     - 6
2859     - 7
2860     - 8
2861     - 9
2862     - 10
2863     - 11
2864     - 13
2865   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2866   parameters:
2867   - "throughput"
2868   - "parent"
2869   traces:
2870     hoverinfo: "x+y"
2871     boxpoints: "outliers"
2872     whiskerwidth: 0
2873   layout:
2874     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2875     xaxis:
2876       autorange: True
2877       autotick: False
2878       fixedrange: False
2879       gridcolor: "rgb(238, 238, 238)"
2880       linecolor: "rgb(238, 238, 238)"
2881       linewidth: 1
2882       showgrid: True
2883       showline: True
2884       showticklabels: True
2885       tickcolor: "rgb(238, 238, 238)"
2886       tickmode: "linear"
2887       title: "Indexed Test Cases"
2888       zeroline: False
2889     yaxis:
2890       gridcolor: "rgb(238, 238, 238)'"
2891       hoverformat: ".4s"
2892       linecolor: "rgb(238, 238, 238)"
2893       linewidth: 1
2894       range: []
2895       showgrid: True
2896       showline: True
2897       showticklabels: True
2898       tickcolor: "rgb(238, 238, 238)"
2899       title: "Packets Per Second [pps]"
2900       zeroline: False
2901     boxmode: "group"
2902     boxgroupgap: 0.5
2903     autosize: False
2904     margin:
2905       t: 50
2906       b: 20
2907       l: 50
2908       r: 20
2909     showlegend: True
2910     legend:
2911       orientation: "h"
2912     width: 700
2913     height: 1000
2914
2915 -
2916   type: "plot"
2917   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2918   algorithm: "plot_performance_box"
2919   output-file-type: ".html"
2920   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2921   data:
2922     csit-dpdk-perf-1710-all:
2923     - 2
2924     - 3
2925     - 5
2926     - 6
2927     - 7
2928     - 8
2929     - 9
2930     - 10
2931     - 11
2932     - 13
2933   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2934   parameters:
2935   - "throughput"
2936   - "parent"
2937   traces:
2938     hoverinfo: "x+y"
2939     boxpoints: "outliers"
2940     whiskerwidth: 0
2941   layout:
2942     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2943     xaxis:
2944       autorange: True
2945       autotick: False
2946       fixedrange: False
2947       gridcolor: "rgb(238, 238, 238)"
2948       linecolor: "rgb(238, 238, 238)"
2949       linewidth: 1
2950       showgrid: True
2951       showline: True
2952       showticklabels: True
2953       tickcolor: "rgb(238, 238, 238)"
2954       tickmode: "linear"
2955       title: "Indexed Test Cases"
2956       zeroline: False
2957     yaxis:
2958       gridcolor: "rgb(238, 238, 238)'"
2959       hoverformat: ".4s"
2960       linecolor: "rgb(238, 238, 238)"
2961       linewidth: 1
2962       range: [2000000, 12000000]
2963       showgrid: True
2964       showline: True
2965       showticklabels: True
2966       tickcolor: "rgb(238, 238, 238)"
2967       title: "Packets Per Second [pps]"
2968       zeroline: False
2969     boxmode: "group"
2970     boxgroupgap: 0.5
2971     autosize: False
2972     margin:
2973       t: 50
2974       b: 20
2975       l: 50
2976       r: 20
2977     showlegend: True
2978     legend:
2979       orientation: "h"
2980     width: 700
2981     height: 1000
2982
2983 -
2984   type: "plot"
2985   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2986   algorithm: "plot_performance_box"
2987   output-file-type: ".html"
2988   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2989   data:
2990     csit-dpdk-perf-1710-all:
2991     - 2
2992     - 3
2993     - 5
2994     - 6
2995     - 7
2996     - 8
2997     - 9
2998     - 10
2999     - 11
3000     - 13
3001   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3002   parameters:
3003   - "throughput"
3004   - "parent"
3005   traces:
3006     hoverinfo: "x+y"
3007     boxpoints: "outliers"
3008     whiskerwidth: 0
3009   layout:
3010     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3011     xaxis:
3012       autorange: True
3013       autotick: False
3014       fixedrange: False
3015       gridcolor: "rgb(238, 238, 238)"
3016       linecolor: "rgb(238, 238, 238)"
3017       linewidth: 1
3018       showgrid: True
3019       showline: True
3020       showticklabels: True
3021       tickcolor: "rgb(238, 238, 238)"
3022       tickmode: "linear"
3023       title: "Indexed Test Cases"
3024       zeroline: False
3025     yaxis:
3026       gridcolor: "rgb(238, 238, 238)'"
3027       hoverformat: ".4s"
3028       linecolor: "rgb(238, 238, 238)"
3029       linewidth: 1
3030       range: [2000000, 12000000]
3031       showgrid: True
3032       showline: True
3033       showticklabels: True
3034       tickcolor: "rgb(238, 238, 238)"
3035       title: "Packets Per Second [pps]"
3036       zeroline: False
3037     boxmode: "group"
3038     boxgroupgap: 0.5
3039     autosize: False
3040     margin:
3041       t: 50
3042       b: 20
3043       l: 50
3044       r: 20
3045     showlegend: True
3046     legend:
3047       orientation: "h"
3048     width: 700
3049     height: 1000
3050
3051 -
3052   type: "plot"
3053   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3054   algorithm: "plot_performance_box"
3055   output-file-type: ".html"
3056   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3057   data:
3058     csit-dpdk-perf-1710-all:
3059     - 2
3060     - 3
3061     - 5
3062     - 6
3063     - 7
3064     - 8
3065     - 9
3066     - 10
3067     - 11
3068     - 13
3069   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3070   parameters:
3071   - "throughput"
3072   - "parent"
3073   traces:
3074     hoverinfo: "x+y"
3075     boxpoints: "outliers"
3076     whiskerwidth: 0
3077   layout:
3078     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3079     xaxis:
3080       autorange: True
3081       autotick: False
3082       fixedrange: False
3083       gridcolor: "rgb(238, 238, 238)"
3084       linecolor: "rgb(238, 238, 238)"
3085       linewidth: 1
3086       showgrid: True
3087       showline: True
3088       showticklabels: True
3089       tickcolor: "rgb(238, 238, 238)"
3090       tickmode: "linear"
3091       title: "Indexed Test Cases"
3092       zeroline: False
3093     yaxis:
3094       gridcolor: "rgb(238, 238, 238)'"
3095       hoverformat: ".4s"
3096       linecolor: "rgb(238, 238, 238)"
3097       linewidth: 1
3098       range: []
3099       showgrid: True
3100       showline: True
3101       showticklabels: True
3102       tickcolor: "rgb(238, 238, 238)"
3103       title: "Packets Per Second [pps]"
3104       zeroline: False
3105     boxmode: "group"
3106     boxgroupgap: 0.5
3107     autosize: False
3108     margin:
3109       t: 50
3110       b: 20
3111       l: 50
3112       r: 20
3113     showlegend: True
3114     legend:
3115       orientation: "h"
3116     width: 700
3117     height: 1000
3118
3119 -
3120   type: "plot"
3121   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3122   algorithm: "plot_performance_box"
3123   output-file-type: ".html"
3124   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3125   data:
3126     csit-dpdk-perf-1710-all:
3127     - 2
3128     - 3
3129     - 5
3130     - 6
3131     - 7
3132     - 8
3133     - 9
3134     - 10
3135     - 11
3136     - 13
3137   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3138   parameters:
3139   - "throughput"
3140   - "parent"
3141   traces:
3142     hoverinfo: "x+y"
3143     boxpoints: "outliers"
3144     whiskerwidth: 0
3145   layout:
3146     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3147     xaxis:
3148       autorange: True
3149       autotick: False
3150       fixedrange: False
3151       gridcolor: "rgb(238, 238, 238)"
3152       linecolor: "rgb(238, 238, 238)"
3153       linewidth: 1
3154       showgrid: True
3155       showline: True
3156       showticklabels: True
3157       tickcolor: "rgb(238, 238, 238)"
3158       tickmode: "linear"
3159       title: "Indexed Test Cases"
3160       zeroline: False
3161     yaxis:
3162       gridcolor: "rgb(238, 238, 238)'"
3163       hoverformat: ".4s"
3164       linecolor: "rgb(238, 238, 238)"
3165       linewidth: 1
3166       range: []
3167       showgrid: True
3168       showline: True
3169       showticklabels: True
3170       tickcolor: "rgb(238, 238, 238)"
3171       title: "Packets Per Second [pps]"
3172       zeroline: False
3173     boxmode: "group"
3174     boxgroupgap: 0.5
3175     autosize: False
3176     margin:
3177       t: 50
3178       b: 20
3179       l: 50
3180       r: 20
3181     showlegend: True
3182     legend:
3183       orientation: "h"
3184     width: 700
3185     height: 1000
3186
3187 -
3188   type: "plot"
3189   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3190   algorithm: "plot_performance_box"
3191   output-file-type: ".html"
3192   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3193   data:
3194     csit-dpdk-perf-1710-all:
3195     - 2
3196     - 3
3197     - 5
3198     - 6
3199     - 7
3200     - 8
3201     - 9
3202     - 10
3203     - 11
3204     - 13
3205   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3206   parameters:
3207   - "throughput"
3208   - "parent"
3209   traces:
3210     hoverinfo: "x+y"
3211     boxpoints: "outliers"
3212     whiskerwidth: 0
3213   layout:
3214     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3215     xaxis:
3216       autorange: True
3217       autotick: False
3218       fixedrange: False
3219       gridcolor: "rgb(238, 238, 238)"
3220       linecolor: "rgb(238, 238, 238)"
3221       linewidth: 1
3222       showgrid: True
3223       showline: True
3224       showticklabels: True
3225       tickcolor: "rgb(238, 238, 238)"
3226       tickmode: "linear"
3227       title: "Indexed Test Cases"
3228       zeroline: False
3229     yaxis:
3230       gridcolor: "rgb(238, 238, 238)'"
3231       hoverformat: ".4s"
3232       linecolor: "rgb(238, 238, 238)"
3233       linewidth: 1
3234       range: [20000000, 30000000]
3235       showgrid: True
3236       showline: True
3237       showticklabels: True
3238       tickcolor: "rgb(238, 238, 238)"
3239       title: "Packets Per Second [pps]"
3240       zeroline: False
3241     boxmode: "group"
3242     boxgroupgap: 0.5
3243     autosize: False
3244     margin:
3245       t: 50
3246       b: 20
3247       l: 50
3248       r: 20
3249     showlegend: True
3250     legend:
3251       orientation: "h"
3252     width: 700
3253     height: 1000
3254
3255 -
3256   type: "plot"
3257   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3258   algorithm: "plot_performance_box"
3259   output-file-type: ".html"
3260   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3261   data:
3262     csit-dpdk-perf-1710-all:
3263     - 2
3264     - 3
3265     - 5
3266     - 6
3267     - 7
3268     - 8
3269     - 9
3270     - 10
3271     - 11
3272     - 13
3273   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3274   parameters:
3275   - "throughput"
3276   - "parent"
3277   traces:
3278     hoverinfo: "x+y"
3279     boxpoints: "outliers"
3280     whiskerwidth: 0
3281   layout:
3282     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3283     xaxis:
3284       autorange: True
3285       autotick: False
3286       fixedrange: False
3287       gridcolor: "rgb(238, 238, 238)"
3288       linecolor: "rgb(238, 238, 238)"
3289       linewidth: 1
3290       showgrid: True
3291       showline: True
3292       showticklabels: True
3293       tickcolor: "rgb(238, 238, 238)"
3294       tickmode: "linear"
3295       title: "Indexed Test Cases"
3296       zeroline: False
3297     yaxis:
3298       gridcolor: "rgb(238, 238, 238)'"
3299       hoverformat: ".4s"
3300       linecolor: "rgb(238, 238, 238)"
3301       linewidth: 1
3302       range: [20000000, 30000000]
3303       showgrid: True
3304       showline: True
3305       showticklabels: True
3306       tickcolor: "rgb(238, 238, 238)"
3307       title: "Packets Per Second [pps]"
3308       zeroline: False
3309     boxmode: "group"
3310     boxgroupgap: 0.5
3311     autosize: False
3312     margin:
3313       t: 50
3314       b: 20
3315       l: 50
3316       r: 20
3317     showlegend: True
3318     legend:
3319       orientation: "h"
3320     width: 700
3321     height: 1000
3322
3323 # Plot latency
3324
3325 # VPP L2 sel1
3326 -
3327   type: "plot"
3328   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3329   algorithm: "plot_latency_box"
3330   output-file-type: ".html"
3331   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3332   data:
3333     csit-vpp-perf-1710-all:
3334     - 2
3335     - 5
3336   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3337   parameters:
3338   - "latency"
3339   - "parent"
3340   traces:
3341     boxmean: False
3342   layout:
3343     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3344     xaxis:
3345       autorange: True
3346       autotick: False
3347       fixedrange: False
3348       gridcolor: "rgb(238, 238, 238)"
3349       linecolor: "rgb(238, 238, 238)"
3350       linewidth: 1
3351       showgrid: True
3352       showline: True
3353       showticklabels: True
3354       tickcolor: "rgb(238, 238, 238)"
3355       tickmode: "linear"
3356       title: "Indexed Test Cases"
3357       zeroline: False
3358     yaxis:
3359       gridcolor: "rgb(238, 238, 238)'"
3360       hoverformat: ""
3361       linecolor: "rgb(238, 238, 238)"
3362       linewidth: 1
3363       range: []
3364       showgrid: True
3365       showline: True
3366       showticklabels: True
3367       tickcolor: "rgb(238, 238, 238)"
3368       title: "Latency min/avg/max [uSec]"
3369       zeroline: False
3370     boxmode: "group"
3371     boxgroupgap: 0.5
3372     autosize: False
3373     margin:
3374       t: 50
3375       b: 20
3376       l: 50
3377       r: 20
3378     showlegend: True
3379     legend:
3380       orientation: "h"
3381     width: 700
3382     height: 1000
3383
3384 -
3385   type: "plot"
3386   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3387   algorithm: "plot_latency_box"
3388   output-file-type: ".html"
3389   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3390   data:
3391     csit-vpp-perf-1710-all:
3392     - 2
3393     - 5
3394   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3395   parameters:
3396   - "latency"
3397   - "parent"
3398   traces:
3399     boxmean: False
3400   layout:
3401     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3402     xaxis:
3403       autorange: True
3404       autotick: False
3405       fixedrange: False
3406       gridcolor: "rgb(238, 238, 238)"
3407       linecolor: "rgb(238, 238, 238)"
3408       linewidth: 1
3409       showgrid: True
3410       showline: True
3411       showticklabels: True
3412       tickcolor: "rgb(238, 238, 238)"
3413       tickmode: "linear"
3414       title: "Indexed Test Cases"
3415       zeroline: False
3416     yaxis:
3417       gridcolor: "rgb(238, 238, 238)'"
3418       hoverformat: ""
3419       linecolor: "rgb(238, 238, 238)"
3420       linewidth: 1
3421       range: []
3422       showgrid: True
3423       showline: True
3424       showticklabels: True
3425       tickcolor: "rgb(238, 238, 238)"
3426       title: "Latency min/avg/max [uSec]"
3427       zeroline: False
3428     boxmode: "group"
3429     boxgroupgap: 0.5
3430     autosize: False
3431     margin:
3432       t: 50
3433       b: 20
3434       l: 50
3435       r: 20
3436     showlegend: True
3437     legend:
3438       orientation: "h"
3439     width: 700
3440     height: 1000
3441
3442 # VPP L2 sel2
3443 -
3444   type: "plot"
3445   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3446   algorithm: "plot_latency_box"
3447   output-file-type: ".html"
3448   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3449   data:
3450     csit-vpp-perf-1710-all:
3451     - 2
3452     - 5
3453   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3454   parameters:
3455   - "latency"
3456   - "parent"
3457   traces:
3458     boxmean: False
3459   layout:
3460     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3461     xaxis:
3462       autorange: True
3463       autotick: False
3464       fixedrange: False
3465       gridcolor: "rgb(238, 238, 238)"
3466       linecolor: "rgb(238, 238, 238)"
3467       linewidth: 1
3468       showgrid: True
3469       showline: True
3470       showticklabels: True
3471       tickcolor: "rgb(238, 238, 238)"
3472       tickmode: "linear"
3473       title: "Indexed Test Cases"
3474       zeroline: False
3475     yaxis:
3476       gridcolor: "rgb(238, 238, 238)'"
3477       hoverformat: ""
3478       linecolor: "rgb(238, 238, 238)"
3479       linewidth: 1
3480       range: []
3481       showgrid: True
3482       showline: True
3483       showticklabels: True
3484       tickcolor: "rgb(238, 238, 238)"
3485       title: "Latency min/avg/max [uSec]"
3486       zeroline: False
3487     boxmode: "group"
3488     boxgroupgap: 0.5
3489     autosize: False
3490     margin:
3491       t: 50
3492       b: 20
3493       l: 50
3494       r: 20
3495     showlegend: True
3496     legend:
3497       orientation: "h"
3498     width: 700
3499     height: 1000
3500
3501 -
3502   type: "plot"
3503   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3504   algorithm: "plot_latency_box"
3505   output-file-type: ".html"
3506   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3507   data:
3508     csit-vpp-perf-1710-all:
3509     - 2
3510     - 5
3511   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3512   parameters:
3513   - "latency"
3514   - "parent"
3515   traces:
3516     boxmean: False
3517   layout:
3518     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3519     xaxis:
3520       autorange: True
3521       autotick: False
3522       fixedrange: False
3523       gridcolor: "rgb(238, 238, 238)"
3524       linecolor: "rgb(238, 238, 238)"
3525       linewidth: 1
3526       showgrid: True
3527       showline: True
3528       showticklabels: True
3529       tickcolor: "rgb(238, 238, 238)"
3530       tickmode: "linear"
3531       title: "Indexed Test Cases"
3532       zeroline: False
3533     yaxis:
3534       gridcolor: "rgb(238, 238, 238)'"
3535       hoverformat: ""
3536       linecolor: "rgb(238, 238, 238)"
3537       linewidth: 1
3538       range: []
3539       showgrid: True
3540       showline: True
3541       showticklabels: True
3542       tickcolor: "rgb(238, 238, 238)"
3543       title: "Latency min/avg/max [uSec]"
3544       zeroline: False
3545     boxmode: "group"
3546     boxgroupgap: 0.5
3547     autosize: False
3548     margin:
3549       t: 50
3550       b: 20
3551       l: 50
3552       r: 20
3553     showlegend: True
3554     legend:
3555       orientation: "h"
3556     width: 700
3557     height: 1000
3558
3559 # VPP IP4
3560 -
3561   type: "plot"
3562   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3563   algorithm: "plot_latency_box"
3564   output-file-type: ".html"
3565   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3566   data:
3567     csit-vpp-perf-1710-all:
3568     - 2
3569     - 5
3570   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3571   parameters:
3572   - "latency"
3573   - "parent"
3574   traces:
3575     boxmean: False
3576   layout:
3577     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3578     xaxis:
3579       autorange: True
3580       autotick: False
3581       fixedrange: False
3582       gridcolor: "rgb(238, 238, 238)"
3583       linecolor: "rgb(238, 238, 238)"
3584       linewidth: 1
3585       showgrid: True
3586       showline: True
3587       showticklabels: True
3588       tickcolor: "rgb(238, 238, 238)"
3589       tickmode: "linear"
3590       title: "Indexed Test Cases"
3591       zeroline: False
3592     yaxis:
3593       gridcolor: "rgb(238, 238, 238)'"
3594       hoverformat: ""
3595       linecolor: "rgb(238, 238, 238)"
3596       linewidth: 1
3597       range: []
3598       showgrid: True
3599       showline: True
3600       showticklabels: True
3601       tickcolor: "rgb(238, 238, 238)"
3602       title: "Latency min/avg/max [uSec]"
3603       zeroline: False
3604     boxmode: "group"
3605     boxgroupgap: 0.5
3606     autosize: False
3607     margin:
3608       t: 50
3609       b: 20
3610       l: 50
3611       r: 20
3612     showlegend: True
3613     legend:
3614       orientation: "h"
3615     width: 700
3616     height: 1000
3617
3618 -
3619   type: "plot"
3620   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3621   algorithm: "plot_latency_box"
3622   output-file-type: ".html"
3623   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3624   data:
3625     csit-vpp-perf-1710-all:
3626     - 2
3627     - 5
3628   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3629   parameters:
3630   - "latency"
3631   - "parent"
3632   traces:
3633     boxmean: False
3634   layout:
3635     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3636     xaxis:
3637       autorange: True
3638       autotick: False
3639       fixedrange: False
3640       gridcolor: "rgb(238, 238, 238)"
3641       linecolor: "rgb(238, 238, 238)"
3642       linewidth: 1
3643       showgrid: True
3644       showline: True
3645       showticklabels: True
3646       tickcolor: "rgb(238, 238, 238)"
3647       tickmode: "linear"
3648       title: "Indexed Test Cases"
3649       zeroline: False
3650     yaxis:
3651       gridcolor: "rgb(238, 238, 238)'"
3652       hoverformat: ""
3653       linecolor: "rgb(238, 238, 238)"
3654       linewidth: 1
3655       range: []
3656       showgrid: True
3657       showline: True
3658       showticklabels: True
3659       tickcolor: "rgb(238, 238, 238)"
3660       title: "Latency min/avg/max [uSec]"
3661       zeroline: False
3662     boxmode: "group"
3663     boxgroupgap: 0.5
3664     autosize: False
3665     margin:
3666       t: 50
3667       b: 20
3668       l: 50
3669       r: 20
3670     showlegend: True
3671     legend:
3672       orientation: "h"
3673     width: 700
3674     height: 1000
3675
3676 # VPP IP6
3677 -
3678   type: "plot"
3679   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3680   algorithm: "plot_latency_box"
3681   output-file-type: ".html"
3682   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3683   data:
3684     csit-vpp-perf-1710-all:
3685     - 2
3686     - 5
3687   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3688   parameters:
3689   - "latency"
3690   - "parent"
3691   traces:
3692     boxmean: False
3693   layout:
3694     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3695     xaxis:
3696       autorange: True
3697       autotick: False
3698       fixedrange: False
3699       gridcolor: "rgb(238, 238, 238)"
3700       linecolor: "rgb(238, 238, 238)"
3701       linewidth: 1
3702       showgrid: True
3703       showline: True
3704       showticklabels: True
3705       tickcolor: "rgb(238, 238, 238)"
3706       tickmode: "linear"
3707       title: "Indexed Test Cases"
3708       zeroline: False
3709     yaxis:
3710       gridcolor: "rgb(238, 238, 238)'"
3711       hoverformat: ""
3712       linecolor: "rgb(238, 238, 238)"
3713       linewidth: 1
3714       range: []
3715       showgrid: True
3716       showline: True
3717       showticklabels: True
3718       tickcolor: "rgb(238, 238, 238)"
3719       title: "Latency min/avg/max [uSec]"
3720       zeroline: False
3721     boxmode: "group"
3722     boxgroupgap: 0.5
3723     autosize: False
3724     margin:
3725       t: 50
3726       b: 20
3727       l: 50
3728       r: 20
3729     showlegend: True
3730     legend:
3731       orientation: "h"
3732     width: 700
3733     height: 1000
3734
3735 -
3736   type: "plot"
3737   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3738   algorithm: "plot_latency_box"
3739   output-file-type: ".html"
3740   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3741   data:
3742     csit-vpp-perf-1710-all:
3743     - 2
3744     - 5
3745   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3746   parameters:
3747   - "latency"
3748   - "parent"
3749   traces:
3750     boxmean: False
3751   layout:
3752     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3753     xaxis:
3754       autorange: True
3755       autotick: False
3756       fixedrange: False
3757       gridcolor: "rgb(238, 238, 238)"
3758       linecolor: "rgb(238, 238, 238)"
3759       linewidth: 1
3760       showgrid: True
3761       showline: True
3762       showticklabels: True
3763       tickcolor: "rgb(238, 238, 238)"
3764       tickmode: "linear"
3765       title: "Indexed Test Cases"
3766       zeroline: False
3767     yaxis:
3768       gridcolor: "rgb(238, 238, 238)'"
3769       hoverformat: ""
3770       linecolor: "rgb(238, 238, 238)"
3771       linewidth: 1
3772       range: []
3773       showgrid: True
3774       showline: True
3775       showticklabels: True
3776       tickcolor: "rgb(238, 238, 238)"
3777       title: "Latency min/avg/max [uSec]"
3778       zeroline: False
3779     boxmode: "group"
3780     boxgroupgap: 0.5
3781     autosize: False
3782     margin:
3783       t: 50
3784       b: 20
3785       l: 50
3786       r: 20
3787     showlegend: True
3788     legend:
3789       orientation: "h"
3790     width: 700
3791     height: 1000
3792
3793 # VPP IP4_overlay
3794 -
3795   type: "plot"
3796   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3797   algorithm: "plot_latency_box"
3798   output-file-type: ".html"
3799   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3800   data:
3801     csit-vpp-perf-1710-all:
3802     - 2
3803     - 5
3804   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3805   parameters:
3806   - "latency"
3807   - "parent"
3808   traces:
3809     boxmean: False
3810   layout:
3811     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3812     xaxis:
3813       autorange: True
3814       autotick: False
3815       fixedrange: False
3816       gridcolor: "rgb(238, 238, 238)"
3817       linecolor: "rgb(238, 238, 238)"
3818       linewidth: 1
3819       showgrid: True
3820       showline: True
3821       showticklabels: True
3822       tickcolor: "rgb(238, 238, 238)"
3823       tickmode: "linear"
3824       title: "Indexed Test Cases"
3825       zeroline: False
3826     yaxis:
3827       gridcolor: "rgb(238, 238, 238)'"
3828       hoverformat: ""
3829       linecolor: "rgb(238, 238, 238)"
3830       linewidth: 1
3831       range: []
3832       showgrid: True
3833       showline: True
3834       showticklabels: True
3835       tickcolor: "rgb(238, 238, 238)"
3836       title: "Latency min/avg/max [uSec]"
3837       zeroline: False
3838     boxmode: "group"
3839     boxgroupgap: 0.5
3840     autosize: False
3841     margin:
3842       t: 50
3843       b: 20
3844       l: 50
3845       r: 20
3846     showlegend: True
3847     legend:
3848       orientation: "h"
3849     width: 700
3850     height: 1000
3851
3852 -
3853   type: "plot"
3854   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3855   algorithm: "plot_latency_box"
3856   output-file-type: ".html"
3857   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3858   data:
3859     csit-vpp-perf-1710-all:
3860     - 2
3861     - 5
3862   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3863   parameters:
3864   - "latency"
3865   - "parent"
3866   traces:
3867     boxmean: False
3868   layout:
3869     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3870     xaxis:
3871       autorange: True
3872       autotick: False
3873       fixedrange: False
3874       gridcolor: "rgb(238, 238, 238)"
3875       linecolor: "rgb(238, 238, 238)"
3876       linewidth: 1
3877       showgrid: True
3878       showline: True
3879       showticklabels: True
3880       tickcolor: "rgb(238, 238, 238)"
3881       tickmode: "linear"
3882       title: "Indexed Test Cases"
3883       zeroline: False
3884     yaxis:
3885       gridcolor: "rgb(238, 238, 238)'"
3886       hoverformat: ""
3887       linecolor: "rgb(238, 238, 238)"
3888       linewidth: 1
3889       range: []
3890       showgrid: True
3891       showline: True
3892       showticklabels: True
3893       tickcolor: "rgb(238, 238, 238)"
3894       title: "Latency min/avg/max [uSec]"
3895       zeroline: False
3896     boxmode: "group"
3897     boxgroupgap: 0.5
3898     autosize: False
3899     margin:
3900       t: 50
3901       b: 20
3902       l: 50
3903       r: 20
3904     showlegend: True
3905     legend:
3906       orientation: "h"
3907     width: 700
3908     height: 1000
3909
3910 # VPP IP6_overlay
3911 -
3912   type: "plot"
3913   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3914   algorithm: "plot_latency_box"
3915   output-file-type: ".html"
3916   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3917   data:
3918     csit-vpp-perf-1710-all:
3919     - 2
3920     - 5
3921   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3922   parameters:
3923   - "latency"
3924   - "parent"
3925   traces:
3926     boxmean: False
3927   layout:
3928     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3929     xaxis:
3930       autorange: True
3931       autotick: False
3932       fixedrange: False
3933       gridcolor: "rgb(238, 238, 238)"
3934       linecolor: "rgb(238, 238, 238)"
3935       linewidth: 1
3936       showgrid: True
3937       showline: True
3938       showticklabels: True
3939       tickcolor: "rgb(238, 238, 238)"
3940       tickmode: "linear"
3941       title: "Indexed Test Cases"
3942       zeroline: False
3943     yaxis:
3944       gridcolor: "rgb(238, 238, 238)'"
3945       hoverformat: ""
3946       linecolor: "rgb(238, 238, 238)"
3947       linewidth: 1
3948       range: []
3949       showgrid: True
3950       showline: True
3951       showticklabels: True
3952       tickcolor: "rgb(238, 238, 238)"
3953       title: "Latency min/avg/max [uSec]"
3954       zeroline: False
3955     boxmode: "group"
3956     boxgroupgap: 0.5
3957     autosize: False
3958     margin:
3959       t: 50
3960       b: 20
3961       l: 50
3962       r: 20
3963     showlegend: True
3964     legend:
3965       orientation: "h"
3966     width: 700
3967     height: 1000
3968
3969 -
3970   type: "plot"
3971   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3972   algorithm: "plot_latency_box"
3973   output-file-type: ".html"
3974   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3975   data:
3976     csit-vpp-perf-1710-all:
3977     - 2
3978     - 5
3979   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3980   parameters:
3981   - "latency"
3982   - "parent"
3983   traces:
3984     boxmean: False
3985   layout:
3986     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3987     xaxis:
3988       autorange: True
3989       autotick: False
3990       fixedrange: False
3991       gridcolor: "rgb(238, 238, 238)"
3992       linecolor: "rgb(238, 238, 238)"
3993       linewidth: 1
3994       showgrid: True
3995       showline: True
3996       showticklabels: True
3997       tickcolor: "rgb(238, 238, 238)"
3998       tickmode: "linear"
3999       title: "Indexed Test Cases"
4000       zeroline: False
4001     yaxis:
4002       gridcolor: "rgb(238, 238, 238)'"
4003       hoverformat: ""
4004       linecolor: "rgb(238, 238, 238)"
4005       linewidth: 1
4006       range: []
4007       showgrid: True
4008       showline: True
4009       showticklabels: True
4010       tickcolor: "rgb(238, 238, 238)"
4011       title: "Latency min/avg/max [uSec]"
4012       zeroline: False
4013     boxmode: "group"
4014     boxgroupgap: 0.5
4015     autosize: False
4016     margin:
4017       t: 50
4018       b: 20
4019       l: 50
4020       r: 20
4021     showlegend: True
4022     legend:
4023       orientation: "h"
4024     width: 700
4025     height: 1000
4026
4027 # VPP VM VHOST
4028 -
4029   type: "plot"
4030   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
4031   algorithm: "plot_latency_box"
4032   output-file-type: ".html"
4033   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
4034   data:
4035     csit-vpp-perf-1710-all:
4036     - 2
4037     - 5
4038   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
4039   parameters:
4040   - "latency"
4041   - "parent"
4042   traces:
4043     boxmean: False
4044   layout:
4045     title: "64B-1t1c-.*vhost.*-ndrdisc"
4046     xaxis:
4047       autorange: True
4048       autotick: False
4049       fixedrange: False
4050       gridcolor: "rgb(238, 238, 238)"
4051       linecolor: "rgb(238, 238, 238)"
4052       linewidth: 1
4053       showgrid: True
4054       showline: True
4055       showticklabels: True
4056       tickcolor: "rgb(238, 238, 238)"
4057       tickmode: "linear"
4058       title: "Indexed Test Cases"
4059       zeroline: False
4060     yaxis:
4061       gridcolor: "rgb(238, 238, 238)'"
4062       hoverformat: ""
4063       linecolor: "rgb(238, 238, 238)"
4064       linewidth: 1
4065       range: []
4066       showgrid: True
4067       showline: True
4068       showticklabels: True
4069       tickcolor: "rgb(238, 238, 238)"
4070       title: "Latency min/avg/max [uSec]"
4071       zeroline: False
4072     boxmode: "group"
4073     boxgroupgap: 0.5
4074     autosize: False
4075     margin:
4076       t: 50
4077       b: 20
4078       l: 50
4079       r: 20
4080     showlegend: True
4081     legend:
4082       orientation: "h"
4083     width: 700
4084     height: 1000
4085
4086 -
4087   type: "plot"
4088   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
4089   algorithm: "plot_latency_box"
4090   output-file-type: ".html"
4091   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
4092   data:
4093     csit-vpp-perf-1710-all:
4094     - 2
4095     - 5
4096   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
4097   parameters:
4098   - "latency"
4099   - "parent"
4100   traces:
4101     boxmean: False
4102   layout:
4103     title: "64B-2t2c-.*vhost.*-ndrdisc"
4104     xaxis:
4105       autorange: True
4106       autotick: False
4107       fixedrange: False
4108       gridcolor: "rgb(238, 238, 238)"
4109       linecolor: "rgb(238, 238, 238)"
4110       linewidth: 1
4111       showgrid: True
4112       showline: True
4113       showticklabels: True
4114       tickcolor: "rgb(238, 238, 238)"
4115       tickmode: "linear"
4116       title: "Indexed Test Cases"
4117       zeroline: False
4118     yaxis:
4119       gridcolor: "rgb(238, 238, 238)'"
4120       hoverformat: ""
4121       linecolor: "rgb(238, 238, 238)"
4122       linewidth: 1
4123       range: []
4124       showgrid: True
4125       showline: True
4126       showticklabels: True
4127       tickcolor: "rgb(238, 238, 238)"
4128       title: "Latency min/avg/max [uSec]"
4129       zeroline: False
4130     boxmode: "group"
4131     boxgroupgap: 0.5
4132     autosize: False
4133     margin:
4134       t: 50
4135       b: 20
4136       l: 50
4137       r: 20
4138     showlegend: True
4139     legend:
4140       orientation: "h"
4141     width: 700
4142     height: 1000
4143
4144 # VPP VM VHOST selection
4145 -
4146   type: "plot"
4147   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
4148   algorithm: "plot_latency_box"
4149   output-file-type: ".html"
4150   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
4151   data:
4152     csit-vpp-perf-1710-all:
4153     - 2
4154     - 5
4155   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
4156   parameters:
4157   - "latency"
4158   - "