Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64
65   make-dirs:
66   # List the directories which are created while preparing the environment.
67   # All directories MUST be defined in "paths" section.
68   - "DIR[WORKING,DATA]"
69   - "DIR[STATIC,VPP]"
70   - "DIR[STATIC,DPDK]"
71   - "DIR[STATIC,ARCH]"
72   - "DIR[BUILD,LATEX]"
73   - "DIR[WORKING,SRC]"
74   - "DIR[WORKING,SRC,STATIC]"
75
76   remove-dirs:
77   # List the directories which are deleted while cleaning the environment.
78   # All directories MUST be defined in "paths" section.
79   #- "DIR[BUILD,HTML]"
80
81   build-dirs:
82   # List the directories where the results (build) is stored.
83   # All directories MUST be defined in "paths" section.
84   - "DIR[BUILD,HTML]"
85   - "DIR[BUILD,LATEX]"
86
87 -
88   type: "debug"
89   general:
90     input-format: "xml"  # zip or xml
91     extract: "robot-plugin/output.xml"  # Only for zip
92   builds:
93     # The files must be in the directory DIR[WORKING,DATA]
94     csit-dpdk-perf-1707-all:
95     -
96       build: 10
97       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
98     -
99       build: 9
100       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
101     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
102     -
103       build: 2
104       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
105     csit-vpp-functional-1707-ubuntu1604-virl:
106     -
107       build: lastSuccessfulBuild
108       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
109     hc2vpp-csit-integration-1707-ubuntu1604:
110     -
111       build: lastSuccessfulBuild
112       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
113     csit-vpp-perf-1707-all:
114     -
115       build: 16
116       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
117     -
118       build: 17
119       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
120
121 -
122   type: "static"
123   src-path: "{DIR[RST]}"
124   dst-path: "{DIR[WORKING,SRC]}"
125
126 -
127   type: "input"  # Ignored in debug mode
128   general:
129     file-name: "robot-plugin.zip"
130     file-format: ".zip"
131     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
132     extract: "robot-plugin/output.xml"
133   builds:
134     csit-vpp-perf-1707-all:
135     - 9
136     - 10
137     - 13
138     - 14
139     - 15
140     - 16
141     - 17
142     - 18
143     - 19
144     - 21
145     csit-vpp-perf-1710-all:
146     - 11
147     - 12
148     - 13
149     - 14
150     - 15
151     - 16
152     - 17
153     csit-dpdk-perf-1710-all:
154     - 2
155     - 3
156     - 5
157     - 6
158     - 7
159     - 8
160     - 9
161     - 10
162     - 11
163     - 13
164     csit-ligato-perf-1710-all:
165     - 1
166     csit-vpp-functional-1710-ubuntu1604-virl:
167     - 102
168     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
169     - 7
170     csit-hc2vpp-verify-func-1710-ubuntu1604:
171     - lastSuccessfulBuild
172 #    hc2vpp-csit-perf-master-ubuntu1604:  # REMOVE???
173 #    - 8
174 #    - 9
175
176 -
177   type: "output"
178   format:
179     html:
180     - full
181     pdf:
182     - minimal
183
184 ################################################################################
185 ###                               T A B L E S                                ###
186 ################################################################################
187 #
188 -
189   type: "table"
190   title: "Performance improvements"
191   algorithm: "table_performance_improvements"
192   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
193   output-file-ext: ".csv"
194   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
195   columns:
196   -
197     title: "Functionality"
198     data: "template 1"
199   -
200     title: "Test Name"
201     data: "template 2"
202   -
203     title: "16.09 mean [Mpps]"
204     data: "template 3"
205   -
206     title: "17.01 mean [Mpps]"
207     data: "template 4"
208   -
209     title: "17.04 mean [Mpps]"
210     data: "template 5"
211   -
212     title: "17.07 mean [Mpps]"
213     data: "data csit-vpp-perf-1707-all mean"
214   -
215     title: "17.10 mean [Mpps]"
216     data: "data csit-vpp-perf-1710-all mean"
217   -
218     title: "17.10 stdev [Mpps]"
219     data: "data csit-vpp-perf-1710-all stdev"
220   -
221     title: "17.07 to 17.10 change [%]"
222     data: "operation relative_change 6 5"
223   rows: "generated"
224   data:
225     csit-vpp-perf-1707-all:
226     - 9
227     - 10
228     - 13
229     - 14
230     - 15
231     - 16
232     - 17
233     - 18
234     - 19
235     - 21
236     csit-vpp-perf-1710-all:
237     - 11
238     - 12
239     - 13
240     - 14
241     - 15
242     - 16
243     - 17
244   filter: "template"
245   parameters:
246   - "throughput"
247
248 -
249   type: "table"
250   title: "Detailed Test Results - VPP Performance Results"
251   algorithm: "table_details"
252   output-file-ext: ".csv"
253   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
254   columns:
255   -
256     title: "Name"
257     data: "data name"
258   -
259     title: "Documentation"
260     data: "data doc"
261   -
262     title: "Status"
263     data: "data msg"
264   rows: "generated"
265   data:
266     csit-vpp-perf-1710-all:
267     - 15
268   filter: "all"
269   parameters:
270   - "name"
271   - "parent"
272   - "doc"
273   - "msg"
274
275 -
276   type: "table"
277   title: "Test configuration - VPP Performance Test Configs"
278   algorithm: "table_details"
279   output-file-ext: ".csv"
280   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
281   columns:
282   -
283     title: "Name"
284     data: "data name"
285   -
286     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
287     data: "data vat-history"
288   rows: "generated"
289   data:
290     csit-vpp-perf-1710-all:
291     - 15
292   filter: "all"
293   parameters:
294   - "parent"
295   - "name"
296   - "vat-history"
297
298 -
299   type: "table"
300   title: "Test Operational Data - VPP Performance Operational Data"
301   algorithm: "table_details"
302   output-file-ext: ".csv"
303   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
304   columns:
305   -
306     title: "Name"
307     data: "data name"
308   -
309     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
310     data: "data show-run"
311   rows: "generated"
312   data:
313     csit-vpp-perf-1710-all:
314     - 15
315   filter: "all"
316   parameters:
317   - "parent"
318   - "name"
319   - "show-run"
320
321 -
322   type: "table"
323   title: "Detailed Test Results - VPP Functional Results"
324   algorithm: "table_details"
325   output-file-ext: ".csv"
326   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
327   columns:
328   -
329     title: "Name"
330     data: "data name"
331   -
332     title: "Documentation"
333     data: "data doc"
334   -
335     title: "Status"
336     data: "data status"
337   rows: "generated"
338   data:
339     csit-vpp-functional-1710-ubuntu1604-virl:
340     - 102
341   filter: "all"
342   parameters:
343   - "name"
344   - "parent"
345   - "doc"
346   - "status"
347
348 -
349   type: "table"
350   title: "Test configuration - VPP Functional Test Configs"
351   algorithm: "table_details"
352   output-file-ext: ".csv"
353   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
354   columns:
355   -
356     title: "Name"
357     data: "data name"
358   -
359     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
360     data: "data vat-history"
361   rows: "generated"
362   data:
363     csit-vpp-functional-1710-ubuntu1604-virl:
364     - 102
365   filter: "all"
366   parameters:
367   - "parent"
368   - "name"
369   - "vat-history"
370
371 -
372   type: "table"
373   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
374   algorithm: "table_details"
375   output-file-ext: ".csv"
376   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
377   columns:
378   -
379     title: "Name"
380     data: "data name"
381   -
382     title: "Documentation"
383     data: "data doc"
384   -
385     title: "Status"
386     data: "data msg"
387   rows: "generated"
388   data:
389     csit-ligato-perf-1710-all:
390     - 1
391   filter: "all"
392   parameters:
393   - "name"
394   - "parent"
395   - "doc"
396   - "msg"
397
398 -
399   type: "table"
400   title: "Detailed Test Results - DPDK Performance Results"
401   algorithm: "table_details"
402   output-file-ext: ".csv"
403   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
404   columns:
405   -
406     title: "Name"
407     data: "data name"
408   -
409     title: "Documentation"
410     data: "data doc"
411   -
412     title: "Status"
413     data: "data msg"
414   rows: "generated"
415   data:
416     csit-dpdk-perf-1710-all:
417     - 13
418   filter: "all"
419   parameters:
420   - "name"
421   - "parent"
422   - "doc"
423   - "msg"
424
425 -
426   type: "table"
427   title: "Detailed Test Results - Honeycomb Functional Results"
428   algorithm: "table_details"
429   output-file-ext: ".csv"
430   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
431   columns:
432   -
433     title: "Name"
434     data: "data name"
435   -
436     title: "Documentation"
437     data: "data doc"
438   -
439     title: "Status"
440     data: "data status"
441   rows: "generated"
442   data:
443     csit-hc2vpp-verify-func-1710-ubuntu1604:
444     - "lastSuccessfulBuild"
445   filter: "all"
446   parameters:
447   - "name"
448   - "parent"
449   - "doc"
450   - "status"
451
452 -
453   type: "table"
454   title: "Detailed Test Results - NSH SFC Functional Results"
455   algorithm: "table_details"
456   output-file-ext: ".csv"
457   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
458   columns:
459   -
460     title: "Name"
461     data: "data name"
462   -
463     title: "Documentation"
464     data: "data doc"
465   -
466     title: "Status"
467     data: "data status"
468   rows: "generated"
469   data:
470     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
471     - 7
472   filter: "all"
473   parameters:
474   - "name"
475   - "parent"
476   - "doc"
477   - "status"
478
479 ################################################################################
480 ###                                F I L E S                                 ###
481 ################################################################################
482
483 -
484   type: "file"
485   title: "VPP Performance Results"
486   algorithm: "file_test_results"
487   output-file-ext: ".rst"
488   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
489   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
490   dir-tables: "{DIR[DTR,PERF,VPP]}"
491   data:
492     csit-vpp-perf-1710-all:
493     - 13
494   filter: "all"
495   parameters:
496   - "name"
497   - "doc"
498   - "level"
499   data-start-level: 2  # 0, 1, 2, ...
500   chapters-start-level: 2  # 0, 1, 2, ...
501
502 -
503   type: "file"
504   title: "VPP Performance Configuration"
505   algorithm: "file_test_results"
506   output-file-ext: ".rst"
507   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
508   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
509   dir-tables: "{DIR[DTC,PERF,VPP]}"
510   data:
511     csit-vpp-perf-1710-all:
512     - 15
513   filter: "all"
514   parameters:
515   - "name"
516   - "doc"
517   - "level"
518   data-start-level: 2  # 0, 1, 2, ...
519   chapters-start-level: 2  # 0, 1, 2, ...
520
521 -
522   type: "file"
523   title: "VPP Performance Operational Data"
524   algorithm: "file_test_results"
525   output-file-ext: ".rst"
526   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
527   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
528   dir-tables: "{DIR[DTO,PERF,VPP]}"
529   data:
530     csit-vpp-perf-1710-all:
531     - 15
532   filter: "all"
533   parameters:
534   - "name"
535   - "doc"
536   - "level"
537   data-start-level: 2  # 0, 1, 2, ...
538   chapters-start-level: 2  # 0, 1, 2, ...
539
540 -
541   type: "file"
542   title: "VPP Functional Results"
543   algorithm: "file_test_results"
544   output-file-ext: ".rst"
545   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
546   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
547   dir-tables: "{DIR[DTR,FUNC,VPP]}"
548   data:
549     csit-vpp-functional-1710-ubuntu1604-virl:
550     - 102
551   filter: "all"
552   parameters:
553   - "name"
554   - "doc"
555   - "level"
556   data-start-level: 3  # 0, 1, 2, ...
557   chapters-start-level: 2  # 0, 1, 2, ...
558
559 -
560   type: "file"
561   title: "VPP Functional Configuration"
562   algorithm: "file_test_results"
563   output-file-ext: ".rst"
564   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
565   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
566   dir-tables: "{DIR[DTC,FUNC,VPP]}"
567   data:
568     csit-vpp-functional-1710-ubuntu1604-virl:
569     - 102
570   filter: "all"
571   parameters:
572   - "name"
573   - "doc"
574   - "level"
575   data-start-level: 3  # 0, 1, 2, ...
576   chapters-start-level: 2  # 0, 1, 2, ...
577
578 -
579   type: "file"
580   title: "Container Orchestrated Performance Results"
581   algorithm: "file_test_results"
582   output-file-ext: ".rst"
583   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
584   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
585   dir-tables: "{DIR[DTR,PERF,COT]}"
586   data:
587     csit-ligato-perf-1710-all:
588     - 1
589   filter: "all"
590   parameters:
591   - "name"
592   - "doc"
593   - "level"
594   data-start-level: 2  # 0, 1, 2, ...
595   chapters-start-level: 2  # 0, 1, 2, ...
596
597 -
598   type: "file"
599   title: "DPDK Performance Results"
600   algorithm: "file_test_results"
601   output-file-ext: ".rst"
602   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
603   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
604   dir-tables: "{DIR[DTR,PERF,DPDK]}"
605   data:
606     csit-dpdk-perf-1710-all:
607     - 13
608   filter: "all"
609   parameters:
610   - "name"
611   - "doc"
612   - "level"
613   chapters:
614   - "suites"
615   data-start-level: 2  # 0, 1, 2, ...
616   chapters-start-level: 2  # 0, 1, 2, ...
617
618 -
619   type: "file"
620   title: "Honeycomb Functional Results"
621   algorithm: "file_test_results"
622   output-file-ext: ".rst"
623   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
624   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
625   dir-tables: "{DIR[DTR,FUNC,HC]}"
626   data:
627     csit-hc2vpp-verify-func-1710-ubuntu1604:
628     - "lastSuccessfulBuild"
629   filter: "all"
630   parameters:
631   - "name"
632   - "doc"
633   - "level"
634   chapters:
635   - "suites"
636   data-start-level: 3  # 0, 1, 2, ...
637   chapters-start-level: 2  # 0, 1, 2, ...
638
639 -
640   type: "file"
641   title: "NSH SFC Functional Results"
642   algorithm: "file_test_results"
643   output-file-ext: ".rst"
644   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
645   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
646   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
647   data:
648     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
649     - 7
650   filter: "all"
651   parameters:
652   - "name"
653   - "doc"
654   - "level"
655   chapters:
656   - "suites"
657   data-start-level: 2  # 0, 1, 2, ...
658   chapters-start-level: 2  # 0, 1, 2, ...
659
660 ################################################################################
661 ###                                P L O T S                                 ###
662 ################################################################################
663
664 # Plot packets per second
665
666 # VPP L2 sel1
667 -
668   type: "plot"
669   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
670   algorithm: "plot_performance_box"
671   output-file-type: ".html"
672   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
673   data:
674     csit-vpp-perf-1710-all:
675     - 11
676     - 12
677     - 13
678     - 14
679     - 15
680     - 16
681     - 17
682   # Keep this formatting, the filter is enclosed with " (quotation mark) and
683   # each tag is enclosed with ' (apostrophe).
684   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
685   parameters:
686   - "throughput"
687   - "parent"
688   traces:
689     hoverinfo: "x+y"
690     boxpoints: "outliers"
691     whiskerwidth: 0
692   layout:
693     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
694     xaxis:
695       autorange: True
696       autotick: False
697       fixedrange: False
698       gridcolor: "rgb(238, 238, 238)"
699       linecolor: "rgb(238, 238, 238)"
700       linewidth: 1
701       showgrid: True
702       showline: True
703       showticklabels: True
704       tickcolor: "rgb(238, 238, 238)"
705       tickmode: "linear"
706       title: "Indexed Test Cases"
707       zeroline: False
708     yaxis:
709       gridcolor: "rgb(238, 238, 238)'"
710       hoverformat: ".4s"
711       linecolor: "rgb(238, 238, 238)"
712       linewidth: 1
713       range: []
714       showgrid: True
715       showline: True
716       showticklabels: True
717       tickcolor: "rgb(238, 238, 238)"
718       title: "Packets Per Second [pps]"
719       zeroline: False
720     boxmode: "group"
721     boxgroupgap: 0.5
722     autosize: False
723     margin:
724       t: 50
725       b: 20
726       l: 50
727       r: 20
728     showlegend: True
729     legend:
730       orientation: "h"
731     width: 700
732     height: 1000
733
734 -
735   type: "plot"
736   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
737   algorithm: "plot_performance_box"
738   output-file-type: ".html"
739   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
740   data:
741     csit-vpp-perf-1710-all:
742     - 11
743     - 12
744     - 13
745     - 14
746     - 15
747     - 16
748     - 17
749   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
750   parameters:
751   - "throughput"
752   - "parent"
753   traces:
754     hoverinfo: "x+y"
755     boxpoints: "outliers"
756     whiskerwidth: 0
757   layout:
758     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
759     xaxis:
760       autorange: True
761       autotick: False
762       fixedrange: False
763       gridcolor: "rgb(238, 238, 238)"
764       linecolor: "rgb(238, 238, 238)"
765       linewidth: 1
766       showgrid: True
767       showline: True
768       showticklabels: True
769       tickcolor: "rgb(238, 238, 238)"
770       tickmode: "linear"
771       title: "Indexed Test Cases"
772       zeroline: False
773     yaxis:
774       gridcolor: "rgb(238, 238, 238)'"
775       hoverformat: ".4s"
776       linecolor: "rgb(238, 238, 238)"
777       linewidth: 1
778       range: []
779       showgrid: True
780       showline: True
781       showticklabels: True
782       tickcolor: "rgb(238, 238, 238)"
783       title: "Packets Per Second [pps]"
784       zeroline: False
785     boxmode: "group"
786     boxgroupgap: 0.5
787     autosize: False
788     margin:
789       t: 50
790       b: 20
791       l: 50
792       r: 20
793     showlegend: True
794     legend:
795       orientation: "h"
796     width: 700
797     height: 1000
798
799 -
800   type: "plot"
801   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
802   algorithm: "plot_performance_box"
803   output-file-type: ".html"
804   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
805   data:
806     csit-vpp-perf-1710-all:
807     - 11
808     - 12
809     - 13
810     - 14
811     - 15
812     - 16
813     - 17
814   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
815   parameters:
816   - "throughput"
817   - "parent"
818   traces:
819     hoverinfo: "x+y"
820     boxpoints: "outliers"
821     whiskerwidth: 0
822   layout:
823     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
824     xaxis:
825       autorange: True
826       autotick: False
827       fixedrange: False
828       gridcolor: "rgb(238, 238, 238)"
829       linecolor: "rgb(238, 238, 238)"
830       linewidth: 1
831       showgrid: True
832       showline: True
833       showticklabels: True
834       tickcolor: "rgb(238, 238, 238)"
835       tickmode: "linear"
836       title: "Indexed Test Cases"
837       zeroline: False
838     yaxis:
839       gridcolor: "rgb(238, 238, 238)'"
840       hoverformat: ".4s"
841       linecolor: "rgb(238, 238, 238)"
842       linewidth: 1
843       range: []
844       showgrid: True
845       showline: True
846       showticklabels: True
847       tickcolor: "rgb(238, 238, 238)"
848       title: "Packets Per Second [pps]"
849       zeroline: False
850     boxmode: "group"
851     boxgroupgap: 0.5
852     autosize: False
853     margin:
854       t: 50
855       b: 20
856       l: 50
857       r: 20
858     showlegend: True
859     legend:
860       orientation: "h"
861     width: 700
862     height: 1000
863
864 -
865   type: "plot"
866   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
867   algorithm: "plot_performance_box"
868   output-file-type: ".html"
869   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
870   data:
871     csit-vpp-perf-1710-all:
872     - 11
873     - 12
874     - 13
875     - 14
876     - 15
877     - 16
878     - 17
879   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
880   parameters:
881   - "throughput"
882   - "parent"
883   traces:
884     hoverinfo: "x+y"
885     boxpoints: "outliers"
886     whiskerwidth: 0
887   layout:
888     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
889     xaxis:
890       autorange: True
891       autotick: False
892       fixedrange: False
893       gridcolor: "rgb(238, 238, 238)"
894       linecolor: "rgb(238, 238, 238)"
895       linewidth: 1
896       showgrid: True
897       showline: True
898       showticklabels: True
899       tickcolor: "rgb(238, 238, 238)"
900       tickmode: "linear"
901       title: "Indexed Test Cases"
902       zeroline: False
903     yaxis:
904       gridcolor: "rgb(238, 238, 238)'"
905       hoverformat: ".4s"
906       linecolor: "rgb(238, 238, 238)"
907       linewidth: 1
908       range: []
909       showgrid: True
910       showline: True
911       showticklabels: True
912       tickcolor: "rgb(238, 238, 238)"
913       title: "Packets Per Second [pps]"
914       zeroline: False
915     boxmode: "group"
916     boxgroupgap: 0.5
917     autosize: False
918     margin:
919       t: 50
920       b: 20
921       l: 50
922       r: 20
923     showlegend: True
924     legend:
925       orientation: "h"
926     width: 700
927     height: 1000
928
929 # VPP L2 sel2
930 -
931   type: "plot"
932   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
933   algorithm: "plot_performance_box"
934   output-file-type: ".html"
935   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
936   data:
937     csit-vpp-perf-1710-all:
938     - 11
939     - 12
940     - 13
941     - 14
942     - 15
943     - 16
944     - 17
945   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
946   parameters:
947   - "throughput"
948   - "parent"
949   traces:
950     hoverinfo: "x+y"
951     boxpoints: "outliers"
952     whiskerwidth: 0
953   layout:
954     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
955     xaxis:
956       autorange: True
957       autotick: False
958       fixedrange: False
959       gridcolor: "rgb(238, 238, 238)"
960       linecolor: "rgb(238, 238, 238)"
961       linewidth: 1
962       showgrid: True
963       showline: True
964       showticklabels: True
965       tickcolor: "rgb(238, 238, 238)"
966       tickmode: "linear"
967       title: "Indexed Test Cases"
968       zeroline: False
969     yaxis:
970       gridcolor: "rgb(238, 238, 238)'"
971       hoverformat: ".4s"
972       linecolor: "rgb(238, 238, 238)"
973       linewidth: 1
974       range: [0, 8000000]
975       showgrid: True
976       showline: True
977       showticklabels: True
978       tickcolor: "rgb(238, 238, 238)"
979       title: "Packets Per Second [pps]"
980       zeroline: False
981     boxmode: "group"
982     boxgroupgap: 0.5
983     autosize: False
984     margin:
985       t: 50
986       b: 20
987       l: 50
988       r: 20
989     showlegend: True
990     legend:
991       orientation: "h"
992     width: 700
993     height: 1000
994
995 -
996   type: "plot"
997   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
998   algorithm: "plot_performance_box"
999   output-file-type: ".html"
1000   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1001   data:
1002     csit-vpp-perf-1710-all:
1003     - 11
1004     - 12
1005     - 13
1006     - 14
1007     - 15
1008     - 16
1009     - 17
1010   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1011   parameters:
1012   - "throughput"
1013   - "parent"
1014   traces:
1015     hoverinfo: "x+y"
1016     boxpoints: "outliers"
1017     whiskerwidth: 0
1018   layout:
1019     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1020     xaxis:
1021       autorange: True
1022       autotick: False
1023       fixedrange: False
1024       gridcolor: "rgb(238, 238, 238)"
1025       linecolor: "rgb(238, 238, 238)"
1026       linewidth: 1
1027       showgrid: True
1028       showline: True
1029       showticklabels: True
1030       tickcolor: "rgb(238, 238, 238)"
1031       tickmode: "linear"
1032       title: "Indexed Test Cases"
1033       zeroline: False
1034     yaxis:
1035       gridcolor: "rgb(238, 238, 238)'"
1036       hoverformat: ".4s"
1037       linecolor: "rgb(238, 238, 238)"
1038       linewidth: 1
1039       range: [5000000, 12000000]
1040       showgrid: True
1041       showline: True
1042       showticklabels: True
1043       tickcolor: "rgb(238, 238, 238)"
1044       title: "Packets Per Second [pps]"
1045       zeroline: False
1046     boxmode: "group"
1047     boxgroupgap: 0.5
1048     autosize: False
1049     margin:
1050       t: 50
1051       b: 20
1052       l: 50
1053       r: 20
1054     showlegend: True
1055     legend:
1056       orientation: "h"
1057     width: 700
1058     height: 1000
1059
1060 -
1061   type: "plot"
1062   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1063   algorithm: "plot_performance_box"
1064   output-file-type: ".html"
1065   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1066   data:
1067     csit-vpp-perf-1710-all:
1068     - 11
1069     - 12
1070     - 13
1071     - 14
1072     - 15
1073     - 16
1074     - 17
1075   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1076   parameters:
1077   - "throughput"
1078   - "parent"
1079   traces:
1080     hoverinfo: "x+y"
1081     boxpoints: "outliers"
1082     whiskerwidth: 0
1083   layout:
1084     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1085     xaxis:
1086       autorange: True
1087       autotick: False
1088       fixedrange: False
1089       gridcolor: "rgb(238, 238, 238)"
1090       linecolor: "rgb(238, 238, 238)"
1091       linewidth: 1
1092       showgrid: True
1093       showline: True
1094       showticklabels: True
1095       tickcolor: "rgb(238, 238, 238)"
1096       tickmode: "linear"
1097       title: "Indexed Test Cases"
1098       zeroline: False
1099     yaxis:
1100       gridcolor: "rgb(238, 238, 238)'"
1101       hoverformat: ".4s"
1102       linecolor: "rgb(238, 238, 238)"
1103       linewidth: 1
1104       range: [0, 8000000]
1105       showgrid: True
1106       showline: True
1107       showticklabels: True
1108       tickcolor: "rgb(238, 238, 238)"
1109       title: "Packets Per Second [pps]"
1110       zeroline: False
1111     boxmode: "group"
1112     boxgroupgap: 0.5
1113     autosize: False
1114     margin:
1115       t: 50
1116       b: 20
1117       l: 50
1118       r: 20
1119     showlegend: True
1120     legend:
1121       orientation: "h"
1122     width: 700
1123     height: 1000
1124
1125 -
1126   type: "plot"
1127   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1128   algorithm: "plot_performance_box"
1129   output-file-type: ".html"
1130   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1131   data:
1132     csit-vpp-perf-1710-all:
1133     - 11
1134     - 12
1135     - 13
1136     - 14
1137     - 15
1138     - 16
1139     - 17
1140   filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1141   parameters:
1142   - "throughput"
1143   - "parent"
1144   traces:
1145     hoverinfo: "x+y"
1146     boxpoints: "outliers"
1147     whiskerwidth: 0
1148   layout:
1149     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1150     xaxis:
1151       autorange: True
1152       autotick: False
1153       fixedrange: False
1154       gridcolor: "rgb(238, 238, 238)"
1155       linecolor: "rgb(238, 238, 238)"
1156       linewidth: 1
1157       showgrid: True
1158       showline: True
1159       showticklabels: True
1160       tickcolor: "rgb(238, 238, 238)"
1161       tickmode: "linear"
1162       title: "Indexed Test Cases"
1163       zeroline: False
1164     yaxis:
1165       gridcolor: "rgb(238, 238, 238)'"
1166       hoverformat: ".4s"
1167       linecolor: "rgb(238, 238, 238)"
1168       linewidth: 1
1169       range: [5000000, 12000000]
1170       showgrid: True
1171       showline: True
1172       showticklabels: True
1173       tickcolor: "rgb(238, 238, 238)"
1174       title: "Packets Per Second [pps]"
1175       zeroline: False
1176     boxmode: "group"
1177     boxgroupgap: 0.5
1178     autosize: False
1179     margin:
1180       t: 50
1181       b: 20
1182       l: 50
1183       r: 20
1184     showlegend: True
1185     legend:
1186       orientation: "h"
1187     width: 700
1188     height: 1000
1189
1190 # VPP IP4
1191 -
1192   type: "plot"
1193   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1194   algorithm: "plot_performance_box"
1195   output-file-type: ".html"
1196   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1197   data:
1198     csit-vpp-perf-1710-all:
1199     - 11
1200     - 12
1201     - 13
1202     - 14
1203     - 15
1204     - 16
1205     - 17
1206   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1207   parameters:
1208   - "throughput"
1209   - "parent"
1210   traces:
1211     hoverinfo: "x+y"
1212     boxpoints: "outliers"
1213     whiskerwidth: 0
1214   layout:
1215     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1216     xaxis:
1217       autorange: True
1218       autotick: False
1219       fixedrange: False
1220       gridcolor: "rgb(238, 238, 238)"
1221       linecolor: "rgb(238, 238, 238)"
1222       linewidth: 1
1223       showgrid: True
1224       showline: True
1225       showticklabels: True
1226       tickcolor: "rgb(238, 238, 238)"
1227       tickmode: "linear"
1228       title: "Indexed Test Cases"
1229       zeroline: False
1230     yaxis:
1231       gridcolor: "rgb(238, 238, 238)'"
1232       hoverformat: ".4s"
1233       linecolor: "rgb(238, 238, 238)"
1234       linewidth: 1
1235       range: []
1236       showgrid: True
1237       showline: True
1238       showticklabels: True
1239       tickcolor: "rgb(238, 238, 238)"
1240       title: "Packets Per Second [pps]"
1241       zeroline: False
1242     boxmode: "group"
1243     boxgroupgap: 0.5
1244     autosize: False
1245     margin:
1246       t: 50
1247       b: 20
1248       l: 50
1249       r: 20
1250     showlegend: True
1251     legend:
1252       orientation: "h"
1253     width: 700
1254     height: 1000
1255
1256 -
1257   type: "plot"
1258   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1259   algorithm: "plot_performance_box"
1260   output-file-type: ".html"
1261   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1262   data:
1263     csit-vpp-perf-1710-all:
1264     - 11
1265     - 12
1266     - 13
1267     - 14
1268     - 15
1269     - 16
1270     - 17
1271   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1272   parameters:
1273   - "throughput"
1274   - "parent"
1275   traces:
1276     hoverinfo: "x+y"
1277     boxpoints: "outliers"
1278     whiskerwidth: 0
1279   layout:
1280     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1281     xaxis:
1282       autorange: True
1283       autotick: False
1284       fixedrange: False
1285       gridcolor: "rgb(238, 238, 238)"
1286       linecolor: "rgb(238, 238, 238)"
1287       linewidth: 1
1288       showgrid: True
1289       showline: True
1290       showticklabels: True
1291       tickcolor: "rgb(238, 238, 238)"
1292       tickmode: "linear"
1293       title: "Indexed Test Cases"
1294       zeroline: False
1295     yaxis:
1296       gridcolor: "rgb(238, 238, 238)'"
1297       hoverformat: ".4s"
1298       linecolor: "rgb(238, 238, 238)"
1299       linewidth: 1
1300       range: []
1301       showgrid: True
1302       showline: True
1303       showticklabels: True
1304       tickcolor: "rgb(238, 238, 238)"
1305       title: "Packets Per Second [pps]"
1306       zeroline: False
1307     boxmode: "group"
1308     boxgroupgap: 0.5
1309     autosize: False
1310     margin:
1311       t: 50
1312       b: 20
1313       l: 50
1314       r: 20
1315     showlegend: True
1316     legend:
1317       orientation: "h"
1318     width: 700
1319     height: 1000
1320
1321 -
1322   type: "plot"
1323   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1324   algorithm: "plot_performance_box"
1325   output-file-type: ".html"
1326   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1327   data:
1328     csit-vpp-perf-1710-all:
1329     - 11
1330     - 12
1331     - 13
1332     - 14
1333     - 15
1334     - 16
1335     - 17
1336   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1337   parameters:
1338   - "throughput"
1339   - "parent"
1340   traces:
1341     hoverinfo: "x+y"
1342     boxpoints: "outliers"
1343     whiskerwidth: 0
1344   layout:
1345     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1346     xaxis:
1347       autorange: True
1348       autotick: False
1349       fixedrange: False
1350       gridcolor: "rgb(238, 238, 238)"
1351       linecolor: "rgb(238, 238, 238)"
1352       linewidth: 1
1353       showgrid: True
1354       showline: True
1355       showticklabels: True
1356       tickcolor: "rgb(238, 238, 238)"
1357       tickmode: "linear"
1358       title: "Indexed Test Cases"
1359       zeroline: False
1360     yaxis:
1361       gridcolor: "rgb(238, 238, 238)'"
1362       hoverformat: ".4s"
1363       linecolor: "rgb(238, 238, 238)"
1364       linewidth: 1
1365       range: []
1366       showgrid: True
1367       showline: True
1368       showticklabels: True
1369       tickcolor: "rgb(238, 238, 238)"
1370       title: "Packets Per Second [pps]"
1371       zeroline: False
1372     boxmode: "group"
1373     boxgroupgap: 0.5
1374     autosize: False
1375     margin:
1376       t: 50
1377       b: 20
1378       l: 50
1379       r: 20
1380     showlegend: True
1381     legend:
1382       orientation: "h"
1383     width: 700
1384     height: 1000
1385
1386 -
1387   type: "plot"
1388   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1389   algorithm: "plot_performance_box"
1390   output-file-type: ".html"
1391   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1392   data:
1393     csit-vpp-perf-1710-all:
1394     - 11
1395     - 12
1396     - 13
1397     - 14
1398     - 15
1399     - 16
1400     - 17
1401   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1402   parameters:
1403   - "throughput"
1404   - "parent"
1405   traces:
1406     hoverinfo: "x+y"
1407     boxpoints: "outliers"
1408     whiskerwidth: 0
1409   layout:
1410     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1411     xaxis:
1412       autorange: True
1413       autotick: False
1414       fixedrange: False
1415       gridcolor: "rgb(238, 238, 238)"
1416       linecolor: "rgb(238, 238, 238)"
1417       linewidth: 1
1418       showgrid: True
1419       showline: True
1420       showticklabels: True
1421       tickcolor: "rgb(238, 238, 238)"
1422       tickmode: "linear"
1423       title: "Indexed Test Cases"
1424       zeroline: False
1425     yaxis:
1426       gridcolor: "rgb(238, 238, 238)'"
1427       hoverformat: ".4s"
1428       linecolor: "rgb(238, 238, 238)"
1429       linewidth: 1
1430       range: []
1431       showgrid: True
1432       showline: True
1433       showticklabels: True
1434       tickcolor: "rgb(238, 238, 238)"
1435       title: "Packets Per Second [pps]"
1436       zeroline: False
1437     boxmode: "group"
1438     boxgroupgap: 0.5
1439     autosize: False
1440     margin:
1441       t: 50
1442       b: 20
1443       l: 50
1444       r: 20
1445     showlegend: True
1446     legend:
1447       orientation: "h"
1448     width: 700
1449     height: 1000
1450
1451 # VPP IP6
1452 -
1453   type: "plot"
1454   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1455   algorithm: "plot_performance_box"
1456   output-file-type: ".html"
1457   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1458   data:
1459     csit-vpp-perf-1710-all:
1460     - 11
1461     - 12
1462     - 13
1463     - 14
1464     - 15
1465     - 16
1466     - 17
1467   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1468   parameters:
1469   - "throughput"
1470   - "parent"
1471   traces:
1472     hoverinfo: "x+y"
1473     boxpoints: "outliers"
1474     whiskerwidth: 0
1475   layout:
1476     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1477     xaxis:
1478       autorange: True
1479       autotick: False
1480       fixedrange: False
1481       gridcolor: "rgb(238, 238, 238)"
1482       linecolor: "rgb(238, 238, 238)"
1483       linewidth: 1
1484       showgrid: True
1485       showline: True
1486       showticklabels: True
1487       tickcolor: "rgb(238, 238, 238)"
1488       tickmode: "linear"
1489       title: "Indexed Test Cases"
1490       zeroline: False
1491     yaxis:
1492       gridcolor: "rgb(238, 238, 238)'"
1493       hoverformat: ".4s"
1494       linecolor: "rgb(238, 238, 238)"
1495       linewidth: 1
1496       range: []
1497       showgrid: True
1498       showline: True
1499       showticklabels: True
1500       tickcolor: "rgb(238, 238, 238)"
1501       title: "Packets Per Second [pps]"
1502       zeroline: False
1503     boxmode: "group"
1504     boxgroupgap: 0.5
1505     autosize: False
1506     margin:
1507       t: 50
1508       b: 20
1509       l: 50
1510       r: 20
1511     showlegend: True
1512     legend:
1513       orientation: "h"
1514     width: 700
1515     height: 1000
1516
1517 -
1518   type: "plot"
1519   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1520   algorithm: "plot_performance_box"
1521   output-file-type: ".html"
1522   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1523   data:
1524     csit-vpp-perf-1710-all:
1525     - 11
1526     - 12
1527     - 13
1528     - 14
1529     - 15
1530     - 16
1531     - 17
1532   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1533   parameters:
1534   - "throughput"
1535   - "parent"
1536   traces:
1537     hoverinfo: "x+y"
1538     boxpoints: "outliers"
1539     whiskerwidth: 0
1540   layout:
1541     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1542     xaxis:
1543       autorange: True
1544       autotick: False
1545       fixedrange: False
1546       gridcolor: "rgb(238, 238, 238)"
1547       linecolor: "rgb(238, 238, 238)"
1548       linewidth: 1
1549       showgrid: True
1550       showline: True
1551       showticklabels: True
1552       tickcolor: "rgb(238, 238, 238)"
1553       tickmode: "linear"
1554       title: "Indexed Test Cases"
1555       zeroline: False
1556     yaxis:
1557       gridcolor: "rgb(238, 238, 238)'"
1558       hoverformat: ".4s"
1559       linecolor: "rgb(238, 238, 238)"
1560       linewidth: 1
1561       range: []
1562       showgrid: True
1563       showline: True
1564       showticklabels: True
1565       tickcolor: "rgb(238, 238, 238)"
1566       title: "Packets Per Second [pps]"
1567       zeroline: False
1568     boxmode: "group"
1569     boxgroupgap: 0.5
1570     autosize: False
1571     margin:
1572       t: 50
1573       b: 20
1574       l: 50
1575       r: 20
1576     showlegend: True
1577     legend:
1578       orientation: "h"
1579     width: 700
1580     height: 1000
1581
1582 -
1583   type: "plot"
1584   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1585   algorithm: "plot_performance_box"
1586   output-file-type: ".html"
1587   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1588   data:
1589     csit-vpp-perf-1710-all:
1590     - 11
1591     - 12
1592     - 13
1593     - 14
1594     - 15
1595     - 16
1596     - 17
1597   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1598   parameters:
1599   - "throughput"
1600   - "parent"
1601   traces:
1602     hoverinfo: "x+y"
1603     boxpoints: "outliers"
1604     whiskerwidth: 0
1605   layout:
1606     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1607     xaxis:
1608       autorange: True
1609       autotick: False
1610       fixedrange: False
1611       gridcolor: "rgb(238, 238, 238)"
1612       linecolor: "rgb(238, 238, 238)"
1613       linewidth: 1
1614       showgrid: True
1615       showline: True
1616       showticklabels: True
1617       tickcolor: "rgb(238, 238, 238)"
1618       tickmode: "linear"
1619       title: "Indexed Test Cases"
1620       zeroline: False
1621     yaxis:
1622       gridcolor: "rgb(238, 238, 238)'"
1623       hoverformat: ".4s"
1624       linecolor: "rgb(238, 238, 238)"
1625       linewidth: 1
1626       range: []
1627       showgrid: True
1628       showline: True
1629       showticklabels: True
1630       tickcolor: "rgb(238, 238, 238)"
1631       title: "Packets Per Second [pps]"
1632       zeroline: False
1633     boxmode: "group"
1634     boxgroupgap: 0.5
1635     autosize: False
1636     margin:
1637       t: 50
1638       b: 20
1639       l: 50
1640       r: 20
1641     showlegend: True
1642     legend:
1643       orientation: "h"
1644     width: 700
1645     height: 1000
1646
1647 -
1648   type: "plot"
1649   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1650   algorithm: "plot_performance_box"
1651   output-file-type: ".html"
1652   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1653   data:
1654     csit-vpp-perf-1710-all:
1655     - 11
1656     - 12
1657     - 13
1658     - 14
1659     - 15
1660     - 16
1661     - 17
1662   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1663   parameters:
1664   - "throughput"
1665   - "parent"
1666   traces:
1667     hoverinfo: "x+y"
1668     boxpoints: "outliers"
1669     whiskerwidth: 0
1670   layout:
1671     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1672     xaxis:
1673       autorange: True
1674       autotick: False
1675       fixedrange: False
1676       gridcolor: "rgb(238, 238, 238)"
1677       linecolor: "rgb(238, 238, 238)"
1678       linewidth: 1
1679       showgrid: True
1680       showline: True
1681       showticklabels: True
1682       tickcolor: "rgb(238, 238, 238)"
1683       tickmode: "linear"
1684       title: "Indexed Test Cases"
1685       zeroline: False
1686     yaxis:
1687       gridcolor: "rgb(238, 238, 238)'"
1688       hoverformat: ".4s"
1689       linecolor: "rgb(238, 238, 238)"
1690       linewidth: 1
1691       range: []
1692       showgrid: True
1693       showline: True
1694       showticklabels: True
1695       tickcolor: "rgb(238, 238, 238)"
1696       title: "Packets Per Second [pps]"
1697       zeroline: False
1698     boxmode: "group"
1699     boxgroupgap: 0.5
1700     autosize: False
1701     margin:
1702       t: 50
1703       b: 20
1704       l: 50
1705       r: 20
1706     showlegend: True
1707     legend:
1708       orientation: "h"
1709     width: 700
1710     height: 1000
1711
1712 # VPP IP4_overlay
1713 -
1714   type: "plot"
1715   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1716   algorithm: "plot_performance_box"
1717   output-file-type: ".html"
1718   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1719   data:
1720     csit-vpp-perf-1710-all:
1721     - 11
1722     - 12
1723     - 13
1724     - 14
1725     - 15
1726     - 16
1727     - 17
1728   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1729   parameters:
1730   - "throughput"
1731   - "parent"
1732   traces:
1733     hoverinfo: "x+y"
1734     boxpoints: "outliers"
1735     whiskerwidth: 0
1736   layout:
1737     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1738     xaxis:
1739       autorange: True
1740       autotick: False
1741       fixedrange: False
1742       gridcolor: "rgb(238, 238, 238)"
1743       linecolor: "rgb(238, 238, 238)"
1744       linewidth: 1
1745       showgrid: True
1746       showline: True
1747       showticklabels: True
1748       tickcolor: "rgb(238, 238, 238)"
1749       tickmode: "linear"
1750       title: "Indexed Test Cases"
1751       zeroline: False
1752     yaxis:
1753       gridcolor: "rgb(238, 238, 238)'"
1754       hoverformat: ".4s"
1755       linecolor: "rgb(238, 238, 238)"
1756       linewidth: 1
1757       range: []
1758       showgrid: True
1759       showline: True
1760       showticklabels: True
1761       tickcolor: "rgb(238, 238, 238)"
1762       title: "Packets Per Second [pps]"
1763       zeroline: False
1764     boxmode: "group"
1765     boxgroupgap: 0.5
1766     autosize: False
1767     margin:
1768       t: 50
1769       b: 20
1770       l: 50
1771       r: 20
1772     showlegend: True
1773     legend:
1774       orientation: "h"
1775     width: 700
1776     height: 1000
1777
1778 -
1779   type: "plot"
1780   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1781   algorithm: "plot_performance_box"
1782   output-file-type: ".html"
1783   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1784   data:
1785     csit-vpp-perf-1710-all:
1786     - 11
1787     - 12
1788     - 13
1789     - 14
1790     - 15
1791     - 16
1792     - 17
1793   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1794   parameters:
1795   - "throughput"
1796   - "parent"
1797   traces:
1798     hoverinfo: "x+y"
1799     boxpoints: "outliers"
1800     whiskerwidth: 0
1801   layout:
1802     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1803     xaxis:
1804       autorange: True
1805       autotick: False
1806       fixedrange: False
1807       gridcolor: "rgb(238, 238, 238)"
1808       linecolor: "rgb(238, 238, 238)"
1809       linewidth: 1
1810       showgrid: True
1811       showline: True
1812       showticklabels: True
1813       tickcolor: "rgb(238, 238, 238)"
1814       tickmode: "linear"
1815       title: "Indexed Test Cases"
1816       zeroline: False
1817     yaxis:
1818       gridcolor: "rgb(238, 238, 238)'"
1819       hoverformat: ".4s"
1820       linecolor: "rgb(238, 238, 238)"
1821       linewidth: 1
1822       range: []
1823       showgrid: True
1824       showline: True
1825       showticklabels: True
1826       tickcolor: "rgb(238, 238, 238)"
1827       title: "Packets Per Second [pps]"
1828       zeroline: False
1829     boxmode: "group"
1830     boxgroupgap: 0.5
1831     autosize: False
1832     margin:
1833       t: 50
1834       b: 20
1835       l: 50
1836       r: 20
1837     showlegend: True
1838     legend:
1839       orientation: "h"
1840     width: 700
1841     height: 1000
1842
1843 -
1844   type: "plot"
1845   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1846   algorithm: "plot_performance_box"
1847   output-file-type: ".html"
1848   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1849   data:
1850     csit-vpp-perf-1710-all:
1851     - 11
1852     - 12
1853     - 13
1854     - 14
1855     - 15
1856     - 16
1857     - 17
1858   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1859   parameters:
1860   - "throughput"
1861   - "parent"
1862   traces:
1863     hoverinfo: "x+y"
1864     boxpoints: "outliers"
1865     whiskerwidth: 0
1866   layout:
1867     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1868     xaxis:
1869       autorange: True
1870       autotick: False
1871       fixedrange: False
1872       gridcolor: "rgb(238, 238, 238)"
1873       linecolor: "rgb(238, 238, 238)"
1874       linewidth: 1
1875       showgrid: True
1876       showline: True
1877       showticklabels: True
1878       tickcolor: "rgb(238, 238, 238)"
1879       tickmode: "linear"
1880       title: "Indexed Test Cases"
1881       zeroline: False
1882     yaxis:
1883       gridcolor: "rgb(238, 238, 238)'"
1884       hoverformat: ".4s"
1885       linecolor: "rgb(238, 238, 238)"
1886       linewidth: 1
1887       range: []
1888       showgrid: True
1889       showline: True
1890       showticklabels: True
1891       tickcolor: "rgb(238, 238, 238)"
1892       title: "Packets Per Second [pps]"
1893       zeroline: False
1894     boxmode: "group"
1895     boxgroupgap: 0.5
1896     autosize: False
1897     margin:
1898       t: 50
1899       b: 20
1900       l: 50
1901       r: 20
1902     showlegend: True
1903     legend:
1904       orientation: "h"
1905     width: 700
1906     height: 1000
1907
1908 -
1909   type: "plot"
1910   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1911   algorithm: "plot_performance_box"
1912   output-file-type: ".html"
1913   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1914   data:
1915     csit-vpp-perf-1710-all:
1916     - 11
1917     - 12
1918     - 13
1919     - 14
1920     - 15
1921     - 16
1922     - 17
1923   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1924   parameters:
1925   - "throughput"
1926   - "parent"
1927   traces:
1928     hoverinfo: "x+y"
1929     boxpoints: "outliers"
1930     whiskerwidth: 0
1931   layout:
1932     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1933     xaxis:
1934       autorange: True
1935       autotick: False
1936       fixedrange: False
1937       gridcolor: "rgb(238, 238, 238)"
1938       linecolor: "rgb(238, 238, 238)"
1939       linewidth: 1
1940       showgrid: True
1941       showline: True
1942       showticklabels: True
1943       tickcolor: "rgb(238, 238, 238)"
1944       tickmode: "linear"
1945       title: "Indexed Test Cases"
1946       zeroline: False
1947     yaxis:
1948       gridcolor: "rgb(238, 238, 238)'"
1949       hoverformat: ".4s"
1950       linecolor: "rgb(238, 238, 238)"
1951       linewidth: 1
1952       range: []
1953       showgrid: True
1954       showline: True
1955       showticklabels: True
1956       tickcolor: "rgb(238, 238, 238)"
1957       title: "Packets Per Second [pps]"
1958       zeroline: False
1959     boxmode: "group"
1960     boxgroupgap: 0.5
1961     autosize: False
1962     margin:
1963       t: 50
1964       b: 20
1965       l: 50
1966       r: 20
1967     showlegend: True
1968     legend:
1969       orientation: "h"
1970     width: 700
1971     height: 1000
1972
1973 # VPP IP6_overlay
1974 -
1975   type: "plot"
1976   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1977   algorithm: "plot_performance_box"
1978   output-file-type: ".html"
1979   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1980   data:
1981     csit-vpp-perf-1710-all:
1982     - 11
1983     - 12
1984     - 13
1985     - 14
1986     - 15
1987     - 16
1988     - 17
1989   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1990   parameters:
1991   - "throughput"
1992   - "parent"
1993   traces:
1994     hoverinfo: "x+y"
1995     boxpoints: "outliers"
1996     whiskerwidth: 0
1997   layout:
1998     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1999     xaxis:
2000       autorange: True
2001       autotick: False
2002       fixedrange: False
2003       gridcolor: "rgb(238, 238, 238)"
2004       linecolor: "rgb(238, 238, 238)"
2005       linewidth: 1
2006       showgrid: True
2007       showline: True
2008       showticklabels: True
2009       tickcolor: "rgb(238, 238, 238)"
2010       tickmode: "linear"
2011       title: "Indexed Test Cases"
2012       zeroline: False
2013     yaxis:
2014       gridcolor: "rgb(238, 238, 238)'"
2015       hoverformat: ".4s"
2016       linecolor: "rgb(238, 238, 238)"
2017       linewidth: 1
2018       range: []
2019       showgrid: True
2020       showline: True
2021       showticklabels: True
2022       tickcolor: "rgb(238, 238, 238)"
2023       title: "Packets Per Second [pps]"
2024       zeroline: False
2025     boxmode: "group"
2026     boxgroupgap: 0.5
2027     autosize: False
2028     margin:
2029       t: 50
2030       b: 20
2031       l: 50
2032       r: 20
2033     showlegend: True
2034     legend:
2035       orientation: "h"
2036     width: 700
2037     height: 1000
2038
2039 -
2040   type: "plot"
2041   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2042   algorithm: "plot_performance_box"
2043   output-file-type: ".html"
2044   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2045   data:
2046     csit-vpp-perf-1710-all:
2047     - 11
2048     - 12
2049     - 13
2050     - 14
2051     - 15
2052     - 16
2053     - 17
2054   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2055   parameters:
2056   - "throughput"
2057   - "parent"
2058   traces:
2059     hoverinfo: "x+y"
2060     boxpoints: "outliers"
2061     whiskerwidth: 0
2062   layout:
2063     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2064     xaxis:
2065       autorange: True
2066       autotick: False
2067       fixedrange: False
2068       gridcolor: "rgb(238, 238, 238)"
2069       linecolor: "rgb(238, 238, 238)"
2070       linewidth: 1
2071       showgrid: True
2072       showline: True
2073       showticklabels: True
2074       tickcolor: "rgb(238, 238, 238)"
2075       tickmode: "linear"
2076       title: "Indexed Test Cases"
2077       zeroline: False
2078     yaxis:
2079       gridcolor: "rgb(238, 238, 238)'"
2080       hoverformat: ".4s"
2081       linecolor: "rgb(238, 238, 238)"
2082       linewidth: 1
2083       range: []
2084       showgrid: True
2085       showline: True
2086       showticklabels: True
2087       tickcolor: "rgb(238, 238, 238)"
2088       title: "Packets Per Second [pps]"
2089       zeroline: False
2090     boxmode: "group"
2091     boxgroupgap: 0.5
2092     autosize: False
2093     margin:
2094       t: 50
2095       b: 20
2096       l: 50
2097       r: 20
2098     showlegend: True
2099     legend:
2100       orientation: "h"
2101     width: 700
2102     height: 1000
2103
2104 -
2105   type: "plot"
2106   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2107   algorithm: "plot_performance_box"
2108   output-file-type: ".html"
2109   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2110   data:
2111     csit-vpp-perf-1710-all:
2112     - 11
2113     - 12
2114     - 13
2115     - 14
2116     - 15
2117     - 16
2118     - 17
2119   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2120   parameters:
2121   - "throughput"
2122   - "parent"
2123   traces:
2124     hoverinfo: "x+y"
2125     boxpoints: "outliers"
2126     whiskerwidth: 0
2127   layout:
2128     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2129     xaxis:
2130       autorange: True
2131       autotick: False
2132       fixedrange: False
2133       gridcolor: "rgb(238, 238, 238)"
2134       linecolor: "rgb(238, 238, 238)"
2135       linewidth: 1
2136       showgrid: True
2137       showline: True
2138       showticklabels: True
2139       tickcolor: "rgb(238, 238, 238)"
2140       tickmode: "linear"
2141       title: "Indexed Test Cases"
2142       zeroline: False
2143     yaxis:
2144       gridcolor: "rgb(238, 238, 238)'"
2145       hoverformat: ".4s"
2146       linecolor: "rgb(238, 238, 238)"
2147       linewidth: 1
2148       range: []
2149       showgrid: True
2150       showline: True
2151       showticklabels: True
2152       tickcolor: "rgb(238, 238, 238)"
2153       title: "Packets Per Second [pps]"
2154       zeroline: False
2155     boxmode: "group"
2156     boxgroupgap: 0.5
2157     autosize: False
2158     margin:
2159       t: 50
2160       b: 20
2161       l: 50
2162       r: 20
2163     showlegend: True
2164     legend:
2165       orientation: "h"
2166     width: 700
2167     height: 1000
2168
2169 -
2170   type: "plot"
2171   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2172   algorithm: "plot_performance_box"
2173   output-file-type: ".html"
2174   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2175   data:
2176     csit-vpp-perf-1710-all:
2177     - 11
2178     - 12
2179     - 13
2180     - 14
2181     - 15
2182     - 16
2183     - 17
2184   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2185   parameters:
2186   - "throughput"
2187   - "parent"
2188   traces:
2189     hoverinfo: "x+y"
2190     boxpoints: "outliers"
2191     whiskerwidth: 0
2192   layout:
2193     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2194     xaxis:
2195       autorange: True
2196       autotick: False
2197       fixedrange: False
2198       gridcolor: "rgb(238, 238, 238)"
2199       linecolor: "rgb(238, 238, 238)"
2200       linewidth: 1
2201       showgrid: True
2202       showline: True
2203       showticklabels: True
2204       tickcolor: "rgb(238, 238, 238)"
2205       tickmode: "linear"
2206       title: "Indexed Test Cases"
2207       zeroline: False
2208     yaxis:
2209       gridcolor: "rgb(238, 238, 238)'"
2210       hoverformat: ".4s"
2211       linecolor: "rgb(238, 238, 238)"
2212       linewidth: 1
2213       range: []
2214       showgrid: True
2215       showline: True
2216       showticklabels: True
2217       tickcolor: "rgb(238, 238, 238)"
2218       title: "Packets Per Second [pps]"
2219       zeroline: False
2220     boxmode: "group"
2221     boxgroupgap: 0.5
2222     autosize: False
2223     margin:
2224       t: 50
2225       b: 20
2226       l: 50
2227       r: 20
2228     showlegend: True
2229     legend:
2230       orientation: "h"
2231     width: 700
2232     height: 1000
2233
2234 # VPP VM VHOST
2235 -
2236   type: "plot"
2237   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2238   algorithm: "plot_performance_box"
2239   output-file-type: ".html"
2240   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2241   data:
2242     csit-vpp-perf-1710-all:
2243     - 11
2244     - 12
2245     - 13
2246     - 14
2247     - 15
2248     - 16
2249     - 17
2250   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2251   parameters:
2252   - "throughput"
2253   - "parent"
2254   traces:
2255     hoverinfo: "x+y"
2256     boxpoints: "outliers"
2257     whiskerwidth: 0
2258   layout:
2259     title: "64B-1t1c-.*vhost.*-ndrdisc"
2260     xaxis:
2261       autorange: True
2262       autotick: False
2263       fixedrange: False
2264       gridcolor: "rgb(238, 238, 238)"
2265       linecolor: "rgb(238, 238, 238)"
2266       linewidth: 1
2267       showgrid: True
2268       showline: True
2269       showticklabels: True
2270       tickcolor: "rgb(238, 238, 238)"
2271       tickmode: "linear"
2272       title: "Indexed Test Cases"
2273       zeroline: False
2274     yaxis:
2275       gridcolor: "rgb(238, 238, 238)'"
2276       hoverformat: ".4s"
2277       linecolor: "rgb(238, 238, 238)"
2278       linewidth: 1
2279       range: []
2280       showgrid: True
2281       showline: True
2282       showticklabels: True
2283       tickcolor: "rgb(238, 238, 238)"
2284       title: "Packets Per Second [pps]"
2285       zeroline: False
2286     boxmode: "group"
2287     boxgroupgap: 0.5
2288     autosize: False
2289     margin:
2290       t: 50
2291       b: 20
2292       l: 50
2293       r: 20
2294     showlegend: True
2295     legend:
2296       orientation: "h"
2297     width: 700
2298     height: 1000
2299
2300 -
2301   type: "plot"
2302   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2303   algorithm: "plot_performance_box"
2304   output-file-type: ".html"
2305   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2306   data:
2307     csit-vpp-perf-1710-all:
2308     - 11
2309     - 12
2310     - 13
2311     - 14
2312     - 15
2313     - 16
2314     - 17
2315   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2316   parameters:
2317   - "throughput"
2318   - "parent"
2319   traces:
2320     hoverinfo: "x+y"
2321     boxpoints: "outliers"
2322     whiskerwidth: 0
2323   layout:
2324     title: "64B-2t2c-.*vhost.*-ndrdisc"
2325     xaxis:
2326       autorange: True
2327       autotick: False
2328       fixedrange: False
2329       gridcolor: "rgb(238, 238, 238)"
2330       linecolor: "rgb(238, 238, 238)"
2331       linewidth: 1
2332       showgrid: True
2333       showline: True
2334       showticklabels: True
2335       tickcolor: "rgb(238, 238, 238)"
2336       tickmode: "linear"
2337       title: "Indexed Test Cases"
2338       zeroline: False
2339     yaxis:
2340       gridcolor: "rgb(238, 238, 238)'"
2341       hoverformat: ".4s"
2342       linecolor: "rgb(238, 238, 238)"
2343       linewidth: 1
2344       range: []
2345       showgrid: True
2346       showline: True
2347       showticklabels: True
2348       tickcolor: "rgb(238, 238, 238)"
2349       title: "Packets Per Second [pps]"
2350       zeroline: False
2351     boxmode: "group"
2352     boxgroupgap: 0.5
2353     autosize: False
2354     margin:
2355       t: 50
2356       b: 20
2357       l: 50
2358       r: 20
2359     showlegend: True
2360     legend:
2361       orientation: "h"
2362     width: 700
2363     height: 1000
2364
2365 -
2366   type: "plot"
2367   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2368   algorithm: "plot_performance_box"
2369   output-file-type: ".html"
2370   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2371   data:
2372     csit-vpp-perf-1710-all:
2373     - 11
2374     - 12
2375     - 13
2376     - 14
2377     - 15
2378     - 16
2379     - 17
2380   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2381   parameters:
2382   - "throughput"
2383   - "parent"
2384   traces:
2385     hoverinfo: "x+y"
2386     boxpoints: "outliers"
2387     whiskerwidth: 0
2388   layout:
2389     title: "64B-1t1c-.*vhost.*-pdrdisc"
2390     xaxis:
2391       autorange: True
2392       autotick: False
2393       fixedrange: False
2394       gridcolor: "rgb(238, 238, 238)"
2395       linecolor: "rgb(238, 238, 238)"
2396       linewidth: 1
2397       showgrid: True
2398       showline: True
2399       showticklabels: True
2400       tickcolor: "rgb(238, 238, 238)"
2401       tickmode: "linear"
2402       title: "Indexed Test Cases"
2403       zeroline: False
2404     yaxis:
2405       gridcolor: "rgb(238, 238, 238)'"
2406       hoverformat: ".4s"
2407       linecolor: "rgb(238, 238, 238)"
2408       linewidth: 1
2409       range: []
2410       showgrid: True
2411       showline: True
2412       showticklabels: True
2413       tickcolor: "rgb(238, 238, 238)"
2414       title: "Packets Per Second [pps]"
2415       zeroline: False
2416     boxmode: "group"
2417     boxgroupgap: 0.5
2418     autosize: False
2419     margin:
2420       t: 50
2421       b: 20
2422       l: 50
2423       r: 20
2424     showlegend: True
2425     legend:
2426       orientation: "h"
2427     width: 700
2428     height: 1000
2429
2430 -
2431   type: "plot"
2432   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2433   algorithm: "plot_performance_box"
2434   output-file-type: ".html"
2435   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2436   data:
2437     csit-vpp-perf-1710-all:
2438     - 11
2439     - 12
2440     - 13
2441     - 14
2442     - 15
2443     - 16
2444     - 17
2445   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2446   parameters:
2447   - "throughput"
2448   - "parent"
2449   traces:
2450     hoverinfo: "x+y"
2451     boxpoints: "outliers"
2452     whiskerwidth: 0
2453   layout:
2454     title: "64B-2t2c-.*vhost.*-pdrdisc"
2455     xaxis:
2456       autorange: True
2457       autotick: False
2458       fixedrange: False
2459       gridcolor: "rgb(238, 238, 238)"
2460       linecolor: "rgb(238, 238, 238)"
2461       linewidth: 1
2462       showgrid: True
2463       showline: True
2464       showticklabels: True
2465       tickcolor: "rgb(238, 238, 238)"
2466       tickmode: "linear"
2467       title: "Indexed Test Cases"
2468       zeroline: False
2469     yaxis:
2470       gridcolor: "rgb(238, 238, 238)'"
2471       hoverformat: ".4s"
2472       linecolor: "rgb(238, 238, 238)"
2473       linewidth: 1
2474       range: []
2475       showgrid: True
2476       showline: True
2477       showticklabels: True
2478       tickcolor: "rgb(238, 238, 238)"
2479       title: "Packets Per Second [pps]"
2480       zeroline: False
2481     boxmode: "group"
2482     boxgroupgap: 0.5
2483     autosize: False
2484     margin:
2485       t: 50
2486       b: 20
2487       l: 50
2488       r: 20
2489     showlegend: True
2490     legend:
2491       orientation: "h"
2492     width: 700
2493     height: 1000
2494
2495 # VPP VM VHOST SELECTION
2496 -
2497   type: "plot"
2498   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2499   algorithm: "plot_performance_box"
2500   output-file-type: ".html"
2501   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2502   data:
2503     csit-vpp-perf-1710-all:
2504     - 11
2505     - 12
2506     - 13
2507     - 14
2508     - 15
2509     - 16
2510     - 17
2511   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2512   parameters:
2513   - "throughput"
2514   - "parent"
2515   traces:
2516     hoverinfo: "x+y"
2517     boxpoints: "outliers"
2518     whiskerwidth: 0
2519   layout:
2520     title: "64B-1t1c-.*vhost.*-ndrdisc"
2521     xaxis:
2522       autorange: True
2523       autotick: False
2524       fixedrange: False
2525       gridcolor: "rgb(238, 238, 238)"
2526       linecolor: "rgb(238, 238, 238)"
2527       linewidth: 1
2528       showgrid: True
2529       showline: True
2530       showticklabels: True
2531       tickcolor: "rgb(238, 238, 238)"
2532       tickmode: "linear"
2533       title: "Indexed Test Cases"
2534       zeroline: False
2535     yaxis:
2536       gridcolor: "rgb(238, 238, 238)'"
2537       hoverformat: ".4s"
2538       linecolor: "rgb(238, 238, 238)"
2539       linewidth: 1
2540       range: []
2541       showgrid: True
2542       showline: True
2543       showticklabels: True
2544       tickcolor: "rgb(238, 238, 238)"
2545       title: "Packets Per Second [pps]"
2546       zeroline: False
2547     boxmode: "group"
2548     boxgroupgap: 0.5
2549     autosize: False
2550     margin:
2551       t: 50
2552       b: 20
2553       l: 50
2554       r: 20
2555     showlegend: True
2556     legend:
2557       orientation: "h"
2558     width: 700
2559     height: 1000
2560
2561 -
2562   type: "plot"
2563   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2564   algorithm: "plot_performance_box"
2565   output-file-type: ".html"
2566   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2567   data:
2568     csit-vpp-perf-1710-all:
2569     - 11
2570     - 12
2571     - 13
2572     - 14
2573     - 15
2574     - 16
2575     - 17
2576   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2577   parameters:
2578   - "throughput"
2579   - "parent"
2580   traces:
2581     hoverinfo: "x+y"
2582     boxpoints: "outliers"
2583     whiskerwidth: 0
2584   layout:
2585     title: "64B-2t2c-.*vhost.*-ndrdisc"
2586     xaxis:
2587       autorange: True
2588       autotick: False
2589       fixedrange: False
2590       gridcolor: "rgb(238, 238, 238)"
2591       linecolor: "rgb(238, 238, 238)"
2592       linewidth: 1
2593       showgrid: True
2594       showline: True
2595       showticklabels: True
2596       tickcolor: "rgb(238, 238, 238)"
2597       tickmode: "linear"
2598       title: "Indexed Test Cases"
2599       zeroline: False
2600     yaxis:
2601       gridcolor: "rgb(238, 238, 238)'"
2602       hoverformat: ".4s"
2603       linecolor: "rgb(238, 238, 238)"
2604       linewidth: 1
2605       range: []
2606       showgrid: True
2607       showline: True
2608       showticklabels: True
2609       tickcolor: "rgb(238, 238, 238)"
2610       title: "Packets Per Second [pps]"
2611       zeroline: False
2612     boxmode: "group"
2613     boxgroupgap: 0.5
2614     autosize: False
2615     margin:
2616       t: 50
2617       b: 20
2618       l: 50
2619       r: 20
2620     showlegend: True
2621     legend:
2622       orientation: "h"
2623     width: 700
2624     height: 1000
2625
2626 -
2627   type: "plot"
2628   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2629   algorithm: "plot_performance_box"
2630   output-file-type: ".html"
2631   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2632   data:
2633     csit-vpp-perf-1710-all:
2634     - 11
2635     - 12
2636     - 13
2637     - 14
2638     - 15
2639     - 16
2640     - 17
2641   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2642   parameters:
2643   - "throughput"
2644   - "parent"
2645   traces:
2646     hoverinfo: "x+y"
2647     boxpoints: "outliers"
2648     whiskerwidth: 0
2649   layout:
2650     title: "64B-1t1c-.*vhost.*-pdrdisc"
2651     xaxis:
2652       autorange: True
2653       autotick: False
2654       fixedrange: False
2655       gridcolor: "rgb(238, 238, 238)"
2656       linecolor: "rgb(238, 238, 238)"
2657       linewidth: 1
2658       showgrid: True
2659       showline: True
2660       showticklabels: True
2661       tickcolor: "rgb(238, 238, 238)"
2662       tickmode: "linear"
2663       title: "Indexed Test Cases"
2664       zeroline: False
2665     yaxis:
2666       gridcolor: "rgb(238, 238, 238)'"
2667       hoverformat: ".4s"
2668       linecolor: "rgb(238, 238, 238)"
2669       linewidth: 1
2670       range: []
2671       showgrid: True
2672       showline: True
2673       showticklabels: True
2674       tickcolor: "rgb(238, 238, 238)"
2675       title: "Packets Per Second [pps]"
2676       zeroline: False
2677     boxmode: "group"
2678     boxgroupgap: 0.5
2679     autosize: False
2680     margin:
2681       t: 50
2682       b: 20
2683       l: 50
2684       r: 20
2685     showlegend: True
2686     legend:
2687       orientation: "h"
2688     width: 700
2689     height: 1000
2690
2691 -
2692   type: "plot"
2693   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2694   algorithm: "plot_performance_box"
2695   output-file-type: ".html"
2696   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2697   data:
2698     csit-vpp-perf-1710-all:
2699     - 11
2700     - 12
2701     - 13
2702     - 14
2703     - 15
2704     - 16
2705     - 17
2706   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2707   parameters:
2708   - "throughput"
2709   - "parent"
2710   traces:
2711     hoverinfo: "x+y"
2712     boxpoints: "outliers"
2713     whiskerwidth: 0
2714   layout:
2715     title: "64B-2t2c-.*vhost.*-pdrdisc"
2716     xaxis:
2717       autorange: True
2718       autotick: False
2719       fixedrange: False
2720       gridcolor: "rgb(238, 238, 238)"
2721       linecolor: "rgb(238, 238, 238)"
2722       linewidth: 1
2723       showgrid: True
2724       showline: True
2725       showticklabels: True
2726       tickcolor: "rgb(238, 238, 238)"
2727       tickmode: "linear"
2728       title: "Indexed Test Cases"
2729       zeroline: False
2730     yaxis:
2731       gridcolor: "rgb(238, 238, 238)'"
2732       hoverformat: ".4s"
2733       linecolor: "rgb(238, 238, 238)"
2734       linewidth: 1
2735       range: []
2736       showgrid: True
2737       showline: True
2738       showticklabels: True
2739       tickcolor: "rgb(238, 238, 238)"
2740       title: "Packets Per Second [pps]"
2741       zeroline: False
2742     boxmode: "group"
2743     boxgroupgap: 0.5
2744     autosize: False
2745     margin:
2746       t: 50
2747       b: 20
2748       l: 50
2749       r: 20
2750     showlegend: True
2751     legend:
2752       orientation: "h"
2753     width: 700
2754     height: 1000
2755
2756 # VPP CRYPTO
2757 -
2758   type: "plot"
2759   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2760   algorithm: "plot_performance_box"
2761   output-file-type: ".html"
2762   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2763   data:
2764     csit-vpp-perf-1710-all:
2765     - 11
2766     - 12
2767     - 13
2768     - 14
2769     - 15
2770     - 16
2771     - 17
2772   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2773   parameters:
2774   - "throughput"
2775   - "parent"
2776   traces:
2777     hoverinfo: "x+y"
2778     boxpoints: "outliers"
2779     whiskerwidth: 0
2780   layout:
2781     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2782     xaxis:
2783       autorange: True
2784       autotick: False
2785       fixedrange: False
2786       gridcolor: "rgb(238, 238, 238)"
2787       linecolor: "rgb(238, 238, 238)"
2788       linewidth: 1
2789       showgrid: True
2790       showline: True
2791       showticklabels: True
2792       tickcolor: "rgb(238, 238, 238)"
2793       tickmode: "linear"
2794       title: "Indexed Test Cases"
2795       zeroline: False
2796     yaxis:
2797       gridcolor: "rgb(238, 238, 238)'"
2798       hoverformat: ".4s"
2799       linecolor: "rgb(238, 238, 238)"
2800       linewidth: 1
2801       range: []
2802       showgrid: True
2803       showline: True
2804       showticklabels: True
2805       tickcolor: "rgb(238, 238, 238)"
2806       title: "Packets Per Second [pps]"
2807       zeroline: False
2808     boxmode: "group"
2809     boxgroupgap: 0.5
2810     autosize: False
2811     margin:
2812       t: 50
2813       b: 20
2814       l: 50
2815       r: 20
2816     showlegend: True
2817     legend:
2818       orientation: "h"
2819     width: 700
2820     height: 1000
2821
2822 -
2823   type: "plot"
2824   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2825   algorithm: "plot_performance_box"
2826   output-file-type: ".html"
2827   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2828   data:
2829     csit-vpp-perf-1710-all:
2830     - 11
2831     - 12
2832     - 13
2833     - 14
2834     - 15
2835     - 16
2836     - 17
2837   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2838   parameters:
2839   - "throughput"
2840   - "parent"
2841   traces:
2842     hoverinfo: "x+y"
2843     boxpoints: "outliers"
2844     whiskerwidth: 0
2845   layout:
2846     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2847     xaxis:
2848       autorange: True
2849       autotick: False
2850       fixedrange: False
2851       gridcolor: "rgb(238, 238, 238)"
2852       linecolor: "rgb(238, 238, 238)"
2853       linewidth: 1
2854       showgrid: True
2855       showline: True
2856       showticklabels: True
2857       tickcolor: "rgb(238, 238, 238)"
2858       tickmode: "linear"
2859       title: "Indexed Test Cases"
2860       zeroline: False
2861     yaxis:
2862       gridcolor: "rgb(238, 238, 238)'"
2863       hoverformat: ".4s"
2864       linecolor: "rgb(238, 238, 238)"
2865       linewidth: 1
2866       range: []
2867       showgrid: True
2868       showline: True
2869       showticklabels: True
2870       tickcolor: "rgb(238, 238, 238)"
2871       title: "Packets Per Second [pps]"
2872       zeroline: False
2873     boxmode: "group"
2874     boxgroupgap: 0.5
2875     autosize: False
2876     margin:
2877       t: 50
2878       b: 20
2879       l: 50
2880       r: 20
2881     showlegend: True
2882     legend:
2883       orientation: "h"
2884     width: 700
2885     height: 1000
2886
2887 -
2888   type: "plot"
2889   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2890   algorithm: "plot_performance_box"
2891   output-file-type: ".html"
2892   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2893   data:
2894     csit-vpp-perf-1710-all:
2895     - 11
2896     - 12
2897     - 13
2898     - 14
2899     - 15
2900     - 16
2901     - 17
2902   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2903   parameters:
2904   - "throughput"
2905   - "parent"
2906   traces:
2907     hoverinfo: "x+y"
2908     boxpoints: "outliers"
2909     whiskerwidth: 0
2910   layout:
2911     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2912     xaxis:
2913       autorange: True
2914       autotick: False
2915       fixedrange: False
2916       gridcolor: "rgb(238, 238, 238)"
2917       linecolor: "rgb(238, 238, 238)"
2918       linewidth: 1
2919       showgrid: True
2920       showline: True
2921       showticklabels: True
2922       tickcolor: "rgb(238, 238, 238)"
2923       tickmode: "linear"
2924       title: "Indexed Test Cases"
2925       zeroline: False
2926     yaxis:
2927       gridcolor: "rgb(238, 238, 238)'"
2928       hoverformat: ".4s"
2929       linecolor: "rgb(238, 238, 238)"
2930       linewidth: 1
2931       range: []
2932       showgrid: True
2933       showline: True
2934       showticklabels: True
2935       tickcolor: "rgb(238, 238, 238)"
2936       title: "Packets Per Second [pps]"
2937       zeroline: False
2938     boxmode: "group"
2939     boxgroupgap: 0.5
2940     autosize: False
2941     margin:
2942       t: 50
2943       b: 20
2944       l: 50
2945       r: 20
2946     showlegend: True
2947     legend:
2948       orientation: "h"
2949     width: 700
2950     height: 1000
2951
2952 -
2953   type: "plot"
2954   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2955   algorithm: "plot_performance_box"
2956   output-file-type: ".html"
2957   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2958   data:
2959     csit-vpp-perf-1710-all:
2960     - 11
2961     - 12
2962     - 13
2963     - 14
2964     - 15
2965     - 16
2966     - 17
2967   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2968   parameters:
2969   - "throughput"
2970   - "parent"
2971   traces:
2972     hoverinfo: "x+y"
2973     boxpoints: "outliers"
2974     whiskerwidth: 0
2975   layout:
2976     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2977     xaxis:
2978       autorange: True
2979       autotick: False
2980       fixedrange: False
2981       gridcolor: "rgb(238, 238, 238)"
2982       linecolor: "rgb(238, 238, 238)"
2983       linewidth: 1
2984       showgrid: True
2985       showline: True
2986       showticklabels: True
2987       tickcolor: "rgb(238, 238, 238)"
2988       tickmode: "linear"
2989       title: "Indexed Test Cases"
2990       zeroline: False
2991     yaxis:
2992       gridcolor: "rgb(238, 238, 238)'"
2993       hoverformat: ".4s"
2994       linecolor: "rgb(238, 238, 238)"
2995       linewidth: 1
2996       range: []
2997       showgrid: True
2998       showline: True
2999       showticklabels: True
3000       tickcolor: "rgb(238, 238, 238)"
3001       title: "Packets Per Second [pps]"
3002       zeroline: False
3003     boxmode: "group"
3004     boxgroupgap: 0.5
3005     autosize: False
3006     margin:
3007       t: 50
3008       b: 20
3009       l: 50
3010       r: 20
3011     showlegend: True
3012     legend:
3013       orientation: "h"
3014     width: 700
3015     height: 1000
3016
3017 # DPDK
3018 -
3019   type: "plot"
3020   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3021   algorithm: "plot_performance_box"
3022   output-file-type: ".html"
3023   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3024   data:
3025     csit-dpdk-perf-1710-all:
3026     - 2
3027     - 3
3028     - 5
3029     - 6
3030     - 7
3031     - 8
3032     - 9
3033     - 10
3034     - 11
3035     - 13
3036   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3037   parameters:
3038   - "throughput"
3039   - "parent"
3040   traces:
3041     hoverinfo: "x+y"
3042     boxpoints: "outliers"
3043     whiskerwidth: 0
3044   layout:
3045     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3046     xaxis:
3047       autorange: True
3048       autotick: False
3049       fixedrange: False
3050       gridcolor: "rgb(238, 238, 238)"
3051       linecolor: "rgb(238, 238, 238)"
3052       linewidth: 1
3053       showgrid: True
3054       showline: True
3055       showticklabels: True
3056       tickcolor: "rgb(238, 238, 238)"
3057       tickmode: "linear"
3058       title: "Indexed Test Cases"
3059       zeroline: False
3060     yaxis:
3061       gridcolor: "rgb(238, 238, 238)'"
3062       hoverformat: ".4s"
3063       linecolor: "rgb(238, 238, 238)"
3064       linewidth: 1
3065       range: []
3066       showgrid: True
3067       showline: True
3068       showticklabels: True
3069       tickcolor: "rgb(238, 238, 238)"
3070       title: "Packets Per Second [pps]"
3071       zeroline: False
3072     boxmode: "group"
3073     boxgroupgap: 0.5
3074     autosize: False
3075     margin:
3076       t: 50
3077       b: 20
3078       l: 50
3079       r: 20
3080     showlegend: True
3081     legend:
3082       orientation: "h"
3083     width: 700
3084     height: 1000
3085
3086 -
3087   type: "plot"
3088   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3089   algorithm: "plot_performance_box"
3090   output-file-type: ".html"
3091   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3092   data:
3093     csit-dpdk-perf-1710-all:
3094     - 2
3095     - 3
3096     - 5
3097     - 6
3098     - 7
3099     - 8
3100     - 9
3101     - 10
3102     - 11
3103     - 13
3104   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3105   parameters:
3106   - "throughput"
3107   - "parent"
3108   traces:
3109     hoverinfo: "x+y"
3110     boxpoints: "outliers"
3111     whiskerwidth: 0
3112   layout:
3113     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3114     xaxis:
3115       autorange: True
3116       autotick: False
3117       fixedrange: False
3118       gridcolor: "rgb(238, 238, 238)"
3119       linecolor: "rgb(238, 238, 238)"
3120       linewidth: 1
3121       showgrid: True
3122       showline: True
3123       showticklabels: True
3124       tickcolor: "rgb(238, 238, 238)"
3125       tickmode: "linear"
3126       title: "Indexed Test Cases"
3127       zeroline: False
3128     yaxis:
3129       gridcolor: "rgb(238, 238, 238)'"
3130       hoverformat: ".4s"
3131       linecolor: "rgb(238, 238, 238)"
3132       linewidth: 1
3133       range: []
3134       showgrid: True
3135       showline: True
3136       showticklabels: True
3137       tickcolor: "rgb(238, 238, 238)"
3138       title: "Packets Per Second [pps]"
3139       zeroline: False
3140     boxmode: "group"
3141     boxgroupgap: 0.5
3142     autosize: False
3143     margin:
3144       t: 50
3145       b: 20
3146       l: 50
3147       r: 20
3148     showlegend: True
3149     legend:
3150       orientation: "h"
3151     width: 700
3152     height: 1000
3153
3154 -
3155   type: "plot"
3156   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3157   algorithm: "plot_performance_box"
3158   output-file-type: ".html"
3159   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3160   data:
3161     csit-dpdk-perf-1710-all:
3162     - 2
3163     - 3
3164     - 5
3165     - 6
3166     - 7
3167     - 8
3168     - 9
3169     - 10
3170     - 11
3171     - 13
3172   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3173   parameters:
3174   - "throughput"
3175   - "parent"
3176   traces:
3177     hoverinfo: "x+y"
3178     boxpoints: "outliers"
3179     whiskerwidth: 0
3180   layout:
3181     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3182     xaxis:
3183       autorange: True
3184       autotick: False
3185       fixedrange: False
3186       gridcolor: "rgb(238, 238, 238)"
3187       linecolor: "rgb(238, 238, 238)"
3188       linewidth: 1
3189       showgrid: True
3190       showline: True
3191       showticklabels: True
3192       tickcolor: "rgb(238, 238, 238)"
3193       tickmode: "linear"
3194       title: "Indexed Test Cases"
3195       zeroline: False
3196     yaxis:
3197       gridcolor: "rgb(238, 238, 238)'"
3198       hoverformat: ".4s"
3199       linecolor: "rgb(238, 238, 238)"
3200       linewidth: 1
3201       range: [2000000, 12000000]
3202       showgrid: True
3203       showline: True
3204       showticklabels: True
3205       tickcolor: "rgb(238, 238, 238)"
3206       title: "Packets Per Second [pps]"
3207       zeroline: False
3208     boxmode: "group"
3209     boxgroupgap: 0.5
3210     autosize: False
3211     margin:
3212       t: 50
3213       b: 20
3214       l: 50
3215       r: 20
3216     showlegend: True
3217     legend:
3218       orientation: "h"
3219     width: 700
3220     height: 1000
3221
3222 -
3223   type: "plot"
3224   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3225   algorithm: "plot_performance_box"
3226   output-file-type: ".html"
3227   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3228   data:
3229     csit-dpdk-perf-1710-all:
3230     - 2
3231     - 3
3232     - 5
3233     - 6
3234     - 7
3235     - 8
3236     - 9
3237     - 10
3238     - 11
3239     - 13
3240   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3241   parameters:
3242   - "throughput"
3243   - "parent"
3244   traces:
3245     hoverinfo: "x+y"
3246     boxpoints: "outliers"
3247     whiskerwidth: 0
3248   layout:
3249     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3250     xaxis:
3251       autorange: True
3252       autotick: False
3253       fixedrange: False
3254       gridcolor: "rgb(238, 238, 238)"
3255       linecolor: "rgb(238, 238, 238)"
3256       linewidth: 1
3257       showgrid: True
3258       showline: True
3259       showticklabels: True
3260       tickcolor: "rgb(238, 238, 238)"
3261       tickmode: "linear"
3262       title: "Indexed Test Cases"
3263       zeroline: False
3264     yaxis:
3265       gridcolor: "rgb(238, 238, 238)'"
3266       hoverformat: ".4s"
3267       linecolor: "rgb(238, 238, 238)"
3268       linewidth: 1
3269       range: [2000000, 12000000]
3270       showgrid: True
3271       showline: True
3272       showticklabels: True
3273       tickcolor: "rgb(238, 238, 238)"
3274       title: "Packets Per Second [pps]"
3275       zeroline: False
3276     boxmode: "group"
3277     boxgroupgap: 0.5
3278     autosize: False
3279     margin:
3280       t: 50
3281       b: 20
3282       l: 50
3283       r: 20
3284     showlegend: True
3285     legend:
3286       orientation: "h"
3287     width: 700
3288     height: 1000
3289
3290 -
3291   type: "plot"
3292   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3293   algorithm: "plot_performance_box"
3294   output-file-type: ".html"
3295   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3296   data:
3297     csit-dpdk-perf-1710-all:
3298     - 2
3299     - 3
3300     - 5
3301     - 6
3302     - 7
3303     - 8
3304     - 9
3305     - 10
3306     - 11
3307     - 13
3308   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3309   parameters:
3310   - "throughput"
3311   - "parent"
3312   traces:
3313     hoverinfo: "x+y"
3314     boxpoints: "outliers"
3315     whiskerwidth: 0
3316   layout:
3317     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3318     xaxis:
3319       autorange: True
3320       autotick: False
3321       fixedrange: False
3322       gridcolor: "rgb(238, 238, 238)"
3323       linecolor: "rgb(238, 238, 238)"
3324       linewidth: 1
3325       showgrid: True
3326       showline: True
3327       showticklabels: True
3328       tickcolor: "rgb(238, 238, 238)"
3329       tickmode: "linear"
3330       title: "Indexed Test Cases"
3331       zeroline: False
3332     yaxis:
3333       gridcolor: "rgb(238, 238, 238)'"
3334       hoverformat: ".4s"
3335       linecolor: "rgb(238, 238, 238)"
3336       linewidth: 1
3337       range: []
3338       showgrid: True
3339       showline: True
3340       showticklabels: True
3341       tickcolor: "rgb(238, 238, 238)"
3342       title: "Packets Per Second [pps]"
3343       zeroline: False
3344     boxmode: "group"
3345     boxgroupgap: 0.5
3346     autosize: False
3347     margin:
3348       t: 50
3349       b: 20
3350       l: 50
3351       r: 20
3352     showlegend: True
3353     legend:
3354       orientation: "h"
3355     width: 700
3356     height: 1000
3357
3358 -
3359   type: "plot"
3360   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3361   algorithm: "plot_performance_box"
3362   output-file-type: ".html"
3363   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3364   data:
3365     csit-dpdk-perf-1710-all:
3366     - 2
3367     - 3
3368     - 5
3369     - 6
3370     - 7
3371     - 8
3372     - 9
3373     - 10
3374     - 11
3375     - 13
3376   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3377   parameters:
3378   - "throughput"
3379   - "parent"
3380   traces:
3381     hoverinfo: "x+y"
3382     boxpoints: "outliers"
3383     whiskerwidth: 0
3384   layout:
3385     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3386     xaxis:
3387       autorange: True
3388       autotick: False
3389       fixedrange: False
3390       gridcolor: "rgb(238, 238, 238)"
3391       linecolor: "rgb(238, 238, 238)"
3392       linewidth: 1
3393       showgrid: True
3394       showline: True
3395       showticklabels: True
3396       tickcolor: "rgb(238, 238, 238)"
3397       tickmode: "linear"
3398       title: "Indexed Test Cases"
3399       zeroline: False
3400     yaxis:
3401       gridcolor: "rgb(238, 238, 238)'"
3402       hoverformat: ".4s"
3403       linecolor: "rgb(238, 238, 238)"
3404       linewidth: 1
3405       range: []
3406       showgrid: True
3407       showline: True
3408       showticklabels: True
3409       tickcolor: "rgb(238, 238, 238)"
3410       title: "Packets Per Second [pps]"
3411       zeroline: False
3412     boxmode: "group"
3413     boxgroupgap: 0.5
3414     autosize: False
3415     margin:
3416       t: 50
3417       b: 20
3418       l: 50
3419       r: 20
3420     showlegend: True
3421     legend:
3422       orientation: "h"
3423     width: 700
3424     height: 1000
3425
3426 -
3427   type: "plot"
3428   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3429   algorithm: "plot_performance_box"
3430   output-file-type: ".html"
3431   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3432   data:
3433     csit-dpdk-perf-1710-all:
3434     - 2
3435     - 3
3436     - 5
3437     - 6
3438     - 7
3439     - 8
3440     - 9
3441     - 10
3442     - 11
3443     - 13
3444   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3445   parameters:
3446   - "throughput"
3447   - "parent"
3448   traces:
3449     hoverinfo: "x+y"
3450     boxpoints: "outliers"
3451     whiskerwidth: 0
3452   layout:
3453     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3454     xaxis:
3455       autorange: True
3456       autotick: False
3457       fixedrange: False
3458       gridcolor: "rgb(238, 238, 238)"
3459       linecolor: "rgb(238, 238, 238)"
3460       linewidth: 1
3461       showgrid: True
3462       showline: True
3463       showticklabels: True
3464       tickcolor: "rgb(238, 238, 238)"
3465       tickmode: "linear"
3466       title: "Indexed Test Cases"
3467       zeroline: False
3468     yaxis:
3469       gridcolor: "rgb(238, 238, 238)'"
3470       hoverformat: ".4s"
3471       linecolor: "rgb(238, 238, 238)"
3472       linewidth: 1
3473       range: [20000000, 30000000]
3474       showgrid: True
3475       showline: True
3476       showticklabels: True
3477       tickcolor: "rgb(238, 238, 238)"
3478       title: "Packets Per Second [pps]"
3479       zeroline: False
3480     boxmode: "group"
3481     boxgroupgap: 0.5
3482     autosize: False
3483     margin:
3484       t: 50
3485       b: 20
3486       l: 50
3487       r: 20
3488     showlegend: True
3489     legend:
3490       orientation: "h"
3491     width: 700
3492     height: 1000
3493
3494 -
3495   type: "plot"
3496   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3497   algorithm: "plot_performance_box"
3498   output-file-type: ".html"
3499   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3500   data:
3501     csit-dpdk-perf-1710-all:
3502     - 2
3503     - 3
3504     - 5
3505     - 6
3506     - 7
3507     - 8
3508     - 9
3509     - 10
3510     - 11
3511     - 13
3512   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3513   parameters:
3514   - "throughput"
3515   - "parent"
3516   traces:
3517     hoverinfo: "x+y"
3518     boxpoints: "outliers"
3519     whiskerwidth: 0
3520   layout:
3521     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3522     xaxis:
3523       autorange: True
3524       autotick: False
3525       fixedrange: False
3526       gridcolor: "rgb(238, 238, 238)"
3527       linecolor: "rgb(238, 238, 238)"
3528       linewidth: 1
3529       showgrid: True
3530       showline: True
3531       showticklabels: True
3532       tickcolor: "rgb(238, 238, 238)"
3533       tickmode: "linear"
3534       title: "Indexed Test Cases"
3535       zeroline: False
3536     yaxis:
3537       gridcolor: "rgb(238, 238, 238)'"
3538       hoverformat: ".4s"
3539       linecolor: "rgb(238, 238, 238)"
3540       linewidth: 1
3541       range: [20000000, 30000000]
3542       showgrid: True
3543       showline: True
3544       showticklabels: True
3545       tickcolor: "rgb(238, 238, 238)"
3546       title: "Packets Per Second [pps]"
3547       zeroline: False
3548     boxmode: "group"
3549     boxgroupgap: 0.5
3550     autosize: False