Add csit-dpdk-perf-1710-all/2, 3 to testing data
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
42     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
43     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
44     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
45     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
46
47     # Detailed test configurations
48     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
49     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
50     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
51
52     # Detailed tests operational data
53     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
54     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
55
56     # .css patch file to fix tables generated by Sphinx
57     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
58     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
59
60   urls:
61     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
62     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
63
64   make-dirs:
65   # List the directories which are created while preparing the environment.
66   # All directories MUST be defined in "paths" section.
67   - "DIR[WORKING,DATA]"
68   - "DIR[STATIC,VPP]"
69   - "DIR[STATIC,DPDK]"
70   - "DIR[STATIC,ARCH]"
71   - "DIR[BUILD,LATEX]"
72   - "DIR[WORKING,SRC]"
73   - "DIR[WORKING,SRC,STATIC]"
74
75   remove-dirs:
76   # List the directories which are deleted while cleaning the environment.
77   # All directories MUST be defined in "paths" section.
78   #- "DIR[BUILD,HTML]"
79
80   build-dirs:
81   # List the directories where the results (build) is stored.
82   # All directories MUST be defined in "paths" section.
83   - "DIR[BUILD,HTML]"
84   - "DIR[BUILD,LATEX]"
85
86 -
87   type: "debug"
88   general:
89     input-format: "xml"  # zip or xml
90     extract: "robot-plugin/output.xml"  # Only for zip
91   builds:
92     # The files must be in the directory DIR[WORKING,DATA]
93     csit-dpdk-perf-1707-all:
94     -
95       build: 10
96       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
97     -
98       build: 9
99       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
100     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
101     -
102       build: 2
103       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
104     csit-vpp-functional-1707-ubuntu1604-virl:
105     -
106       build: lastSuccessfulBuild
107       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
108     hc2vpp-csit-integration-1707-ubuntu1604:
109     -
110       build: lastSuccessfulBuild
111       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
112     csit-vpp-perf-1707-all:
113     -
114       build: 16
115       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
116     -
117       build: 17
118       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
119
120 -
121   type: "static"
122   src-path: "{DIR[RST]}"
123   dst-path: "{DIR[WORKING,SRC]}"
124
125 -
126   type: "input"  # Ignored in debug mode
127   general:
128     file-name: "robot-plugin.zip"
129     file-format: ".zip"
130     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
131     extract: "robot-plugin/output.xml"
132   builds:
133 #    csit-vpp-perf-1707-all:
134 #    - 9
135 #    - 10
136 #    - 13
137 #    - 14
138 #    - 15
139 #    - 16
140 #    - 17
141 #    - 18
142 #    - 19
143 #    - 21
144 #    csit-vpp-perf-1710-all:
145 #    -
146     csit-dpdk-perf-1710-all:
147     - 2
148     - 3
149     csit-vpp-functional-1710-ubuntu1604-virl:
150     - 16
151 #    hc2vpp-csit-perf-master-ubuntu1604:  # REMOVE???
152 #    - 8
153 #    - 9
154     hc2vpp-csit-integration-1710-ubuntu1604:
155     - lastSuccessfulBuild
156 #    csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:  # REMOVE???
157 #    - 2
158
159 -
160   type: "output"
161   format:
162     html:
163     - full
164     pdf:
165     - minimal
166
167 ################################################################################
168 ###                               T A B L E S                                ###
169 ################################################################################
170
171 #-
172 #  type: "table"
173 #  title: "Performance improvements"
174 #  algorithm: "table_performance_improvements"
175 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
176 #  output-file-ext: ".csv"
177 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
178 #  columns:
179 #  -
180 #    title: "Functionality"
181 #    data: "template 1"
182 #  -
183 #    title: "Test Name"
184 #    data: "template 2"
185 #  -
186 #    title: "16.09 mean [Mpps]"
187 #    data: "template 3"
188 #  -
189 #    title: "17.01 mean [Mpps]"
190 #    data: "template 4"
191 #  -
192 #    title: "17.04 mean [Mpps]"
193 #    data: "template 5"
194 #  -
195 #    title: "17.07 mean [Mpps]"
196 #    data: "data csit-vpp-perf-1707-all mean"
197 #  -
198 #    title: "17.10 mean [Mpps]"
199 #    data: "data csit-vpp-perf-1710-all mean"
200 #  -
201 #    title: "17.10 stdev [Mpps]"
202 #    data: "data csit-vpp-perf-1710-all stdev"
203 #  -
204 #    title: "17.07 to 17.10 change [%]"
205 #    data: "operation relative_change 6 5"
206 #  rows: "generated"
207 #  data:
208 #    csit-vpp-perf-1707-all:
209 #    - 9
210 #    - 10
211 #    - 13
212 #    - 14
213 #    - 15
214 #    - 16
215 #    - 17
216 #    - 18
217 #    - 19
218 #    - 21
219 #    csit-vpp-perf-1710-all:
220 #    -
221 #  filter: "template"
222 #  parameters:
223 #  - "throughput"
224
225 #-
226 #  type: "table"
227 #  title: "Detailed Test Results - VPP Performance Results"
228 #  algorithm: "table_details"
229 #  output-file-ext: ".csv"
230 #  output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
231 #  columns:
232 #  -
233 #    title: "Name"
234 #    data: "data name"
235 #  -
236 #    title: "Documentation"
237 #    data: "data doc"
238 #  -
239 #    title: "Status"
240 #    data: "data msg"
241 #  rows: "generated"
242 #  data:
243 #    csit-vpp-perf-1710-all:
244 #    -
245 #  filter: "all"
246 #  parameters:
247 #  - "name"
248 #  - "parent"
249 #  - "doc"
250 #  - "msg"
251
252 #-
253 #  type: "table"
254 #  title: "Test configuration - VPP Performance Test Configs"
255 #  algorithm: "table_details"
256 #  output-file-ext: ".csv"
257 #  output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
258 #  columns:
259 #  -
260 #    title: "Name"
261 #    data: "data name"
262 #  -
263 #    title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
264 #    data: "data vat-history"
265 #  rows: "generated"
266 #  data:
267 #    csit-vpp-perf-1710-all:
268 #    -
269 #  filter: "all"
270 #  parameters:
271 #  - "parent"
272 #  - "name"
273 #  - "vat-history"
274
275 #-
276 #  type: "table"
277 #  title: "Test Operational Data - VPP Performance Operational Data"
278 #  algorithm: "table_details"
279 #  output-file-ext: ".csv"
280 #  output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
281 #  columns:
282 #  -
283 #    title: "Name"
284 #    data: "data name"
285 #  -
286 #    title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
287 #    data: "data show-run"
288 #  rows: "generated"
289 #  data:
290 #    csit-vpp-perf-1710-all:
291 #    -
292 #  filter: "all"
293 #  parameters:
294 #  - "parent"
295 #  - "name"
296 #  - "show-run"
297
298 -
299   type: "table"
300   title: "Detailed Test Results - VPP Functional Results"
301   algorithm: "table_details"
302   output-file-ext: ".csv"
303   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
304   columns:
305   -
306     title: "Name"
307     data: "data name"
308   -
309     title: "Documentation"
310     data: "data doc"
311   -
312     title: "Status"
313     data: "data status"
314   rows: "generated"
315   data:
316     csit-vpp-functional-1710-ubuntu1604-virl:
317     - 16
318   filter: "all"
319   parameters:
320   - "name"
321   - "parent"
322   - "doc"
323   - "status"
324
325 -
326   type: "table"
327   title: "Test configuration - VPP Functional Test Configs"
328   algorithm: "table_details"
329   output-file-ext: ".csv"
330   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
331   columns:
332   -
333     title: "Name"
334     data: "data name"
335   -
336     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
337     data: "data vat-history"
338   rows: "generated"
339   data:
340     csit-vpp-functional-1710-ubuntu1604-virl:
341     - 16
342   filter: "all"
343   parameters:
344   - "parent"
345   - "name"
346   - "vat-history"
347
348 -
349   type: "table"
350   title: "Detailed Test Results - DPDK Performance Results"
351   algorithm: "table_details"
352   output-file-ext: ".csv"
353   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
354   columns:
355   -
356     title: "Name"
357     data: "data name"
358   -
359     title: "Documentation"
360     data: "data doc"
361   -
362     title: "Status"
363     data: "data msg"
364   rows: "generated"
365   data:
366     csit-dpdk-perf-1710-all:
367     - 3
368   filter: "all"
369   parameters:
370   - "name"
371   - "parent"
372   - "doc"
373   - "msg"
374
375 -
376   type: "table"
377   title: "Detailed Test Results - Honeycomb Functional Results"
378   algorithm: "table_details"
379   output-file-ext: ".csv"
380   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
381   columns:
382   -
383     title: "Name"
384     data: "data name"
385   -
386     title: "Documentation"
387     data: "data doc"
388   -
389     title: "Status"
390     data: "data status"
391   rows: "generated"
392   data:
393     hc2vpp-csit-integration-1710-ubuntu1604:
394     - "lastSuccessfulBuild"
395   filter: "all"
396   parameters:
397   - "name"
398   - "parent"
399   - "doc"
400   - "status"
401
402 #-
403 #  type: "table"
404 #  title: "Detailed Test Results - NSH SFC Functional Results"
405 #  algorithm: "table_details"
406 #  output-file-ext: ".csv"
407 #  output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
408 #  columns:
409 #  -
410 #    title: "Name"
411 #    data: "data name"
412 #  -
413 #    title: "Documentation"
414 #    data: "data doc"
415 #  -
416 #    title: "Status"
417 #    data: "data status"
418 #  rows: "generated"
419 #  data:
420 #    csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
421 #    - 2
422 #  filter: "all"
423 #  parameters:
424 #  - "name"
425 #  - "parent"
426 #  - "doc"
427 #  - "status"
428
429 ################################################################################
430 ###                                F I L E S                                 ###
431 ################################################################################
432
433 #-
434 #  type: "file"
435 #  title: "VPP Performance Results"
436 #  algorithm: "file_test_results"
437 #  output-file-ext: ".rst"
438 #  output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
439 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
440 #  dir-tables: "{DIR[DTR,PERF,VPP]}"
441 #  data:
442 #    csit-vpp-perf-1710-all:
443 #    - 
444 #  filter: "all"
445 #  parameters:
446 #  - "name"
447 #  - "doc"
448 #  - "level"
449 #  data-start-level: 2  # 0, 1, 2, ...
450 #  chapters-start-level: 2  # 0, 1, 2, ...
451
452 #-
453 #  type: "file"
454 #  title: "VPP Performance Configuration"
455 #  algorithm: "file_test_results"
456 #  output-file-ext: ".rst"
457 #  output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
458 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
459 #  dir-tables: "{DIR[DTC,PERF,VPP]}"
460 #  data:
461 #    csit-vpp-perf-1710-all:
462 #    - 
463 #  filter: "all"
464 #  parameters:
465 #  - "name"
466 #  - "doc"
467 #  - "level"
468 #  data-start-level: 2  # 0, 1, 2, ...
469 #  chapters-start-level: 2  # 0, 1, 2, ...
470
471 #-
472 #  type: "file"
473 #  title: "VPP Performance Operational Data"
474 #  algorithm: "file_test_results"
475 #  output-file-ext: ".rst"
476 #  output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
477 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
478 #  dir-tables: "{DIR[DTO,PERF,VPP]}"
479 #  data:
480 #    csit-vpp-perf-1710-all:
481 #    - 
482 #  filter: "all"
483 #  parameters:
484 #  - "name"
485 #  - "doc"
486 #  - "level"
487 #  data-start-level: 2  # 0, 1, 2, ...
488 #  chapters-start-level: 2  # 0, 1, 2, ...
489
490 -
491   type: "file"
492   title: "VPP Functional Results"
493   algorithm: "file_test_results"
494   output-file-ext: ".rst"
495   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
496   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
497   dir-tables: "{DIR[DTR,FUNC,VPP]}"
498   data:
499     csit-vpp-functional-1710-ubuntu1604-virl:
500     - 16
501   filter: "all"
502   parameters:
503   - "name"
504   - "doc"
505   - "level"
506   data-start-level: 3  # 0, 1, 2, ...
507   chapters-start-level: 2  # 0, 1, 2, ...
508
509 -
510   type: "file"
511   title: "VPP Functional Configuration"
512   algorithm: "file_test_results"
513   output-file-ext: ".rst"
514   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
515   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
516   dir-tables: "{DIR[DTC,FUNC,VPP]}"
517   data:
518     csit-vpp-functional-1710-ubuntu1604-virl:
519     - 16
520   filter: "all"
521   parameters:
522   - "name"
523   - "doc"
524   - "level"
525   data-start-level: 3  # 0, 1, 2, ...
526   chapters-start-level: 2  # 0, 1, 2, ...
527
528 -
529   type: "file"
530   title: "DPDK Performance Results"
531   algorithm: "file_test_results"
532   output-file-ext: ".rst"
533   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
534   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
535   dir-tables: "{DIR[DTR,PERF,DPDK]}"
536   data:
537     csit-dpdk-perf-1710-all:
538     - 3
539   filter: "all"
540   parameters:
541   - "name"
542   - "doc"
543   - "level"
544   chapters:
545   - "suites"
546   data-start-level: 2  # 0, 1, 2, ...
547   chapters-start-level: 2  # 0, 1, 2, ...
548
549 -
550   type: "file"
551   title: "Honeycomb Functional Results"
552   algorithm: "file_test_results"
553   output-file-ext: ".rst"
554   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
555   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
556   dir-tables: "{DIR[DTR,FUNC,HC]}"
557   data:
558     hc2vpp-csit-integration-1710-ubuntu1604:
559     - "lastSuccessfulBuild"
560   filter: "all"
561   parameters:
562   - "name"
563   - "doc"
564   - "level"
565   chapters:
566   - "suites"
567   data-start-level: 3  # 0, 1, 2, ...
568   chapters-start-level: 2  # 0, 1, 2, ...
569
570 #-
571 #  type: "file"
572 #  title: "NSH SFC Functional Results"
573 #  algorithm: "file_test_results"
574 #  output-file-ext: ".rst"
575 #  output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
576 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
577 #  dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
578 #  data:
579 #    csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
580 #    - 
581 #  filter: "all"
582 #  parameters:
583 #  - "name"
584 #  - "doc"
585 #  - "level"
586 #  chapters:
587 #  - "suites"
588 #  data-start-level: 2  # 0, 1, 2, ...
589 #  chapters-start-level: 2  # 0, 1, 2, ...
590
591 ################################################################################
592 ###                                P L O T S                                 ###
593 ################################################################################
594
595 ## Plot packets per second
596 #
597 ## VPP L2 sel1
598 #-
599 #  type: "plot"
600 #  title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
601 #  algorithm: "plot_performance_box"
602 #  output-file-type: ".html"
603 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
604 #  data:
605 #    csit-vpp-perf-1710-all:
606 #    -
607 #  # Keep this formatting, the filter is enclosed with " (quotation mark) and
608 #  # each tag is enclosed with ' (apostrophe).
609 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
610 #  parameters:
611 #  - "throughput"
612 #  - "parent"
613 #  traces:
614 #    hoverinfo: "x+y"
615 #    boxpoints: "outliers"
616 #    whiskerwidth: 0
617 #  layout:
618 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
619 #    xaxis:
620 #      autorange: True
621 #      autotick: False
622 #      fixedrange: False
623 #      gridcolor: "rgb(238, 238, 238)"
624 #      linecolor: "rgb(238, 238, 238)"
625 #      linewidth: 1
626 #      showgrid: True
627 #      showline: True
628 #      showticklabels: True
629 #      tickcolor: "rgb(238, 238, 238)"
630 #      tickmode: "linear"
631 #      title: "Indexed Test Cases"
632 #      zeroline: False
633 #    yaxis:
634 #      gridcolor: "rgb(238, 238, 238)'"
635 #      hoverformat: ".4s"
636 #      linecolor: "rgb(238, 238, 238)"
637 #      linewidth: 1
638 #      range: []
639 #      showgrid: True
640 #      showline: True
641 #      showticklabels: True
642 #      tickcolor: "rgb(238, 238, 238)"
643 #      title: "Packets Per Second [pps]"
644 #      zeroline: False
645 #    boxmode: "group"
646 #    boxgroupgap: 0.5
647 #    autosize: False
648 #    margin:
649 #      t: 50
650 #      b: 20
651 #      l: 50
652 #      r: 20
653 #    showlegend: True
654 #    legend:
655 #      orientation: "h"
656 #    width: 700
657 #    height: 1000
658 #
659 #-
660 #  type: "plot"
661 #  title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
662 #  algorithm: "plot_performance_box"
663 #  output-file-type: ".html"
664 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
665 #  data:
666 #    csit-vpp-perf-1710-all:
667 #    -
668 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
669 #  parameters:
670 #  - "throughput"
671 #  - "parent"
672 #  traces:
673 #    hoverinfo: "x+y"
674 #    boxpoints: "outliers"
675 #    whiskerwidth: 0
676 #  layout:
677 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
678 #    xaxis:
679 #      autorange: True
680 #      autotick: False
681 #      fixedrange: False
682 #      gridcolor: "rgb(238, 238, 238)"
683 #      linecolor: "rgb(238, 238, 238)"
684 #      linewidth: 1
685 #      showgrid: True
686 #      showline: True
687 #      showticklabels: True
688 #      tickcolor: "rgb(238, 238, 238)"
689 #      tickmode: "linear"
690 #      title: "Indexed Test Cases"
691 #      zeroline: False
692 #    yaxis:
693 #      gridcolor: "rgb(238, 238, 238)'"
694 #      hoverformat: ".4s"
695 #      linecolor: "rgb(238, 238, 238)"
696 #      linewidth: 1
697 #      range: []
698 #      showgrid: True
699 #      showline: True
700 #      showticklabels: True
701 #      tickcolor: "rgb(238, 238, 238)"
702 #      title: "Packets Per Second [pps]"
703 #      zeroline: False
704 #    boxmode: "group"
705 #    boxgroupgap: 0.5
706 #    autosize: False
707 #    margin:
708 #      t: 50
709 #      b: 20
710 #      l: 50
711 #      r: 20
712 #    showlegend: True
713 #    legend:
714 #      orientation: "h"
715 #    width: 700
716 #    height: 1000
717 #
718 #-
719 #  type: "plot"
720 #  title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
721 #  algorithm: "plot_performance_box"
722 #  output-file-type: ".html"
723 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
724 #  data:
725 #    csit-vpp-perf-1710-all:
726 #    -
727 #  filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
728 #  parameters:
729 #  - "throughput"
730 #  - "parent"
731 #  traces:
732 #    hoverinfo: "x+y"
733 #    boxpoints: "outliers"
734 #    whiskerwidth: 0
735 #  layout:
736 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
737 #    xaxis:
738 #      autorange: True
739 #      autotick: False
740 #      fixedrange: False
741 #      gridcolor: "rgb(238, 238, 238)"
742 #      linecolor: "rgb(238, 238, 238)"
743 #      linewidth: 1
744 #      showgrid: True
745 #      showline: True
746 #      showticklabels: True
747 #      tickcolor: "rgb(238, 238, 238)"
748 #      tickmode: "linear"
749 #      title: "Indexed Test Cases"
750 #      zeroline: False
751 #    yaxis:
752 #      gridcolor: "rgb(238, 238, 238)'"
753 #      hoverformat: ".4s"
754 #      linecolor: "rgb(238, 238, 238)"
755 #      linewidth: 1
756 #      range: []
757 #      showgrid: True
758 #      showline: True
759 #      showticklabels: True
760 #      tickcolor: "rgb(238, 238, 238)"
761 #      title: "Packets Per Second [pps]"
762 #      zeroline: False
763 #    boxmode: "group"
764 #    boxgroupgap: 0.5
765 #    autosize: False
766 #    margin:
767 #      t: 50
768 #      b: 20
769 #      l: 50
770 #      r: 20
771 #    showlegend: True
772 #    legend:
773 #      orientation: "h"
774 #    width: 700
775 #    height: 1000
776 #
777 #-
778 #  type: "plot"
779 #  title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
780 #  algorithm: "plot_performance_box"
781 #  output-file-type: ".html"
782 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
783 #  data:
784 #    csit-vpp-perf-1710-all:
785 #    -
786 #  filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
787 #  parameters:
788 #  - "throughput"
789 #  - "parent"
790 #  traces:
791 #    hoverinfo: "x+y"
792 #    boxpoints: "outliers"
793 #    whiskerwidth: 0
794 #  layout:
795 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
796 #    xaxis:
797 #      autorange: True
798 #      autotick: False
799 #      fixedrange: False
800 #      gridcolor: "rgb(238, 238, 238)"
801 #      linecolor: "rgb(238, 238, 238)"
802 #      linewidth: 1
803 #      showgrid: True
804 #      showline: True
805 #      showticklabels: True
806 #      tickcolor: "rgb(238, 238, 238)"
807 #      tickmode: "linear"
808 #      title: "Indexed Test Cases"
809 #      zeroline: False
810 #    yaxis:
811 #      gridcolor: "rgb(238, 238, 238)'"
812 #      hoverformat: ".4s"
813 #      linecolor: "rgb(238, 238, 238)"
814 #      linewidth: 1
815 #      range: []
816 #      showgrid: True
817 #      showline: True
818 #      showticklabels: True
819 #      tickcolor: "rgb(238, 238, 238)"
820 #      title: "Packets Per Second [pps]"
821 #      zeroline: False
822 #    boxmode: "group"
823 #    boxgroupgap: 0.5
824 #    autosize: False
825 #    margin:
826 #      t: 50
827 #      b: 20
828 #      l: 50
829 #      r: 20
830 #    showlegend: True
831 #    legend:
832 #      orientation: "h"
833 #    width: 700
834 #    height: 1000
835 #
836 ## VPP L2 sel2
837 #-
838 #  type: "plot"
839 #  title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
840 #  algorithm: "plot_performance_box"
841 #  output-file-type: ".html"
842 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
843 #  data:
844 #    csit-vpp-perf-1710-all:
845 #    -
846 #  filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
847 #  parameters:
848 #  - "throughput"
849 #  - "parent"
850 #  traces:
851 #    hoverinfo: "x+y"
852 #    boxpoints: "outliers"
853 #    whiskerwidth: 0
854 #  layout:
855 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
856 #    xaxis:
857 #      autorange: True
858 #      autotick: False
859 #      fixedrange: False
860 #      gridcolor: "rgb(238, 238, 238)"
861 #      linecolor: "rgb(238, 238, 238)"
862 #      linewidth: 1
863 #      showgrid: True
864 #      showline: True
865 #      showticklabels: True
866 #      tickcolor: "rgb(238, 238, 238)"
867 #      tickmode: "linear"
868 #      title: "Indexed Test Cases"
869 #      zeroline: False
870 #    yaxis:
871 #      gridcolor: "rgb(238, 238, 238)'"
872 #      hoverformat: ".4s"
873 #      linecolor: "rgb(238, 238, 238)"
874 #      linewidth: 1
875 #      range: [0, 8000000]
876 #      showgrid: True
877 #      showline: True
878 #      showticklabels: True
879 #      tickcolor: "rgb(238, 238, 238)"
880 #      title: "Packets Per Second [pps]"
881 #      zeroline: False
882 #    boxmode: "group"
883 #    boxgroupgap: 0.5
884 #    autosize: False
885 #    margin:
886 #      t: 50
887 #      b: 20
888 #      l: 50
889 #      r: 20
890 #    showlegend: True
891 #    legend:
892 #      orientation: "h"
893 #    width: 700
894 #    height: 1000
895 #
896 #-
897 #  type: "plot"
898 #  title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
899 #  algorithm: "plot_performance_box"
900 #  output-file-type: ".html"
901 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
902 #  data:
903 #    csit-vpp-perf-1710-all:
904 #    -
905 #  filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
906 #  parameters:
907 #  - "throughput"
908 #  - "parent"
909 #  traces:
910 #    hoverinfo: "x+y"
911 #    boxpoints: "outliers"
912 #    whiskerwidth: 0
913 #  layout:
914 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
915 #    xaxis:
916 #      autorange: True
917 #      autotick: False
918 #      fixedrange: False
919 #      gridcolor: "rgb(238, 238, 238)"
920 #      linecolor: "rgb(238, 238, 238)"
921 #      linewidth: 1
922 #      showgrid: True
923 #      showline: True
924 #      showticklabels: True
925 #      tickcolor: "rgb(238, 238, 238)"
926 #      tickmode: "linear"
927 #      title: "Indexed Test Cases"
928 #      zeroline: False
929 #    yaxis:
930 #      gridcolor: "rgb(238, 238, 238)'"
931 #      hoverformat: ".4s"
932 #      linecolor: "rgb(238, 238, 238)"
933 #      linewidth: 1
934 #      range: [5000000, 12000000]
935 #      showgrid: True
936 #      showline: True
937 #      showticklabels: True
938 #      tickcolor: "rgb(238, 238, 238)"
939 #      title: "Packets Per Second [pps]"
940 #      zeroline: False
941 #    boxmode: "group"
942 #    boxgroupgap: 0.5
943 #    autosize: False
944 #    margin:
945 #      t: 50
946 #      b: 20
947 #      l: 50
948 #      r: 20
949 #    showlegend: True
950 #    legend:
951 #      orientation: "h"
952 #    width: 700
953 #    height: 1000
954 #
955 #-
956 #  type: "plot"
957 #  title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
958 #  algorithm: "plot_performance_box"
959 #  output-file-type: ".html"
960 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
961 #  data:
962 #    csit-vpp-perf-1710-all:
963 #    -
964 #  filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
965 #  parameters:
966 #  - "throughput"
967 #  - "parent"
968 #  traces:
969 #    hoverinfo: "x+y"
970 #    boxpoints: "outliers"
971 #    whiskerwidth: 0
972 #  layout:
973 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
974 #    xaxis:
975 #      autorange: True
976 #      autotick: False
977 #      fixedrange: False
978 #      gridcolor: "rgb(238, 238, 238)"
979 #      linecolor: "rgb(238, 238, 238)"
980 #      linewidth: 1
981 #      showgrid: True
982 #      showline: True
983 #      showticklabels: True
984 #      tickcolor: "rgb(238, 238, 238)"
985 #      tickmode: "linear"
986 #      title: "Indexed Test Cases"
987 #      zeroline: False
988 #    yaxis:
989 #      gridcolor: "rgb(238, 238, 238)'"
990 #      hoverformat: ".4s"
991 #      linecolor: "rgb(238, 238, 238)"
992 #      linewidth: 1
993 #      range: [0, 8000000]
994 #      showgrid: True
995 #      showline: True
996 #      showticklabels: True
997 #      tickcolor: "rgb(238, 238, 238)"
998 #      title: "Packets Per Second [pps]"
999 #      zeroline: False
1000 #    boxmode: "group"
1001 #    boxgroupgap: 0.5
1002 #    autosize: False
1003 #    margin:
1004 #      t: 50
1005 #      b: 20
1006 #      l: 50
1007 #      r: 20
1008 #    showlegend: True
1009 #    legend:
1010 #      orientation: "h"
1011 #    width: 700
1012 #    height: 1000
1013 #
1014 #-
1015 #  type: "plot"
1016 #  title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1017 #  algorithm: "plot_performance_box"
1018 #  output-file-type: ".html"
1019 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1020 #  data:
1021 #    csit-vpp-perf-1710-all:
1022 #    -
1023 #  filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1024 #  parameters:
1025 #  - "throughput"
1026 #  - "parent"
1027 #  traces:
1028 #    hoverinfo: "x+y"
1029 #    boxpoints: "outliers"
1030 #    whiskerwidth: 0
1031 #  layout:
1032 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1033 #    xaxis:
1034 #      autorange: True
1035 #      autotick: False
1036 #      fixedrange: False
1037 #      gridcolor: "rgb(238, 238, 238)"
1038 #      linecolor: "rgb(238, 238, 238)"
1039 #      linewidth: 1
1040 #      showgrid: True
1041 #      showline: True
1042 #      showticklabels: True
1043 #      tickcolor: "rgb(238, 238, 238)"
1044 #      tickmode: "linear"
1045 #      title: "Indexed Test Cases"
1046 #      zeroline: False
1047 #    yaxis:
1048 #      gridcolor: "rgb(238, 238, 238)'"
1049 #      hoverformat: ".4s"
1050 #      linecolor: "rgb(238, 238, 238)"
1051 #      linewidth: 1
1052 #      range: [5000000, 12000000]
1053 #      showgrid: True
1054 #      showline: True
1055 #      showticklabels: True
1056 #      tickcolor: "rgb(238, 238, 238)"
1057 #      title: "Packets Per Second [pps]"
1058 #      zeroline: False
1059 #    boxmode: "group"
1060 #    boxgroupgap: 0.5
1061 #    autosize: False
1062 #    margin:
1063 #      t: 50
1064 #      b: 20
1065 #      l: 50
1066 #      r: 20
1067 #    showlegend: True
1068 #    legend:
1069 #      orientation: "h"
1070 #    width: 700
1071 #    height: 1000
1072 #
1073 ## VPP IP4
1074 #-
1075 #  type: "plot"
1076 #  title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1077 #  algorithm: "plot_performance_box"
1078 #  output-file-type: ".html"
1079 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1080 #  data:
1081 #    csit-vpp-perf-1710-all:
1082 #    -
1083 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1084 #  parameters:
1085 #  - "throughput"
1086 #  - "parent"
1087 #  traces:
1088 #    hoverinfo: "x+y"
1089 #    boxpoints: "outliers"
1090 #    whiskerwidth: 0
1091 #  layout:
1092 #    title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1093 #    xaxis:
1094 #      autorange: True
1095 #      autotick: False
1096 #      fixedrange: False
1097 #      gridcolor: "rgb(238, 238, 238)"
1098 #      linecolor: "rgb(238, 238, 238)"
1099 #      linewidth: 1
1100 #      showgrid: True
1101 #      showline: True
1102 #      showticklabels: True
1103 #      tickcolor: "rgb(238, 238, 238)"
1104 #      tickmode: "linear"
1105 #      title: "Indexed Test Cases"
1106 #      zeroline: False
1107 #    yaxis:
1108 #      gridcolor: "rgb(238, 238, 238)'"
1109 #      hoverformat: ".4s"
1110 #      linecolor: "rgb(238, 238, 238)"
1111 #      linewidth: 1
1112 #      range: []
1113 #      showgrid: True
1114 #      showline: True
1115 #      showticklabels: True
1116 #      tickcolor: "rgb(238, 238, 238)"
1117 #      title: "Packets Per Second [pps]"
1118 #      zeroline: False
1119 #    boxmode: "group"
1120 #    boxgroupgap: 0.5
1121 #    autosize: False
1122 #    margin:
1123 #      t: 50
1124 #      b: 20
1125 #      l: 50
1126 #      r: 20
1127 #    showlegend: True
1128 #    legend:
1129 #      orientation: "h"
1130 #    width: 700
1131 #    height: 1000
1132 #
1133 #-
1134 #  type: "plot"
1135 #  title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1136 #  algorithm: "plot_performance_box"
1137 #  output-file-type: ".html"
1138 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1139 #  data:
1140 #    csit-vpp-perf-1710-all:
1141 #    -
1142 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1143 #  parameters:
1144 #  - "throughput"
1145 #  - "parent"
1146 #  traces:
1147 #    hoverinfo: "x+y"
1148 #    boxpoints: "outliers"
1149 #    whiskerwidth: 0
1150 #  layout:
1151 #    title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1152 #    xaxis:
1153 #      autorange: True
1154 #      autotick: False
1155 #      fixedrange: False
1156 #      gridcolor: "rgb(238, 238, 238)"
1157 #      linecolor: "rgb(238, 238, 238)"
1158 #      linewidth: 1
1159 #      showgrid: True
1160 #      showline: True
1161 #      showticklabels: True
1162 #      tickcolor: "rgb(238, 238, 238)"
1163 #      tickmode: "linear"
1164 #      title: "Indexed Test Cases"
1165 #      zeroline: False
1166 #    yaxis:
1167 #      gridcolor: "rgb(238, 238, 238)'"
1168 #      hoverformat: ".4s"
1169 #      linecolor: "rgb(238, 238, 238)"
1170 #      linewidth: 1
1171 #      range: []
1172 #      showgrid: True
1173 #      showline: True
1174 #      showticklabels: True
1175 #      tickcolor: "rgb(238, 238, 238)"
1176 #      title: "Packets Per Second [pps]"
1177 #      zeroline: False
1178 #    boxmode: "group"
1179 #    boxgroupgap: 0.5
1180 #    autosize: False
1181 #    margin:
1182 #      t: 50
1183 #      b: 20
1184 #      l: 50
1185 #      r: 20
1186 #    showlegend: True
1187 #    legend:
1188 #      orientation: "h"
1189 #    width: 700
1190 #    height: 1000
1191 #
1192 #-
1193 #  type: "plot"
1194 #  title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1195 #  algorithm: "plot_performance_box"
1196 #  output-file-type: ".html"
1197 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1198 #  data:
1199 #    csit-vpp-perf-1710-all:
1200 #    -
1201 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1202 #  parameters:
1203 #  - "throughput"
1204 #  - "parent"
1205 #  traces:
1206 #    hoverinfo: "x+y"
1207 #    boxpoints: "outliers"
1208 #    whiskerwidth: 0
1209 #  layout:
1210 #    title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1211 #    xaxis:
1212 #      autorange: True
1213 #      autotick: False
1214 #      fixedrange: False
1215 #      gridcolor: "rgb(238, 238, 238)"
1216 #      linecolor: "rgb(238, 238, 238)"
1217 #      linewidth: 1
1218 #      showgrid: True
1219 #      showline: True
1220 #      showticklabels: True
1221 #      tickcolor: "rgb(238, 238, 238)"
1222 #      tickmode: "linear"
1223 #      title: "Indexed Test Cases"
1224 #      zeroline: False
1225 #    yaxis:
1226 #      gridcolor: "rgb(238, 238, 238)'"
1227 #      hoverformat: ".4s"
1228 #      linecolor: "rgb(238, 238, 238)"
1229 #      linewidth: 1
1230 #      range: []
1231 #      showgrid: True
1232 #      showline: True
1233 #      showticklabels: True
1234 #      tickcolor: "rgb(238, 238, 238)"
1235 #      title: "Packets Per Second [pps]"
1236 #      zeroline: False
1237 #    boxmode: "group"
1238 #    boxgroupgap: 0.5
1239 #    autosize: False
1240 #    margin:
1241 #      t: 50
1242 #      b: 20
1243 #      l: 50
1244 #      r: 20
1245 #    showlegend: True
1246 #    legend:
1247 #      orientation: "h"
1248 #    width: 700
1249 #    height: 1000
1250 #
1251 #-
1252 #  type: "plot"
1253 #  title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1254 #  algorithm: "plot_performance_box"
1255 #  output-file-type: ".html"
1256 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1257 #  data:
1258 #    csit-vpp-perf-1710-all:
1259 #    -
1260 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1261 #  parameters:
1262 #  - "throughput"
1263 #  - "parent"
1264 #  traces:
1265 #    hoverinfo: "x+y"
1266 #    boxpoints: "outliers"
1267 #    whiskerwidth: 0
1268 #  layout:
1269 #    title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1270 #    xaxis:
1271 #      autorange: True
1272 #      autotick: False
1273 #      fixedrange: False
1274 #      gridcolor: "rgb(238, 238, 238)"
1275 #      linecolor: "rgb(238, 238, 238)"
1276 #      linewidth: 1
1277 #      showgrid: True
1278 #      showline: True
1279 #      showticklabels: True
1280 #      tickcolor: "rgb(238, 238, 238)"
1281 #      tickmode: "linear"
1282 #      title: "Indexed Test Cases"
1283 #      zeroline: False
1284 #    yaxis:
1285 #      gridcolor: "rgb(238, 238, 238)'"
1286 #      hoverformat: ".4s"
1287 #      linecolor: "rgb(238, 238, 238)"
1288 #      linewidth: 1
1289 #      range: []
1290 #      showgrid: True
1291 #      showline: True
1292 #      showticklabels: True
1293 #      tickcolor: "rgb(238, 238, 238)"
1294 #      title: "Packets Per Second [pps]"
1295 #      zeroline: False
1296 #    boxmode: "group"
1297 #    boxgroupgap: 0.5
1298 #    autosize: False
1299 #    margin:
1300 #      t: 50
1301 #      b: 20
1302 #      l: 50
1303 #      r: 20
1304 #    showlegend: True
1305 #    legend:
1306 #      orientation: "h"
1307 #    width: 700
1308 #    height: 1000
1309 #
1310 ## VPP IP6
1311 #-
1312 #  type: "plot"
1313 #  title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1314 #  algorithm: "plot_performance_box"
1315 #  output-file-type: ".html"
1316 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1317 #  data:
1318 #    csit-vpp-perf-1710-all:
1319 #    -
1320 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1321 #  parameters:
1322 #  - "throughput"
1323 #  - "parent"
1324 #  traces:
1325 #    hoverinfo: "x+y"
1326 #    boxpoints: "outliers"
1327 #    whiskerwidth: 0
1328 #  layout:
1329 #    title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1330 #    xaxis:
1331 #      autorange: True
1332 #      autotick: False
1333 #      fixedrange: False
1334 #      gridcolor: "rgb(238, 238, 238)"
1335 #      linecolor: "rgb(238, 238, 238)"
1336 #      linewidth: 1
1337 #      showgrid: True
1338 #      showline: True
1339 #      showticklabels: True
1340 #      tickcolor: "rgb(238, 238, 238)"
1341 #      tickmode: "linear"
1342 #      title: "Indexed Test Cases"
1343 #      zeroline: False
1344 #    yaxis:
1345 #      gridcolor: "rgb(238, 238, 238)'"
1346 #      hoverformat: ".4s"
1347 #      linecolor: "rgb(238, 238, 238)"
1348 #      linewidth: 1
1349 #      range: []
1350 #      showgrid: True
1351 #      showline: True
1352 #      showticklabels: True
1353 #      tickcolor: "rgb(238, 238, 238)"
1354 #      title: "Packets Per Second [pps]"
1355 #      zeroline: False
1356 #    boxmode: "group"
1357 #    boxgroupgap: 0.5
1358 #    autosize: False
1359 #    margin:
1360 #      t: 50
1361 #      b: 20
1362 #      l: 50
1363 #      r: 20
1364 #    showlegend: True
1365 #    legend:
1366 #      orientation: "h"
1367 #    width: 700
1368 #    height: 1000
1369 #
1370 #-
1371 #  type: "plot"
1372 #  title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1373 #  algorithm: "plot_performance_box"
1374 #  output-file-type: ".html"
1375 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1376 #  data:
1377 #    csit-vpp-perf-1710-all:
1378 #    -
1379 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1380 #  parameters:
1381 #  - "throughput"
1382 #  - "parent"
1383 #  traces:
1384 #    hoverinfo: "x+y"
1385 #    boxpoints: "outliers"
1386 #    whiskerwidth: 0
1387 #  layout:
1388 #    title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1389 #    xaxis:
1390 #      autorange: True
1391 #      autotick: False
1392 #      fixedrange: False
1393 #      gridcolor: "rgb(238, 238, 238)"
1394 #      linecolor: "rgb(238, 238, 238)"
1395 #      linewidth: 1
1396 #      showgrid: True
1397 #      showline: True
1398 #      showticklabels: True
1399 #      tickcolor: "rgb(238, 238, 238)"
1400 #      tickmode: "linear"
1401 #      title: "Indexed Test Cases"
1402 #      zeroline: False
1403 #    yaxis:
1404 #      gridcolor: "rgb(238, 238, 238)'"
1405 #      hoverformat: ".4s"
1406 #      linecolor: "rgb(238, 238, 238)"
1407 #      linewidth: 1
1408 #      range: []
1409 #      showgrid: True
1410 #      showline: True
1411 #      showticklabels: True
1412 #      tickcolor: "rgb(238, 238, 238)"
1413 #      title: "Packets Per Second [pps]"
1414 #      zeroline: False
1415 #    boxmode: "group"
1416 #    boxgroupgap: 0.5
1417 #    autosize: False
1418 #    margin:
1419 #      t: 50
1420 #      b: 20
1421 #      l: 50
1422 #      r: 20
1423 #    showlegend: True
1424 #    legend:
1425 #      orientation: "h"
1426 #    width: 700
1427 #    height: 1000
1428 #
1429 #-
1430 #  type: "plot"
1431 #  title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1432 #  algorithm: "plot_performance_box"
1433 #  output-file-type: ".html"
1434 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1435 #  data:
1436 #    csit-vpp-perf-1710-all:
1437 #    -
1438 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1439 #  parameters:
1440 #  - "throughput"
1441 #  - "parent"
1442 #  traces:
1443 #    hoverinfo: "x+y"
1444 #    boxpoints: "outliers"
1445 #    whiskerwidth: 0
1446 #  layout:
1447 #    title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1448 #    xaxis:
1449 #      autorange: True
1450 #      autotick: False
1451 #      fixedrange: False
1452 #      gridcolor: "rgb(238, 238, 238)"
1453 #      linecolor: "rgb(238, 238, 238)"
1454 #      linewidth: 1
1455 #      showgrid: True
1456 #      showline: True
1457 #      showticklabels: True
1458 #      tickcolor: "rgb(238, 238, 238)"
1459 #      tickmode: "linear"
1460 #      title: "Indexed Test Cases"
1461 #      zeroline: False
1462 #    yaxis:
1463 #      gridcolor: "rgb(238, 238, 238)'"
1464 #      hoverformat: ".4s"
1465 #      linecolor: "rgb(238, 238, 238)"
1466 #      linewidth: 1
1467 #      range: []
1468 #      showgrid: True
1469 #      showline: True
1470 #      showticklabels: True
1471 #      tickcolor: "rgb(238, 238, 238)"
1472 #      title: "Packets Per Second [pps]"
1473 #      zeroline: False
1474 #    boxmode: "group"
1475 #    boxgroupgap: 0.5
1476 #    autosize: False
1477 #    margin:
1478 #      t: 50
1479 #      b: 20
1480 #      l: 50
1481 #      r: 20
1482 #    showlegend: True
1483 #    legend:
1484 #      orientation: "h"
1485 #    width: 700
1486 #    height: 1000
1487 #
1488 #-
1489 #  type: "plot"
1490 #  title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1491 #  algorithm: "plot_performance_box"
1492 #  output-file-type: ".html"
1493 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1494 #  data:
1495 #    csit-vpp-perf-1710-all:
1496 #    -
1497 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1498 #  parameters:
1499 #  - "throughput"
1500 #  - "parent"
1501 #  traces:
1502 #    hoverinfo: "x+y"
1503 #    boxpoints: "outliers"
1504 #    whiskerwidth: 0
1505 #  layout:
1506 #    title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1507 #    xaxis:
1508 #      autorange: True
1509 #      autotick: False
1510 #      fixedrange: False
1511 #      gridcolor: "rgb(238, 238, 238)"
1512 #      linecolor: "rgb(238, 238, 238)"
1513 #      linewidth: 1
1514 #      showgrid: True
1515 #      showline: True
1516 #      showticklabels: True
1517 #      tickcolor: "rgb(238, 238, 238)"
1518 #      tickmode: "linear"
1519 #      title: "Indexed Test Cases"
1520 #      zeroline: False
1521 #    yaxis:
1522 #      gridcolor: "rgb(238, 238, 238)'"
1523 #      hoverformat: ".4s"
1524 #      linecolor: "rgb(238, 238, 238)"
1525 #      linewidth: 1
1526 #      range: []
1527 #      showgrid: True
1528 #      showline: True
1529 #      showticklabels: True
1530 #      tickcolor: "rgb(238, 238, 238)"
1531 #      title: "Packets Per Second [pps]"
1532 #      zeroline: False
1533 #    boxmode: "group"
1534 #    boxgroupgap: 0.5
1535 #    autosize: False
1536 #    margin:
1537 #      t: 50
1538 #      b: 20
1539 #      l: 50
1540 #      r: 20
1541 #    showlegend: True
1542 #    legend:
1543 #      orientation: "h"
1544 #    width: 700
1545 #    height: 1000
1546 #
1547 ## VPP IP4_overlay
1548 #-
1549 #  type: "plot"
1550 #  title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1551 #  algorithm: "plot_performance_box"
1552 #  output-file-type: ".html"
1553 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1554 #  data:
1555 #    csit-vpp-perf-1710-all:
1556 #    -
1557 #  filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1558 #  parameters:
1559 #  - "throughput"
1560 #  - "parent"
1561 #  traces:
1562 #    hoverinfo: "x+y"
1563 #    boxpoints: "outliers"
1564 #    whiskerwidth: 0
1565 #  layout:
1566 #    title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1567 #    xaxis:
1568 #      autorange: True
1569 #      autotick: False
1570 #      fixedrange: False
1571 #      gridcolor: "rgb(238, 238, 238)"
1572 #      linecolor: "rgb(238, 238, 238)"
1573 #      linewidth: 1
1574 #      showgrid: True
1575 #      showline: True
1576 #      showticklabels: True
1577 #      tickcolor: "rgb(238, 238, 238)"
1578 #      tickmode: "linear"
1579 #      title: "Indexed Test Cases"
1580 #      zeroline: False
1581 #    yaxis:
1582 #      gridcolor: "rgb(238, 238, 238)'"
1583 #      hoverformat: ".4s"
1584 #      linecolor: "rgb(238, 238, 238)"
1585 #      linewidth: 1
1586 #      range: []
1587 #      showgrid: True
1588 #      showline: True
1589 #      showticklabels: True
1590 #      tickcolor: "rgb(238, 238, 238)"
1591 #      title: "Packets Per Second [pps]"
1592 #      zeroline: False
1593 #    boxmode: "group"
1594 #    boxgroupgap: 0.5
1595 #    autosize: False
1596 #    margin:
1597 #      t: 50
1598 #      b: 20
1599 #      l: 50
1600 #      r: 20
1601 #    showlegend: True
1602 #    legend:
1603 #      orientation: "h"
1604 #    width: 700
1605 #    height: 1000
1606 #
1607 #-
1608 #  type: "plot"
1609 #  title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1610 #  algorithm: "plot_performance_box"
1611 #  output-file-type: ".html"
1612 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1613 #  data:
1614 #    csit-vpp-perf-1710-all:
1615 #    -
1616 #  filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1617 #  parameters:
1618 #  - "throughput"
1619 #  - "parent"
1620 #  traces:
1621 #    hoverinfo: "x+y"
1622 #    boxpoints: "outliers"
1623 #    whiskerwidth: 0
1624 #  layout:
1625 #    title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1626 #    xaxis:
1627 #      autorange: True
1628 #      autotick: False
1629 #      fixedrange: False
1630 #      gridcolor: "rgb(238, 238, 238)"
1631 #      linecolor: "rgb(238, 238, 238)"
1632 #      linewidth: 1
1633 #      showgrid: True
1634 #      showline: True
1635 #      showticklabels: True
1636 #      tickcolor: "rgb(238, 238, 238)"
1637 #      tickmode: "linear"
1638 #      title: "Indexed Test Cases"
1639 #      zeroline: False
1640 #    yaxis:
1641 #      gridcolor: "rgb(238, 238, 238)'"
1642 #      hoverformat: ".4s"
1643 #      linecolor: "rgb(238, 238, 238)"
1644 #      linewidth: 1
1645 #      range: []
1646 #      showgrid: True
1647 #      showline: True
1648 #      showticklabels: True
1649 #      tickcolor: "rgb(238, 238, 238)"
1650 #      title: "Packets Per Second [pps]"
1651 #      zeroline: False
1652 #    boxmode: "group"
1653 #    boxgroupgap: 0.5
1654 #    autosize: False
1655 #    margin:
1656 #      t: 50
1657 #      b: 20
1658 #      l: 50
1659 #      r: 20
1660 #    showlegend: True
1661 #    legend:
1662 #      orientation: "h"
1663 #    width: 700
1664 #    height: 1000
1665 #
1666 #-
1667 #  type: "plot"
1668 #  title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1669 #  algorithm: "plot_performance_box"
1670 #  output-file-type: ".html"
1671 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1672 #  data:
1673 #    csit-vpp-perf-1710-all:
1674 #    -
1675 #  filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1676 #  parameters:
1677 #  - "throughput"
1678 #  - "parent"
1679 #  traces:
1680 #    hoverinfo: "x+y"
1681 #    boxpoints: "outliers"
1682 #    whiskerwidth: 0
1683 #  layout:
1684 #    title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1685 #    xaxis:
1686 #      autorange: True
1687 #      autotick: False
1688 #      fixedrange: False
1689 #      gridcolor: "rgb(238, 238, 238)"
1690 #      linecolor: "rgb(238, 238, 238)"
1691 #      linewidth: 1
1692 #      showgrid: True
1693 #      showline: True
1694 #      showticklabels: True
1695 #      tickcolor: "rgb(238, 238, 238)"
1696 #      tickmode: "linear"
1697 #      title: "Indexed Test Cases"
1698 #      zeroline: False
1699 #    yaxis:
1700 #      gridcolor: "rgb(238, 238, 238)'"
1701 #      hoverformat: ".4s"
1702 #      linecolor: "rgb(238, 238, 238)"
1703 #      linewidth: 1
1704 #      range: []
1705 #      showgrid: True
1706 #      showline: True
1707 #      showticklabels: True
1708 #      tickcolor: "rgb(238, 238, 238)"
1709 #      title: "Packets Per Second [pps]"
1710 #      zeroline: False
1711 #    boxmode: "group"
1712 #    boxgroupgap: 0.5
1713 #    autosize: False
1714 #    margin:
1715 #      t: 50
1716 #      b: 20
1717 #      l: 50
1718 #      r: 20
1719 #    showlegend: True
1720 #    legend:
1721 #      orientation: "h"
1722 #    width: 700
1723 #    height: 1000
1724 #
1725 #-
1726 #  type: "plot"
1727 #  title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1728 #  algorithm: "plot_performance_box"
1729 #  output-file-type: ".html"
1730 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1731 #  data:
1732 #    csit-vpp-perf-1710-all:
1733 #    -
1734 #  filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1735 #  parameters:
1736 #  - "throughput"
1737 #  - "parent"
1738 #  traces:
1739 #    hoverinfo: "x+y"
1740 #    boxpoints: "outliers"
1741 #    whiskerwidth: 0
1742 #  layout:
1743 #    title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1744 #    xaxis:
1745 #      autorange: True
1746 #      autotick: False
1747 #      fixedrange: False
1748 #      gridcolor: "rgb(238, 238, 238)"
1749 #      linecolor: "rgb(238, 238, 238)"
1750 #      linewidth: 1
1751 #      showgrid: True
1752 #      showline: True
1753 #      showticklabels: True
1754 #      tickcolor: "rgb(238, 238, 238)"
1755 #      tickmode: "linear"
1756 #      title: "Indexed Test Cases"
1757 #      zeroline: False
1758 #    yaxis:
1759 #      gridcolor: "rgb(238, 238, 238)'"
1760 #      hoverformat: ".4s"
1761 #      linecolor: "rgb(238, 238, 238)"
1762 #      linewidth: 1
1763 #      range: []
1764 #      showgrid: True
1765 #      showline: True
1766 #      showticklabels: True
1767 #      tickcolor: "rgb(238, 238, 238)"
1768 #      title: "Packets Per Second [pps]"
1769 #      zeroline: False
1770 #    boxmode: "group"
1771 #    boxgroupgap: 0.5
1772 #    autosize: False
1773 #    margin:
1774 #      t: 50
1775 #      b: 20
1776 #      l: 50
1777 #      r: 20
1778 #    showlegend: True
1779 #    legend:
1780 #      orientation: "h"
1781 #    width: 700
1782 #    height: 1000
1783 #
1784 ## VPP IP6_overlay
1785 #-
1786 #  type: "plot"
1787 #  title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1788 #  algorithm: "plot_performance_box"
1789 #  output-file-type: ".html"
1790 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1791 #  data:
1792 #    csit-vpp-perf-1710-all:
1793 #    -
1794 #  filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1795 #  parameters:
1796 #  - "throughput"
1797 #  - "parent"
1798 #  traces:
1799 #    hoverinfo: "x+y"
1800 #    boxpoints: "outliers"
1801 #    whiskerwidth: 0
1802 #  layout:
1803 #    title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1804 #    xaxis:
1805 #      autorange: True
1806 #      autotick: False
1807 #      fixedrange: False
1808 #      gridcolor: "rgb(238, 238, 238)"
1809 #      linecolor: "rgb(238, 238, 238)"
1810 #      linewidth: 1
1811 #      showgrid: True
1812 #      showline: True
1813 #      showticklabels: True
1814 #      tickcolor: "rgb(238, 238, 238)"
1815 #      tickmode: "linear"
1816 #      title: "Indexed Test Cases"
1817 #      zeroline: False
1818 #    yaxis:
1819 #      gridcolor: "rgb(238, 238, 238)'"
1820 #      hoverformat: ".4s"
1821 #      linecolor: "rgb(238, 238, 238)"
1822 #      linewidth: 1
1823 #      range: []
1824 #      showgrid: True
1825 #      showline: True
1826 #      showticklabels: True
1827 #      tickcolor: "rgb(238, 238, 238)"
1828 #      title: "Packets Per Second [pps]"
1829 #      zeroline: False
1830 #    boxmode: "group"
1831 #    boxgroupgap: 0.5
1832 #    autosize: False
1833 #    margin:
1834 #      t: 50
1835 #      b: 20
1836 #      l: 50
1837 #      r: 20
1838 #    showlegend: True
1839 #    legend:
1840 #      orientation: "h"
1841 #    width: 700
1842 #    height: 1000
1843 #
1844 #-
1845 #  type: "plot"
1846 #  title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1847 #  algorithm: "plot_performance_box"
1848 #  output-file-type: ".html"
1849 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1850 #  data:
1851 #    csit-vpp-perf-1710-all:
1852 #    -
1853 #  filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1854 #  parameters:
1855 #  - "throughput"
1856 #  - "parent"
1857 #  traces:
1858 #    hoverinfo: "x+y"
1859 #    boxpoints: "outliers"
1860 #    whiskerwidth: 0
1861 #  layout:
1862 #    title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1863 #    xaxis:
1864 #      autorange: True
1865 #      autotick: False
1866 #      fixedrange: False
1867 #      gridcolor: "rgb(238, 238, 238)"
1868 #      linecolor: "rgb(238, 238, 238)"
1869 #      linewidth: 1
1870 #      showgrid: True
1871 #      showline: True
1872 #      showticklabels: True
1873 #      tickcolor: "rgb(238, 238, 238)"
1874 #      tickmode: "linear"
1875 #      title: "Indexed Test Cases"
1876 #      zeroline: False
1877 #    yaxis:
1878 #      gridcolor: "rgb(238, 238, 238)'"
1879 #      hoverformat: ".4s"
1880 #      linecolor: "rgb(238, 238, 238)"
1881 #      linewidth: 1
1882 #      range: []
1883 #      showgrid: True
1884 #      showline: True
1885 #      showticklabels: True
1886 #      tickcolor: "rgb(238, 238, 238)"
1887 #      title: "Packets Per Second [pps]"
1888 #      zeroline: False
1889 #    boxmode: "group"
1890 #    boxgroupgap: 0.5
1891 #    autosize: False
1892 #    margin:
1893 #      t: 50
1894 #      b: 20
1895 #      l: 50
1896 #      r: 20
1897 #    showlegend: True
1898 #    legend:
1899 #      orientation: "h"
1900 #    width: 700
1901 #    height: 1000
1902 #
1903 #-
1904 #  type: "plot"
1905 #  title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1906 #  algorithm: "plot_performance_box"
1907 #  output-file-type: ".html"
1908 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1909 #  data:
1910 #    csit-vpp-perf-1710-all:
1911 #    -
1912 #  filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1913 #  parameters:
1914 #  - "throughput"
1915 #  - "parent"
1916 #  traces:
1917 #    hoverinfo: "x+y"
1918 #    boxpoints: "outliers"
1919 #    whiskerwidth: 0
1920 #  layout:
1921 #    title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1922 #    xaxis:
1923 #      autorange: True
1924 #      autotick: False
1925 #      fixedrange: False
1926 #      gridcolor: "rgb(238, 238, 238)"
1927 #      linecolor: "rgb(238, 238, 238)"
1928 #      linewidth: 1
1929 #      showgrid: True
1930 #      showline: True
1931 #      showticklabels: True
1932 #      tickcolor: "rgb(238, 238, 238)"
1933 #      tickmode: "linear"
1934 #      title: "Indexed Test Cases"
1935 #      zeroline: False
1936 #    yaxis:
1937 #      gridcolor: "rgb(238, 238, 238)'"
1938 #      hoverformat: ".4s"
1939 #      linecolor: "rgb(238, 238, 238)"
1940 #      linewidth: 1
1941 #      range: []
1942 #      showgrid: True
1943 #      showline: True
1944 #      showticklabels: True
1945 #      tickcolor: "rgb(238, 238, 238)"
1946 #      title: "Packets Per Second [pps]"
1947 #      zeroline: False
1948 #    boxmode: "group"
1949 #    boxgroupgap: 0.5
1950 #    autosize: False
1951 #    margin:
1952 #      t: 50
1953 #      b: 20
1954 #      l: 50
1955 #      r: 20
1956 #    showlegend: True
1957 #    legend:
1958 #      orientation: "h"
1959 #    width: 700
1960 #    height: 1000
1961 #
1962 #-
1963 #  type: "plot"
1964 #  title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1965 #  algorithm: "plot_performance_box"
1966 #  output-file-type: ".html"
1967 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1968 #  data:
1969 #    csit-vpp-perf-1710-all:
1970 #    -
1971 #  filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1972 #  parameters:
1973 #  - "throughput"
1974 #  - "parent"
1975 #  traces:
1976 #    hoverinfo: "x+y"
1977 #    boxpoints: "outliers"
1978 #    whiskerwidth: 0
1979 #  layout:
1980 #    title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1981 #    xaxis:
1982 #      autorange: True
1983 #      autotick: False
1984 #      fixedrange: False
1985 #      gridcolor: "rgb(238, 238, 238)"
1986 #      linecolor: "rgb(238, 238, 238)"
1987 #      linewidth: 1
1988 #      showgrid: True
1989 #      showline: True
1990 #      showticklabels: True
1991 #      tickcolor: "rgb(238, 238, 238)"
1992 #      tickmode: "linear"
1993 #      title: "Indexed Test Cases"
1994 #      zeroline: False
1995 #    yaxis:
1996 #      gridcolor: "rgb(238, 238, 238)'"
1997 #      hoverformat: ".4s"
1998 #      linecolor: "rgb(238, 238, 238)"
1999 #      linewidth: 1
2000 #      range: []
2001 #      showgrid: True
2002 #      showline: True
2003 #      showticklabels: True
2004 #      tickcolor: "rgb(238, 238, 238)"
2005 #      title: "Packets Per Second [pps]"
2006 #      zeroline: False
2007 #    boxmode: "group"
2008 #    boxgroupgap: 0.5
2009 #    autosize: False
2010 #    margin:
2011 #      t: 50
2012 #      b: 20
2013 #      l: 50
2014 #      r: 20
2015 #    showlegend: True
2016 #    legend:
2017 #      orientation: "h"
2018 #    width: 700
2019 #    height: 1000
2020 #
2021 ## VPP VM VHOST
2022 #-
2023 #  type: "plot"
2024 #  title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2025 #  algorithm: "plot_performance_box"
2026 #  output-file-type: ".html"
2027 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2028 #  data:
2029 #    csit-vpp-perf-1710-all:
2030 #    -
2031 #  filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2032 #  parameters:
2033 #  - "throughput"
2034 #  - "parent"
2035 #  traces:
2036 #    hoverinfo: "x+y"
2037 #    boxpoints: "outliers"
2038 #    whiskerwidth: 0
2039 #  layout:
2040 #    title: "64B-1t1c-.*vhost.*-ndrdisc"
2041 #    xaxis:
2042 #      autorange: True
2043 #      autotick: False
2044 #      fixedrange: False
2045 #      gridcolor: "rgb(238, 238, 238)"
2046 #      linecolor: "rgb(238, 238, 238)"
2047 #      linewidth: 1
2048 #      showgrid: True
2049 #      showline: True
2050 #      showticklabels: True
2051 #      tickcolor: "rgb(238, 238, 238)"
2052 #      tickmode: "linear"
2053 #      title: "Indexed Test Cases"
2054 #      zeroline: False
2055 #    yaxis:
2056 #      gridcolor: "rgb(238, 238, 238)'"
2057 #      hoverformat: ".4s"
2058 #      linecolor: "rgb(238, 238, 238)"
2059 #      linewidth: 1
2060 #      range: []
2061 #      showgrid: True
2062 #      showline: True
2063 #      showticklabels: True
2064 #      tickcolor: "rgb(238, 238, 238)"
2065 #      title: "Packets Per Second [pps]"
2066 #      zeroline: False
2067 #    boxmode: "group"
2068 #    boxgroupgap: 0.5
2069 #    autosize: False
2070 #    margin:
2071 #      t: 50
2072 #      b: 20
2073 #      l: 50
2074 #      r: 20
2075 #    showlegend: True
2076 #    legend:
2077 #      orientation: "h"
2078 #    width: 700
2079 #    height: 1000
2080 #
2081 #-
2082 #  type: "plot"
2083 #  title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2084 #  algorithm: "plot_performance_box"
2085 #  output-file-type: ".html"
2086 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2087 #  data:
2088 #    csit-vpp-perf-1710-all:
2089 #    -
2090 #  filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2091 #  parameters:
2092 #  - "throughput"
2093 #  - "parent"
2094 #  traces:
2095 #    hoverinfo: "x+y"
2096 #    boxpoints: "outliers"
2097 #    whiskerwidth: 0
2098 #  layout:
2099 #    title: "64B-2t2c-.*vhost.*-ndrdisc"
2100 #    xaxis:
2101 #      autorange: True
2102 #      autotick: False
2103 #      fixedrange: False
2104 #      gridcolor: "rgb(238, 238, 238)"
2105 #      linecolor: "rgb(238, 238, 238)"
2106 #      linewidth: 1
2107 #      showgrid: True
2108 #      showline: True
2109 #      showticklabels: True
2110 #      tickcolor: "rgb(238, 238, 238)"
2111 #      tickmode: "linear"
2112 #      title: "Indexed Test Cases"
2113 #      zeroline: False
2114 #    yaxis:
2115 #      gridcolor: "rgb(238, 238, 238)'"
2116 #      hoverformat: ".4s"
2117 #      linecolor: "rgb(238, 238, 238)"
2118 #      linewidth: 1
2119 #      range: []
2120 #      showgrid: True
2121 #      showline: True
2122 #      showticklabels: True
2123 #      tickcolor: "rgb(238, 238, 238)"
2124 #      title: "Packets Per Second [pps]"
2125 #      zeroline: False
2126 #    boxmode: "group"
2127 #    boxgroupgap: 0.5
2128 #    autosize: False
2129 #    margin:
2130 #      t: 50
2131 #      b: 20
2132 #      l: 50
2133 #      r: 20
2134 #    showlegend: True
2135 #    legend:
2136 #      orientation: "h"
2137 #    width: 700
2138 #    height: 1000
2139 #
2140 #-
2141 #  type: "plot"
2142 #  title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2143 #  algorithm: "plot_performance_box"
2144 #  output-file-type: ".html"
2145 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2146 #  data:
2147 #    csit-vpp-perf-1710-all:
2148 #    -
2149 #  filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2150 #  parameters:
2151 #  - "throughput"
2152 #  - "parent"
2153 #  traces:
2154 #    hoverinfo: "x+y"
2155 #    boxpoints: "outliers"
2156 #    whiskerwidth: 0
2157 #  layout:
2158 #    title: "64B-1t1c-.*vhost.*-pdrdisc"
2159 #    xaxis:
2160 #      autorange: True
2161 #      autotick: False
2162 #      fixedrange: False
2163 #      gridcolor: "rgb(238, 238, 238)"
2164 #      linecolor: "rgb(238, 238, 238)"
2165 #      linewidth: 1
2166 #      showgrid: True
2167 #      showline: True
2168 #      showticklabels: True
2169 #      tickcolor: "rgb(238, 238, 238)"
2170 #      tickmode: "linear"
2171 #      title: "Indexed Test Cases"
2172 #      zeroline: False
2173 #    yaxis:
2174 #      gridcolor: "rgb(238, 238, 238)'"
2175 #      hoverformat: ".4s"
2176 #      linecolor: "rgb(238, 238, 238)"
2177 #      linewidth: 1
2178 #      range: []
2179 #      showgrid: True
2180 #      showline: True
2181 #      showticklabels: True
2182 #      tickcolor: "rgb(238, 238, 238)"
2183 #      title: "Packets Per Second [pps]"
2184 #      zeroline: False
2185 #    boxmode: "group"
2186 #    boxgroupgap: 0.5
2187 #    autosize: False
2188 #    margin:
2189 #      t: 50
2190 #      b: 20
2191 #      l: 50
2192 #      r: 20
2193 #    showlegend: True
2194 #    legend:
2195 #      orientation: "h"
2196 #    width: 700
2197 #    height: 1000
2198 #
2199 #-
2200 #  type: "plot"
2201 #  title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2202 #  algorithm: "plot_performance_box"
2203 #  output-file-type: ".html"
2204 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2205 #  data:
2206 #    csit-vpp-perf-1710-all:
2207 #    -
2208 #  filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2209 #  parameters:
2210 #  - "throughput"
2211 #  - "parent"
2212 #  traces:
2213 #    hoverinfo: "x+y"
2214 #    boxpoints: "outliers"
2215 #    whiskerwidth: 0
2216 #  layout:
2217 #    title: "64B-2t2c-.*vhost.*-pdrdisc"
2218 #    xaxis:
2219 #      autorange: True
2220 #      autotick: False
2221 #      fixedrange: False
2222 #      gridcolor: "rgb(238, 238, 238)"
2223 #      linecolor: "rgb(238, 238, 238)"
2224 #      linewidth: 1
2225 #      showgrid: True
2226 #      showline: True
2227 #      showticklabels: True
2228 #      tickcolor: "rgb(238, 238, 238)"
2229 #      tickmode: "linear"
2230 #      title: "Indexed Test Cases"
2231 #      zeroline: False
2232 #    yaxis:
2233 #      gridcolor: "rgb(238, 238, 238)'"
2234 #      hoverformat: ".4s"
2235 #      linecolor: "rgb(238, 238, 238)"
2236 #      linewidth: 1
2237 #      range: []
2238 #      showgrid: True
2239 #      showline: True
2240 #      showticklabels: True
2241 #      tickcolor: "rgb(238, 238, 238)"
2242 #      title: "Packets Per Second [pps]"
2243 #      zeroline: False
2244 #    boxmode: "group"
2245 #    boxgroupgap: 0.5
2246 #    autosize: False
2247 #    margin:
2248 #      t: 50
2249 #      b: 20
2250 #      l: 50
2251 #      r: 20
2252 #    showlegend: True
2253 #    legend:
2254 #      orientation: "h"
2255 #    width: 700
2256 #    height: 1000
2257 #
2258 ## VPP VM VHOST SELECTION
2259 #-
2260 #  type: "plot"
2261 #  title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2262 #  algorithm: "plot_performance_box"
2263 #  output-file-type: ".html"
2264 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2265 #  data:
2266 #    csit-vpp-perf-1710-all:
2267 #    -
2268 #  filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2269 #  parameters:
2270 #  - "throughput"
2271 #  - "parent"
2272 #  traces:
2273 #    hoverinfo: "x+y"
2274 #    boxpoints: "outliers"
2275 #    whiskerwidth: 0
2276 #  layout:
2277 #    title: "64B-1t1c-.*vhost.*-ndrdisc"
2278 #    xaxis:
2279 #      autorange: True
2280 #      autotick: False
2281 #      fixedrange: False
2282 #      gridcolor: "rgb(238, 238, 238)"
2283 #      linecolor: "rgb(238, 238, 238)"
2284 #      linewidth: 1
2285 #      showgrid: True
2286 #      showline: True
2287 #      showticklabels: True
2288 #      tickcolor: "rgb(238, 238, 238)"
2289 #      tickmode: "linear"
2290 #      title: "Indexed Test Cases"
2291 #      zeroline: False
2292 #    yaxis:
2293 #      gridcolor: "rgb(238, 238, 238)'"
2294 #      hoverformat: ".4s"
2295 #      linecolor: "rgb(238, 238, 238)"
2296 #      linewidth: 1
2297 #      range: []
2298 #      showgrid: True
2299 #      showline: True
2300 #      showticklabels: True
2301 #      tickcolor: "rgb(238, 238, 238)"
2302 #      title: "Packets Per Second [pps]"
2303 #      zeroline: False
2304 #    boxmode: "group"
2305 #    boxgroupgap: 0.5
2306 #    autosize: False
2307 #    margin:
2308 #      t: 50
2309 #      b: 20
2310 #      l: 50
2311 #      r: 20
2312 #    showlegend: True
2313 #    legend:
2314 #      orientation: "h"
2315 #    width: 700
2316 #    height: 1000
2317 #
2318 #-
2319 #  type: "plot"
2320 #  title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2321 #  algorithm: "plot_performance_box"
2322 #  output-file-type: ".html"
2323 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2324 #  data:
2325 #    csit-vpp-perf-1710-all:
2326 #    -
2327 #  filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2328 #  parameters:
2329 #  - "throughput"
2330 #  - "parent"
2331 #  traces:
2332 #    hoverinfo: "x+y"
2333 #    boxpoints: "outliers"
2334 #    whiskerwidth: 0
2335 #  layout:
2336 #    title: "64B-2t2c-.*vhost.*-ndrdisc"
2337 #    xaxis:
2338 #      autorange: True
2339 #      autotick: False
2340 #      fixedrange: False
2341 #      gridcolor: "rgb(238, 238, 238)"
2342 #      linecolor: "rgb(238, 238, 238)"
2343 #      linewidth: 1
2344 #      showgrid: True
2345 #      showline: True
2346 #      showticklabels: True
2347 #      tickcolor: "rgb(238, 238, 238)"
2348 #      tickmode: "linear"
2349 #      title: "Indexed Test Cases"
2350 #      zeroline: False
2351 #    yaxis:
2352 #      gridcolor: "rgb(238, 238, 238)'"
2353 #      hoverformat: ".4s"
2354 #      linecolor: "rgb(238, 238, 238)"
2355 #      linewidth: 1
2356 #      range: []
2357 #      showgrid: True
2358 #      showline: True
2359 #      showticklabels: True
2360 #      tickcolor: "rgb(238, 238, 238)"
2361 #      title: "Packets Per Second [pps]"
2362 #      zeroline: False
2363 #    boxmode: "group"
2364 #    boxgroupgap: 0.5
2365 #    autosize: False
2366 #    margin:
2367 #      t: 50
2368 #      b: 20
2369 #      l: 50
2370 #      r: 20
2371 #    showlegend: True
2372 #    legend:
2373 #      orientation: "h"
2374 #    width: 700
2375 #    height: 1000
2376 #
2377 #-
2378 #  type: "plot"
2379 #  title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2380 #  algorithm: "plot_performance_box"
2381 #  output-file-type: ".html"
2382 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2383 #  data:
2384 #    csit-vpp-perf-1710-all:
2385 #    -
2386 #  filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2387 #  parameters:
2388 #  - "throughput"
2389 #  - "parent"
2390 #  traces:
2391 #    hoverinfo: "x+y"
2392 #    boxpoints: "outliers"
2393 #    whiskerwidth: 0
2394 #  layout:
2395 #    title: "64B-1t1c-.*vhost.*-pdrdisc"
2396 #    xaxis:
2397 #      autorange: True
2398 #      autotick: False
2399 #      fixedrange: False
2400 #      gridcolor: "rgb(238, 238, 238)"
2401 #      linecolor: "rgb(238, 238, 238)"
2402 #      linewidth: 1
2403 #      showgrid: True
2404 #      showline: True
2405 #      showticklabels: True
2406 #      tickcolor: "rgb(238, 238, 238)"
2407 #      tickmode: "linear"
2408 #      title: "Indexed Test Cases"
2409 #      zeroline: False
2410 #    yaxis:
2411 #      gridcolor: "rgb(238, 238, 238)'"
2412 #      hoverformat: ".4s"
2413 #      linecolor: "rgb(238, 238, 238)"
2414 #      linewidth: 1
2415 #      range: []
2416 #      showgrid: True
2417 #      showline: True
2418 #      showticklabels: True
2419 #      tickcolor: "rgb(238, 238, 238)"
2420 #      title: "Packets Per Second [pps]"
2421 #      zeroline: False
2422 #    boxmode: "group"
2423 #    boxgroupgap: 0.5
2424 #    autosize: False
2425 #    margin:
2426 #      t: 50
2427 #      b: 20
2428 #      l: 50
2429 #      r: 20
2430 #    showlegend: True
2431 #    legend:
2432 #      orientation: "h"
2433 #    width: 700
2434 #    height: 1000
2435 #
2436 #-
2437 #  type: "plot"
2438 #  title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2439 #  algorithm: "plot_performance_box"
2440 #  output-file-type: ".html"
2441 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2442 #  data:
2443 #    csit-vpp-perf-1710-all:
2444 #    -
2445 #  filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2446 #  parameters:
2447 #  - "throughput"
2448 #  - "parent"
2449 #  traces:
2450 #    hoverinfo: "x+y"
2451 #    boxpoints: "outliers"
2452 #    whiskerwidth: 0
2453 #  layout:
2454 #    title: "64B-2t2c-.*vhost.*-pdrdisc"
2455 #    xaxis:
2456 #      autorange: True
2457 #      autotick: False
2458 #      fixedrange: False
2459 #      gridcolor: "rgb(238, 238, 238)"
2460 #      linecolor: "rgb(238, 238, 238)"
2461 #      linewidth: 1
2462 #      showgrid: True
2463 #      showline: True
2464 #      showticklabels: True
2465 #      tickcolor: "rgb(238, 238, 238)"
2466 #      tickmode: "linear"
2467 #      title: "Indexed Test Cases"
2468 #      zeroline: False
2469 #    yaxis:
2470 #      gridcolor: "rgb(238, 238, 238)'"
2471 #      hoverformat: ".4s"
2472 #      linecolor: "rgb(238, 238, 238)"
2473 #      linewidth: 1
2474 #      range: []
2475 #      showgrid: True
2476 #      showline: True
2477 #      showticklabels: True
2478 #      tickcolor: "rgb(238, 238, 238)"
2479 #      title: "Packets Per Second [pps]"
2480 #      zeroline: False
2481 #    boxmode: "group"
2482 #    boxgroupgap: 0.5
2483 #    autosize: False
2484 #    margin:
2485 #      t: 50
2486 #      b: 20
2487 #      l: 50
2488 #      r: 20
2489 #    showlegend: True
2490 #    legend:
2491 #      orientation: "h"
2492 #    width: 700
2493 #    height: 1000
2494 #
2495 ## VPP CRYPTO
2496 #-
2497 #  type: "plot"
2498 #  title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2499 #  algorithm: "plot_performance_box"
2500 #  output-file-type: ".html"
2501 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2502 #  data:
2503 #    csit-vpp-perf-1710-all:
2504 #    -
2505 #  filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2506 #  parameters:
2507 #  - "throughput"
2508 #  - "parent"
2509 #  traces:
2510 #    hoverinfo: "x+y"
2511 #    boxpoints: "outliers"
2512 #    whiskerwidth: 0
2513 #  layout:
2514 #    title: "64B-1t1c-.*ipsec.*-ndrdisc"
2515 #    xaxis:
2516 #      autorange: True
2517 #      autotick: False
2518 #      fixedrange: False
2519 #      gridcolor: "rgb(238, 238, 238)"
2520 #      linecolor: "rgb(238, 238, 238)"
2521 #      linewidth: 1
2522 #      showgrid: True
2523 #      showline: True
2524 #      showticklabels: True
2525 #      tickcolor: "rgb(238, 238, 238)"
2526 #      tickmode: "linear"
2527 #      title: "Indexed Test Cases"
2528 #      zeroline: False
2529 #    yaxis:
2530 #      gridcolor: "rgb(238, 238, 238)'"
2531 #      hoverformat: ".4s"
2532 #      linecolor: "rgb(238, 238, 238)"
2533 #      linewidth: 1
2534 #      range: []
2535 #      showgrid: True
2536 #      showline: True
2537 #      showticklabels: True
2538 #      tickcolor: "rgb(238, 238, 238)"
2539 #      title: "Packets Per Second [pps]"
2540 #      zeroline: False
2541 #    boxmode: "group"
2542 #    boxgroupgap: 0.5
2543 #    autosize: False
2544 #    margin:
2545 #      t: 50
2546 #      b: 20
2547 #      l: 50
2548 #      r: 20
2549 #    showlegend: True
2550 #    legend:
2551 #      orientation: "h"
2552 #    width: 700
2553 #    height: 1000
2554 #
2555 #-
2556 #  type: "plot"
2557 #  title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2558 #  algorithm: "plot_performance_box"
2559 #  output-file-type: ".html"
2560 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2561 #  data:
2562 #    csit-vpp-perf-1710-all:
2563 #    -
2564 #  filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2565 #  parameters:
2566 #  - "throughput"
2567 #  - "parent"
2568 #  traces:
2569 #    hoverinfo: "x+y"
2570 #    boxpoints: "outliers"
2571 #    whiskerwidth: 0
2572 #  layout:
2573 #    title: "64B-2t2c-.*ipsec.*-ndrdisc"
2574 #    xaxis:
2575 #      autorange: True
2576 #      autotick: False
2577 #      fixedrange: False
2578 #      gridcolor: "rgb(238, 238, 238)"
2579 #      linecolor: "rgb(238, 238, 238)"
2580 #      linewidth: 1
2581 #      showgrid: True
2582 #      showline: True
2583 #      showticklabels: True
2584 #      tickcolor: "rgb(238, 238, 238)"
2585 #      tickmode: "linear"
2586 #      title: "Indexed Test Cases"
2587 #      zeroline: False
2588 #    yaxis:
2589 #      gridcolor: "rgb(238, 238, 238)'"
2590 #      hoverformat: ".4s"
2591 #      linecolor: "rgb(238, 238, 238)"
2592 #      linewidth: 1
2593 #      range: []
2594 #      showgrid: True
2595 #      showline: True
2596 #      showticklabels: True
2597 #      tickcolor: "rgb(238, 238, 238)"
2598 #      title: "Packets Per Second [pps]"
2599 #      zeroline: False
2600 #    boxmode: "group"
2601 #    boxgroupgap: 0.5
2602 #    autosize: False
2603 #    margin:
2604 #      t: 50
2605 #      b: 20
2606 #      l: 50
2607 #      r: 20
2608 #    showlegend: True
2609 #    legend:
2610 #      orientation: "h"
2611 #    width: 700
2612 #    height: 1000
2613 #
2614 #-
2615 #  type: "plot"
2616 #  title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2617 #  algorithm: "plot_performance_box"
2618 #  output-file-type: ".html"
2619 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2620 #  data:
2621 #    csit-vpp-perf-1710-all:
2622 #    -
2623 #  filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2624 #  parameters:
2625 #  - "throughput"
2626 #  - "parent"
2627 #  traces:
2628 #    hoverinfo: "x+y"
2629 #    boxpoints: "outliers"
2630 #    whiskerwidth: 0
2631 #  layout:
2632 #    title: "64B-1t1c-.*ipsec.*-pdrdisc"
2633 #    xaxis:
2634 #      autorange: True
2635 #      autotick: False
2636 #      fixedrange: False
2637 #      gridcolor: "rgb(238, 238, 238)"
2638 #      linecolor: "rgb(238, 238, 238)"
2639 #      linewidth: 1
2640 #      showgrid: True
2641 #      showline: True
2642 #      showticklabels: True
2643 #      tickcolor: "rgb(238, 238, 238)"
2644 #      tickmode: "linear"
2645 #      title: "Indexed Test Cases"
2646 #      zeroline: False
2647 #    yaxis:
2648 #      gridcolor: "rgb(238, 238, 238)'"
2649 #      hoverformat: ".4s"
2650 #      linecolor: "rgb(238, 238, 238)"
2651 #      linewidth: 1
2652 #      range: []
2653 #      showgrid: True
2654 #      showline: True
2655 #      showticklabels: True
2656 #      tickcolor: "rgb(238, 238, 238)"
2657 #      title: "Packets Per Second [pps]"
2658 #      zeroline: False
2659 #    boxmode: "group"
2660 #    boxgroupgap: 0.5
2661 #    autosize: False
2662 #    margin:
2663 #      t: 50
2664 #      b: 20
2665 #      l: 50
2666 #      r: 20
2667 #    showlegend: True
2668 #    legend:
2669 #      orientation: "h"
2670 #    width: 700
2671 #    height: 1000
2672 #
2673 #-
2674 #  type: "plot"
2675 #  title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2676 #  algorithm: "plot_performance_box"
2677 #  output-file-type: ".html"
2678 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2679 #  data:
2680 #    csit-vpp-perf-1710-all:
2681 #    -
2682 #  filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2683 #  parameters:
2684 #  - "throughput"
2685 #  - "parent"
2686 #  traces:
2687 #    hoverinfo: "x+y"
2688 #    boxpoints: "outliers"
2689 #    whiskerwidth: 0
2690 #  layout:
2691 #    title: "64B-2t2c-.*ipsec.*-pdrdisc"
2692 #    xaxis:
2693 #      autorange: True
2694 #      autotick: False
2695 #      fixedrange: False
2696 #      gridcolor: "rgb(238, 238, 238)"
2697 #      linecolor: "rgb(238, 238, 238)"
2698 #      linewidth: 1
2699 #      showgrid: True
2700 #      showline: True
2701 #      showticklabels: True
2702 #      tickcolor: "rgb(238, 238, 238)"
2703 #      tickmode: "linear"
2704 #      title: "Indexed Test Cases"
2705 #      zeroline: False
2706 #    yaxis:
2707 #      gridcolor: "rgb(238, 238, 238)'"
2708 #      hoverformat: ".4s"
2709 #      linecolor: "rgb(238, 238, 238)"
2710 #      linewidth: 1
2711 #      range: []
2712 #      showgrid: True
2713 #      showline: True
2714 #      showticklabels: True
2715 #      tickcolor: "rgb(238, 238, 238)"
2716 #      title: "Packets Per Second [pps]"
2717 #      zeroline: False
2718 #    boxmode: "group"
2719 #    boxgroupgap: 0.5
2720 #    autosize: False
2721 #    margin:
2722 #      t: 50
2723 #      b: 20
2724 #      l: 50
2725 #      r: 20
2726 #    showlegend: True
2727 #    legend:
2728 #      orientation: "h"
2729 #    width: 700
2730 #    height: 1000
2731
2732 # DPDK
2733 -
2734   type: "plot"
2735   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2736   algorithm: "plot_performance_box"
2737   output-file-type: ".html"
2738   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2739   data:
2740     csit-dpdk-perf-1710-all:
2741     - 2
2742     - 3
2743   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2744   parameters:
2745   - "throughput"
2746   - "parent"
2747   traces:
2748     hoverinfo: "x+y"
2749     boxpoints: "outliers"
2750     whiskerwidth: 0
2751   layout:
2752     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2753     xaxis:
2754       autorange: True
2755       autotick: False
2756       fixedrange: False
2757       gridcolor: "rgb(238, 238, 238)"
2758       linecolor: "rgb(238, 238, 238)"
2759       linewidth: 1
2760       showgrid: True
2761       showline: True
2762       showticklabels: True
2763       tickcolor: "rgb(238, 238, 238)"
2764       tickmode: "linear"
2765       title: "Indexed Test Cases"
2766       zeroline: False
2767     yaxis:
2768       gridcolor: "rgb(238, 238, 238)'"
2769       hoverformat: ".4s"
2770       linecolor: "rgb(238, 238, 238)"
2771       linewidth: 1
2772       range: []
2773       showgrid: True
2774       showline: True
2775       showticklabels: True
2776       tickcolor: "rgb(238, 238, 238)"
2777       title: "Packets Per Second [pps]"
2778       zeroline: False
2779     boxmode: "group"
2780     boxgroupgap: 0.5
2781     autosize: False
2782     margin:
2783       t: 50
2784       b: 20
2785       l: 50
2786       r: 20
2787     showlegend: True
2788     legend:
2789       orientation: "h"
2790     width: 700
2791     height: 1000
2792
2793 -
2794   type: "plot"
2795   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2796   algorithm: "plot_performance_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2799   data:
2800     csit-dpdk-perf-1710-all:
2801     - 2
2802     - 3
2803   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2804   parameters:
2805   - "throughput"
2806   - "parent"
2807   traces:
2808     hoverinfo: "x+y"
2809     boxpoints: "outliers"
2810     whiskerwidth: 0
2811   layout:
2812     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2813     xaxis:
2814       autorange: True
2815       autotick: False
2816       fixedrange: False
2817       gridcolor: "rgb(238, 238, 238)"
2818       linecolor: "rgb(238, 238, 238)"
2819       linewidth: 1
2820       showgrid: True
2821       showline: True
2822       showticklabels: True
2823       tickcolor: "rgb(238, 238, 238)"
2824       tickmode: "linear"
2825       title: "Indexed Test Cases"
2826       zeroline: False
2827     yaxis:
2828       gridcolor: "rgb(238, 238, 238)'"
2829       hoverformat: ".4s"
2830       linecolor: "rgb(238, 238, 238)"
2831       linewidth: 1
2832       range: []
2833       showgrid: True
2834       showline: True
2835       showticklabels: True
2836       tickcolor: "rgb(238, 238, 238)"
2837       title: "Packets Per Second [pps]"
2838       zeroline: False
2839     boxmode: "group"
2840     boxgroupgap: 0.5
2841     autosize: False
2842     margin:
2843       t: 50
2844       b: 20
2845       l: 50
2846       r: 20
2847     showlegend: True
2848     legend:
2849       orientation: "h"
2850     width: 700
2851     height: 1000
2852
2853 -
2854   type: "plot"
2855   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2856   algorithm: "plot_performance_box"
2857   output-file-type: ".html"
2858   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2859   data:
2860     csit-dpdk-perf-1710-all:
2861     - 2
2862     - 3
2863   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2864   parameters:
2865   - "throughput"
2866   - "parent"
2867   traces:
2868     hoverinfo: "x+y"
2869     boxpoints: "outliers"
2870     whiskerwidth: 0
2871   layout:
2872     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2873     xaxis:
2874       autorange: True
2875       autotick: False
2876       fixedrange: False
2877       gridcolor: "rgb(238, 238, 238)"
2878       linecolor: "rgb(238, 238, 238)"
2879       linewidth: 1
2880       showgrid: True
2881       showline: True
2882       showticklabels: True
2883       tickcolor: "rgb(238, 238, 238)"
2884       tickmode: "linear"
2885       title: "Indexed Test Cases"
2886       zeroline: False
2887     yaxis:
2888       gridcolor: "rgb(238, 238, 238)'"
2889       hoverformat: ".4s"
2890       linecolor: "rgb(238, 238, 238)"
2891       linewidth: 1
2892       range: [2000000, 12000000]
2893       showgrid: True
2894       showline: True
2895       showticklabels: True
2896       tickcolor: "rgb(238, 238, 238)"
2897       title: "Packets Per Second [pps]"
2898       zeroline: False
2899     boxmode: "group"
2900     boxgroupgap: 0.5
2901     autosize: False
2902     margin:
2903       t: 50
2904       b: 20
2905       l: 50
2906       r: 20
2907     showlegend: True
2908     legend:
2909       orientation: "h"
2910     width: 700
2911     height: 1000
2912
2913 -
2914   type: "plot"
2915   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2916   algorithm: "plot_performance_box"
2917   output-file-type: ".html"
2918   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2919   data:
2920     csit-dpdk-perf-1710-all:
2921     - 2
2922     - 3
2923   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2924   parameters:
2925   - "throughput"
2926   - "parent"
2927   traces:
2928     hoverinfo: "x+y"
2929     boxpoints: "outliers"
2930     whiskerwidth: 0
2931   layout:
2932     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2933     xaxis:
2934       autorange: True
2935       autotick: False
2936       fixedrange: False
2937       gridcolor: "rgb(238, 238, 238)"
2938       linecolor: "rgb(238, 238, 238)"
2939       linewidth: 1
2940       showgrid: True
2941       showline: True
2942       showticklabels: True
2943       tickcolor: "rgb(238, 238, 238)"
2944       tickmode: "linear"
2945       title: "Indexed Test Cases"
2946       zeroline: False
2947     yaxis:
2948       gridcolor: "rgb(238, 238, 238)'"
2949       hoverformat: ".4s"
2950       linecolor: "rgb(238, 238, 238)"
2951       linewidth: 1
2952       range: [2000000, 12000000]
2953       showgrid: True
2954       showline: True
2955       showticklabels: True
2956       tickcolor: "rgb(238, 238, 238)"
2957       title: "Packets Per Second [pps]"
2958       zeroline: False
2959     boxmode: "group"
2960     boxgroupgap: 0.5
2961     autosize: False
2962     margin:
2963       t: 50
2964       b: 20
2965       l: 50
2966       r: 20
2967     showlegend: True
2968     legend:
2969       orientation: "h"
2970     width: 700
2971     height: 1000
2972
2973 -
2974   type: "plot"
2975   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2976   algorithm: "plot_performance_box"
2977   output-file-type: ".html"
2978   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2979   data:
2980     csit-dpdk-perf-1710-all:
2981     - 2
2982     - 3
2983   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2984   parameters:
2985   - "throughput"
2986   - "parent"
2987   traces:
2988     hoverinfo: "x+y"
2989     boxpoints: "outliers"
2990     whiskerwidth: 0
2991   layout:
2992     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2993     xaxis:
2994       autorange: True
2995       autotick: False
2996       fixedrange: False
2997       gridcolor: "rgb(238, 238, 238)"
2998       linecolor: "rgb(238, 238, 238)"
2999       linewidth: 1
3000       showgrid: True
3001       showline: True
3002       showticklabels: True
3003       tickcolor: "rgb(238, 238, 238)"
3004       tickmode: "linear"
3005       title: "Indexed Test Cases"
3006       zeroline: False
3007     yaxis:
3008       gridcolor: "rgb(238, 238, 238)'"
3009       hoverformat: ".4s"
3010       linecolor: "rgb(238, 238, 238)"
3011       linewidth: 1
3012       range: []
3013       showgrid: True
3014       showline: True
3015       showticklabels: True
3016       tickcolor: "rgb(238, 238, 238)"
3017       title: "Packets Per Second [pps]"
3018       zeroline: False
3019     boxmode: "group"
3020     boxgroupgap: 0.5
3021     autosize: False
3022     margin:
3023       t: 50
3024       b: 20
3025       l: 50
3026       r: 20
3027     showlegend: True
3028     legend:
3029       orientation: "h"
3030     width: 700
3031     height: 1000
3032
3033 -
3034   type: "plot"
3035   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3036   algorithm: "plot_performance_box"
3037   output-file-type: ".html"
3038   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3039   data:
3040     csit-dpdk-perf-1710-all:
3041     - 2
3042     - 3
3043   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3044   parameters:
3045   - "throughput"
3046   - "parent"
3047   traces:
3048     hoverinfo: "x+y"
3049     boxpoints: "outliers"
3050     whiskerwidth: 0
3051   layout:
3052     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3053     xaxis:
3054       autorange: True
3055       autotick: False
3056       fixedrange: False
3057       gridcolor: "rgb(238, 238, 238)"
3058       linecolor: "rgb(238, 238, 238)"
3059       linewidth: 1
3060       showgrid: True
3061       showline: True
3062       showticklabels: True
3063       tickcolor: "rgb(238, 238, 238)"
3064       tickmode: "linear"
3065       title: "Indexed Test Cases"
3066       zeroline: False
3067     yaxis:
3068       gridcolor: "rgb(238, 238, 238)'"
3069       hoverformat: ".4s"
3070       linecolor: "rgb(238, 238, 238)"
3071       linewidth: 1
3072       range: []
3073       showgrid: True
3074       showline: True
3075       showticklabels: True
3076       tickcolor: "rgb(238, 238, 238)"
3077       title: "Packets Per Second [pps]"
3078       zeroline: False
3079     boxmode: "group"
3080     boxgroupgap: 0.5
3081     autosize: False
3082     margin:
3083       t: 50
3084       b: 20
3085       l: 50
3086       r: 20
3087     showlegend: True
3088     legend:
3089       orientation: "h"
3090     width: 700
3091     height: 1000
3092
3093 -
3094   type: "plot"
3095   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3096   algorithm: "plot_performance_box"
3097   output-file-type: ".html"
3098   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3099   data:
3100     csit-dpdk-perf-1710-all:
3101     - 2
3102     - 3
3103   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3104   parameters:
3105   - "throughput"
3106   - "parent"
3107   traces:
3108     hoverinfo: "x+y"
3109     boxpoints: "outliers"
3110     whiskerwidth: 0
3111   layout:
3112     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3113     xaxis:
3114       autorange: True
3115       autotick: False
3116       fixedrange: False
3117       gridcolor: "rgb(238, 238, 238)"
3118       linecolor: "rgb(238, 238, 238)"
3119       linewidth: 1
3120       showgrid: True
3121       showline: True
3122       showticklabels: True
3123       tickcolor: "rgb(238, 238, 238)"
3124       tickmode: "linear"
3125       title: "Indexed Test Cases"
3126       zeroline: False
3127     yaxis:
3128       gridcolor: "rgb(238, 238, 238)'"
3129       hoverformat: ".4s"
3130       linecolor: "rgb(238, 238, 238)"
3131       linewidth: 1
3132       range: [20000000, 30000000]
3133       showgrid: True
3134       showline: True
3135       showticklabels: True
3136       tickcolor: "rgb(238, 238, 238)"
3137       title: "Packets Per Second [pps]"
3138       zeroline: False
3139     boxmode: "group"
3140     boxgroupgap: 0.5
3141     autosize: False
3142     margin:
3143       t: 50
3144       b: 20
3145       l: 50
3146       r: 20
3147     showlegend: True
3148     legend:
3149       orientation: "h"
3150     width: 700
3151     height: 1000
3152
3153 -
3154   type: "plot"
3155   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3156   algorithm: "plot_performance_box"
3157   output-file-type: ".html"
3158   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3159   data:
3160     csit-dpdk-perf-1710-all:
3161     - 2
3162     - 3
3163   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3164   parameters:
3165   - "throughput"
3166   - "parent"
3167   traces:
3168     hoverinfo: "x+y"
3169     boxpoints: "outliers"
3170     whiskerwidth: 0
3171   layout:
3172     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3173     xaxis:
3174       autorange: True
3175       autotick: False
3176       fixedrange: False
3177       gridcolor: "rgb(238, 238, 238)"
3178       linecolor: "rgb(238, 238, 238)"
3179       linewidth: 1
3180       showgrid: True
3181       showline: True
3182       showticklabels: True
3183       tickcolor: "rgb(238, 238, 238)"
3184       tickmode: "linear"
3185       title: "Indexed Test Cases"
3186       zeroline: False
3187     yaxis:
3188       gridcolor: "rgb(238, 238, 238)'"
3189       hoverformat: ".4s"
3190       linecolor: "rgb(238, 238, 238)"
3191       linewidth: 1
3192       range: [20000000, 30000000]
3193       showgrid: True
3194       showline: True
3195       showticklabels: True
3196       tickcolor: "rgb(238, 238, 238)"
3197       title: "Packets Per Second [pps]"
3198       zeroline: False
3199     boxmode: "group"
3200     boxgroupgap: 0.5
3201     autosize: False
3202     margin:
3203       t: 50
3204       b: 20
3205       l: 50
3206       r: 20
3207     showlegend: True
3208     legend:
3209       orientation: "h"
3210     width: 700
3211     height: 1000
3212
3213 ## Plot latency
3214 #
3215 ## VPP L2 sel1
3216 #-
3217 #  type: "plot"
3218 #  title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3219 #  algorithm: "plot_latency_box"
3220 #  output-file-type: ".html"
3221 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3222 #  data:
3223 #    csit-vpp-perf-1710-all:
3224 #    -
3225 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3226 #  parameters:
3227 #  - "latency"
3228 #  - "parent"
3229 #  traces:
3230 #    boxmean: False
3231 #  layout:
3232 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3233 #    xaxis:
3234 #      autorange: True
3235 #      autotick: False
3236 #      fixedrange: False
3237 #      gridcolor: "rgb(238, 238, 238)"
3238 #      linecolor: "rgb(238, 238, 238)"
3239 #      linewidth: 1
3240 #      showgrid: True
3241 #      showline: True
3242 #      showticklabels: True
3243 #      tickcolor: "rgb(238, 238, 238)"
3244 #      tickmode: "linear"
3245 #      title: "Indexed Test Cases"
3246 #      zeroline: False
3247 #    yaxis:
3248 #      gridcolor: "rgb(238, 238, 238)'"
3249 #      hoverformat: ""
3250 #      linecolor: "rgb(238, 238, 238)"
3251 #      linewidth: 1
3252 #      range: []
3253 #      showgrid: True
3254 #      showline: True
3255 #      showticklabels: True
3256 #      tickcolor: "rgb(238, 238, 238)"
3257 #      title: "Latency min/avg/max [uSec]"
3258 #      zeroline: False
3259 #    boxmode: "group"
3260 #    boxgroupgap: 0.5
3261 #    autosize: False
3262 #    margin:
3263 #      t: 50
3264 #      b: 20
3265 #      l: 50
3266 #      r: 20
3267 #    showlegend: True
3268 #    legend:
3269 #      orientation: "h"
3270 #    width: 700
3271 #    height: 1000
3272 #
3273 #-
3274 #  type: "plot"
3275 #  title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3276 #  algorithm: "plot_latency_box"
3277 #  output-file-type: ".html"
3278 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3279 #  data:
3280 #    csit-vpp-perf-1710-all:
3281 #    -
3282 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3283 #  parameters:
3284 #  - "latency"
3285 #  - "parent"
3286 #  traces:
3287 #    boxmean: False
3288 #  layout:
3289 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3290 #    xaxis:
3291 #      autorange: True
3292 #      autotick: False
3293 #      fixedrange: False
3294 #      gridcolor: "rgb(238, 238, 238)"
3295 #      linecolor: "rgb(238, 238, 238)"
3296 #      linewidth: 1
3297 #      showgrid: True
3298 #      showline: True
3299 #      showticklabels: True
3300 #      tickcolor: "rgb(238, 238, 238)"
3301 #      tickmode: "linear"
3302 #      title: "Indexed Test Cases"
3303 #      zeroline: False
3304 #    yaxis:
3305 #      gridcolor: "rgb(238, 238, 238)'"
3306 #      hoverformat: ""
3307 #      linecolor: "rgb(238, 238, 238)"
3308 #      linewidth: 1
3309 #      range: []
3310 #      showgrid: True
3311 #      showline: True
3312 #      showticklabels: True
3313 #      tickcolor: "rgb(238, 238, 238)"
3314 #      title: "Latency min/avg/max [uSec]"
3315 #      zeroline: False
3316 #    boxmode: "group"
3317 #    boxgroupgap: 0.5
3318 #    autosize: False
3319 #    margin:
3320 #      t: 50
3321 #      b: 20
3322 #      l: 50
3323 #      r: 20
3324 #    showlegend: True
3325 #    legend:
3326 #      orientation: "h"
3327 #    width: 700
3328 #    height: 1000
3329 #
3330 ## VPP L2 sel2
3331 #-
3332 #  type: "plot"
3333 #  title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3334 #  algorithm: "plot_latency_box"
3335 #  output-file-type: ".html"
3336 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3337 #  data:
3338 #    csit-vpp-perf-1710-all:
3339 #    -
3340 #  filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3341 #  parameters:
3342 #  - "latency"
3343 #  - "parent"
3344 #  traces:
3345 #    boxmean: False
3346 #  layout:
3347 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3348 #    xaxis:
3349 #      autorange: True
3350 #      autotick: False
3351 #      fixedrange: False
3352 #      gridcolor: "rgb(238, 238, 238)"
3353 #      linecolor: "rgb(238, 238, 238)"
3354 #      linewidth: 1
3355 #      showgrid: True
3356 #      showline: True
3357 #      showticklabels: True
3358 #      tickcolor: "rgb(238, 238, 238)"
3359 #      tickmode: "linear"
3360 #      title: "Indexed Test Cases"
3361 #      zeroline: False
3362 #    yaxis:
3363 #      gridcolor: "rgb(238, 238, 238)'"
3364 #      hoverformat: ""
3365 #      linecolor: "rgb(238, 238, 238)"
3366 #      linewidth: 1
3367 #      range: []
3368 #      showgrid: True
3369 #      showline: True
3370 #      showticklabels: True
3371 #      tickcolor: "rgb(238, 238, 238)"
3372 #      title: "Latency min/avg/max [uSec]"
3373 #      zeroline: False
3374 #    boxmode: "group"
3375 #    boxgroupgap: 0.5
3376 #    autosize: False
3377 #    margin:
3378 #      t: 50
3379 #      b: 20
3380 #      l: 50
3381 #      r: 20
3382 #    showlegend: True
3383 #    legend:
3384 #      orientation: "h"
3385 #    width: 700
3386 #    height: 1000
3387 #
3388 #-
3389 #  type: "plot"
3390 #  title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3391 #  algorithm: "plot_latency_box"
3392 #  output-file-type: ".html"
3393 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3394 #  data:
3395 #    csit-vpp-perf-1710-all:
3396 #    -
3397 #  filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3398 #  parameters:
3399 #  - "latency"
3400 #  - "parent"
3401 #  traces:
3402 #    boxmean: False
3403 #  layout:
3404 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3405 #    xaxis:
3406 #      autorange: True
3407 #      autotick: False
3408 #      fixedrange: False
3409 #      gridcolor: "rgb(238, 238, 238)"
3410 #      linecolor: "rgb(238, 238, 238)"
3411 #      linewidth: 1
3412 #      showgrid: True
3413 #      showline: True
3414 #      showticklabels: True
3415 #      tickcolor: "rgb(238, 238, 238)"
3416 #      tickmode: "linear"
3417 #      title: "Indexed Test Cases"
3418 #      zeroline: False
3419 #    yaxis:
3420 #      gridcolor: "rgb(238, 238, 238)'"
3421 #      hoverformat: ""
3422 #      linecolor: "rgb(238, 238, 238)"
3423 #      linewidth: 1
3424 #      range: []
3425 #      showgrid: True
3426 #      showline: True
3427 #      showticklabels: True
3428 #      tickcolor: "rgb(238, 238, 238)"
3429 #      title: "Latency min/avg/max [uSec]"
3430 #      zeroline: False
3431 #    boxmode: "group"
3432 #    boxgroupgap: 0.5
3433 #    autosize: False
3434 #    margin:
3435 #      t: 50
3436 #      b: 20
3437 #      l: 50
3438 #      r: 20
3439 #    showlegend: True
3440 #    legend:
3441 #      orientation: "h"
3442 #    width: 700
3443 #    height: 1000
3444 #
3445 ## VPP IP4
3446 #-
3447 #  type: "plot"
3448 #  title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3449 #  algorithm: "plot_latency_box"
3450 #  output-file-type: ".html"
3451 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3452 #  data:
3453 #    csit-vpp-perf-1710-all:
3454 #    -
3455 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3456 #  parameters:
3457 #  - "latency"
3458 #  - "parent"
3459 #  traces:
3460 #    boxmean: False
3461 #  layout:
3462 #    title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3463 #    xaxis:
3464 #      autorange: True
3465 #      autotick: False
3466 #      fixedrange: False
3467 #      gridcolor: "rgb(238, 238, 238)"
3468 #      linecolor: "rgb(238, 238, 238)"
3469 #      linewidth: 1
3470 #      showgrid: True
3471 #      showline: True
3472 #      showticklabels: True
3473 #      tickcolor: "rgb(238, 238, 238)"
3474 #      tickmode: "linear"
3475 #      title: "Indexed Test Cases"
3476 #      zeroline: False
3477 #    yaxis:
3478 #      gridcolor: "rgb(238, 238, 238)'"
3479 #      hoverformat: ""
3480 #      linecolor: "rgb(238, 238, 238)"
3481 #      linewidth: 1
3482 #      range: []
3483 #      showgrid: True
3484 #      showline: True
3485 #      showticklabels: True
3486 #      tickcolor: "rgb(238, 238, 238)"
3487 #      title: "Latency min/avg/max [uSec]"
3488 #      zeroline: False
3489 #    boxmode: "group"
3490 #    boxgroupgap: 0.5
3491 #    autosize: False
3492 #    margin:
3493 #      t: 50
3494 #      b: 20
3495 #      l: 50
3496 #      r: 20
3497 #    showlegend: True
3498 #    legend:
3499 #      orientation: "h"
3500 #    width: 700
3501 #    height: 1000
3502 #
3503 #-
3504 #  type: "plot"
3505 #  title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3506 #  algorithm: "plot_latency_box"
3507 #  output-file-type: ".html"
3508 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3509 #  data:
3510 #    csit-vpp-perf-1710-all:
3511 #    -
3512 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3513 #  parameters:
3514 #  - "latency"
3515 #  - "parent"
3516 #  traces:
3517 #    boxmean: False
3518 #  layout:
3519 #    title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3520 #    xaxis:
3521 #      autorange: True
3522 #      autotick: False
3523 #      fixedrange: False
3524 #      gridcolor: "rgb(238, 238, 238)"
3525 #      linecolor: "rgb(238, 238, 238)"
3526 #      linewidth: 1
3527 #      showgrid: True
3528 #      showline: True
3529 #      showticklabels: True
3530 #      tickcolor: "rgb(238, 238, 238)"
3531 #      tickmode: "linear"
3532 #      title: "Indexed Test Cases"
3533 #      zeroline: False
3534 #    yaxis:
3535 #      gridcolor: "rgb(238, 238, 238)'"
3536 #      hoverformat: ""
3537 #      linecolor: "rgb(238, 238, 238)"
3538 #      linewidth: 1
3539 #      range: []
3540 #      showgrid: True
3541 #      showline: True
3542 #      showticklabels: True
3543 #      tickcolor: "rgb(238, 238, 238)"
3544 #      title: "Latency min/avg/max [uSec]"
3545 #      zeroline: False
3546 #    boxmode: "group"
3547 #    boxgroupgap: 0.5
3548 #    autosize: False
3549 #    margin:
3550 #      t: 50
3551 #      b: 20
3552 #      l: 50
3553 #      r: 20
3554 #    showlegend: True
3555 #    legend:
3556 #      orientation: "h"
3557 #    width: 700
3558 #    height: 1000
3559 #
3560 ## VPP IP6
3561 #-
3562 #  type: "plot"
3563 #  title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3564 #  algorithm: "plot_latency_box"
3565 #  output-file-type: ".html"
3566 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3567 #  data:
3568 #    csit-vpp-perf-1710-all:
3569 #    -
3570 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3571 #  parameters:
3572 #  - "latency"
3573 #  - "parent"
3574 #  traces:
3575 #    boxmean: False
3576 #  layout:
3577 #    title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3578 #    xaxis:
3579 #      autorange: True
3580 #      autotick: False
3581 #      fixedrange: False
3582 #      gridcolor: "rgb(238, 238, 238)"
3583 #      linecolor: "rgb(238, 238, 238)"
3584 #      linewidth: 1
3585 #      showgrid: True
3586 #      showline: True
3587 #      showticklabels: True
3588 #      tickcolor: "rgb(238, 238, 238)"
3589 #      tickmode: "linear"
3590 #      title: "Indexed Test Cases"
3591 #      zeroline: False
3592 #    yaxis:
3593 #      gridcolor: "rgb(238, 238, 238)'"
3594 #      hoverformat: ""
3595 #      linecolor: "rgb(238, 238, 238)"
3596 #      linewidth: 1
3597 #      range: []
3598 #      showgrid: True
3599 #      showline: True
3600 #      showticklabels: True
3601 #      tickcolor: "rgb(238, 238, 238)"
3602 #      title: "Latency min/avg/max [uSec]"
3603 #      zeroline: False
3604 #    boxmode: "group"
3605 #    boxgroupgap: 0.5
3606 #    autosize: False
3607 #    margin:
3608 #      t: 50
3609 #      b: 20
3610 #      l: 50
3611 #      r: 20
3612 #    showlegend: True
3613 #    legend:
3614 #      orientation: "h"
3615 #    width: 700
3616 #    height: 1000
3617 #
3618 #-
3619 #  type: "plot"
3620 #  title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3621 #  algorithm: "plot_latency_box"
3622 #  output-file-type: ".html"
3623 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3624 #  data:
3625 #    csit-vpp-perf-1710-all:
3626 #    -
3627 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3628 #  parameters:
3629 #  - "latency"
3630 #  - "parent"
3631 #  traces:
3632 #    boxmean: False
3633 #  layout:
3634 #    title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3635 #    xaxis:
3636 #      autorange: True
3637 #      autotick: False
3638 #      fixedrange: False
3639 #      gridcolor: "rgb(238, 238, 238)"
3640 #      linecolor: "rgb(238, 238, 238)"
3641 #      linewidth: 1
3642 #      showgrid: True
3643 #      showline: True
3644 #      showticklabels: True
3645 #      tickcolor: "rgb(238, 238, 238)"
3646 #      tickmode: "linear"
3647 #      title: "Indexed Test Cases"
3648 #      zeroline: False
3649 #    yaxis:
3650 #      gridcolor: "rgb(238, 238, 238)'"
3651 #      hoverformat: ""
3652 #      linecolor: "rgb(238, 238, 238)"
3653 #      linewidth: 1
3654 #      range: []
3655 #      showgrid: True
3656 #      showline: True
3657 #      showticklabels: True
3658 #      tickcolor: "rgb(238, 238, 238)"
3659 #      title: "Latency min/avg/max [uSec]"
3660 #      zeroline: False
3661 #    boxmode: "group"
3662 #    boxgroupgap: 0.5
3663 #    autosize: False
3664 #    margin:
3665 #      t: 50
3666 #      b: 20
3667 #      l: 50
3668 #      r: 20
3669 #    showlegend: True
3670 #    legend:
3671 #      orientation: "h"
3672 #    width: 700
3673 #    height: 1000
3674 #
3675 ## VPP IP4_overlay
3676 #-
3677 #  type: "plot"
3678 #  title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3679 #  algorithm: "plot_latency_box"
3680 #  output-file-type: ".html"
3681 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3682 #  data:
3683 #    csit-vpp-perf-1710-all:
3684 #    -
3685 #  filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3686 #  parameters:
3687 #  - "latency"
3688 #  - "parent"
3689 #  traces:
3690 #    boxmean: False
3691 #  layout:
3692 #    title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3693 #    xaxis:
3694 #      autorange: True
3695 #      autotick: False
3696 #      fixedrange: False
3697 #      gridcolor: "rgb(238, 238, 238)"
3698 #      linecolor: "rgb(238, 238, 238)"
3699 #      linewidth: 1
3700 #      showgrid: True
3701 #      showline: True
3702 #      showticklabels: True
3703 #      tickcolor: "rgb(238, 238, 238)"
3704 #      tickmode: "linear"
3705 #      title: "Indexed Test Cases"
3706 #      zeroline: False
3707 #    yaxis:
3708 #      gridcolor: "rgb(238, 238, 238)'"
3709 #      hoverformat: ""
3710 #      linecolor: "rgb(238, 238, 238)"
3711 #      linewidth: 1
3712 #      range: []
3713 #      showgrid: True
3714 #      showline: True
3715 #      showticklabels: True
3716 #      tickcolor: "rgb(238, 238, 238)"
3717 #      title: "Latency min/avg/max [uSec]"
3718 #      zeroline: False
3719 #    boxmode: "group"
3720 #    boxgroupgap: 0.5
3721 #    autosize: False
3722 #    margin:
3723 #      t: 50
3724 #      b: 20
3725 #      l: 50
3726 #      r: 20
3727 #    showlegend: True
3728 #    legend:
3729 #      orientation: "h"
3730 #    width: 700
3731 #    height: 1000
3732 #
3733 #-
3734 #  type: "plot"
3735 #  title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3736 #  algorithm: "plot_latency_box"
3737 #  output-file-type: ".html"
3738 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3739 #  data:
3740 #    csit-vpp-perf-1710-all:
3741 #    -
3742 #  filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3743 #  parameters:
3744 #  - "latency"
3745 #  - "parent"
3746 #  traces:
3747 #    boxmean: False
3748 #  layout:
3749 #    title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3750 #    xaxis:
3751 #      autorange: True
3752 #      autotick: False
3753 #      fixedrange: False
3754 #      gridcolor: "rgb(238, 238, 238)"
3755 #      linecolor: "rgb(238, 238, 238)"
3756 #      linewidth: 1
3757 #      showgrid: True
3758 #      showline: True
3759 #      showticklabels: True
3760 #      tickcolor: "rgb(238, 238, 238)"
3761 #      tickmode: "linear"
3762 #      title: "Indexed Test Cases"
3763 #      zeroline: False
3764 #    yaxis:
3765 #      gridcolor: "rgb(238, 238, 238)'"
3766 #      hoverformat: ""
3767 #      linecolor: "rgb(238, 238, 238)"
3768 #      linewidth: 1
3769 #      range: []
3770 #      showgrid: True
3771 #      showline: True
3772 #      showticklabels: True
3773 #      tickcolor: "rgb(238, 238, 238)"
3774 #      title: "Latency min/avg/max [uSec]"
3775 #      zeroline: False
3776 #    boxmode: "group"
3777 #    boxgroupgap: 0.5
3778 #    autosize: False
3779 #    margin:
3780 #      t: 50
3781 #      b: 20
3782 #      l: 50
3783 #      r: 20
3784 #    showlegend: True
3785 #    legend:
3786 #      orientation: "h"
3787 #    width: 700
3788 #    height: 1000
3789 #
3790 ## VPP IP6_overlay
3791 #-
3792 #  type: "plot"
3793 #  title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3794 #  algorithm: "plot_latency_box"
3795 #  output-file-type: ".html"
3796 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3797 #  data:
3798 #    csit-vpp-perf-1710-all:
3799 #    -
3800 #  filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3801 #  parameters:
3802 #  - "latency"
3803 #  - "parent"
3804 #  traces:
3805 #    boxmean: False
3806 #  layout:
3807 #    title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3808 #    xaxis:
3809 #      autorange: True
3810 #      autotick: False
3811 #      fixedrange: False
3812 #      gridcolor: "rgb(238, 238, 238)"
3813 #      linecolor: "rgb(238, 238, 238)"
3814 #      linewidth: 1
3815 #      showgrid: True
3816 #      showline: True
3817 #      showticklabels: True
3818 #      tickcolor: "rgb(238, 238, 238)"
3819 #      tickmode: "linear"
3820 #      title: "Indexed Test Cases"
3821 #      zeroline: False
3822 #    yaxis:
3823 #      gridcolor: "rgb(238, 238, 238)'"
3824 #      hoverformat: ""
3825 #      linecolor: "rgb(238, 238, 238)"
3826 #      linewidth: 1
3827 #      range: []
3828 #      showgrid: True
3829 #      showline: True
3830 #      showticklabels: True
3831 #      tickcolor: "rgb(238, 238, 238)"
3832 #      title: "Latency min/avg/max [uSec]"
3833 #      zeroline: False
3834 #    boxmode: "group"
3835 #    boxgroupgap: 0.5
3836 #    autosize: False
3837 #    margin:
3838 #      t: 50
3839 #      b: 20
3840 #      l: 50
3841 #      r: 20
3842 #    showlegend: True
3843 #    legend:
3844 #      orientation: "h"
3845 #    width: 700
3846 #    height: 1000
3847 #
3848 #-
3849 #  type: "plot"
3850 #  title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3851 #  algorithm: "plot_latency_box"
3852 #  output-file-type: ".html"
3853 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3854 #  data:
3855 #    csit-vpp-perf-1710-all:
3856 #    -
3857 #  filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3858 #  parameters:
3859 #  - "latency"
3860 #  - "parent"
3861 #  traces:
3862 #    boxmean: False
3863 #  layout:
3864 #    title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3865 #    xaxis:
3866 #      autorange: True
3867 #      autotick: False
3868 #      fixedrange: False
3869 #      gridcolor: "rgb(238, 238, 238)"
3870 #      linecolor: "rgb(238, 238, 238)"
3871 #      linewidth: 1
3872 #      showgrid: True
3873 #      showline: True
3874 #      showticklabels: True
3875 #      tickcolor: "rgb(238, 238, 238)"
3876 #      tickmode: "linear"
3877 #      title: "Indexed Test Cases"
3878 #      zeroline: False
3879 #    yaxis:
3880 #      gridcolor: "rgb(238, 238, 238)'"
3881 #      hoverformat: ""
3882 #      linecolor: "rgb(238, 238, 238)"
3883 #      linewidth: 1
3884 #      range: []
3885 #      showgrid: True
3886 #      showline: True
3887 #      showticklabels: True
3888 #      tickcolor: "rgb(238, 238, 238)"
3889 #      title: "Latency min/avg/max [uSec]"
3890 #      zeroline: False
3891 #    boxmode: "group"
3892 #    boxgroupgap: 0.5
3893 #    autosize: False
3894 #    margin:
3895 #      t: 50
3896 #      b: 20
3897 #      l: 50
3898 #      r: 20
3899 #    showlegend: True
3900 #    legend:
3901 #      orientation: "h"
3902 #    width: 700
3903 #    height: 1000
3904 #
3905 ## VPP VM VHOST
3906 #-
3907 #  type: "plot"
3908 #  title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3909 #  algorithm: "plot_latency_box"
3910 #  output-file-type: ".html"
3911 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3912 #  data:
3913 #    csit-vpp-perf-1710-all:
3914 #    -
3915 #  filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3916 #  parameters:
3917 #  - "latency"
3918 #  - "parent"
3919 #  traces:
3920 #    boxmean: False
3921 #  layout:
3922 #    title: "64B-1t1c-.*vhost.*-ndrdisc"
3923 #    xaxis:
3924 #      autorange: True
3925 #      autotick: False
3926 #      fixedrange: False
3927 #      gridcolor: "rgb(238, 238, 238)"
3928 #      linecolor: "rgb(238, 238, 238)"
3929 #      linewidth: 1
3930 #      showgrid: True
3931 #      showline: True
3932 #      showticklabels: True
3933 #      tickcolor: "rgb(238, 238, 238)"
3934 #      tickmode: "linear"
3935 #      title: "Indexed Test Cases"
3936 #      zeroline: False
3937 #    yaxis:
3938 #      gridcolor: "rgb(238, 238, 238)'"
3939 #      hoverformat: ""
3940 #      linecolor: "rgb(238, 238, 238)"
3941 #      linewidth: 1
3942 #      range: []
3943 #      showgrid: True
3944 #      showline: True
3945 #      showticklabels: True
3946 #      tickcolor: "rgb(238, 238, 238)"
3947 #      title: "Latency min/avg/max [uSec]"
3948 #      zeroline: False
3949 #    boxmode: "group"
3950 #    boxgroupgap: 0.5
3951 #    autosize: False
3952 #    margin:
3953 #      t: 50
3954 #      b: 20
3955 #      l: 50
3956 #      r: 20
3957 #    showlegend: True
3958 #    legend:
3959 #      orientation: "h"
3960 #    width: 700
3961 #    height: 1000
3962 #
3963 #-
3964 #  type: "plot"
3965 #  title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3966 #  algorithm: "plot_latency_box"
3967 #  output-file-type: ".html"
3968 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3969 #  data:
3970 #    csit-vpp-perf-1710-all:
3971 #    -
3972 #  filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3973 #  parameters:
3974 #  - "latency"
3975 #  - "parent"
3976 #  traces:
3977 #    boxmean: False
3978 #  layout:
3979 #    title: "64B-2t2c-.*vhost.*-ndrdisc"
3980 #    xaxis:
3981 #      autorange: True
3982 #      autotick: False
3983 #      fixedrange: False
3984 #      gridcolor: "rgb(238, 238, 238)"
3985 #      linecolor: "rgb(238, 238, 238)"
3986 #      linewidth: 1
3987 #      showgrid: True
3988 #      showline: True
3989 #      showticklabels: True
3990 #      tickcolor: "rgb(238, 238, 238)"
3991 #      tickmode: "linear"
3992 #      title: "Indexed Test Cases"
3993 #      zeroline: False
3994 #    yaxis:
3995 #      gridcolor: "rgb(238, 238, 238)'"
3996 #      hoverformat: ""
3997 #      linecolor: "rgb(238, 238, 238)"
3998 #      linewidth: 1
3999 #      range: []
4000 #      showgrid: True
4001 #      showline: True
4002 #      showticklabels: True
4003 #      tickcolor: "rgb(238, 238, 238)"
4004 #      title: "Latency min/avg/max [uSec]"
4005 #      zeroline: False
4006 #    boxmode: "group"
4007 #    boxgroupgap: 0.5
4008 #    autosize: False
4009 #    margin:
4010 #      t: 50
4011 #      b: 20
4012 #      l: 50
4013 #      r: 20
4014 #    showlegend: True
4015 #    legend:
4016 #      orientation: "h"
4017 #    width: 700
4018 #    height: 1000
4019 #
4020 ## VPP VM VHOST selection
4021 #-
4022 #  type: "plot"
4023 #  title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
4024 #  algorithm: "plot_latency_box"
4025 #  output-file-type: ".html"
4026 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
4027 #  data:
4028 #    csit-vpp-perf-1710-all:
4029 #    -
4030 #  filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
4031 #  parameters:
4032 #  - "latency"
4033 #  - "parent"
4034 #  traces:
4035 #    boxmean: False
4036 #  layout:
4037 #    title: "64B-1t1c-.*vhost.*-ndrdisc"
4038 #    xaxis:
4039 #      autorange: True
4040 #      autotick: False
4041 #      fixedrange: False
4042 #      gridcolor: "rgb(238, 238, 238)"
4043 #      linecolor: "rgb(238, 238, 238)"
4044 #      linewidth: 1
4045 #      showgrid: True
4046 #      showline: True
4047 #      showticklabels: True
4048 #      tickcolor: "rgb(238, 238, 238)"
4049 #      tickmode: "linear"
4050 #      title: "Indexed Test Cases"
4051 #      zeroline: False
4052 #    yaxis:
4053 #      gridcolor: "rgb(238, 238, 238)'"
4054 #      hoverformat: ""
4055 #      linecolor: "rgb(238, 238, 238)"
4056 #      linewidth: 1
4057 #      range: []
4058 #      showgrid: True
4059 #      showline: True
4060 #      showticklabels: True
4061 #      tickcolor: "rgb(238, 238, 238)"
4062 #      title: "Latency min/avg/max [uSec]"
4063 #      zeroline: False
4064 #    boxmode: "group"
4065 #    boxgroupgap: 0.5
4066 #    autosize: False
4067 #    margin:
4068 #      t: 50
4069 #      b: 20
4070 #      l: 50
4071 #      r: 20
4072 #    showlegend: True
4073 #    legend:
4074 #      orientation: "h"
4075 #    width: 700
4076 #    height: 1000
4077 #
4078 #-
4079 #  type: "plot"
4080 #  title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
4081 #  algorithm: "plot_latency_box"
4082 #  output-file-type: ".html"
4083 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
4084 #  data:
4085 #    csit-vpp-perf-1710-all:
4086 #    -
4087 #  filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
4088 #  parameters:
4089 #  - "latency"
4090 #  - "parent"
4091 #  traces:
4092 #    boxmean: False
4093 #  layout:
4094 #    title: "64B-2t2c-.*vhost.*-ndrdisc"
4095 #    xaxis:
4096 #      autorange: True
4097 #      autotick: False
4098 #      fixedrange: False
4099 #      gridcolor: "rgb(238, 238, 238)"
4100 #      linecolor: "rgb(238, 238, 238)"
4101 #      linewidth: 1
4102 #      showgrid: True
4103 #      showline: True
4104 #      showticklabels: True
4105 #      tickcolor: "rgb(238, 238, 238)"
4106 #      tickmode: "linear"
4107 #      title: "Indexed Test Cases"
4108 #      zeroline: False
4109 #    yaxis:
4110 #      gridcolor: "rgb(238, 238, 238)'"
4111 #      hoverformat: ""
4112 #      linecolor: "rgb(238, 238, 238)"
4113 #      linewidth: