PAL test runs
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
42     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
43     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
44     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
45     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
46
47     # Detailed test configurations
48     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
49     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
50     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
51
52     # Detailed tests operational data
53     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
54     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
55
56     # .css patch file to fix tables generated by Sphinx
57     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
58     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
59
60   urls:
61     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
62     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
63
64   make-dirs:
65   # List the directories which are created while preparing the environment.
66   # All directories MUST be defined in "paths" section.
67   - "DIR[WORKING,DATA]"
68   - "DIR[STATIC,VPP]"
69   - "DIR[STATIC,DPDK]"
70   - "DIR[STATIC,ARCH]"
71   - "DIR[BUILD,LATEX]"
72   - "DIR[WORKING,SRC]"
73   - "DIR[WORKING,SRC,STATIC]"
74
75   remove-dirs:
76   # List the directories which are deleted while cleaning the environment.
77   # All directories MUST be defined in "paths" section.
78   #- "DIR[BUILD,HTML]"
79
80   build-dirs:
81   # List the directories where the results (build) is stored.
82   # All directories MUST be defined in "paths" section.
83   - "DIR[BUILD,HTML]"
84   - "DIR[BUILD,LATEX]"
85
86 -
87   type: "debug"
88   general:
89     input-format: "xml"  # zip or xml
90     extract: "robot-plugin/output.xml"  # Only for zip
91   builds:
92     # The files must be in the directory DIR[WORKING,DATA]
93     csit-dpdk-perf-1707-all:
94     -
95       build: 10
96       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
97     -
98       build: 9
99       file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
100     csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
101     -
102       build: 2
103       file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
104     csit-vpp-functional-1707-ubuntu1604-virl:
105     -
106       build: lastSuccessfulBuild
107       file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
108     hc2vpp-csit-integration-1707-ubuntu1604:
109     -
110       build: lastSuccessfulBuild
111       file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
112     csit-vpp-perf-1707-all:
113     -
114       build: 16
115       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
116     -
117       build: 17
118       file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
119
120 -
121   type: "static"
122   src-path: "{DIR[RST]}"
123   dst-path: "{DIR[WORKING,SRC]}"
124
125 -
126   type: "input"  # Ignored in debug mode
127   general:
128     file-name: "robot-plugin.zip"
129     file-format: ".zip"
130     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
131     extract: "robot-plugin/output.xml"
132   builds:
133 #    csit-vpp-perf-1707-all:
134 #    - 9
135 #    - 10
136 #    - 13
137 #    - 14
138 #    - 15
139 #    - 16
140 #    - 17
141 #    - 18
142 #    - 19
143 #    - 21
144 #    csit-vpp-perf-1710-all:
145 #    -
146 #    csit-dpdk-perf-1710-all:
147 #    - 1
148 #    - 2
149 #    - 3
150 #    - 4
151 #    - 5
152 #    - 6
153 #    - 7
154 #    - 8
155 #    - 9
156 #    - 10
157     csit-vpp-functional-1710-ubuntu1604-virl:
158     - 16
159 #    hc2vpp-csit-perf-master-ubuntu1604:  # REMOVE???
160 #    - 8
161 #    - 9
162     hc2vpp-csit-integration-1710-ubuntu1604:
163     - lastSuccessfulBuild
164 #    csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:  # REMOVE???
165 #    - 2
166
167 -
168   type: "output"
169   format:
170     html:
171     - full
172     pdf:
173     - minimal
174
175 ################################################################################
176 ###                               T A B L E S                                ###
177 ################################################################################
178
179 #-
180 #  type: "table"
181 #  title: "Performance improvements"
182 #  algorithm: "table_performance_improvements"
183 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
184 #  output-file-ext: ".csv"
185 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
186 #  columns:
187 #  -
188 #    title: "Functionality"
189 #    data: "template 1"
190 #  -
191 #    title: "Test Name"
192 #    data: "template 2"
193 #  -
194 #    title: "16.09 mean [Mpps]"
195 #    data: "template 3"
196 #  -
197 #    title: "17.01 mean [Mpps]"
198 #    data: "template 4"
199 #  -
200 #    title: "17.04 mean [Mpps]"
201 #    data: "template 5"
202 #  -
203 #    title: "17.07 mean [Mpps]"
204 #    data: "data csit-vpp-perf-1707-all mean"
205 #  -
206 #    title: "17.10 mean [Mpps]"
207 #    data: "data csit-vpp-perf-1710-all mean"
208 #  -
209 #    title: "17.10 stdev [Mpps]"
210 #    data: "data csit-vpp-perf-1710-all stdev"
211 #  -
212 #    title: "17.07 to 17.10 change [%]"
213 #    data: "operation relative_change 6 5"
214 #  rows: "generated"
215 #  data:
216 #    csit-vpp-perf-1707-all:
217 #    - 9
218 #    - 10
219 #    - 13
220 #    - 14
221 #    - 15
222 #    - 16
223 #    - 17
224 #    - 18
225 #    - 19
226 #    - 21
227 #    csit-vpp-perf-1710-all:
228 #    -
229 #  filter: "template"
230 #  parameters:
231 #  - "throughput"
232
233 #-
234 #  type: "table"
235 #  title: "Detailed Test Results - VPP Performance Results"
236 #  algorithm: "table_details"
237 #  output-file-ext: ".csv"
238 #  output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
239 #  columns:
240 #  -
241 #    title: "Name"
242 #    data: "data name"
243 #  -
244 #    title: "Documentation"
245 #    data: "data doc"
246 #  -
247 #    title: "Status"
248 #    data: "data msg"
249 #  rows: "generated"
250 #  data:
251 #    csit-vpp-perf-1710-all:
252 #    -
253 #  filter: "all"
254 #  parameters:
255 #  - "name"
256 #  - "parent"
257 #  - "doc"
258 #  - "msg"
259
260 #-
261 #  type: "table"
262 #  title: "Test configuration - VPP Performance Test Configs"
263 #  algorithm: "table_details"
264 #  output-file-ext: ".csv"
265 #  output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
266 #  columns:
267 #  -
268 #    title: "Name"
269 #    data: "data name"
270 #  -
271 #    title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
272 #    data: "data vat-history"
273 #  rows: "generated"
274 #  data:
275 #    csit-vpp-perf-1710-all:
276 #    -
277 #  filter: "all"
278 #  parameters:
279 #  - "parent"
280 #  - "name"
281 #  - "vat-history"
282
283 #-
284 #  type: "table"
285 #  title: "Test Operational Data - VPP Performance Operational Data"
286 #  algorithm: "table_details"
287 #  output-file-ext: ".csv"
288 #  output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
289 #  columns:
290 #  -
291 #    title: "Name"
292 #    data: "data name"
293 #  -
294 #    title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
295 #    data: "data show-run"
296 #  rows: "generated"
297 #  data:
298 #    csit-vpp-perf-1710-all:
299 #    -
300 #  filter: "all"
301 #  parameters:
302 #  - "parent"
303 #  - "name"
304 #  - "show-run"
305
306 -
307   type: "table"
308   title: "Detailed Test Results - VPP Functional Results"
309   algorithm: "table_details"
310   output-file-ext: ".csv"
311   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
312   columns:
313   -
314     title: "Name"
315     data: "data name"
316   -
317     title: "Documentation"
318     data: "data doc"
319   -
320     title: "Status"
321     data: "data status"
322   rows: "generated"
323   data:
324     csit-vpp-functional-1710-ubuntu1604-virl:
325     - 16
326   filter: "all"
327   parameters:
328   - "name"
329   - "parent"
330   - "doc"
331   - "status"
332
333 -
334   type: "table"
335   title: "Test configuration - VPP Functional Test Configs"
336   algorithm: "table_details"
337   output-file-ext: ".csv"
338   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
339   columns:
340   -
341     title: "Name"
342     data: "data name"
343   -
344     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
345     data: "data vat-history"
346   rows: "generated"
347   data:
348     csit-vpp-functional-1710-ubuntu1604-virl:
349     - 16
350   filter: "all"
351   parameters:
352   - "parent"
353   - "name"
354   - "vat-history"
355
356 #-
357 #  type: "table"
358 #  title: "Detailed Test Results - DPDK Performance Results"
359 #  algorithm: "table_details"
360 #  output-file-ext: ".csv"
361 #  output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
362 #  columns:
363 #  -
364 #    title: "Name"
365 #    data: "data name"
366 #  -
367 #    title: "Documentation"
368 #    data: "data doc"
369 #  -
370 #    title: "Status"
371 #    data: "data msg"
372 #  rows: "generated"
373 #  data:
374 #    csit-dpdk-perf-1710-all:
375 #    -
376 #  filter: "all"
377 #  parameters:
378 #  - "name"
379 #  - "parent"
380 #  - "doc"
381 #  - "msg"
382
383 -
384   type: "table"
385   title: "Detailed Test Results - Honeycomb Functional Results"
386   algorithm: "table_details"
387   output-file-ext: ".csv"
388   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
389   columns:
390   -
391     title: "Name"
392     data: "data name"
393   -
394     title: "Documentation"
395     data: "data doc"
396   -
397     title: "Status"
398     data: "data status"
399   rows: "generated"
400   data:
401     hc2vpp-csit-integration-1710-ubuntu1604:
402     - "lastSuccessfulBuild"
403   filter: "all"
404   parameters:
405   - "name"
406   - "parent"
407   - "doc"
408   - "status"
409
410 #-
411 #  type: "table"
412 #  title: "Detailed Test Results - NSH SFC Functional Results"
413 #  algorithm: "table_details"
414 #  output-file-ext: ".csv"
415 #  output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
416 #  columns:
417 #  -
418 #    title: "Name"
419 #    data: "data name"
420 #  -
421 #    title: "Documentation"
422 #    data: "data doc"
423 #  -
424 #    title: "Status"
425 #    data: "data status"
426 #  rows: "generated"
427 #  data:
428 #    csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
429 #    - 2
430 #  filter: "all"
431 #  parameters:
432 #  - "name"
433 #  - "parent"
434 #  - "doc"
435 #  - "status"
436
437 ################################################################################
438 ###                                F I L E S                                 ###
439 ################################################################################
440
441 #-
442 #  type: "file"
443 #  title: "VPP Performance Results"
444 #  algorithm: "file_test_results"
445 #  output-file-ext: ".rst"
446 #  output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
447 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
448 #  dir-tables: "{DIR[DTR,PERF,VPP]}"
449 #  data:
450 #    csit-vpp-perf-1710-all:
451 #    - 
452 #  filter: "all"
453 #  parameters:
454 #  - "name"
455 #  - "doc"
456 #  - "level"
457 #  data-start-level: 2  # 0, 1, 2, ...
458 #  chapters-start-level: 2  # 0, 1, 2, ...
459
460 #-
461 #  type: "file"
462 #  title: "VPP Performance Configuration"
463 #  algorithm: "file_test_results"
464 #  output-file-ext: ".rst"
465 #  output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
466 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
467 #  dir-tables: "{DIR[DTC,PERF,VPP]}"
468 #  data:
469 #    csit-vpp-perf-1710-all:
470 #    - 
471 #  filter: "all"
472 #  parameters:
473 #  - "name"
474 #  - "doc"
475 #  - "level"
476 #  data-start-level: 2  # 0, 1, 2, ...
477 #  chapters-start-level: 2  # 0, 1, 2, ...
478
479 #-
480 #  type: "file"
481 #  title: "VPP Performance Operational Data"
482 #  algorithm: "file_test_results"
483 #  output-file-ext: ".rst"
484 #  output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
485 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
486 #  dir-tables: "{DIR[DTO,PERF,VPP]}"
487 #  data:
488 #    csit-vpp-perf-1710-all:
489 #    - 
490 #  filter: "all"
491 #  parameters:
492 #  - "name"
493 #  - "doc"
494 #  - "level"
495 #  data-start-level: 2  # 0, 1, 2, ...
496 #  chapters-start-level: 2  # 0, 1, 2, ...
497
498 -
499   type: "file"
500   title: "VPP Functional Results"
501   algorithm: "file_test_results"
502   output-file-ext: ".rst"
503   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
504   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
505   dir-tables: "{DIR[DTR,FUNC,VPP]}"
506   data:
507     csit-vpp-functional-1710-ubuntu1604-virl:
508     - 16
509   filter: "all"
510   parameters:
511   - "name"
512   - "doc"
513   - "level"
514   data-start-level: 3  # 0, 1, 2, ...
515   chapters-start-level: 2  # 0, 1, 2, ...
516
517 -
518   type: "file"
519   title: "VPP Functional Configuration"
520   algorithm: "file_test_results"
521   output-file-ext: ".rst"
522   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
523   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
524   dir-tables: "{DIR[DTC,FUNC,VPP]}"
525   data:
526     csit-vpp-functional-1710-ubuntu1604-virl:
527     - 16
528   filter: "all"
529   parameters:
530   - "name"
531   - "doc"
532   - "level"
533   data-start-level: 3  # 0, 1, 2, ...
534   chapters-start-level: 2  # 0, 1, 2, ...
535
536 #-
537 #  type: "file"
538 #  title: "DPDK Performance Results"
539 #  algorithm: "file_test_results"
540 #  output-file-ext: ".rst"
541 #  output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
542 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
543 #  dir-tables: "{DIR[DTR,PERF,DPDK]}"
544 #  data:
545 #    csit-dpdk-perf-1710-all:
546 #    - 
547 #  filter: "all"
548 #  parameters:
549 #  - "name"
550 #  - "doc"
551 #  - "level"
552 #  chapters:
553 #  - "suites"
554 #  data-start-level: 2  # 0, 1, 2, ...
555 #  chapters-start-level: 2  # 0, 1, 2, ...
556
557 -
558   type: "file"
559   title: "Honeycomb Functional Results"
560   algorithm: "file_test_results"
561   output-file-ext: ".rst"
562   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
563   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
564   dir-tables: "{DIR[DTR,FUNC,HC]}"
565   data:
566     hc2vpp-csit-integration-1710-ubuntu1604:
567     - "lastSuccessfulBuild"
568   filter: "all"
569   parameters:
570   - "name"
571   - "doc"
572   - "level"
573   chapters:
574   - "suites"
575   data-start-level: 3  # 0, 1, 2, ...
576   chapters-start-level: 2  # 0, 1, 2, ...
577
578 #-
579 #  type: "file"
580 #  title: "NSH SFC Functional Results"
581 #  algorithm: "file_test_results"
582 #  output-file-ext: ".rst"
583 #  output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
584 #  file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
585 #  dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
586 #  data:
587 #    csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
588 #    - 
589 #  filter: "all"
590 #  parameters:
591 #  - "name"
592 #  - "doc"
593 #  - "level"
594 #  chapters:
595 #  - "suites"
596 #  data-start-level: 2  # 0, 1, 2, ...
597 #  chapters-start-level: 2  # 0, 1, 2, ...
598
599 ################################################################################
600 ###                                P L O T S                                 ###
601 ################################################################################
602
603 ## Plot packets per second
604 #
605 ## VPP L2 sel1
606 #-
607 #  type: "plot"
608 #  title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
609 #  algorithm: "plot_performance_box"
610 #  output-file-type: ".html"
611 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
612 #  data:
613 #    csit-vpp-perf-1710-all:
614 #    -
615 #  # Keep this formatting, the filter is enclosed with " (quotation mark) and
616 #  # each tag is enclosed with ' (apostrophe).
617 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
618 #  parameters:
619 #  - "throughput"
620 #  - "parent"
621 #  traces:
622 #    hoverinfo: "x+y"
623 #    boxpoints: "outliers"
624 #    whiskerwidth: 0
625 #  layout:
626 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
627 #    xaxis:
628 #      autorange: True
629 #      autotick: False
630 #      fixedrange: False
631 #      gridcolor: "rgb(238, 238, 238)"
632 #      linecolor: "rgb(238, 238, 238)"
633 #      linewidth: 1
634 #      showgrid: True
635 #      showline: True
636 #      showticklabels: True
637 #      tickcolor: "rgb(238, 238, 238)"
638 #      tickmode: "linear"
639 #      title: "Indexed Test Cases"
640 #      zeroline: False
641 #    yaxis:
642 #      gridcolor: "rgb(238, 238, 238)'"
643 #      hoverformat: ".4s"
644 #      linecolor: "rgb(238, 238, 238)"
645 #      linewidth: 1
646 #      range: []
647 #      showgrid: True
648 #      showline: True
649 #      showticklabels: True
650 #      tickcolor: "rgb(238, 238, 238)"
651 #      title: "Packets Per Second [pps]"
652 #      zeroline: False
653 #    boxmode: "group"
654 #    boxgroupgap: 0.5
655 #    autosize: False
656 #    margin:
657 #      t: 50
658 #      b: 20
659 #      l: 50
660 #      r: 20
661 #    showlegend: True
662 #    legend:
663 #      orientation: "h"
664 #    width: 700
665 #    height: 1000
666 #
667 #-
668 #  type: "plot"
669 #  title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
670 #  algorithm: "plot_performance_box"
671 #  output-file-type: ".html"
672 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
673 #  data:
674 #    csit-vpp-perf-1710-all:
675 #    -
676 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
677 #  parameters:
678 #  - "throughput"
679 #  - "parent"
680 #  traces:
681 #    hoverinfo: "x+y"
682 #    boxpoints: "outliers"
683 #    whiskerwidth: 0
684 #  layout:
685 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
686 #    xaxis:
687 #      autorange: True
688 #      autotick: False
689 #      fixedrange: False
690 #      gridcolor: "rgb(238, 238, 238)"
691 #      linecolor: "rgb(238, 238, 238)"
692 #      linewidth: 1
693 #      showgrid: True
694 #      showline: True
695 #      showticklabels: True
696 #      tickcolor: "rgb(238, 238, 238)"
697 #      tickmode: "linear"
698 #      title: "Indexed Test Cases"
699 #      zeroline: False
700 #    yaxis:
701 #      gridcolor: "rgb(238, 238, 238)'"
702 #      hoverformat: ".4s"
703 #      linecolor: "rgb(238, 238, 238)"
704 #      linewidth: 1
705 #      range: []
706 #      showgrid: True
707 #      showline: True
708 #      showticklabels: True
709 #      tickcolor: "rgb(238, 238, 238)"
710 #      title: "Packets Per Second [pps]"
711 #      zeroline: False
712 #    boxmode: "group"
713 #    boxgroupgap: 0.5
714 #    autosize: False
715 #    margin:
716 #      t: 50
717 #      b: 20
718 #      l: 50
719 #      r: 20
720 #    showlegend: True
721 #    legend:
722 #      orientation: "h"
723 #    width: 700
724 #    height: 1000
725 #
726 #-
727 #  type: "plot"
728 #  title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
729 #  algorithm: "plot_performance_box"
730 #  output-file-type: ".html"
731 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
732 #  data:
733 #    csit-vpp-perf-1710-all:
734 #    -
735 #  filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
736 #  parameters:
737 #  - "throughput"
738 #  - "parent"
739 #  traces:
740 #    hoverinfo: "x+y"
741 #    boxpoints: "outliers"
742 #    whiskerwidth: 0
743 #  layout:
744 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
745 #    xaxis:
746 #      autorange: True
747 #      autotick: False
748 #      fixedrange: False
749 #      gridcolor: "rgb(238, 238, 238)"
750 #      linecolor: "rgb(238, 238, 238)"
751 #      linewidth: 1
752 #      showgrid: True
753 #      showline: True
754 #      showticklabels: True
755 #      tickcolor: "rgb(238, 238, 238)"
756 #      tickmode: "linear"
757 #      title: "Indexed Test Cases"
758 #      zeroline: False
759 #    yaxis:
760 #      gridcolor: "rgb(238, 238, 238)'"
761 #      hoverformat: ".4s"
762 #      linecolor: "rgb(238, 238, 238)"
763 #      linewidth: 1
764 #      range: []
765 #      showgrid: True
766 #      showline: True
767 #      showticklabels: True
768 #      tickcolor: "rgb(238, 238, 238)"
769 #      title: "Packets Per Second [pps]"
770 #      zeroline: False
771 #    boxmode: "group"
772 #    boxgroupgap: 0.5
773 #    autosize: False
774 #    margin:
775 #      t: 50
776 #      b: 20
777 #      l: 50
778 #      r: 20
779 #    showlegend: True
780 #    legend:
781 #      orientation: "h"
782 #    width: 700
783 #    height: 1000
784 #
785 #-
786 #  type: "plot"
787 #  title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
788 #  algorithm: "plot_performance_box"
789 #  output-file-type: ".html"
790 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
791 #  data:
792 #    csit-vpp-perf-1710-all:
793 #    -
794 #  filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
795 #  parameters:
796 #  - "throughput"
797 #  - "parent"
798 #  traces:
799 #    hoverinfo: "x+y"
800 #    boxpoints: "outliers"
801 #    whiskerwidth: 0
802 #  layout:
803 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
804 #    xaxis:
805 #      autorange: True
806 #      autotick: False
807 #      fixedrange: False
808 #      gridcolor: "rgb(238, 238, 238)"
809 #      linecolor: "rgb(238, 238, 238)"
810 #      linewidth: 1
811 #      showgrid: True
812 #      showline: True
813 #      showticklabels: True
814 #      tickcolor: "rgb(238, 238, 238)"
815 #      tickmode: "linear"
816 #      title: "Indexed Test Cases"
817 #      zeroline: False
818 #    yaxis:
819 #      gridcolor: "rgb(238, 238, 238)'"
820 #      hoverformat: ".4s"
821 #      linecolor: "rgb(238, 238, 238)"
822 #      linewidth: 1
823 #      range: []
824 #      showgrid: True
825 #      showline: True
826 #      showticklabels: True
827 #      tickcolor: "rgb(238, 238, 238)"
828 #      title: "Packets Per Second [pps]"
829 #      zeroline: False
830 #    boxmode: "group"
831 #    boxgroupgap: 0.5
832 #    autosize: False
833 #    margin:
834 #      t: 50
835 #      b: 20
836 #      l: 50
837 #      r: 20
838 #    showlegend: True
839 #    legend:
840 #      orientation: "h"
841 #    width: 700
842 #    height: 1000
843 #
844 ## VPP L2 sel2
845 #-
846 #  type: "plot"
847 #  title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
848 #  algorithm: "plot_performance_box"
849 #  output-file-type: ".html"
850 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
851 #  data:
852 #    csit-vpp-perf-1710-all:
853 #    -
854 #  filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
855 #  parameters:
856 #  - "throughput"
857 #  - "parent"
858 #  traces:
859 #    hoverinfo: "x+y"
860 #    boxpoints: "outliers"
861 #    whiskerwidth: 0
862 #  layout:
863 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
864 #    xaxis:
865 #      autorange: True
866 #      autotick: False
867 #      fixedrange: False
868 #      gridcolor: "rgb(238, 238, 238)"
869 #      linecolor: "rgb(238, 238, 238)"
870 #      linewidth: 1
871 #      showgrid: True
872 #      showline: True
873 #      showticklabels: True
874 #      tickcolor: "rgb(238, 238, 238)"
875 #      tickmode: "linear"
876 #      title: "Indexed Test Cases"
877 #      zeroline: False
878 #    yaxis:
879 #      gridcolor: "rgb(238, 238, 238)'"
880 #      hoverformat: ".4s"
881 #      linecolor: "rgb(238, 238, 238)"
882 #      linewidth: 1
883 #      range: [0, 8000000]
884 #      showgrid: True
885 #      showline: True
886 #      showticklabels: True
887 #      tickcolor: "rgb(238, 238, 238)"
888 #      title: "Packets Per Second [pps]"
889 #      zeroline: False
890 #    boxmode: "group"
891 #    boxgroupgap: 0.5
892 #    autosize: False
893 #    margin:
894 #      t: 50
895 #      b: 20
896 #      l: 50
897 #      r: 20
898 #    showlegend: True
899 #    legend:
900 #      orientation: "h"
901 #    width: 700
902 #    height: 1000
903 #
904 #-
905 #  type: "plot"
906 #  title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
907 #  algorithm: "plot_performance_box"
908 #  output-file-type: ".html"
909 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
910 #  data:
911 #    csit-vpp-perf-1710-all:
912 #    -
913 #  filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
914 #  parameters:
915 #  - "throughput"
916 #  - "parent"
917 #  traces:
918 #    hoverinfo: "x+y"
919 #    boxpoints: "outliers"
920 #    whiskerwidth: 0
921 #  layout:
922 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
923 #    xaxis:
924 #      autorange: True
925 #      autotick: False
926 #      fixedrange: False
927 #      gridcolor: "rgb(238, 238, 238)"
928 #      linecolor: "rgb(238, 238, 238)"
929 #      linewidth: 1
930 #      showgrid: True
931 #      showline: True
932 #      showticklabels: True
933 #      tickcolor: "rgb(238, 238, 238)"
934 #      tickmode: "linear"
935 #      title: "Indexed Test Cases"
936 #      zeroline: False
937 #    yaxis:
938 #      gridcolor: "rgb(238, 238, 238)'"
939 #      hoverformat: ".4s"
940 #      linecolor: "rgb(238, 238, 238)"
941 #      linewidth: 1
942 #      range: [5000000, 12000000]
943 #      showgrid: True
944 #      showline: True
945 #      showticklabels: True
946 #      tickcolor: "rgb(238, 238, 238)"
947 #      title: "Packets Per Second [pps]"
948 #      zeroline: False
949 #    boxmode: "group"
950 #    boxgroupgap: 0.5
951 #    autosize: False
952 #    margin:
953 #      t: 50
954 #      b: 20
955 #      l: 50
956 #      r: 20
957 #    showlegend: True
958 #    legend:
959 #      orientation: "h"
960 #    width: 700
961 #    height: 1000
962 #
963 #-
964 #  type: "plot"
965 #  title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
966 #  algorithm: "plot_performance_box"
967 #  output-file-type: ".html"
968 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
969 #  data:
970 #    csit-vpp-perf-1710-all:
971 #    -
972 #  filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
973 #  parameters:
974 #  - "throughput"
975 #  - "parent"
976 #  traces:
977 #    hoverinfo: "x+y"
978 #    boxpoints: "outliers"
979 #    whiskerwidth: 0
980 #  layout:
981 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
982 #    xaxis:
983 #      autorange: True
984 #      autotick: False
985 #      fixedrange: False
986 #      gridcolor: "rgb(238, 238, 238)"
987 #      linecolor: "rgb(238, 238, 238)"
988 #      linewidth: 1
989 #      showgrid: True
990 #      showline: True
991 #      showticklabels: True
992 #      tickcolor: "rgb(238, 238, 238)"
993 #      tickmode: "linear"
994 #      title: "Indexed Test Cases"
995 #      zeroline: False
996 #    yaxis:
997 #      gridcolor: "rgb(238, 238, 238)'"
998 #      hoverformat: ".4s"
999 #      linecolor: "rgb(238, 238, 238)"
1000 #      linewidth: 1
1001 #      range: [0, 8000000]
1002 #      showgrid: True
1003 #      showline: True
1004 #      showticklabels: True
1005 #      tickcolor: "rgb(238, 238, 238)"
1006 #      title: "Packets Per Second [pps]"
1007 #      zeroline: False
1008 #    boxmode: "group"
1009 #    boxgroupgap: 0.5
1010 #    autosize: False
1011 #    margin:
1012 #      t: 50
1013 #      b: 20
1014 #      l: 50
1015 #      r: 20
1016 #    showlegend: True
1017 #    legend:
1018 #      orientation: "h"
1019 #    width: 700
1020 #    height: 1000
1021 #
1022 #-
1023 #  type: "plot"
1024 #  title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1025 #  algorithm: "plot_performance_box"
1026 #  output-file-type: ".html"
1027 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1028 #  data:
1029 #    csit-vpp-perf-1710-all:
1030 #    -
1031 #  filter: "'64B' and 'FEATURE' and 'ACL50' and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1032 #  parameters:
1033 #  - "throughput"
1034 #  - "parent"
1035 #  traces:
1036 #    hoverinfo: "x+y"
1037 #    boxpoints: "outliers"
1038 #    whiskerwidth: 0
1039 #  layout:
1040 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1041 #    xaxis:
1042 #      autorange: True
1043 #      autotick: False
1044 #      fixedrange: False
1045 #      gridcolor: "rgb(238, 238, 238)"
1046 #      linecolor: "rgb(238, 238, 238)"
1047 #      linewidth: 1
1048 #      showgrid: True
1049 #      showline: True
1050 #      showticklabels: True
1051 #      tickcolor: "rgb(238, 238, 238)"
1052 #      tickmode: "linear"
1053 #      title: "Indexed Test Cases"
1054 #      zeroline: False
1055 #    yaxis:
1056 #      gridcolor: "rgb(238, 238, 238)'"
1057 #      hoverformat: ".4s"
1058 #      linecolor: "rgb(238, 238, 238)"
1059 #      linewidth: 1
1060 #      range: [5000000, 12000000]
1061 #      showgrid: True
1062 #      showline: True
1063 #      showticklabels: True
1064 #      tickcolor: "rgb(238, 238, 238)"
1065 #      title: "Packets Per Second [pps]"
1066 #      zeroline: False
1067 #    boxmode: "group"
1068 #    boxgroupgap: 0.5
1069 #    autosize: False
1070 #    margin:
1071 #      t: 50
1072 #      b: 20
1073 #      l: 50
1074 #      r: 20
1075 #    showlegend: True
1076 #    legend:
1077 #      orientation: "h"
1078 #    width: 700
1079 #    height: 1000
1080 #
1081 ## VPP IP4
1082 #-
1083 #  type: "plot"
1084 #  title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1085 #  algorithm: "plot_performance_box"
1086 #  output-file-type: ".html"
1087 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1088 #  data:
1089 #    csit-vpp-perf-1710-all:
1090 #    -
1091 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1092 #  parameters:
1093 #  - "throughput"
1094 #  - "parent"
1095 #  traces:
1096 #    hoverinfo: "x+y"
1097 #    boxpoints: "outliers"
1098 #    whiskerwidth: 0
1099 #  layout:
1100 #    title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1101 #    xaxis:
1102 #      autorange: True
1103 #      autotick: False
1104 #      fixedrange: False
1105 #      gridcolor: "rgb(238, 238, 238)"
1106 #      linecolor: "rgb(238, 238, 238)"
1107 #      linewidth: 1
1108 #      showgrid: True
1109 #      showline: True
1110 #      showticklabels: True
1111 #      tickcolor: "rgb(238, 238, 238)"
1112 #      tickmode: "linear"
1113 #      title: "Indexed Test Cases"
1114 #      zeroline: False
1115 #    yaxis:
1116 #      gridcolor: "rgb(238, 238, 238)'"
1117 #      hoverformat: ".4s"
1118 #      linecolor: "rgb(238, 238, 238)"
1119 #      linewidth: 1
1120 #      range: []
1121 #      showgrid: True
1122 #      showline: True
1123 #      showticklabels: True
1124 #      tickcolor: "rgb(238, 238, 238)"
1125 #      title: "Packets Per Second [pps]"
1126 #      zeroline: False
1127 #    boxmode: "group"
1128 #    boxgroupgap: 0.5
1129 #    autosize: False
1130 #    margin:
1131 #      t: 50
1132 #      b: 20
1133 #      l: 50
1134 #      r: 20
1135 #    showlegend: True
1136 #    legend:
1137 #      orientation: "h"
1138 #    width: 700
1139 #    height: 1000
1140 #
1141 #-
1142 #  type: "plot"
1143 #  title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1144 #  algorithm: "plot_performance_box"
1145 #  output-file-type: ".html"
1146 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1147 #  data:
1148 #    csit-vpp-perf-1710-all:
1149 #    -
1150 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1151 #  parameters:
1152 #  - "throughput"
1153 #  - "parent"
1154 #  traces:
1155 #    hoverinfo: "x+y"
1156 #    boxpoints: "outliers"
1157 #    whiskerwidth: 0
1158 #  layout:
1159 #    title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1160 #    xaxis:
1161 #      autorange: True
1162 #      autotick: False
1163 #      fixedrange: False
1164 #      gridcolor: "rgb(238, 238, 238)"
1165 #      linecolor: "rgb(238, 238, 238)"
1166 #      linewidth: 1
1167 #      showgrid: True
1168 #      showline: True
1169 #      showticklabels: True
1170 #      tickcolor: "rgb(238, 238, 238)"
1171 #      tickmode: "linear"
1172 #      title: "Indexed Test Cases"
1173 #      zeroline: False
1174 #    yaxis:
1175 #      gridcolor: "rgb(238, 238, 238)'"
1176 #      hoverformat: ".4s"
1177 #      linecolor: "rgb(238, 238, 238)"
1178 #      linewidth: 1
1179 #      range: []
1180 #      showgrid: True
1181 #      showline: True
1182 #      showticklabels: True
1183 #      tickcolor: "rgb(238, 238, 238)"
1184 #      title: "Packets Per Second [pps]"
1185 #      zeroline: False
1186 #    boxmode: "group"
1187 #    boxgroupgap: 0.5
1188 #    autosize: False
1189 #    margin:
1190 #      t: 50
1191 #      b: 20
1192 #      l: 50
1193 #      r: 20
1194 #    showlegend: True
1195 #    legend:
1196 #      orientation: "h"
1197 #    width: 700
1198 #    height: 1000
1199 #
1200 #-
1201 #  type: "plot"
1202 #  title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1203 #  algorithm: "plot_performance_box"
1204 #  output-file-type: ".html"
1205 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1206 #  data:
1207 #    csit-vpp-perf-1710-all:
1208 #    -
1209 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1210 #  parameters:
1211 #  - "throughput"
1212 #  - "parent"
1213 #  traces:
1214 #    hoverinfo: "x+y"
1215 #    boxpoints: "outliers"
1216 #    whiskerwidth: 0
1217 #  layout:
1218 #    title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1219 #    xaxis:
1220 #      autorange: True
1221 #      autotick: False
1222 #      fixedrange: False
1223 #      gridcolor: "rgb(238, 238, 238)"
1224 #      linecolor: "rgb(238, 238, 238)"
1225 #      linewidth: 1
1226 #      showgrid: True
1227 #      showline: True
1228 #      showticklabels: True
1229 #      tickcolor: "rgb(238, 238, 238)"
1230 #      tickmode: "linear"
1231 #      title: "Indexed Test Cases"
1232 #      zeroline: False
1233 #    yaxis:
1234 #      gridcolor: "rgb(238, 238, 238)'"
1235 #      hoverformat: ".4s"
1236 #      linecolor: "rgb(238, 238, 238)"
1237 #      linewidth: 1
1238 #      range: []
1239 #      showgrid: True
1240 #      showline: True
1241 #      showticklabels: True
1242 #      tickcolor: "rgb(238, 238, 238)"
1243 #      title: "Packets Per Second [pps]"
1244 #      zeroline: False
1245 #    boxmode: "group"
1246 #    boxgroupgap: 0.5
1247 #    autosize: False
1248 #    margin:
1249 #      t: 50
1250 #      b: 20
1251 #      l: 50
1252 #      r: 20
1253 #    showlegend: True
1254 #    legend:
1255 #      orientation: "h"
1256 #    width: 700
1257 #    height: 1000
1258 #
1259 #-
1260 #  type: "plot"
1261 #  title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1262 #  algorithm: "plot_performance_box"
1263 #  output-file-type: ".html"
1264 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1265 #  data:
1266 #    csit-vpp-perf-1710-all:
1267 #    -
1268 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1269 #  parameters:
1270 #  - "throughput"
1271 #  - "parent"
1272 #  traces:
1273 #    hoverinfo: "x+y"
1274 #    boxpoints: "outliers"
1275 #    whiskerwidth: 0
1276 #  layout:
1277 #    title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1278 #    xaxis:
1279 #      autorange: True
1280 #      autotick: False
1281 #      fixedrange: False
1282 #      gridcolor: "rgb(238, 238, 238)"
1283 #      linecolor: "rgb(238, 238, 238)"
1284 #      linewidth: 1
1285 #      showgrid: True
1286 #      showline: True
1287 #      showticklabels: True
1288 #      tickcolor: "rgb(238, 238, 238)"
1289 #      tickmode: "linear"
1290 #      title: "Indexed Test Cases"
1291 #      zeroline: False
1292 #    yaxis:
1293 #      gridcolor: "rgb(238, 238, 238)'"
1294 #      hoverformat: ".4s"
1295 #      linecolor: "rgb(238, 238, 238)"
1296 #      linewidth: 1
1297 #      range: []
1298 #      showgrid: True
1299 #      showline: True
1300 #      showticklabels: True
1301 #      tickcolor: "rgb(238, 238, 238)"
1302 #      title: "Packets Per Second [pps]"
1303 #      zeroline: False
1304 #    boxmode: "group"
1305 #    boxgroupgap: 0.5
1306 #    autosize: False
1307 #    margin:
1308 #      t: 50
1309 #      b: 20
1310 #      l: 50
1311 #      r: 20
1312 #    showlegend: True
1313 #    legend:
1314 #      orientation: "h"
1315 #    width: 700
1316 #    height: 1000
1317 #
1318 ## VPP IP6
1319 #-
1320 #  type: "plot"
1321 #  title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1322 #  algorithm: "plot_performance_box"
1323 #  output-file-type: ".html"
1324 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1325 #  data:
1326 #    csit-vpp-perf-1710-all:
1327 #    -
1328 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1329 #  parameters:
1330 #  - "throughput"
1331 #  - "parent"
1332 #  traces:
1333 #    hoverinfo: "x+y"
1334 #    boxpoints: "outliers"
1335 #    whiskerwidth: 0
1336 #  layout:
1337 #    title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1338 #    xaxis:
1339 #      autorange: True
1340 #      autotick: False
1341 #      fixedrange: False
1342 #      gridcolor: "rgb(238, 238, 238)"
1343 #      linecolor: "rgb(238, 238, 238)"
1344 #      linewidth: 1
1345 #      showgrid: True
1346 #      showline: True
1347 #      showticklabels: True
1348 #      tickcolor: "rgb(238, 238, 238)"
1349 #      tickmode: "linear"
1350 #      title: "Indexed Test Cases"
1351 #      zeroline: False
1352 #    yaxis:
1353 #      gridcolor: "rgb(238, 238, 238)'"
1354 #      hoverformat: ".4s"
1355 #      linecolor: "rgb(238, 238, 238)"
1356 #      linewidth: 1
1357 #      range: []
1358 #      showgrid: True
1359 #      showline: True
1360 #      showticklabels: True
1361 #      tickcolor: "rgb(238, 238, 238)"
1362 #      title: "Packets Per Second [pps]"
1363 #      zeroline: False
1364 #    boxmode: "group"
1365 #    boxgroupgap: 0.5
1366 #    autosize: False
1367 #    margin:
1368 #      t: 50
1369 #      b: 20
1370 #      l: 50
1371 #      r: 20
1372 #    showlegend: True
1373 #    legend:
1374 #      orientation: "h"
1375 #    width: 700
1376 #    height: 1000
1377 #
1378 #-
1379 #  type: "plot"
1380 #  title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1381 #  algorithm: "plot_performance_box"
1382 #  output-file-type: ".html"
1383 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1384 #  data:
1385 #    csit-vpp-perf-1710-all:
1386 #    -
1387 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1388 #  parameters:
1389 #  - "throughput"
1390 #  - "parent"
1391 #  traces:
1392 #    hoverinfo: "x+y"
1393 #    boxpoints: "outliers"
1394 #    whiskerwidth: 0
1395 #  layout:
1396 #    title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1397 #    xaxis:
1398 #      autorange: True
1399 #      autotick: False
1400 #      fixedrange: False
1401 #      gridcolor: "rgb(238, 238, 238)"
1402 #      linecolor: "rgb(238, 238, 238)"
1403 #      linewidth: 1
1404 #      showgrid: True
1405 #      showline: True
1406 #      showticklabels: True
1407 #      tickcolor: "rgb(238, 238, 238)"
1408 #      tickmode: "linear"
1409 #      title: "Indexed Test Cases"
1410 #      zeroline: False
1411 #    yaxis:
1412 #      gridcolor: "rgb(238, 238, 238)'"
1413 #      hoverformat: ".4s"
1414 #      linecolor: "rgb(238, 238, 238)"
1415 #      linewidth: 1
1416 #      range: []
1417 #      showgrid: True
1418 #      showline: True
1419 #      showticklabels: True
1420 #      tickcolor: "rgb(238, 238, 238)"
1421 #      title: "Packets Per Second [pps]"
1422 #      zeroline: False
1423 #    boxmode: "group"
1424 #    boxgroupgap: 0.5
1425 #    autosize: False
1426 #    margin:
1427 #      t: 50
1428 #      b: 20
1429 #      l: 50
1430 #      r: 20
1431 #    showlegend: True
1432 #    legend:
1433 #      orientation: "h"
1434 #    width: 700
1435 #    height: 1000
1436 #
1437 #-
1438 #  type: "plot"
1439 #  title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1440 #  algorithm: "plot_performance_box"
1441 #  output-file-type: ".html"
1442 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1443 #  data:
1444 #    csit-vpp-perf-1710-all:
1445 #    -
1446 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1447 #  parameters:
1448 #  - "throughput"
1449 #  - "parent"
1450 #  traces:
1451 #    hoverinfo: "x+y"
1452 #    boxpoints: "outliers"
1453 #    whiskerwidth: 0
1454 #  layout:
1455 #    title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1456 #    xaxis:
1457 #      autorange: True
1458 #      autotick: False
1459 #      fixedrange: False
1460 #      gridcolor: "rgb(238, 238, 238)"
1461 #      linecolor: "rgb(238, 238, 238)"
1462 #      linewidth: 1
1463 #      showgrid: True
1464 #      showline: True
1465 #      showticklabels: True
1466 #      tickcolor: "rgb(238, 238, 238)"
1467 #      tickmode: "linear"
1468 #      title: "Indexed Test Cases"
1469 #      zeroline: False
1470 #    yaxis:
1471 #      gridcolor: "rgb(238, 238, 238)'"
1472 #      hoverformat: ".4s"
1473 #      linecolor: "rgb(238, 238, 238)"
1474 #      linewidth: 1
1475 #      range: []
1476 #      showgrid: True
1477 #      showline: True
1478 #      showticklabels: True
1479 #      tickcolor: "rgb(238, 238, 238)"
1480 #      title: "Packets Per Second [pps]"
1481 #      zeroline: False
1482 #    boxmode: "group"
1483 #    boxgroupgap: 0.5
1484 #    autosize: False
1485 #    margin:
1486 #      t: 50
1487 #      b: 20
1488 #      l: 50
1489 #      r: 20
1490 #    showlegend: True
1491 #    legend:
1492 #      orientation: "h"
1493 #    width: 700
1494 #    height: 1000
1495 #
1496 #-
1497 #  type: "plot"
1498 #  title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1499 #  algorithm: "plot_performance_box"
1500 #  output-file-type: ".html"
1501 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1502 #  data:
1503 #    csit-vpp-perf-1710-all:
1504 #    -
1505 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1506 #  parameters:
1507 #  - "throughput"
1508 #  - "parent"
1509 #  traces:
1510 #    hoverinfo: "x+y"
1511 #    boxpoints: "outliers"
1512 #    whiskerwidth: 0
1513 #  layout:
1514 #    title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1515 #    xaxis:
1516 #      autorange: True
1517 #      autotick: False
1518 #      fixedrange: False
1519 #      gridcolor: "rgb(238, 238, 238)"
1520 #      linecolor: "rgb(238, 238, 238)"
1521 #      linewidth: 1
1522 #      showgrid: True
1523 #      showline: True
1524 #      showticklabels: True
1525 #      tickcolor: "rgb(238, 238, 238)"
1526 #      tickmode: "linear"
1527 #      title: "Indexed Test Cases"
1528 #      zeroline: False
1529 #    yaxis:
1530 #      gridcolor: "rgb(238, 238, 238)'"
1531 #      hoverformat: ".4s"
1532 #      linecolor: "rgb(238, 238, 238)"
1533 #      linewidth: 1
1534 #      range: []
1535 #      showgrid: True
1536 #      showline: True
1537 #      showticklabels: True
1538 #      tickcolor: "rgb(238, 238, 238)"
1539 #      title: "Packets Per Second [pps]"
1540 #      zeroline: False
1541 #    boxmode: "group"
1542 #    boxgroupgap: 0.5
1543 #    autosize: False
1544 #    margin:
1545 #      t: 50
1546 #      b: 20
1547 #      l: 50
1548 #      r: 20
1549 #    showlegend: True
1550 #    legend:
1551 #      orientation: "h"
1552 #    width: 700
1553 #    height: 1000
1554 #
1555 ## VPP IP4_overlay
1556 #-
1557 #  type: "plot"
1558 #  title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1559 #  algorithm: "plot_performance_box"
1560 #  output-file-type: ".html"
1561 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1562 #  data:
1563 #    csit-vpp-perf-1710-all:
1564 #    -
1565 #  filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1566 #  parameters:
1567 #  - "throughput"
1568 #  - "parent"
1569 #  traces:
1570 #    hoverinfo: "x+y"
1571 #    boxpoints: "outliers"
1572 #    whiskerwidth: 0
1573 #  layout:
1574 #    title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1575 #    xaxis:
1576 #      autorange: True
1577 #      autotick: False
1578 #      fixedrange: False
1579 #      gridcolor: "rgb(238, 238, 238)"
1580 #      linecolor: "rgb(238, 238, 238)"
1581 #      linewidth: 1
1582 #      showgrid: True
1583 #      showline: True
1584 #      showticklabels: True
1585 #      tickcolor: "rgb(238, 238, 238)"
1586 #      tickmode: "linear"
1587 #      title: "Indexed Test Cases"
1588 #      zeroline: False
1589 #    yaxis:
1590 #      gridcolor: "rgb(238, 238, 238)'"
1591 #      hoverformat: ".4s"
1592 #      linecolor: "rgb(238, 238, 238)"
1593 #      linewidth: 1
1594 #      range: []
1595 #      showgrid: True
1596 #      showline: True
1597 #      showticklabels: True
1598 #      tickcolor: "rgb(238, 238, 238)"
1599 #      title: "Packets Per Second [pps]"
1600 #      zeroline: False
1601 #    boxmode: "group"
1602 #    boxgroupgap: 0.5
1603 #    autosize: False
1604 #    margin:
1605 #      t: 50
1606 #      b: 20
1607 #      l: 50
1608 #      r: 20
1609 #    showlegend: True
1610 #    legend:
1611 #      orientation: "h"
1612 #    width: 700
1613 #    height: 1000
1614 #
1615 #-
1616 #  type: "plot"
1617 #  title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1618 #  algorithm: "plot_performance_box"
1619 #  output-file-type: ".html"
1620 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1621 #  data:
1622 #    csit-vpp-perf-1710-all:
1623 #    -
1624 #  filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1625 #  parameters:
1626 #  - "throughput"
1627 #  - "parent"
1628 #  traces:
1629 #    hoverinfo: "x+y"
1630 #    boxpoints: "outliers"
1631 #    whiskerwidth: 0
1632 #  layout:
1633 #    title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1634 #    xaxis:
1635 #      autorange: True
1636 #      autotick: False
1637 #      fixedrange: False
1638 #      gridcolor: "rgb(238, 238, 238)"
1639 #      linecolor: "rgb(238, 238, 238)"
1640 #      linewidth: 1
1641 #      showgrid: True
1642 #      showline: True
1643 #      showticklabels: True
1644 #      tickcolor: "rgb(238, 238, 238)"
1645 #      tickmode: "linear"
1646 #      title: "Indexed Test Cases"
1647 #      zeroline: False
1648 #    yaxis:
1649 #      gridcolor: "rgb(238, 238, 238)'"
1650 #      hoverformat: ".4s"
1651 #      linecolor: "rgb(238, 238, 238)"
1652 #      linewidth: 1
1653 #      range: []
1654 #      showgrid: True
1655 #      showline: True
1656 #      showticklabels: True
1657 #      tickcolor: "rgb(238, 238, 238)"
1658 #      title: "Packets Per Second [pps]"
1659 #      zeroline: False
1660 #    boxmode: "group"
1661 #    boxgroupgap: 0.5
1662 #    autosize: False
1663 #    margin:
1664 #      t: 50
1665 #      b: 20
1666 #      l: 50
1667 #      r: 20
1668 #    showlegend: True
1669 #    legend:
1670 #      orientation: "h"
1671 #    width: 700
1672 #    height: 1000
1673 #
1674 #-
1675 #  type: "plot"
1676 #  title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1677 #  algorithm: "plot_performance_box"
1678 #  output-file-type: ".html"
1679 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1680 #  data:
1681 #    csit-vpp-perf-1710-all:
1682 #    -
1683 #  filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1684 #  parameters:
1685 #  - "throughput"
1686 #  - "parent"
1687 #  traces:
1688 #    hoverinfo: "x+y"
1689 #    boxpoints: "outliers"
1690 #    whiskerwidth: 0
1691 #  layout:
1692 #    title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1693 #    xaxis:
1694 #      autorange: True
1695 #      autotick: False
1696 #      fixedrange: False
1697 #      gridcolor: "rgb(238, 238, 238)"
1698 #      linecolor: "rgb(238, 238, 238)"
1699 #      linewidth: 1
1700 #      showgrid: True
1701 #      showline: True
1702 #      showticklabels: True
1703 #      tickcolor: "rgb(238, 238, 238)"
1704 #      tickmode: "linear"
1705 #      title: "Indexed Test Cases"
1706 #      zeroline: False
1707 #    yaxis:
1708 #      gridcolor: "rgb(238, 238, 238)'"
1709 #      hoverformat: ".4s"
1710 #      linecolor: "rgb(238, 238, 238)"
1711 #      linewidth: 1
1712 #      range: []
1713 #      showgrid: True
1714 #      showline: True
1715 #      showticklabels: True
1716 #      tickcolor: "rgb(238, 238, 238)"
1717 #      title: "Packets Per Second [pps]"
1718 #      zeroline: False
1719 #    boxmode: "group"
1720 #    boxgroupgap: 0.5
1721 #    autosize: False
1722 #    margin:
1723 #      t: 50
1724 #      b: 20
1725 #      l: 50
1726 #      r: 20
1727 #    showlegend: True
1728 #    legend:
1729 #      orientation: "h"
1730 #    width: 700
1731 #    height: 1000
1732 #
1733 #-
1734 #  type: "plot"
1735 #  title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1736 #  algorithm: "plot_performance_box"
1737 #  output-file-type: ".html"
1738 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1739 #  data:
1740 #    csit-vpp-perf-1710-all:
1741 #    -
1742 #  filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1743 #  parameters:
1744 #  - "throughput"
1745 #  - "parent"
1746 #  traces:
1747 #    hoverinfo: "x+y"
1748 #    boxpoints: "outliers"
1749 #    whiskerwidth: 0
1750 #  layout:
1751 #    title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1752 #    xaxis:
1753 #      autorange: True
1754 #      autotick: False
1755 #      fixedrange: False
1756 #      gridcolor: "rgb(238, 238, 238)"
1757 #      linecolor: "rgb(238, 238, 238)"
1758 #      linewidth: 1
1759 #      showgrid: True
1760 #      showline: True
1761 #      showticklabels: True
1762 #      tickcolor: "rgb(238, 238, 238)"
1763 #      tickmode: "linear"
1764 #      title: "Indexed Test Cases"
1765 #      zeroline: False
1766 #    yaxis:
1767 #      gridcolor: "rgb(238, 238, 238)'"
1768 #      hoverformat: ".4s"
1769 #      linecolor: "rgb(238, 238, 238)"
1770 #      linewidth: 1
1771 #      range: []
1772 #      showgrid: True
1773 #      showline: True
1774 #      showticklabels: True
1775 #      tickcolor: "rgb(238, 238, 238)"
1776 #      title: "Packets Per Second [pps]"
1777 #      zeroline: False
1778 #    boxmode: "group"
1779 #    boxgroupgap: 0.5
1780 #    autosize: False
1781 #    margin:
1782 #      t: 50
1783 #      b: 20
1784 #      l: 50
1785 #      r: 20
1786 #    showlegend: True
1787 #    legend:
1788 #      orientation: "h"
1789 #    width: 700
1790 #    height: 1000
1791 #
1792 ## VPP IP6_overlay
1793 #-
1794 #  type: "plot"
1795 #  title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1796 #  algorithm: "plot_performance_box"
1797 #  output-file-type: ".html"
1798 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1799 #  data:
1800 #    csit-vpp-perf-1710-all:
1801 #    -
1802 #  filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1803 #  parameters:
1804 #  - "throughput"
1805 #  - "parent"
1806 #  traces:
1807 #    hoverinfo: "x+y"
1808 #    boxpoints: "outliers"
1809 #    whiskerwidth: 0
1810 #  layout:
1811 #    title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1812 #    xaxis:
1813 #      autorange: True
1814 #      autotick: False
1815 #      fixedrange: False
1816 #      gridcolor: "rgb(238, 238, 238)"
1817 #      linecolor: "rgb(238, 238, 238)"
1818 #      linewidth: 1
1819 #      showgrid: True
1820 #      showline: True
1821 #      showticklabels: True
1822 #      tickcolor: "rgb(238, 238, 238)"
1823 #      tickmode: "linear"
1824 #      title: "Indexed Test Cases"
1825 #      zeroline: False
1826 #    yaxis:
1827 #      gridcolor: "rgb(238, 238, 238)'"
1828 #      hoverformat: ".4s"
1829 #      linecolor: "rgb(238, 238, 238)"
1830 #      linewidth: 1
1831 #      range: []
1832 #      showgrid: True
1833 #      showline: True
1834 #      showticklabels: True
1835 #      tickcolor: "rgb(238, 238, 238)"
1836 #      title: "Packets Per Second [pps]"
1837 #      zeroline: False
1838 #    boxmode: "group"
1839 #    boxgroupgap: 0.5
1840 #    autosize: False
1841 #    margin:
1842 #      t: 50
1843 #      b: 20
1844 #      l: 50
1845 #      r: 20
1846 #    showlegend: True
1847 #    legend:
1848 #      orientation: "h"
1849 #    width: 700
1850 #    height: 1000
1851 #
1852 #-
1853 #  type: "plot"
1854 #  title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1855 #  algorithm: "plot_performance_box"
1856 #  output-file-type: ".html"
1857 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1858 #  data:
1859 #    csit-vpp-perf-1710-all:
1860 #    -
1861 #  filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1862 #  parameters:
1863 #  - "throughput"
1864 #  - "parent"
1865 #  traces:
1866 #    hoverinfo: "x+y"
1867 #    boxpoints: "outliers"
1868 #    whiskerwidth: 0
1869 #  layout:
1870 #    title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1871 #    xaxis:
1872 #      autorange: True
1873 #      autotick: False
1874 #      fixedrange: False
1875 #      gridcolor: "rgb(238, 238, 238)"
1876 #      linecolor: "rgb(238, 238, 238)"
1877 #      linewidth: 1
1878 #      showgrid: True
1879 #      showline: True
1880 #      showticklabels: True
1881 #      tickcolor: "rgb(238, 238, 238)"
1882 #      tickmode: "linear"
1883 #      title: "Indexed Test Cases"
1884 #      zeroline: False
1885 #    yaxis:
1886 #      gridcolor: "rgb(238, 238, 238)'"
1887 #      hoverformat: ".4s"
1888 #      linecolor: "rgb(238, 238, 238)"
1889 #      linewidth: 1
1890 #      range: []
1891 #      showgrid: True
1892 #      showline: True
1893 #      showticklabels: True
1894 #      tickcolor: "rgb(238, 238, 238)"
1895 #      title: "Packets Per Second [pps]"
1896 #      zeroline: False
1897 #    boxmode: "group"
1898 #    boxgroupgap: 0.5
1899 #    autosize: False
1900 #    margin:
1901 #      t: 50
1902 #      b: 20
1903 #      l: 50
1904 #      r: 20
1905 #    showlegend: True
1906 #    legend:
1907 #      orientation: "h"
1908 #    width: 700
1909 #    height: 1000
1910 #
1911 #-
1912 #  type: "plot"
1913 #  title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1914 #  algorithm: "plot_performance_box"
1915 #  output-file-type: ".html"
1916 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1917 #  data:
1918 #    csit-vpp-perf-1710-all:
1919 #    -
1920 #  filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1921 #  parameters:
1922 #  - "throughput"
1923 #  - "parent"
1924 #  traces:
1925 #    hoverinfo: "x+y"
1926 #    boxpoints: "outliers"
1927 #    whiskerwidth: 0
1928 #  layout:
1929 #    title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1930 #    xaxis:
1931 #      autorange: True
1932 #      autotick: False
1933 #      fixedrange: False
1934 #      gridcolor: "rgb(238, 238, 238)"
1935 #      linecolor: "rgb(238, 238, 238)"
1936 #      linewidth: 1
1937 #      showgrid: True
1938 #      showline: True
1939 #      showticklabels: True
1940 #      tickcolor: "rgb(238, 238, 238)"
1941 #      tickmode: "linear"
1942 #      title: "Indexed Test Cases"
1943 #      zeroline: False
1944 #    yaxis:
1945 #      gridcolor: "rgb(238, 238, 238)'"
1946 #      hoverformat: ".4s"
1947 #      linecolor: "rgb(238, 238, 238)"
1948 #      linewidth: 1
1949 #      range: []
1950 #      showgrid: True
1951 #      showline: True
1952 #      showticklabels: True
1953 #      tickcolor: "rgb(238, 238, 238)"
1954 #      title: "Packets Per Second [pps]"
1955 #      zeroline: False
1956 #    boxmode: "group"
1957 #    boxgroupgap: 0.5
1958 #    autosize: False
1959 #    margin:
1960 #      t: 50
1961 #      b: 20
1962 #      l: 50
1963 #      r: 20
1964 #    showlegend: True
1965 #    legend:
1966 #      orientation: "h"
1967 #    width: 700
1968 #    height: 1000
1969 #
1970 #-
1971 #  type: "plot"
1972 #  title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1973 #  algorithm: "plot_performance_box"
1974 #  output-file-type: ".html"
1975 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1976 #  data:
1977 #    csit-vpp-perf-1710-all:
1978 #    -
1979 #  filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1980 #  parameters:
1981 #  - "throughput"
1982 #  - "parent"
1983 #  traces:
1984 #    hoverinfo: "x+y"
1985 #    boxpoints: "outliers"
1986 #    whiskerwidth: 0
1987 #  layout:
1988 #    title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1989 #    xaxis:
1990 #      autorange: True
1991 #      autotick: False
1992 #      fixedrange: False
1993 #      gridcolor: "rgb(238, 238, 238)"
1994 #      linecolor: "rgb(238, 238, 238)"
1995 #      linewidth: 1
1996 #      showgrid: True
1997 #      showline: True
1998 #      showticklabels: True
1999 #      tickcolor: "rgb(238, 238, 238)"
2000 #      tickmode: "linear"
2001 #      title: "Indexed Test Cases"
2002 #      zeroline: False
2003 #    yaxis:
2004 #      gridcolor: "rgb(238, 238, 238)'"
2005 #      hoverformat: ".4s"
2006 #      linecolor: "rgb(238, 238, 238)"
2007 #      linewidth: 1
2008 #      range: []
2009 #      showgrid: True
2010 #      showline: True
2011 #      showticklabels: True
2012 #      tickcolor: "rgb(238, 238, 238)"
2013 #      title: "Packets Per Second [pps]"
2014 #      zeroline: False
2015 #    boxmode: "group"
2016 #    boxgroupgap: 0.5
2017 #    autosize: False
2018 #    margin:
2019 #      t: 50
2020 #      b: 20
2021 #      l: 50
2022 #      r: 20
2023 #    showlegend: True
2024 #    legend:
2025 #      orientation: "h"
2026 #    width: 700
2027 #    height: 1000
2028 #
2029 ## VPP VM VHOST
2030 #-
2031 #  type: "plot"
2032 #  title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2033 #  algorithm: "plot_performance_box"
2034 #  output-file-type: ".html"
2035 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2036 #  data:
2037 #    csit-vpp-perf-1710-all:
2038 #    -
2039 #  filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2040 #  parameters:
2041 #  - "throughput"
2042 #  - "parent"
2043 #  traces:
2044 #    hoverinfo: "x+y"
2045 #    boxpoints: "outliers"
2046 #    whiskerwidth: 0
2047 #  layout:
2048 #    title: "64B-1t1c-.*vhost.*-ndrdisc"
2049 #    xaxis:
2050 #      autorange: True
2051 #      autotick: False
2052 #      fixedrange: False
2053 #      gridcolor: "rgb(238, 238, 238)"
2054 #      linecolor: "rgb(238, 238, 238)"
2055 #      linewidth: 1
2056 #      showgrid: True
2057 #      showline: True
2058 #      showticklabels: True
2059 #      tickcolor: "rgb(238, 238, 238)"
2060 #      tickmode: "linear"
2061 #      title: "Indexed Test Cases"
2062 #      zeroline: False
2063 #    yaxis:
2064 #      gridcolor: "rgb(238, 238, 238)'"
2065 #      hoverformat: ".4s"
2066 #      linecolor: "rgb(238, 238, 238)"
2067 #      linewidth: 1
2068 #      range: []
2069 #      showgrid: True
2070 #      showline: True
2071 #      showticklabels: True
2072 #      tickcolor: "rgb(238, 238, 238)"
2073 #      title: "Packets Per Second [pps]"
2074 #      zeroline: False
2075 #    boxmode: "group"
2076 #    boxgroupgap: 0.5
2077 #    autosize: False
2078 #    margin:
2079 #      t: 50
2080 #      b: 20
2081 #      l: 50
2082 #      r: 20
2083 #    showlegend: True
2084 #    legend:
2085 #      orientation: "h"
2086 #    width: 700
2087 #    height: 1000
2088 #
2089 #-
2090 #  type: "plot"
2091 #  title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2092 #  algorithm: "plot_performance_box"
2093 #  output-file-type: ".html"
2094 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2095 #  data:
2096 #    csit-vpp-perf-1710-all:
2097 #    -
2098 #  filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2099 #  parameters:
2100 #  - "throughput"
2101 #  - "parent"
2102 #  traces:
2103 #    hoverinfo: "x+y"
2104 #    boxpoints: "outliers"
2105 #    whiskerwidth: 0
2106 #  layout:
2107 #    title: "64B-2t2c-.*vhost.*-ndrdisc"
2108 #    xaxis:
2109 #      autorange: True
2110 #      autotick: False
2111 #      fixedrange: False
2112 #      gridcolor: "rgb(238, 238, 238)"
2113 #      linecolor: "rgb(238, 238, 238)"
2114 #      linewidth: 1
2115 #      showgrid: True
2116 #      showline: True
2117 #      showticklabels: True
2118 #      tickcolor: "rgb(238, 238, 238)"
2119 #      tickmode: "linear"
2120 #      title: "Indexed Test Cases"
2121 #      zeroline: False
2122 #    yaxis:
2123 #      gridcolor: "rgb(238, 238, 238)'"
2124 #      hoverformat: ".4s"
2125 #      linecolor: "rgb(238, 238, 238)"
2126 #      linewidth: 1
2127 #      range: []
2128 #      showgrid: True
2129 #      showline: True
2130 #      showticklabels: True
2131 #      tickcolor: "rgb(238, 238, 238)"
2132 #      title: "Packets Per Second [pps]"
2133 #      zeroline: False
2134 #    boxmode: "group"
2135 #    boxgroupgap: 0.5
2136 #    autosize: False
2137 #    margin:
2138 #      t: 50
2139 #      b: 20
2140 #      l: 50
2141 #      r: 20
2142 #    showlegend: True
2143 #    legend:
2144 #      orientation: "h"
2145 #    width: 700
2146 #    height: 1000
2147 #
2148 #-
2149 #  type: "plot"
2150 #  title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2151 #  algorithm: "plot_performance_box"
2152 #  output-file-type: ".html"
2153 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2154 #  data:
2155 #    csit-vpp-perf-1710-all:
2156 #    -
2157 #  filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2158 #  parameters:
2159 #  - "throughput"
2160 #  - "parent"
2161 #  traces:
2162 #    hoverinfo: "x+y"
2163 #    boxpoints: "outliers"
2164 #    whiskerwidth: 0
2165 #  layout:
2166 #    title: "64B-1t1c-.*vhost.*-pdrdisc"
2167 #    xaxis:
2168 #      autorange: True
2169 #      autotick: False
2170 #      fixedrange: False
2171 #      gridcolor: "rgb(238, 238, 238)"
2172 #      linecolor: "rgb(238, 238, 238)"
2173 #      linewidth: 1
2174 #      showgrid: True
2175 #      showline: True
2176 #      showticklabels: True
2177 #      tickcolor: "rgb(238, 238, 238)"
2178 #      tickmode: "linear"
2179 #      title: "Indexed Test Cases"
2180 #      zeroline: False
2181 #    yaxis:
2182 #      gridcolor: "rgb(238, 238, 238)'"
2183 #      hoverformat: ".4s"
2184 #      linecolor: "rgb(238, 238, 238)"
2185 #      linewidth: 1
2186 #      range: []
2187 #      showgrid: True
2188 #      showline: True
2189 #      showticklabels: True
2190 #      tickcolor: "rgb(238, 238, 238)"
2191 #      title: "Packets Per Second [pps]"
2192 #      zeroline: False
2193 #    boxmode: "group"
2194 #    boxgroupgap: 0.5
2195 #    autosize: False
2196 #    margin:
2197 #      t: 50
2198 #      b: 20
2199 #      l: 50
2200 #      r: 20
2201 #    showlegend: True
2202 #    legend:
2203 #      orientation: "h"
2204 #    width: 700
2205 #    height: 1000
2206 #
2207 #-
2208 #  type: "plot"
2209 #  title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2210 #  algorithm: "plot_performance_box"
2211 #  output-file-type: ".html"
2212 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2213 #  data:
2214 #    csit-vpp-perf-1710-all:
2215 #    -
2216 #  filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2217 #  parameters:
2218 #  - "throughput"
2219 #  - "parent"
2220 #  traces:
2221 #    hoverinfo: "x+y"
2222 #    boxpoints: "outliers"
2223 #    whiskerwidth: 0
2224 #  layout:
2225 #    title: "64B-2t2c-.*vhost.*-pdrdisc"
2226 #    xaxis:
2227 #      autorange: True
2228 #      autotick: False
2229 #      fixedrange: False
2230 #      gridcolor: "rgb(238, 238, 238)"
2231 #      linecolor: "rgb(238, 238, 238)"
2232 #      linewidth: 1
2233 #      showgrid: True
2234 #      showline: True
2235 #      showticklabels: True
2236 #      tickcolor: "rgb(238, 238, 238)"
2237 #      tickmode: "linear"
2238 #      title: "Indexed Test Cases"
2239 #      zeroline: False
2240 #    yaxis:
2241 #      gridcolor: "rgb(238, 238, 238)'"
2242 #      hoverformat: ".4s"
2243 #      linecolor: "rgb(238, 238, 238)"
2244 #      linewidth: 1
2245 #      range: []
2246 #      showgrid: True
2247 #      showline: True
2248 #      showticklabels: True
2249 #      tickcolor: "rgb(238, 238, 238)"
2250 #      title: "Packets Per Second [pps]"
2251 #      zeroline: False
2252 #    boxmode: "group"
2253 #    boxgroupgap: 0.5
2254 #    autosize: False
2255 #    margin:
2256 #      t: 50
2257 #      b: 20
2258 #      l: 50
2259 #      r: 20
2260 #    showlegend: True
2261 #    legend:
2262 #      orientation: "h"
2263 #    width: 700
2264 #    height: 1000
2265 #
2266 ## VPP VM VHOST SELECTION
2267 #-
2268 #  type: "plot"
2269 #  title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2270 #  algorithm: "plot_performance_box"
2271 #  output-file-type: ".html"
2272 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2273 #  data:
2274 #    csit-vpp-perf-1710-all:
2275 #    -
2276 #  filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2277 #  parameters:
2278 #  - "throughput"
2279 #  - "parent"
2280 #  traces:
2281 #    hoverinfo: "x+y"
2282 #    boxpoints: "outliers"
2283 #    whiskerwidth: 0
2284 #  layout:
2285 #    title: "64B-1t1c-.*vhost.*-ndrdisc"
2286 #    xaxis:
2287 #      autorange: True
2288 #      autotick: False
2289 #      fixedrange: False
2290 #      gridcolor: "rgb(238, 238, 238)"
2291 #      linecolor: "rgb(238, 238, 238)"
2292 #      linewidth: 1
2293 #      showgrid: True
2294 #      showline: True
2295 #      showticklabels: True
2296 #      tickcolor: "rgb(238, 238, 238)"
2297 #      tickmode: "linear"
2298 #      title: "Indexed Test Cases"
2299 #      zeroline: False
2300 #    yaxis:
2301 #      gridcolor: "rgb(238, 238, 238)'"
2302 #      hoverformat: ".4s"
2303 #      linecolor: "rgb(238, 238, 238)"
2304 #      linewidth: 1
2305 #      range: []
2306 #      showgrid: True
2307 #      showline: True
2308 #      showticklabels: True
2309 #      tickcolor: "rgb(238, 238, 238)"
2310 #      title: "Packets Per Second [pps]"
2311 #      zeroline: False
2312 #    boxmode: "group"
2313 #    boxgroupgap: 0.5
2314 #    autosize: False
2315 #    margin:
2316 #      t: 50
2317 #      b: 20
2318 #      l: 50
2319 #      r: 20
2320 #    showlegend: True
2321 #    legend:
2322 #      orientation: "h"
2323 #    width: 700
2324 #    height: 1000
2325 #
2326 #-
2327 #  type: "plot"
2328 #  title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2329 #  algorithm: "plot_performance_box"
2330 #  output-file-type: ".html"
2331 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2332 #  data:
2333 #    csit-vpp-perf-1710-all:
2334 #    -
2335 #  filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2336 #  parameters:
2337 #  - "throughput"
2338 #  - "parent"
2339 #  traces:
2340 #    hoverinfo: "x+y"
2341 #    boxpoints: "outliers"
2342 #    whiskerwidth: 0
2343 #  layout:
2344 #    title: "64B-2t2c-.*vhost.*-ndrdisc"
2345 #    xaxis:
2346 #      autorange: True
2347 #      autotick: False
2348 #      fixedrange: False
2349 #      gridcolor: "rgb(238, 238, 238)"
2350 #      linecolor: "rgb(238, 238, 238)"
2351 #      linewidth: 1
2352 #      showgrid: True
2353 #      showline: True
2354 #      showticklabels: True
2355 #      tickcolor: "rgb(238, 238, 238)"
2356 #      tickmode: "linear"
2357 #      title: "Indexed Test Cases"
2358 #      zeroline: False
2359 #    yaxis:
2360 #      gridcolor: "rgb(238, 238, 238)'"
2361 #      hoverformat: ".4s"
2362 #      linecolor: "rgb(238, 238, 238)"
2363 #      linewidth: 1
2364 #      range: []
2365 #      showgrid: True
2366 #      showline: True
2367 #      showticklabels: True
2368 #      tickcolor: "rgb(238, 238, 238)"
2369 #      title: "Packets Per Second [pps]"
2370 #      zeroline: False
2371 #    boxmode: "group"
2372 #    boxgroupgap: 0.5
2373 #    autosize: False
2374 #    margin:
2375 #      t: 50
2376 #      b: 20
2377 #      l: 50
2378 #      r: 20
2379 #    showlegend: True
2380 #    legend:
2381 #      orientation: "h"
2382 #    width: 700
2383 #    height: 1000
2384 #
2385 #-
2386 #  type: "plot"
2387 #  title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2388 #  algorithm: "plot_performance_box"
2389 #  output-file-type: ".html"
2390 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2391 #  data:
2392 #    csit-vpp-perf-1710-all:
2393 #    -
2394 #  filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2395 #  parameters:
2396 #  - "throughput"
2397 #  - "parent"
2398 #  traces:
2399 #    hoverinfo: "x+y"
2400 #    boxpoints: "outliers"
2401 #    whiskerwidth: 0
2402 #  layout:
2403 #    title: "64B-1t1c-.*vhost.*-pdrdisc"
2404 #    xaxis:
2405 #      autorange: True
2406 #      autotick: False
2407 #      fixedrange: False
2408 #      gridcolor: "rgb(238, 238, 238)"
2409 #      linecolor: "rgb(238, 238, 238)"
2410 #      linewidth: 1
2411 #      showgrid: True
2412 #      showline: True
2413 #      showticklabels: True
2414 #      tickcolor: "rgb(238, 238, 238)"
2415 #      tickmode: "linear"
2416 #      title: "Indexed Test Cases"
2417 #      zeroline: False
2418 #    yaxis:
2419 #      gridcolor: "rgb(238, 238, 238)'"
2420 #      hoverformat: ".4s"
2421 #      linecolor: "rgb(238, 238, 238)"
2422 #      linewidth: 1
2423 #      range: []
2424 #      showgrid: True
2425 #      showline: True
2426 #      showticklabels: True
2427 #      tickcolor: "rgb(238, 238, 238)"
2428 #      title: "Packets Per Second [pps]"
2429 #      zeroline: False
2430 #    boxmode: "group"
2431 #    boxgroupgap: 0.5
2432 #    autosize: False
2433 #    margin:
2434 #      t: 50
2435 #      b: 20
2436 #      l: 50
2437 #      r: 20
2438 #    showlegend: True
2439 #    legend:
2440 #      orientation: "h"
2441 #    width: 700
2442 #    height: 1000
2443 #
2444 #-
2445 #  type: "plot"
2446 #  title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2447 #  algorithm: "plot_performance_box"
2448 #  output-file-type: ".html"
2449 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2450 #  data:
2451 #    csit-vpp-perf-1710-all:
2452 #    -
2453 #  filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2454 #  parameters:
2455 #  - "throughput"
2456 #  - "parent"
2457 #  traces:
2458 #    hoverinfo: "x+y"
2459 #    boxpoints: "outliers"
2460 #    whiskerwidth: 0
2461 #  layout:
2462 #    title: "64B-2t2c-.*vhost.*-pdrdisc"
2463 #    xaxis:
2464 #      autorange: True
2465 #      autotick: False
2466 #      fixedrange: False
2467 #      gridcolor: "rgb(238, 238, 238)"
2468 #      linecolor: "rgb(238, 238, 238)"
2469 #      linewidth: 1
2470 #      showgrid: True
2471 #      showline: True
2472 #      showticklabels: True
2473 #      tickcolor: "rgb(238, 238, 238)"
2474 #      tickmode: "linear"
2475 #      title: "Indexed Test Cases"
2476 #      zeroline: False
2477 #    yaxis:
2478 #      gridcolor: "rgb(238, 238, 238)'"
2479 #      hoverformat: ".4s"
2480 #      linecolor: "rgb(238, 238, 238)"
2481 #      linewidth: 1
2482 #      range: []
2483 #      showgrid: True
2484 #      showline: True
2485 #      showticklabels: True
2486 #      tickcolor: "rgb(238, 238, 238)"
2487 #      title: "Packets Per Second [pps]"
2488 #      zeroline: False
2489 #    boxmode: "group"
2490 #    boxgroupgap: 0.5
2491 #    autosize: False
2492 #    margin:
2493 #      t: 50
2494 #      b: 20
2495 #      l: 50
2496 #      r: 20
2497 #    showlegend: True
2498 #    legend:
2499 #      orientation: "h"
2500 #    width: 700
2501 #    height: 1000
2502 #
2503 ## VPP CRYPTO
2504 #-
2505 #  type: "plot"
2506 #  title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2507 #  algorithm: "plot_performance_box"
2508 #  output-file-type: ".html"
2509 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2510 #  data:
2511 #    csit-vpp-perf-1710-all:
2512 #    -
2513 #  filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2514 #  parameters:
2515 #  - "throughput"
2516 #  - "parent"
2517 #  traces:
2518 #    hoverinfo: "x+y"
2519 #    boxpoints: "outliers"
2520 #    whiskerwidth: 0
2521 #  layout:
2522 #    title: "64B-1t1c-.*ipsec.*-ndrdisc"
2523 #    xaxis:
2524 #      autorange: True
2525 #      autotick: False
2526 #      fixedrange: False
2527 #      gridcolor: "rgb(238, 238, 238)"
2528 #      linecolor: "rgb(238, 238, 238)"
2529 #      linewidth: 1
2530 #      showgrid: True
2531 #      showline: True
2532 #      showticklabels: True
2533 #      tickcolor: "rgb(238, 238, 238)"
2534 #      tickmode: "linear"
2535 #      title: "Indexed Test Cases"
2536 #      zeroline: False
2537 #    yaxis:
2538 #      gridcolor: "rgb(238, 238, 238)'"
2539 #      hoverformat: ".4s"
2540 #      linecolor: "rgb(238, 238, 238)"
2541 #      linewidth: 1
2542 #      range: []
2543 #      showgrid: True
2544 #      showline: True
2545 #      showticklabels: True
2546 #      tickcolor: "rgb(238, 238, 238)"
2547 #      title: "Packets Per Second [pps]"
2548 #      zeroline: False
2549 #    boxmode: "group"
2550 #    boxgroupgap: 0.5
2551 #    autosize: False
2552 #    margin:
2553 #      t: 50
2554 #      b: 20
2555 #      l: 50
2556 #      r: 20
2557 #    showlegend: True
2558 #    legend:
2559 #      orientation: "h"
2560 #    width: 700
2561 #    height: 1000
2562 #
2563 #-
2564 #  type: "plot"
2565 #  title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2566 #  algorithm: "plot_performance_box"
2567 #  output-file-type: ".html"
2568 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2569 #  data:
2570 #    csit-vpp-perf-1710-all:
2571 #    -
2572 #  filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2573 #  parameters:
2574 #  - "throughput"
2575 #  - "parent"
2576 #  traces:
2577 #    hoverinfo: "x+y"
2578 #    boxpoints: "outliers"
2579 #    whiskerwidth: 0
2580 #  layout:
2581 #    title: "64B-2t2c-.*ipsec.*-ndrdisc"
2582 #    xaxis:
2583 #      autorange: True
2584 #      autotick: False
2585 #      fixedrange: False
2586 #      gridcolor: "rgb(238, 238, 238)"
2587 #      linecolor: "rgb(238, 238, 238)"
2588 #      linewidth: 1
2589 #      showgrid: True
2590 #      showline: True
2591 #      showticklabels: True
2592 #      tickcolor: "rgb(238, 238, 238)"
2593 #      tickmode: "linear"
2594 #      title: "Indexed Test Cases"
2595 #      zeroline: False
2596 #    yaxis:
2597 #      gridcolor: "rgb(238, 238, 238)'"
2598 #      hoverformat: ".4s"
2599 #      linecolor: "rgb(238, 238, 238)"
2600 #      linewidth: 1
2601 #      range: []
2602 #      showgrid: True
2603 #      showline: True
2604 #      showticklabels: True
2605 #      tickcolor: "rgb(238, 238, 238)"
2606 #      title: "Packets Per Second [pps]"
2607 #      zeroline: False
2608 #    boxmode: "group"
2609 #    boxgroupgap: 0.5
2610 #    autosize: False
2611 #    margin:
2612 #      t: 50
2613 #      b: 20
2614 #      l: 50
2615 #      r: 20
2616 #    showlegend: True
2617 #    legend:
2618 #      orientation: "h"
2619 #    width: 700
2620 #    height: 1000
2621 #
2622 #-
2623 #  type: "plot"
2624 #  title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2625 #  algorithm: "plot_performance_box"
2626 #  output-file-type: ".html"
2627 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2628 #  data:
2629 #    csit-vpp-perf-1710-all:
2630 #    -
2631 #  filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2632 #  parameters:
2633 #  - "throughput"
2634 #  - "parent"
2635 #  traces:
2636 #    hoverinfo: "x+y"
2637 #    boxpoints: "outliers"
2638 #    whiskerwidth: 0
2639 #  layout:
2640 #    title: "64B-1t1c-.*ipsec.*-pdrdisc"
2641 #    xaxis:
2642 #      autorange: True
2643 #      autotick: False
2644 #      fixedrange: False
2645 #      gridcolor: "rgb(238, 238, 238)"
2646 #      linecolor: "rgb(238, 238, 238)"
2647 #      linewidth: 1
2648 #      showgrid: True
2649 #      showline: True
2650 #      showticklabels: True
2651 #      tickcolor: "rgb(238, 238, 238)"
2652 #      tickmode: "linear"
2653 #      title: "Indexed Test Cases"
2654 #      zeroline: False
2655 #    yaxis:
2656 #      gridcolor: "rgb(238, 238, 238)'"
2657 #      hoverformat: ".4s"
2658 #      linecolor: "rgb(238, 238, 238)"
2659 #      linewidth: 1
2660 #      range: []
2661 #      showgrid: True
2662 #      showline: True
2663 #      showticklabels: True
2664 #      tickcolor: "rgb(238, 238, 238)"
2665 #      title: "Packets Per Second [pps]"
2666 #      zeroline: False
2667 #    boxmode: "group"
2668 #    boxgroupgap: 0.5
2669 #    autosize: False
2670 #    margin:
2671 #      t: 50
2672 #      b: 20
2673 #      l: 50
2674 #      r: 20
2675 #    showlegend: True
2676 #    legend:
2677 #      orientation: "h"
2678 #    width: 700
2679 #    height: 1000
2680 #
2681 #-
2682 #  type: "plot"
2683 #  title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2684 #  algorithm: "plot_performance_box"
2685 #  output-file-type: ".html"
2686 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2687 #  data:
2688 #    csit-vpp-perf-1710-all:
2689 #    -
2690 #  filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2691 #  parameters:
2692 #  - "throughput"
2693 #  - "parent"
2694 #  traces:
2695 #    hoverinfo: "x+y"
2696 #    boxpoints: "outliers"
2697 #    whiskerwidth: 0
2698 #  layout:
2699 #    title: "64B-2t2c-.*ipsec.*-pdrdisc"
2700 #    xaxis:
2701 #      autorange: True
2702 #      autotick: False
2703 #      fixedrange: False
2704 #      gridcolor: "rgb(238, 238, 238)"
2705 #      linecolor: "rgb(238, 238, 238)"
2706 #      linewidth: 1
2707 #      showgrid: True
2708 #      showline: True
2709 #      showticklabels: True
2710 #      tickcolor: "rgb(238, 238, 238)"
2711 #      tickmode: "linear"
2712 #      title: "Indexed Test Cases"
2713 #      zeroline: False
2714 #    yaxis:
2715 #      gridcolor: "rgb(238, 238, 238)'"
2716 #      hoverformat: ".4s"
2717 #      linecolor: "rgb(238, 238, 238)"
2718 #      linewidth: 1
2719 #      range: []
2720 #      showgrid: True
2721 #      showline: True
2722 #      showticklabels: True
2723 #      tickcolor: "rgb(238, 238, 238)"
2724 #      title: "Packets Per Second [pps]"
2725 #      zeroline: False
2726 #    boxmode: "group"
2727 #    boxgroupgap: 0.5
2728 #    autosize: False
2729 #    margin:
2730 #      t: 50
2731 #      b: 20
2732 #      l: 50
2733 #      r: 20
2734 #    showlegend: True
2735 #    legend:
2736 #      orientation: "h"
2737 #    width: 700
2738 #    height: 1000
2739 #
2740 ## DPDK
2741 #-
2742 #  type: "plot"
2743 #  title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2744 #  algorithm: "plot_performance_box"
2745 #  output-file-type: ".html"
2746 #  output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2747 #  data:
2748 #    csit-dpdk-perf-1710-all:
2749 #    -
2750 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2751 #  parameters:
2752 #  - "throughput"
2753 #  - "parent"
2754 #  traces:
2755 #    hoverinfo: "x+y"
2756 #    boxpoints: "outliers"
2757 #    whiskerwidth: 0
2758 #  layout:
2759 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2760 #    xaxis:
2761 #      autorange: True
2762 #      autotick: False
2763 #      fixedrange: False
2764 #      gridcolor: "rgb(238, 238, 238)"
2765 #      linecolor: "rgb(238, 238, 238)"
2766 #      linewidth: 1
2767 #      showgrid: True
2768 #      showline: True
2769 #      showticklabels: True
2770 #      tickcolor: "rgb(238, 238, 238)"
2771 #      tickmode: "linear"
2772 #      title: "Indexed Test Cases"
2773 #      zeroline: False
2774 #    yaxis:
2775 #      gridcolor: "rgb(238, 238, 238)'"
2776 #      hoverformat: ".4s"
2777 #      linecolor: "rgb(238, 238, 238)"
2778 #      linewidth: 1
2779 #      range: []
2780 #      showgrid: True
2781 #      showline: True
2782 #      showticklabels: True
2783 #      tickcolor: "rgb(238, 238, 238)"
2784 #      title: "Packets Per Second [pps]"
2785 #      zeroline: False
2786 #    boxmode: "group"
2787 #    boxgroupgap: 0.5
2788 #    autosize: False
2789 #    margin:
2790 #      t: 50
2791 #      b: 20
2792 #      l: 50
2793 #      r: 20
2794 #    showlegend: True
2795 #    legend:
2796 #      orientation: "h"
2797 #    width: 700
2798 #    height: 1000
2799 #
2800 #-
2801 #  type: "plot"
2802 #  title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2803 #  algorithm: "plot_performance_box"
2804 #  output-file-type: ".html"
2805 #  output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2806 #  data:
2807 #    csit-dpdk-perf-1710-all:
2808 #    -
2809 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2810 #  parameters:
2811 #  - "throughput"
2812 #  - "parent"
2813 #  traces:
2814 #    hoverinfo: "x+y"
2815 #    boxpoints: "outliers"
2816 #    whiskerwidth: 0
2817 #  layout:
2818 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2819 #    xaxis:
2820 #      autorange: True
2821 #      autotick: False
2822 #      fixedrange: False
2823 #      gridcolor: "rgb(238, 238, 238)"
2824 #      linecolor: "rgb(238, 238, 238)"
2825 #      linewidth: 1
2826 #      showgrid: True
2827 #      showline: True
2828 #      showticklabels: True
2829 #      tickcolor: "rgb(238, 238, 238)"
2830 #      tickmode: "linear"
2831 #      title: "Indexed Test Cases"
2832 #      zeroline: False
2833 #    yaxis:
2834 #      gridcolor: "rgb(238, 238, 238)'"
2835 #      hoverformat: ".4s"
2836 #      linecolor: "rgb(238, 238, 238)"
2837 #      linewidth: 1
2838 #      range: []
2839 #      showgrid: True
2840 #      showline: True
2841 #      showticklabels: True
2842 #      tickcolor: "rgb(238, 238, 238)"
2843 #      title: "Packets Per Second [pps]"
2844 #      zeroline: False
2845 #    boxmode: "group"
2846 #    boxgroupgap: 0.5
2847 #    autosize: False
2848 #    margin:
2849 #      t: 50
2850 #      b: 20
2851 #      l: 50
2852 #      r: 20
2853 #    showlegend: True
2854 #    legend:
2855 #      orientation: "h"
2856 #    width: 700
2857 #    height: 1000
2858 #
2859 #-
2860 #  type: "plot"
2861 #  title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2862 #  algorithm: "plot_performance_box"
2863 #  output-file-type: ".html"
2864 #  output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2865 #  data:
2866 #    csit-dpdk-perf-1710-all:
2867 #    -
2868 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2869 #  parameters:
2870 #  - "throughput"
2871 #  - "parent"
2872 #  traces:
2873 #    hoverinfo: "x+y"
2874 #    boxpoints: "outliers"
2875 #    whiskerwidth: 0
2876 #  layout:
2877 #    title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2878 #    xaxis:
2879 #      autorange: True
2880 #      autotick: False
2881 #      fixedrange: False
2882 #      gridcolor: "rgb(238, 238, 238)"
2883 #      linecolor: "rgb(238, 238, 238)"
2884 #      linewidth: 1
2885 #      showgrid: True
2886 #      showline: True
2887 #      showticklabels: True
2888 #      tickcolor: "rgb(238, 238, 238)"
2889 #      tickmode: "linear"
2890 #      title: "Indexed Test Cases"
2891 #      zeroline: False
2892 #    yaxis:
2893 #      gridcolor: "rgb(238, 238, 238)'"
2894 #      hoverformat: ".4s"
2895 #      linecolor: "rgb(238, 238, 238)"
2896 #      linewidth: 1
2897 #      range: [2000000, 12000000]
2898 #      showgrid: True
2899 #      showline: True
2900 #      showticklabels: True
2901 #      tickcolor: "rgb(238, 238, 238)"
2902 #      title: "Packets Per Second [pps]"
2903 #      zeroline: False
2904 #    boxmode: "group"
2905 #    boxgroupgap: 0.5
2906 #    autosize: False
2907 #    margin:
2908 #      t: 50
2909 #      b: 20
2910 #      l: 50
2911 #      r: 20
2912 #    showlegend: True
2913 #    legend:
2914 #      orientation: "h"
2915 #    width: 700
2916 #    height: 1000
2917 #
2918 #-
2919 #  type: "plot"
2920 #  title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2921 #  algorithm: "plot_performance_box"
2922 #  output-file-type: ".html"
2923 #  output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2924 #  data:
2925 #    csit-dpdk-perf-1710-all:
2926 #    -
2927 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2928 #  parameters:
2929 #  - "throughput"
2930 #  - "parent"
2931 #  traces:
2932 #    hoverinfo: "x+y"
2933 #    boxpoints: "outliers"
2934 #    whiskerwidth: 0
2935 #  layout:
2936 #    title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2937 #    xaxis:
2938 #      autorange: True
2939 #      autotick: False
2940 #      fixedrange: False
2941 #      gridcolor: "rgb(238, 238, 238)"
2942 #      linecolor: "rgb(238, 238, 238)"
2943 #      linewidth: 1
2944 #      showgrid: True
2945 #      showline: True
2946 #      showticklabels: True
2947 #      tickcolor: "rgb(238, 238, 238)"
2948 #      tickmode: "linear"
2949 #      title: "Indexed Test Cases"
2950 #      zeroline: False
2951 #    yaxis:
2952 #      gridcolor: "rgb(238, 238, 238)'"
2953 #      hoverformat: ".4s"
2954 #      linecolor: "rgb(238, 238, 238)"
2955 #      linewidth: 1
2956 #      range: [2000000, 12000000]
2957 #      showgrid: True
2958 #      showline: True
2959 #      showticklabels: True
2960 #      tickcolor: "rgb(238, 238, 238)"
2961 #      title: "Packets Per Second [pps]"
2962 #      zeroline: False
2963 #    boxmode: "group"
2964 #    boxgroupgap: 0.5
2965 #    autosize: False
2966 #    margin:
2967 #      t: 50
2968 #      b: 20
2969 #      l: 50
2970 #      r: 20
2971 #    showlegend: True
2972 #    legend:
2973 #      orientation: "h"
2974 #    width: 700
2975 #    height: 1000
2976 #
2977 #-
2978 #  type: "plot"
2979 #  title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2980 #  algorithm: "plot_performance_box"
2981 #  output-file-type: ".html"
2982 #  output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2983 #  data:
2984 #    csit-dpdk-perf-1710-all:
2985 #    -
2986 #  filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2987 #  parameters:
2988 #  - "throughput"
2989 #  - "parent"
2990 #  traces:
2991 #    hoverinfo: "x+y"
2992 #    boxpoints: "outliers"
2993 #    whiskerwidth: 0
2994 #  layout:
2995 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2996 #    xaxis:
2997 #      autorange: True
2998 #      autotick: False
2999 #      fixedrange: False
3000 #      gridcolor: "rgb(238, 238, 238)"
3001 #      linecolor: "rgb(238, 238, 238)"
3002 #      linewidth: 1
3003 #      showgrid: True
3004 #      showline: True
3005 #      showticklabels: True
3006 #      tickcolor: "rgb(238, 238, 238)"
3007 #      tickmode: "linear"
3008 #      title: "Indexed Test Cases"
3009 #      zeroline: False
3010 #    yaxis:
3011 #      gridcolor: "rgb(238, 238, 238)'"
3012 #      hoverformat: ".4s"
3013 #      linecolor: "rgb(238, 238, 238)"
3014 #      linewidth: 1
3015 #      range: []
3016 #      showgrid: True
3017 #      showline: True
3018 #      showticklabels: True
3019 #      tickcolor: "rgb(238, 238, 238)"
3020 #      title: "Packets Per Second [pps]"
3021 #      zeroline: False
3022 #    boxmode: "group"
3023 #    boxgroupgap: 0.5
3024 #    autosize: False
3025 #    margin:
3026 #      t: 50
3027 #      b: 20
3028 #      l: 50
3029 #      r: 20
3030 #    showlegend: True
3031 #    legend:
3032 #      orientation: "h"
3033 #    width: 700
3034 #    height: 1000
3035 #
3036 #-
3037 #  type: "plot"
3038 #  title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3039 #  algorithm: "plot_performance_box"
3040 #  output-file-type: ".html"
3041 #  output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3042 #  data:
3043 #    csit-dpdk-perf-1710-all:
3044 #    -
3045 #  filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3046 #  parameters:
3047 #  - "throughput"
3048 #  - "parent"
3049 #  traces:
3050 #    hoverinfo: "x+y"
3051 #    boxpoints: "outliers"
3052 #    whiskerwidth: 0
3053 #  layout:
3054 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3055 #    xaxis:
3056 #      autorange: True
3057 #      autotick: False
3058 #      fixedrange: False
3059 #      gridcolor: "rgb(238, 238, 238)"
3060 #      linecolor: "rgb(238, 238, 238)"
3061 #      linewidth: 1
3062 #      showgrid: True
3063 #      showline: True
3064 #      showticklabels: True
3065 #      tickcolor: "rgb(238, 238, 238)"
3066 #      tickmode: "linear"
3067 #      title: "Indexed Test Cases"
3068 #      zeroline: False
3069 #    yaxis:
3070 #      gridcolor: "rgb(238, 238, 238)'"
3071 #      hoverformat: ".4s"
3072 #      linecolor: "rgb(238, 238, 238)"
3073 #      linewidth: 1
3074 #      range: []
3075 #      showgrid: True
3076 #      showline: True
3077 #      showticklabels: True
3078 #      tickcolor: "rgb(238, 238, 238)"
3079 #      title: "Packets Per Second [pps]"
3080 #      zeroline: False
3081 #    boxmode: "group"
3082 #    boxgroupgap: 0.5
3083 #    autosize: False
3084 #    margin:
3085 #      t: 50
3086 #      b: 20
3087 #      l: 50
3088 #      r: 20
3089 #    showlegend: True
3090 #    legend:
3091 #      orientation: "h"
3092 #    width: 700
3093 #    height: 1000
3094 #
3095 #-
3096 #  type: "plot"
3097 #  title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3098 #  algorithm: "plot_performance_box"
3099 #  output-file-type: ".html"
3100 #  output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3101 #  data:
3102 #    csit-dpdk-perf-1710-all:
3103 #    -
3104 #  filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3105 #  parameters:
3106 #  - "throughput"
3107 #  - "parent"
3108 #  traces:
3109 #    hoverinfo: "x+y"
3110 #    boxpoints: "outliers"
3111 #    whiskerwidth: 0
3112 #  layout:
3113 #    title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3114 #    xaxis:
3115 #      autorange: True
3116 #      autotick: False
3117 #      fixedrange: False
3118 #      gridcolor: "rgb(238, 238, 238)"
3119 #      linecolor: "rgb(238, 238, 238)"
3120 #      linewidth: 1
3121 #      showgrid: True
3122 #      showline: True
3123 #      showticklabels: True
3124 #      tickcolor: "rgb(238, 238, 238)"
3125 #      tickmode: "linear"
3126 #      title: "Indexed Test Cases"
3127 #      zeroline: False
3128 #    yaxis:
3129 #      gridcolor: "rgb(238, 238, 238)'"
3130 #      hoverformat: ".4s"
3131 #      linecolor: "rgb(238, 238, 238)"
3132 #      linewidth: 1
3133 #      range: [20000000, 30000000]
3134 #      showgrid: True
3135 #      showline: True
3136 #      showticklabels: True
3137 #      tickcolor: "rgb(238, 238, 238)"
3138 #      title: "Packets Per Second [pps]"
3139 #      zeroline: False
3140 #    boxmode: "group"
3141 #    boxgroupgap: 0.5
3142 #    autosize: False
3143 #    margin:
3144 #      t: 50
3145 #      b: 20
3146 #      l: 50
3147 #      r: 20
3148 #    showlegend: True
3149 #    legend:
3150 #      orientation: "h"
3151 #    width: 700
3152 #    height: 1000
3153 #
3154 #-
3155 #  type: "plot"
3156 #  title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3157 #  algorithm: "plot_performance_box"
3158 #  output-file-type: ".html"
3159 #  output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3160 #  data:
3161 #    csit-dpdk-perf-1710-all:
3162 #    -
3163 #  filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3164 #  parameters:
3165 #  - "throughput"
3166 #  - "parent"
3167 #  traces:
3168 #    hoverinfo: "x+y"
3169 #    boxpoints: "outliers"
3170 #    whiskerwidth: 0
3171 #  layout:
3172 #    title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3173 #    xaxis:
3174 #      autorange: True
3175 #      autotick: False
3176 #      fixedrange: False
3177 #      gridcolor: "rgb(238, 238, 238)"
3178 #      linecolor: "rgb(238, 238, 238)"
3179 #      linewidth: 1
3180 #      showgrid: True
3181 #      showline: True
3182 #      showticklabels: True
3183 #      tickcolor: "rgb(238, 238, 238)"
3184 #      tickmode: "linear"
3185 #      title: "Indexed Test Cases"
3186 #      zeroline: False
3187 #    yaxis:
3188 #      gridcolor: "rgb(238, 238, 238)'"
3189 #      hoverformat: ".4s"
3190 #      linecolor: "rgb(238, 238, 238)"
3191 #      linewidth: 1
3192 #      range: [20000000, 30000000]
3193 #      showgrid: True
3194 #      showline: True
3195 #      showticklabels: True
3196 #      tickcolor: "rgb(238, 238, 238)"
3197 #      title: "Packets Per Second [pps]"
3198 #      zeroline: False
3199 #    boxmode: "group"
3200 #    boxgroupgap: 0.5
3201 #    autosize: False
3202 #    margin:
3203 #      t: 50
3204 #      b: 20
3205 #      l: 50
3206 #      r: 20
3207 #    showlegend: True
3208 #    legend:
3209 #      orientation: "h"
3210 #    width: 700
3211 #    height: 1000
3212 #
3213 ## Plot latency
3214 #
3215 ## VPP L2 sel1
3216 #-
3217 #  type: "plot"
3218 #  title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3219 #  algorithm: "plot_latency_box"
3220 #  output-file-type: ".html"
3221 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3222 #  data:
3223 #    csit-vpp-perf-1710-all:
3224 #    -
3225 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3226 #  parameters:
3227 #  - "latency"
3228 #  - "parent"
3229 #  traces:
3230 #    boxmean: False
3231 #  layout:
3232 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3233 #    xaxis:
3234 #      autorange: True
3235 #      autotick: False
3236 #      fixedrange: False
3237 #      gridcolor: "rgb(238, 238, 238)"
3238 #      linecolor: "rgb(238, 238, 238)"
3239 #      linewidth: 1
3240 #      showgrid: True
3241 #      showline: True
3242 #      showticklabels: True
3243 #      tickcolor: "rgb(238, 238, 238)"
3244 #      tickmode: "linear"
3245 #      title: "Indexed Test Cases"
3246 #      zeroline: False
3247 #    yaxis:
3248 #      gridcolor: "rgb(238, 238, 238)'"
3249 #      hoverformat: ""
3250 #      linecolor: "rgb(238, 238, 238)"
3251 #      linewidth: 1
3252 #      range: []
3253 #      showgrid: True
3254 #      showline: True
3255 #      showticklabels: True
3256 #      tickcolor: "rgb(238, 238, 238)"
3257 #      title: "Latency min/avg/max [uSec]"
3258 #      zeroline: False
3259 #    boxmode: "group"
3260 #    boxgroupgap: 0.5
3261 #    autosize: False
3262 #    margin:
3263 #      t: 50
3264 #      b: 20
3265 #      l: 50
3266 #      r: 20
3267 #    showlegend: True
3268 #    legend:
3269 #      orientation: "h"
3270 #    width: 700
3271 #    height: 1000
3272 #
3273 #-
3274 #  type: "plot"
3275 #  title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3276 #  algorithm: "plot_latency_box"
3277 #  output-file-type: ".html"
3278 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3279 #  data:
3280 #    csit-vpp-perf-1710-all:
3281 #    -
3282 #  filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3283 #  parameters:
3284 #  - "latency"
3285 #  - "parent"
3286 #  traces:
3287 #    boxmean: False
3288 #  layout:
3289 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3290 #    xaxis:
3291 #      autorange: True
3292 #      autotick: False
3293 #      fixedrange: False
3294 #      gridcolor: "rgb(238, 238, 238)"
3295 #      linecolor: "rgb(238, 238, 238)"
3296 #      linewidth: 1
3297 #      showgrid: True
3298 #      showline: True
3299 #      showticklabels: True
3300 #      tickcolor: "rgb(238, 238, 238)"
3301 #      tickmode: "linear"
3302 #      title: "Indexed Test Cases"
3303 #      zeroline: False
3304 #    yaxis:
3305 #      gridcolor: "rgb(238, 238, 238)'"
3306 #      hoverformat: ""
3307 #      linecolor: "rgb(238, 238, 238)"
3308 #      linewidth: 1
3309 #      range: []
3310 #      showgrid: True
3311 #      showline: True
3312 #      showticklabels: True
3313 #      tickcolor: "rgb(238, 238, 238)"
3314 #      title: "Latency min/avg/max [uSec]"
3315 #      zeroline: False
3316 #    boxmode: "group"
3317 #    boxgroupgap: 0.5
3318 #    autosize: False
3319 #    margin:
3320 #      t: 50
3321 #      b: 20
3322 #      l: 50
3323 #      r: 20
3324 #    showlegend: True
3325 #    legend:
3326 #      orientation: "h"
3327 #    width: 700
3328 #    height: 1000
3329 #
3330 ## VPP L2 sel2
3331 #-
3332 #  type: "plot"
3333 #  title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3334 #  algorithm: "plot_latency_box"
3335 #  output-file-type: ".html"
3336 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3337 #  data:
3338 #    csit-vpp-perf-1710-all:
3339 #    -
3340 #  filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3341 #  parameters:
3342 #  - "latency"
3343 #  - "parent"
3344 #  traces:
3345 #    boxmean: False
3346 #  layout:
3347 #    title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3348 #    xaxis:
3349 #      autorange: True
3350 #      autotick: False
3351 #      fixedrange: False
3352 #      gridcolor: "rgb(238, 238, 238)"
3353 #      linecolor: "rgb(238, 238, 238)"
3354 #      linewidth: 1
3355 #      showgrid: True
3356 #      showline: True
3357 #      showticklabels: True
3358 #      tickcolor: "rgb(238, 238, 238)"
3359 #      tickmode: "linear"
3360 #      title: "Indexed Test Cases"
3361 #      zeroline: False
3362 #    yaxis:
3363 #      gridcolor: "rgb(238, 238, 238)'"
3364 #      hoverformat: ""
3365 #      linecolor: "rgb(238, 238, 238)"
3366 #      linewidth: 1
3367 #      range: []
3368 #      showgrid: True
3369 #      showline: True
3370 #      showticklabels: True
3371 #      tickcolor: "rgb(238, 238, 238)"
3372 #      title: "Latency min/avg/max [uSec]"
3373 #      zeroline: False
3374 #    boxmode: "group"
3375 #    boxgroupgap: 0.5
3376 #    autosize: False
3377 #    margin:
3378 #      t: 50
3379 #      b: 20
3380 #      l: 50
3381 #      r: 20
3382 #    showlegend: True
3383 #    legend:
3384 #      orientation: "h"
3385 #    width: 700
3386 #    height: 1000
3387 #
3388 #-
3389 #  type: "plot"
3390 #  title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3391 #  algorithm: "plot_latency_box"
3392 #  output-file-type: ".html"
3393 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3394 #  data:
3395 #    csit-vpp-perf-1710-all:
3396 #    -
3397 #  filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3398 #  parameters:
3399 #  - "latency"
3400 #  - "parent"
3401 #  traces:
3402 #    boxmean: False
3403 #  layout:
3404 #    title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3405 #    xaxis:
3406 #      autorange: True
3407 #      autotick: False
3408 #      fixedrange: False
3409 #      gridcolor: "rgb(238, 238, 238)"
3410 #      linecolor: "rgb(238, 238, 238)"
3411 #      linewidth: 1
3412 #      showgrid: True
3413 #      showline: True
3414 #      showticklabels: True
3415 #      tickcolor: "rgb(238, 238, 238)"
3416 #      tickmode: "linear"
3417 #      title: "Indexed Test Cases"
3418 #      zeroline: False
3419 #    yaxis:
3420 #      gridcolor: "rgb(238, 238, 238)'"
3421 #      hoverformat: ""
3422 #      linecolor: "rgb(238, 238, 238)"
3423 #      linewidth: 1
3424 #      range: []
3425 #      showgrid: True
3426 #      showline: True
3427 #      showticklabels: True
3428 #      tickcolor: "rgb(238, 238, 238)"
3429 #      title: "Latency min/avg/max [uSec]"
3430 #      zeroline: False
3431 #    boxmode: "group"
3432 #    boxgroupgap: 0.5
3433 #    autosize: False
3434 #    margin:
3435 #      t: 50
3436 #      b: 20
3437 #      l: 50
3438 #      r: 20
3439 #    showlegend: True
3440 #    legend:
3441 #      orientation: "h"
3442 #    width: 700
3443 #    height: 1000
3444 #
3445 ## VPP IP4
3446 #-
3447 #  type: "plot"
3448 #  title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3449 #  algorithm: "plot_latency_box"
3450 #  output-file-type: ".html"
3451 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3452 #  data:
3453 #    csit-vpp-perf-1710-all:
3454 #    -
3455 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3456 #  parameters:
3457 #  - "latency"
3458 #  - "parent"
3459 #  traces:
3460 #    boxmean: False
3461 #  layout:
3462 #    title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3463 #    xaxis:
3464 #      autorange: True
3465 #      autotick: False
3466 #      fixedrange: False
3467 #      gridcolor: "rgb(238, 238, 238)"
3468 #      linecolor: "rgb(238, 238, 238)"
3469 #      linewidth: 1
3470 #      showgrid: True
3471 #      showline: True
3472 #      showticklabels: True
3473 #      tickcolor: "rgb(238, 238, 238)"
3474 #      tickmode: "linear"
3475 #      title: "Indexed Test Cases"
3476 #      zeroline: False
3477 #    yaxis:
3478 #      gridcolor: "rgb(238, 238, 238)'"
3479 #      hoverformat: ""
3480 #      linecolor: "rgb(238, 238, 238)"
3481 #      linewidth: 1
3482 #      range: []
3483 #      showgrid: True
3484 #      showline: True
3485 #      showticklabels: True
3486 #      tickcolor: "rgb(238, 238, 238)"
3487 #      title: "Latency min/avg/max [uSec]"
3488 #      zeroline: False
3489 #    boxmode: "group"
3490 #    boxgroupgap: 0.5
3491 #    autosize: False
3492 #    margin:
3493 #      t: 50
3494 #      b: 20
3495 #      l: 50
3496 #      r: 20
3497 #    showlegend: True
3498 #    legend:
3499 #      orientation: "h"
3500 #    width: 700
3501 #    height: 1000
3502 #
3503 #-
3504 #  type: "plot"
3505 #  title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3506 #  algorithm: "plot_latency_box"
3507 #  output-file-type: ".html"
3508 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3509 #  data:
3510 #    csit-vpp-perf-1710-all:
3511 #    -
3512 #  filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
3513 #  parameters:
3514 #  - "latency"
3515 #  - "parent"
3516 #  traces:
3517 #    boxmean: False
3518 #  layout:
3519 #    title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3520 #    xaxis:
3521 #      autorange: True
3522 #      autotick: False
3523 #      fixedrange: False
3524 #      gridcolor: "rgb(238, 238, 238)"
3525 #      linecolor: "rgb(238, 238, 238)"
3526 #      linewidth: 1
3527 #      showgrid: True
3528 #      showline: True
3529 #      showticklabels: True
3530 #      tickcolor: "rgb(238, 238, 238)"
3531 #      tickmode: "linear"
3532 #      title: "Indexed Test Cases"
3533 #      zeroline: False
3534 #    yaxis:
3535 #      gridcolor: "rgb(238, 238, 238)'"
3536 #      hoverformat: ""
3537 #      linecolor: "rgb(238, 238, 238)"
3538 #      linewidth: 1
3539 #      range: []
3540 #      showgrid: True
3541 #      showline: True
3542 #      showticklabels: True
3543 #      tickcolor: "rgb(238, 238, 238)"
3544 #      title: "Latency min/avg/max [uSec]"
3545 #      zeroline: False
3546 #    boxmode: "group"
3547 #    boxgroupgap: 0.5
3548 #    autosize: False
3549 #    margin:
3550 #      t: 50
3551 #      b: 20
3552 #      l: 50
3553 #      r: 20
3554 #    showlegend: True
3555 #    legend:
3556 #      orientation: "h"
3557 #    width: 700
3558 #    height: 1000
3559 #
3560 ## VPP IP6
3561 #-
3562 #  type: "plot"
3563 #  title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3564 #  algorithm: "plot_latency_box"
3565 #  output-file-type: ".html"
3566 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3567 #  data:
3568 #    csit-vpp-perf-1710-all:
3569 #    -
3570 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3571 #  parameters:
3572 #  - "latency"
3573 #  - "parent"
3574 #  traces:
3575 #    boxmean: False
3576 #  layout:
3577 #    title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3578 #    xaxis:
3579 #      autorange: True
3580 #      autotick: False
3581 #      fixedrange: False
3582 #      gridcolor: "rgb(238, 238, 238)"
3583 #      linecolor: "rgb(238, 238, 238)"
3584 #      linewidth: 1
3585 #      showgrid: True
3586 #      showline: True
3587 #      showticklabels: True
3588 #      tickcolor: "rgb(238, 238, 238)"
3589 #      tickmode: "linear"
3590 #      title: "Indexed Test Cases"
3591 #      zeroline: False
3592 #    yaxis:
3593 #      gridcolor: "rgb(238, 238, 238)'"
3594 #      hoverformat: ""
3595 #      linecolor: "rgb(238, 238, 238)"
3596 #      linewidth: 1
3597 #      range: []
3598 #      showgrid: True
3599 #      showline: True
3600 #      showticklabels: True
3601 #      tickcolor: "rgb(238, 238, 238)"
3602 #      title: "Latency min/avg/max [uSec]"
3603 #      zeroline: False
3604 #    boxmode: "group"
3605 #    boxgroupgap: 0.5
3606 #    autosize: False
3607 #    margin:
3608 #      t: 50
3609 #      b: 20
3610 #      l: 50
3611 #      r: 20
3612 #    showlegend: True
3613 #    legend:
3614 #      orientation: "h"
3615 #    width: 700
3616 #    height: 1000
3617 #
3618 #-
3619 #  type: "plot"
3620 #  title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3621 #  algorithm: "plot_latency_box"
3622 #  output-file-type: ".html"
3623 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3624 #  data:
3625 #    csit-vpp-perf-1710-all:
3626 #    -
3627 #  filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3628 #  parameters:
3629 #  - "latency"
3630 #  - "parent"
3631 #  traces:
3632 #    boxmean: False
3633 #  layout:
3634 #    title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3635 #    xaxis:
3636 #      autorange: True
3637 #      autotick: False
3638 #      fixedrange: False
3639 #      gridcolor: "rgb(238, 238, 238)"
3640 #      linecolor: "rgb(238, 238, 238)"
3641 #      linewidth: 1
3642 #      showgrid: True
3643 #      showline: True
3644 #      showticklabels: True
3645 #      tickcolor: "rgb(238, 238, 238)"
3646 #      tickmode: "linear"
3647 #      title: "Indexed Test Cases"
3648 #      zeroline: False
3649 #    yaxis:
3650 #      gridcolor: "rgb(238, 238, 238)'"
3651 #      hoverformat: ""
3652 #      linecolor: "rgb(238, 238, 238)"
3653 #      linewidth: 1
3654 #      range: []
3655 #      showgrid: True
3656 #      showline: True
3657 #      showticklabels: True
3658 #      tickcolor: "rgb(238, 238, 238)"
3659 #      title: "Latency min/avg/max [uSec]"
3660 #      zeroline: False
3661 #    boxmode: "group"
3662 #    boxgroupgap: 0.5
3663 #    autosize: False
3664 #    margin:
3665 #      t: 50
3666 #      b: 20
3667 #      l: 50
3668 #      r: 20
3669 #    showlegend: True
3670 #    legend:
3671 #      orientation: "h"
3672 #    width: 700
3673 #    height: 1000
3674 #
3675 ## VPP IP4_overlay
3676 #-
3677 #  type: "plot"
3678 #  title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3679 #  algorithm: "plot_latency_box"
3680 #  output-file-type: ".html"
3681 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3682 #  data:
3683 #    csit-vpp-perf-1710-all:
3684 #    -
3685 #  filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3686 #  parameters:
3687 #  - "latency"
3688 #  - "parent"
3689 #  traces:
3690 #    boxmean: False
3691 #  layout:
3692 #    title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3693 #    xaxis:
3694 #      autorange: True
3695 #      autotick: False
3696 #      fixedrange: False
3697 #      gridcolor: "rgb(238, 238, 238)"
3698 #      linecolor: "rgb(238, 238, 238)"
3699 #      linewidth: 1
3700 #      showgrid: True
3701 #      showline: True
3702 #      showticklabels: True
3703 #      tickcolor: "rgb(238, 238, 238)"
3704 #      tickmode: "linear"
3705 #      title: "Indexed Test Cases"
3706 #      zeroline: False
3707 #    yaxis:
3708 #      gridcolor: "rgb(238, 238, 238)'"
3709 #      hoverformat: ""
3710 #      linecolor: "rgb(238, 238, 238)"
3711 #      linewidth: 1
3712 #      range: []
3713 #      showgrid: True
3714 #      showline: True
3715 #      showticklabels: True
3716 #      tickcolor: "rgb(238, 238, 238)"
3717 #      title: "Latency min/avg/max [uSec]"
3718 #      zeroline: False
3719 #    boxmode: "group"
3720 #    boxgroupgap: 0.5
3721 #    autosize: False
3722 #    margin:
3723 #      t: 50
3724 #      b: 20
3725 #      l: 50
3726 #      r: 20
3727 #    showlegend: True
3728 #    legend:
3729 #      orientation: "h"
3730 #    width: 700
3731 #    height: 1000
3732 #
3733 #-
3734 #  type: "plot"
3735 #  title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3736 #  algorithm: "plot_latency_box"
3737 #  output-file-type: ".html"
3738 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
3739 #  data:
3740 #    csit-vpp-perf-1710-all:
3741 #    -
3742 #  filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3743 #  parameters:
3744 #  - "latency"
3745 #  - "parent"
3746 #  traces:
3747 #    boxmean: False
3748 #  layout:
3749 #    title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3750 #    xaxis:
3751 #      autorange: True
3752 #      autotick: False
3753 #      fixedrange: False
3754 #      gridcolor: "rgb(238, 238, 238)"
3755 #      linecolor: "rgb(238, 238, 238)"
3756 #      linewidth: 1
3757 #      showgrid: True
3758 #      showline: True
3759 #      showticklabels: True
3760 #      tickcolor: "rgb(238, 238, 238)"
3761 #      tickmode: "linear"
3762 #      title: "Indexed Test Cases"
3763 #      zeroline: False
3764 #    yaxis:
3765 #      gridcolor: "rgb(238, 238, 238)'"
3766 #      hoverformat: ""
3767 #      linecolor: "rgb(238, 238, 238)"
3768 #      linewidth: 1
3769 #      range: []
3770 #      showgrid: True
3771 #      showline: True
3772 #      showticklabels: True
3773 #      tickcolor: "rgb(238, 238, 238)"
3774 #      title: "Latency min/avg/max [uSec]"
3775 #      zeroline: False
3776 #    boxmode: "group"
3777 #    boxgroupgap: 0.5
3778 #    autosize: False
3779 #    margin:
3780 #      t: 50
3781 #      b: 20
3782 #      l: 50
3783 #      r: 20
3784 #    showlegend: True
3785 #    legend:
3786 #      orientation: "h"
3787 #    width: 700
3788 #    height: 1000
3789 #
3790 ## VPP IP6_overlay
3791 #-
3792 #  type: "plot"
3793 #  title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3794 #  algorithm: "plot_latency_box"
3795 #  output-file-type: ".html"
3796 #  output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
3797 #  data:
3798 #    csit-vpp-perf-1710-all:
3799 #    -
3800 #  filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3801 #  parameters:
3802 #  - "latency"
3803 #  - "parent"
3804 #  traces:
3805 #    boxmean: False
3806 #  layout:
3807 #    title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3808 #    xaxis:
3809 #      autorange: True
3810 #      autotick: False
3811 #      fixedrange: False
3812 #      gridcolor: "rgb(238, 238, 238)"
3813 #      linecolor: "rgb(238, 238, 238)"
3814 #      linewidth: 1
3815 #      showgrid: True
3816 #      showline: True
3817 #      showticklabels: True
3818 #      tickcolor: "rgb(238, 238, 238)"
3819 #      tickmode: "linear"
3820 #      title: "Indexed Test Cases"
3821 #      zeroline: False
3822 #    yaxis:
3823 #      gridcolor: "rgb(238, 238, 238)'"
3824 #      hoverformat: ""
3825 #      linecolor: "rgb(238, 238, 238)"
3826 #      linewidth: 1
3827 #      range: []
3828 #      showgrid: True
3829 #      showline: True
3830 #      showticklabels: True
3831 #      tickcolor: "rgb(238, 238, 238)"
3832 #      title: "Latency min/avg/max [uSec]"
3833 #      zeroline: False
3834 #    boxmode: "group"
3835 #    boxgroupgap: 0.5
3836 #    autosize: False
3837 #    margin:
3838 #      t: 50
3839 #      b: 20
3840 #      l: 50
3841 #      r: 20
3842 #    showlegend: True
3843 #    legend:
3844 #      orientation: "h"
3845 #    width: 700
3846 #    height: 1000
3847 #
3848 #-
3849 #  type: "plot"
3850 #  title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3851 #  algorithm: "plot_latency_box"
3852 #  output-file-type: ".html"
3853 #  output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
3854 #  data:
3855 #    csit-vpp-perf-1710-all:
3856 #    -
3857 #  filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
3858 #  parameters:
3859 #  - "latency"
3860 #  - "parent"
3861 #  traces:
3862 #    boxmean: False
3863 #  layout:
3864 #    title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
3865 #    xaxis:
3866 #      autorange: True
3867 #      autotick: False
3868 #      fixedrange: False
3869 #      gridcolor: "rgb(238, 238, 238)"
3870 #      linecolor: "rgb(238, 238, 238)"
3871 #      linewidth: 1
3872 #      showgrid: True
3873 #      showline: True
3874 #      showticklabels: True
3875 #      tickcolor: "rgb(238, 238, 238)"
3876 #      tickmode: "linear"
3877 #      title: "Indexed Test Cases"
3878 #      zeroline: False
3879 #    yaxis:
3880 #      gridcolor: "rgb(238, 238, 238)'"
3881 #      hoverformat: ""
3882 #      linecolor: "rgb(238, 238, 238)"
3883 #      linewidth: 1
3884 #      range: []
3885 #      showgrid: True
3886 #      showline: True
3887 #      showticklabels: True
3888 #      tickcolor: "rgb(238, 238, 238)"
3889 #      title: "Latency min/avg/max [uSec]"
3890 #      zeroline: False
3891 #    boxmode: "group"
3892 #    boxgroupgap: 0.5
3893 #    autosize: False
3894 #    margin:
3895 #      t: 50
3896 #      b: 20
3897 #      l: 50
3898 #      r: 20
3899 #    showlegend: True
3900 #    legend:
3901 #      orientation: "h"
3902 #    width: 700
3903 #    height: 1000
3904 #
3905 ## VPP VM VHOST
3906 #-
3907 #  type: "plot"
3908 #  title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
3909 #  algorithm: "plot_latency_box"
3910 #  output-file-type: ".html"
3911 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
3912 #  data:
3913 #    csit-vpp-perf-1710-all:
3914 #    -
3915 #  filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3916 #  parameters:
3917 #  - "latency"
3918 #  - "parent"
3919 #  traces:
3920 #    boxmean: False
3921 #  layout:
3922 #    title: "64B-1t1c-.*vhost.*-ndrdisc"
3923 #    xaxis:
3924 #      autorange: True
3925 #      autotick: False
3926 #      fixedrange: False
3927 #      gridcolor: "rgb(238, 238, 238)"
3928 #      linecolor: "rgb(238, 238, 238)"
3929 #      linewidth: 1
3930 #      showgrid: True
3931 #      showline: True
3932 #      showticklabels: True
3933 #      tickcolor: "rgb(238, 238, 238)"
3934 #      tickmode: "linear"
3935 #      title: "Indexed Test Cases"
3936 #      zeroline: False
3937 #    yaxis:
3938 #      gridcolor: "rgb(238, 238, 238)'"
3939 #      hoverformat: ""
3940 #      linecolor: "rgb(238, 238, 238)"
3941 #      linewidth: 1
3942 #      range: []
3943 #      showgrid: True
3944 #      showline: True
3945 #      showticklabels: True
3946 #      tickcolor: "rgb(238, 238, 238)"
3947 #      title: "Latency min/avg/max [uSec]"
3948 #      zeroline: False
3949 #    boxmode: "group"
3950 #    boxgroupgap: 0.5
3951 #    autosize: False
3952 #    margin:
3953 #      t: 50
3954 #      b: 20
3955 #      l: 50
3956 #      r: 20
3957 #    showlegend: True
3958 #    legend:
3959 #      orientation: "h"
3960 #    width: 700
3961 #    height: 1000
3962 #
3963 #-
3964 #  type: "plot"
3965 #  title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
3966 #  algorithm: "plot_latency_box"
3967 #  output-file-type: ".html"
3968 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
3969 #  data:
3970 #    csit-vpp-perf-1710-all:
3971 #    -
3972 #  filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
3973 #  parameters:
3974 #  - "latency"
3975 #  - "parent"
3976 #  traces:
3977 #    boxmean: False
3978 #  layout:
3979 #    title: "64B-2t2c-.*vhost.*-ndrdisc"
3980 #    xaxis:
3981 #      autorange: True
3982 #      autotick: False
3983 #      fixedrange: False
3984 #      gridcolor: "rgb(238, 238, 238)"
3985 #      linecolor: "rgb(238, 238, 238)"
3986 #      linewidth: 1
3987 #      showgrid: True
3988 #      showline: True
3989 #      showticklabels: True
3990 #      tickcolor: "rgb(238, 238, 238)"
3991 #      tickmode: "linear"
3992 #      title: "Indexed Test Cases"
3993 #      zeroline: False
3994 #    yaxis:
3995 #      gridcolor: "rgb(238, 238, 238)'"
3996 #      hoverformat: ""
3997 #      linecolor: "rgb(238, 238, 238)"
3998 #      linewidth: 1
3999 #      range: []
4000 #      showgrid: True
4001 #      showline: True
4002 #      showticklabels: True
4003 #      tickcolor: "rgb(238, 238, 238)"
4004 #      title: "Latency min/avg/max [uSec]"
4005 #      zeroline: False
4006 #    boxmode: "group"
4007 #    boxgroupgap: 0.5
4008 #    autosize: False
4009 #    margin:
4010 #      t: 50
4011 #      b: 20
4012 #      l: 50
4013 #      r: 20
4014 #    showlegend: True
4015 #    legend:
4016 #      orientation: "h"
4017 #    width: 700
4018 #    height: 1000
4019 #
4020 ## VPP VM VHOST selection
4021 #-
4022 #  type: "plot"
4023 #  title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
4024 #  algorithm: "plot_latency_box"
4025 #  output-file-type: ".html"
4026 #  output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
4027 #  data:
4028 #    csit-vpp-perf-1710-all:
4029 #    -
4030 #  filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
4031 #  parameters:
4032 #  - "latency"
4033 #  - "parent"
4034 #  traces:
4035 #    boxmean: False
4036 #  layout:
4037 #    title: "64B-1t1c-.*vhost.*-ndrdisc"
4038 #    xaxis:
4039 #      autorange: True
4040 #      autotick: False
4041 #      fixedrange: False
4042 #      gridcolor: "rgb(238, 238, 238)"
4043 #      linecolor: "rgb(238, 238, 238)"
4044 #      linewidth: 1
4045 #      showgrid: True
4046 #      showline: True
4047 #      showticklabels: True
4048 #      tickcolor: "rgb(238, 238, 238)"
4049 #      tickmode: "linear"
4050 #      title: "Indexed Test Cases"
4051 #      zeroline: False
4052 #    yaxis:
4053 #      gridcolor: "rgb(238, 238, 238)'"
4054 #      hoverformat: ""
4055 #      linecolor: "rgb(238, 238, 238)"
4056 #      linewidth: 1
4057 #      range: []
4058 #      showgrid: True
4059 #      showline: True
4060 #      showticklabels: True
4061 #      tickcolor: "rgb(238, 238, 238)"
4062 #      title: "Latency min/avg/max [uSec]"
4063 #      zeroline: False
4064 #    boxmode: "group"
4065 #    boxgroupgap: 0.5
4066 #    autosize: False
4067 #    margin:
4068 #      t: 50
4069 #      b: 20
4070 #      l: 50
4071 #      r: 20
4072 #    showlegend: True
4073 #    legend:
4074 #      orientation: "h"
4075 #    width: 700
4076 #    height: 1000
4077 #
4078 #-
4079 #  type: "plot"
4080 #  title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
4081 #  algorithm: "plot_latency_box"
4082 #  output-file-type: ".html"
4083 #  output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
4084 #  data:
4085 #    csit-vpp-perf-1710-all:
4086 #    -
4087 #  filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
4088 #  parameters:
4089 #  - "latency"
4090 #  - "parent"
4091 #  traces:
4092 #    boxmean: False
4093 #  layout:
4094 #    title: "64B-2t2c-.*vhost.*-ndrdisc"
4095 #    xaxis:
4096 #      autorange: True
4097 #      autotick: False
4098 #      fixedrange: False
4099 #      gridcolor: "rgb(238, 238, 238)"
4100 #      linecolor: "rgb(238, 238, 238)"
4101 #      linewidth: 1
4102 #      showgrid: True
4103 #      showline: True
4104 #      showticklabels: True
4105 #      tickcolor: "rgb(238, 238, 238)"
4106 #      tickmode: "linear"
4107 #      title: "Indexed Test Cases"
4108 #      zeroline: False
4109 #    yaxis:
4110 #      gridcolor: "rgb(238, 238, 238)'"
4111 #      hoverformat: ""