CSIT-902: Compare performance results before/after meltdown/spectre
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47     DIR[DTR,PERF,VPP,IMPACT,SPECTRE]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_impact_spectre"
48     DIR[DTR,PERF,VPP,IMPACT,MELTDOWN]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
49
50     # Detailed test configurations
51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
52     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
53     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
54
55     # Detailed tests operational data
56     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
57     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
58
59     # .css patch file to fix tables generated by Sphinx
60     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
61     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
62
63   urls:
64     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
65     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
66
67   make-dirs:
68   # List the directories which are created while preparing the environment.
69   # All directories MUST be defined in "paths" section.
70   - "DIR[WORKING,DATA]"
71   - "DIR[STATIC,VPP]"
72   - "DIR[STATIC,DPDK]"
73   - "DIR[STATIC,ARCH]"
74   - "DIR[BUILD,LATEX]"
75   - "DIR[WORKING,SRC]"
76   - "DIR[WORKING,SRC,STATIC]"
77
78   remove-dirs:
79   # List the directories which are deleted while cleaning the environment.
80   # All directories MUST be defined in "paths" section.
81   #- "DIR[BUILD,HTML]"
82
83   build-dirs:
84   # List the directories where the results (build) is stored.
85   # All directories MUST be defined in "paths" section.
86   - "DIR[BUILD,HTML]"
87   - "DIR[BUILD,LATEX]"
88
89 -
90   type: "configuration"
91   data-sets:
92     vpp-meltdown-impact:
93 # TODO: specify data sources
94 #      csit-vpp-perf-1801-all:
95 #      - 1
96 #      - 2
97     plot-throughput-speedup-analysis:
98 # TODO: Add the data sources
99 #      csit-vpp-perf-1801-all:
100 #      - 1
101 #      - 2
102     vpp-spectre-impact:
103 # TODO: specify data sources
104 #      csit-vpp-perf-1801-all:
105 #      - 1
106 #      - 2
107     plot-throughput-speedup-analysis:
108 # TODO: Add the data sources
109 #      csit-vpp-perf-1801-all:
110 #      - 1
111 #      - 2
112     performance-improvements:
113       csit-vpp-perf-1707-all:
114       - 9
115       - 10
116       - 13
117       - 14
118       - 15
119       - 16
120       - 17
121       - 18
122       - 19
123       - 21
124       csit-vpp-perf-1710-all:
125       - 11
126       - 12
127       - 13
128       - 14
129       - 15
130       - 16
131       - 17
132       - 18
133       - 19
134       - 20
135       csit-ligato-perf-1710-all:
136       - 5
137       - 7
138       - 8
139       - 9
140       - 10
141       - 11
142       - 12
143       - 13
144       - 16
145       - 17
146     vpp-perf-results:
147       csit-vpp-perf-1710-all:
148       - 20
149       - 23
150     vpp-func-results:
151       csit-vpp-functional-1710-ubuntu1604-virl:
152       - 126
153     ligato-perf-results:
154       csit-ligato-perf-1710-all:
155       - 17
156     dpdk-perf-results:
157       csit-dpdk-perf-1710-all:
158       - 13
159     hc-func-results:
160       csit-hc2vpp-verify-func-1710-ubuntu1604:
161       - "lastSuccessfulBuild"
162     nsh-func-results:
163       csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
164       - 7
165     plot-vpp-throughput-latency:
166       csit-vpp-perf-1710-all:
167       - 11
168       - 12
169       - 13
170       - 14
171       - 15
172       - 16
173       - 17
174       - 18
175       - 19
176       - 20
177     plot-dpdk-throughput-latency:
178       csit-dpdk-perf-1710-all:
179       - 2
180       - 3
181       - 5
182       - 6
183       - 7
184       - 8
185       - 9
186       - 10
187       - 11
188       - 13
189     plot-ligato-throughput-latency:
190       csit-ligato-perf-1710-all:
191       - 5
192       - 7
193       - 8
194       - 9
195       - 10
196       - 11
197       - 12
198       - 13
199       - 16
200       - 17
201   plot-layouts:
202     plot-throughput:
203       xaxis:
204         autorange: True
205         autotick: False
206         fixedrange: False
207         gridcolor: "rgb(238, 238, 238)"
208         linecolor: "rgb(238, 238, 238)"
209         linewidth: 1
210         showgrid: True
211         showline: True
212         showticklabels: True
213         tickcolor: "rgb(238, 238, 238)"
214         tickmode: "linear"
215         title: "Indexed Test Cases"
216         zeroline: False
217       yaxis:
218         gridcolor: "rgb(238, 238, 238)'"
219         hoverformat: ".4s"
220         linecolor: "rgb(238, 238, 238)"
221         linewidth: 1
222         range: []
223         showgrid: True
224         showline: True
225         showticklabels: True
226         tickcolor: "rgb(238, 238, 238)"
227         title: "Packets Per Second [pps]"
228         zeroline: False
229       boxmode: "group"
230       boxgroupgap: 0.5
231       autosize: False
232       margin:
233         t: 50
234         b: 20
235         l: 50
236         r: 20
237       showlegend: True
238       legend:
239         orientation: "h"
240       width: 700
241       height: 1000
242     plot-latency:
243       xaxis:
244         autorange: True
245         autotick: False
246         fixedrange: False
247         gridcolor: "rgb(238, 238, 238)"
248         linecolor: "rgb(238, 238, 238)"
249         linewidth: 1
250         showgrid: True
251         showline: True
252         showticklabels: True
253         tickcolor: "rgb(238, 238, 238)"
254         tickmode: "linear"
255         title: "Indexed Test Cases"
256         zeroline: False
257       yaxis:
258         gridcolor: "rgb(238, 238, 238)'"
259         hoverformat: ""
260         linecolor: "rgb(238, 238, 238)"
261         linewidth: 1
262         range: []
263         showgrid: True
264         showline: True
265         showticklabels: True
266         tickcolor: "rgb(238, 238, 238)"
267         title: "Latency min/avg/max [uSec]"
268         zeroline: False
269       boxmode: "group"
270       boxgroupgap: 0.5
271       autosize: False
272       margin:
273         t: 50
274         b: 20
275         l: 50
276         r: 20
277       showlegend: True
278       legend:
279         orientation: "h"
280       width: 700
281       height: 1000
282     plot-throughput-speedup-analysis:
283       xaxis:
284         # title: "Test Cases"
285         autorange: True
286         autotick: False
287         fixedrange: False
288         gridcolor: "rgb(238, 238, 238)"
289         linecolor: "rgb(238, 238, 238)"
290         linewidth: 1
291         showgrid: True
292         showline: True
293         showticklabels: True
294         tickcolor: "rgb(238, 238, 238)"
295         tickmode: "linear"
296         tickangle: 270
297         zeroline: False
298       yaxis:
299         title: "Throughput speedup factor"
300         gridcolor: "rgb(238, 238, 238)"
301         hoverformat: ".4s"
302         linecolor: "rgb(238, 238, 238)"
303         linewidth: 1
304         range: []
305         showgrid: True
306         showline: True
307         showticklabels: True
308         tickcolor: "rgb(238, 238, 238)"
309         zeroline: False
310       legend:
311         orientation: "h"
312         xanchor: "center"
313         yanchor: "top"
314         x: 0.5
315         y: 1
316         bgcolor: "rgba(255, 255, 255, 0)"
317         bordercolor: "rgba(255, 255, 255, 0)"
318       barmode: "group"
319       bargap: 0.15
320       bargroupgap: 0.1
321       autosize: False
322       margin:
323           't': 50
324           'b': 200
325           'l': 50
326           'r': 20
327       showlegend: True
328       width: 700
329       height: 1000
330
331 -
332   type: "debug"
333   general:
334     input-format: "xml"  # zip or xml
335     extract: "robot-plugin/output.xml"  # Only for zip
336   builds:
337     # The files must be in the directory DIR[WORKING,DATA]
338     csit-vpp-perf-1801-all:
339     -
340       build: 1
341       file: "{DIR[WORKING,DATA]}/output.xml"
342     -
343       build: 2
344       file: "{DIR[WORKING,DATA]}/output.xml"
345 #    csit-dpdk-perf-1707-all:
346 #    -
347 #      build: 10
348 #      file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__10.xml"
349 #    -
350 #      build: 9
351 #      file: "{DIR[WORKING,DATA]}/csit-dpdk-perf-1707-all__9.xml"
352 #    csit-nsh_sfc-verify-func-1707-ubuntu1604-virl:
353 #    -
354 #      build: 2
355 #      file: "{DIR[WORKING,DATA]}/csit-nsh_sfc-verify-func-1707-ubuntu1604-virl-2.xml"
356 #    csit-vpp-functional-1707-ubuntu1604-virl:
357 #    -
358 #      build: lastSuccessfulBuild
359 #      file: "{DIR[WORKING,DATA]}/csit-vpp-functional-1707-ubuntu1604-virl-lastSuccessfulBuild.xml"
360 #    hc2vpp-csit-integration-1707-ubuntu1604:
361 #    -
362 #      build: lastSuccessfulBuild
363 #      file: "{DIR[WORKING,DATA]}/hc2vpp-csit-integration-1707-ubuntu1604-lastSuccessfulBuild.xml"
364 #    csit-vpp-perf-1707-all:
365 #    -
366 #      build: 16
367 #      file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__16__output.xml"
368 #    -
369 #      build: 17
370 #      file: "{DIR[WORKING,DATA]}/csit-vpp-perf-1707-all__17__output.xml"
371
372 -
373   type: "static"
374   src-path: "{DIR[RST]}"
375   dst-path: "{DIR[WORKING,SRC]}"
376
377 -
378   type: "input"  # Ignored in debug mode
379   general:
380     file-name: "robot-plugin.zip"
381     file-format: ".zip"
382     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
383     extract: "robot-plugin/output.xml"
384   builds:
385     csit-vpp-perf-1707-all:
386     - 9
387     - 10
388     - 13
389     - 14
390     - 15
391     - 16
392     - 17
393     - 18
394     - 19
395     - 21
396     csit-vpp-perf-1710-all:
397     - 11
398     - 12
399     - 13
400     - 14
401     - 15
402     - 16
403     - 17
404     - 18
405     - 19
406     - 20
407     - 23
408     csit-dpdk-perf-1710-all:
409     - 2
410     - 3
411     - 5
412     - 6
413     - 7
414     - 8
415     - 9
416     - 10
417     - 11
418     - 13
419     csit-ligato-perf-1710-all:
420     - 5
421     - 7
422     - 8
423     - 9
424     - 10
425     - 11
426     - 12
427     - 13
428     - 16
429     - 17
430     csit-vpp-functional-1710-ubuntu1604-virl:
431     - 126
432     csit-nsh_sfc-verify-func-1710-ubuntu1604-virl:
433     - 7
434     csit-hc2vpp-verify-func-1710-ubuntu1604:
435     - lastSuccessfulBuild
436
437 -
438   type: "output"
439   format:
440     html:
441     - full
442     pdf:
443     - minimal
444
445 ################################################################################
446 ###                               T A B L E S                                ###
447 ################################################################################
448
449 -
450   type: "table"
451   title: "Performance Impact of Meltdown Patches"
452   algorithm: "table_performance_comparision"
453   output-file-ext: ".csv"
454 # TODO: specify dir
455   output-file: "{DIR[DTR,PERF,VPP,IMPACT,MELTDOWN]}/meltdown-impact"
456   reference:
457     title: "No Meltdown"
458 # TODO: specify data sources
459 #    data:
460 #      csit-vpp-perf-1801-all:
461 #      - 1
462 #      - 2
463   compare:
464     title: "Meltdown Patches Applied"
465 # TODO: specify data sources
466 #    data:
467 #      csit-vpp-perf-1801-all:
468 #      - 1
469 #      - 2
470   data:
471     "vpp-meltdown-impact"
472   filter: "all"
473   parameters:
474   - "name"
475   - "parent"
476   - "throughput"
477   # Number of the best and the worst tests presented in the table. Use 0 (zero)
478   # to present all tests.
479   nr-of-tests-shown: 20
480
481 -
482   type: "table"
483   title: "Performance Impact of Spectre Patches"
484   algorithm: "table_performance_comparision"
485   output-file-ext: ".csv"
486 # TODO: specify dir
487   output-file: "{DIR[DTR,PERF,VPP,IMPACT,SPECTRE]}/spectre-impact"
488   reference:
489     title: "No Spectre"
490 # TODO: specify data sources
491 #    data:
492 #      csit-vpp-perf-1801-all:
493 #      - 1
494 #      - 2
495   compare:
496     title: "Spectre Patches Applied"
497 # TODO: specify data sources
498 #    data:
499 #      csit-vpp-perf-1801-all:
500 #      - 1
501 #      - 2
502   data:
503     "vpp-spectre-impact"
504   filter: "all"
505   parameters:
506   - "name"
507   - "parent"
508   - "throughput"
509   # Number of the best and the worst tests presented in the table. Use 0 (zero)
510   # to present all tests.
511   nr-of-tests-shown: 20
512
513 -
514   type: "table"
515   title: "Performance improvements"
516   algorithm: "table_performance_improvements"
517   template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
518   output-file-ext: ".csv"
519   output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
520   columns:
521   -
522     title: "Functionality"
523     data: "template 1"
524   -
525     title: "Test Name"
526     data: "template 2"
527   -
528     title: "16.09 mean [Mpps]"
529     data: "template 3"
530   -
531     title: "17.01 mean [Mpps]"
532     data: "template 4"
533   -
534     title: "17.04 mean [Mpps]"
535     data: "template 5"
536   -
537     title: "17.07 mean [Mpps]"
538     data: "data csit-vpp-perf-1707-all mean"
539   -
540     title: "17.10 mean [Mpps]"
541     data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
542   -
543     title: "17.10 stdev [Mpps]"
544     data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all stdev"
545   -
546     title: "17.07 to 17.10 change [%]"
547     data: "operation relative_change 5 6"
548   rows: "generated"
549   data:
550     "performance-improvements"
551   filter: "template"
552   parameters:
553   - "throughput"
554
555 -
556   type: "table"
557   title: "Detailed Test Results - VPP Performance Results"
558   algorithm: "table_merged_details"
559   output-file-ext: ".csv"
560   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
561   columns:
562   -
563     title: "Name"
564     data: "data name"
565   -
566     title: "Documentation"
567     data: "data doc"
568   -
569     title: "Status"
570     data: "data msg"
571   rows: "generated"
572   data:
573     "vpp-perf-results"
574   filter: "not 'NDRCHK' and not 'PDRCHK'"
575   parameters:
576   - "name"
577   - "parent"
578   - "doc"
579   - "msg"
580
581 -
582   type: "table"
583   title: "Test configuration - VPP Performance Test Configs"
584   algorithm: "table_merged_details"
585   output-file-ext: ".csv"
586   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
587   columns:
588   -
589     title: "Name"
590     data: "data name"
591   -
592     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
593     data: "data vat-history"
594   rows: "generated"
595   data:
596     "vpp-perf-results"
597   filter: "not 'NDRCHK' and not 'PDRCHK'"
598   parameters:
599   - "parent"
600   - "name"
601   - "vat-history"
602
603 -
604   type: "table"
605   title: "Test Operational Data - VPP Performance Operational Data"
606   algorithm: "table_merged_details"
607   output-file-ext: ".csv"
608   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
609   columns:
610   -
611     title: "Name"
612     data: "data name"
613   -
614     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
615     data: "data show-run"
616   rows: "generated"
617   data:
618     "vpp-perf-results"
619   filter: "not 'NDRCHK' and not 'PDRCHK'"
620   parameters:
621   - "parent"
622   - "name"
623   - "show-run"
624
625 -
626   type: "table"
627   title: "Detailed Test Results - VPP Functional Results"
628   algorithm: "table_details"
629   output-file-ext: ".csv"
630   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
631   columns:
632   -
633     title: "Name"
634     data: "data name"
635   -
636     title: "Documentation"
637     data: "data doc"
638   -
639     title: "Status"
640     data: "data status"
641   rows: "generated"
642   data:
643     "vpp-func-results"
644   filter: "all"
645   parameters:
646   - "name"
647   - "parent"
648   - "doc"
649   - "status"
650
651 -
652   type: "table"
653   title: "Test configuration - VPP Functional Test Configs"
654   algorithm: "table_details"
655   output-file-ext: ".csv"
656   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
657   columns:
658   -
659     title: "Name"
660     data: "data name"
661   -
662     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
663     data: "data vat-history"
664   rows: "generated"
665   data:
666     "vpp-func-results"
667   filter: "all"
668   parameters:
669   - "parent"
670   - "name"
671   - "vat-history"
672
673 -
674   type: "table"
675   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
676   algorithm: "table_details"
677   output-file-ext: ".csv"
678   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
679   columns:
680   -
681     title: "Name"
682     data: "data name"
683   -
684     title: "Documentation"
685     data: "data doc"
686   -
687     title: "Status"
688     data: "data msg"
689   rows: "generated"
690   data:
691     "ligato-perf-results"
692   filter: "all"
693   parameters:
694   - "name"
695   - "parent"
696   - "doc"
697   - "msg"
698
699 -
700   type: "table"
701   title: "Detailed Test Results - DPDK Performance Results"
702   algorithm: "table_details"
703   output-file-ext: ".csv"
704   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
705   columns:
706   -
707     title: "Name"
708     data: "data name"
709   -
710     title: "Documentation"
711     data: "data doc"
712   -
713     title: "Status"
714     data: "data msg"
715   rows: "generated"
716   data:
717     "dpdk-perf-results"
718   filter: "all"
719   parameters:
720   - "name"
721   - "parent"
722   - "doc"
723   - "msg"
724
725 -
726   type: "table"
727   title: "Detailed Test Results - Honeycomb Functional Results"
728   algorithm: "table_details"
729   output-file-ext: ".csv"
730   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
731   columns:
732   -
733     title: "Name"
734     data: "data name"
735   -
736     title: "Documentation"
737     data: "data doc"
738   -
739     title: "Status"
740     data: "data status"
741   rows: "generated"
742   data:
743     "hc-func-results"
744   filter: "all"
745   parameters:
746   - "name"
747   - "parent"
748   - "doc"
749   - "status"
750
751 -
752   type: "table"
753   title: "Detailed Test Results - NSH SFC Functional Results"
754   algorithm: "table_details"
755   output-file-ext: ".csv"
756   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
757   columns:
758   -
759     title: "Name"
760     data: "data name"
761   -
762     title: "Documentation"
763     data: "data doc"
764   -
765     title: "Status"
766     data: "data status"
767   rows: "generated"
768   data:
769     "nsh-func-results"
770   filter: "all"
771   parameters:
772   - "name"
773   - "parent"
774   - "doc"
775   - "status"
776
777 ################################################################################
778 ###                                F I L E S                                 ###
779 ################################################################################
780
781 -
782   type: "file"
783   title: "VPP Performance Results"
784   algorithm: "file_merged_test_results"
785   output-file-ext: ".rst"
786   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
787   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
788   dir-tables: "{DIR[DTR,PERF,VPP]}"
789   data:
790     "vpp-perf-results"
791   filter: "not 'NDRCHK' and not 'PDRCHK'"
792   parameters:
793   - "name"
794   - "doc"
795   - "level"
796   - "parent"
797   data-start-level: 3  # 0, 1, 2, ...
798   chapters-start-level: 2  # 0, 1, 2, ...
799
800 -
801   type: "file"
802   title: "VPP Performance Configuration"
803   algorithm: "file_merged_test_results"
804   output-file-ext: ".rst"
805   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
806   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
807   dir-tables: "{DIR[DTC,PERF,VPP]}"
808   data:
809     "vpp-perf-results"
810   filter: "not 'NDRCHK' and not 'PDRCHK'"
811   parameters:
812   - "name"
813   - "doc"
814   - "level"
815   - "parent"
816   data-start-level: 3  # 0, 1, 2, ...
817   chapters-start-level: 2  # 0, 1, 2, ...
818
819 -
820   type: "file"
821   title: "VPP Performance Operational Data"
822   algorithm: "file_merged_test_results"
823   output-file-ext: ".rst"
824   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
825   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
826   dir-tables: "{DIR[DTO,PERF,VPP]}"
827   data:
828     "vpp-perf-results"
829   filter: "not 'NDRCHK' and not 'PDRCHK'"
830   parameters:
831   - "name"
832   - "doc"
833   - "level"
834   - "parent"
835   data-start-level: 3  # 0, 1, 2, ...
836   chapters-start-level: 2  # 0, 1, 2, ...
837
838 -
839   type: "file"
840   title: "VPP Functional Results"
841   algorithm: "file_test_results"
842   output-file-ext: ".rst"
843   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
844   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
845   dir-tables: "{DIR[DTR,FUNC,VPP]}"
846   data:
847     "vpp-func-results"
848   filter: "all"
849   parameters:
850   - "name"
851   - "doc"
852   - "level"
853   data-start-level: 3  # 0, 1, 2, ...
854   chapters-start-level: 2  # 0, 1, 2, ...
855
856 -
857   type: "file"
858   title: "VPP Functional Configuration"
859   algorithm: "file_test_results"
860   output-file-ext: ".rst"
861   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
862   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
863   dir-tables: "{DIR[DTC,FUNC,VPP]}"
864   data:
865     "vpp-func-results"
866   filter: "all"
867   parameters:
868   - "name"
869   - "doc"
870   - "level"
871   data-start-level: 3  # 0, 1, 2, ...
872   chapters-start-level: 2  # 0, 1, 2, ...
873
874 -
875   type: "file"
876   title: "Container Orchestrated Performance Results"
877   algorithm: "file_test_results"
878   output-file-ext: ".rst"
879   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
880   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
881   dir-tables: "{DIR[DTR,PERF,COT]}"
882   data:
883     "ligato-perf-results"
884   filter: "all"
885   parameters:
886   - "name"
887   - "doc"
888   - "level"
889   data-start-level: 2  # 0, 1, 2, ...
890   chapters-start-level: 2  # 0, 1, 2, ...
891
892 -
893   type: "file"
894   title: "DPDK Performance Results"
895   algorithm: "file_test_results"
896   output-file-ext: ".rst"
897   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
898   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
899   dir-tables: "{DIR[DTR,PERF,DPDK]}"
900   data:
901     "dpdk-perf-results"
902   filter: "all"
903   parameters:
904   - "name"
905   - "doc"
906   - "level"
907   chapters:
908   - "suites"
909   data-start-level: 2  # 0, 1, 2, ...
910   chapters-start-level: 2  # 0, 1, 2, ...
911
912 -
913   type: "file"
914   title: "Honeycomb Functional Results"
915   algorithm: "file_test_results"
916   output-file-ext: ".rst"
917   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
918   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
919   dir-tables: "{DIR[DTR,FUNC,HC]}"
920   data:
921     "hc-func-results"
922   filter: "all"
923   parameters:
924   - "name"
925   - "doc"
926   - "level"
927   chapters:
928   - "suites"
929   data-start-level: 3  # 0, 1, 2, ...
930   chapters-start-level: 2  # 0, 1, 2, ...
931
932 -
933   type: "file"
934   title: "NSH SFC Functional Results"
935   algorithm: "file_test_results"
936   output-file-ext: ".rst"
937   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
938   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
939   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
940   data:
941     "nsh-func-results"
942   filter: "all"
943   parameters:
944   - "name"
945   - "doc"
946   - "level"
947   chapters:
948   - "suites"
949   data-start-level: 2  # 0, 1, 2, ...
950   chapters-start-level: 2  # 0, 1, 2, ...
951
952 ################################################################################
953 ###                                P L O T S                                 ###
954 ################################################################################
955
956 # Plot Throughput Speedup Analysis
957
958 # L2 - 10ge2p1x520 - NDR
959 -
960   type: "plot"
961   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
962   algorithm: "plot_throughput_speedup_analysis"
963   output-file-type: ".html"
964   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
965   data:
966     "plot-throughput-speedup-analysis"
967   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
968   parameters:
969   - "throughput"
970   - "parent"
971   - "tags"
972   layout:
973     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
974     layout:
975       "plot-throughput-speedup-analysis"
976
977 # L2 - 40ge2p1xl710 - NDR
978 -
979   type: "plot"
980   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
981   algorithm: "plot_throughput_speedup_analysis"
982   output-file-type: ".html"
983   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
984   data:
985     "plot-throughput-speedup-analysis"
986   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
987   parameters:
988   - "throughput"
989   - "parent"
990   - "tags"
991   layout:
992     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
993     layout:
994       "plot-throughput-speedup-analysis"
995
996 # L2 - 10ge2p1x520 - PDR
997 -
998   type: "plot"
999   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1000   algorithm: "plot_throughput_speedup_analysis"
1001   output-file-type: ".html"
1002   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1003   data:
1004     "plot-throughput-speedup-analysis"
1005   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1006   parameters:
1007   - "throughput"
1008   - "parent"
1009   - "tags"
1010   layout:
1011     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1012     layout:
1013       "plot-throughput-speedup-analysis"
1014
1015 # IPv4 - 10ge2p1x520 - NDR
1016 -
1017   type: "plot"
1018   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1019   algorithm: "plot_throughput_speedup_analysis"
1020   output-file-type: ".html"
1021   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1022   data:
1023     "plot-throughput-speedup-analysis"
1024   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1025   parameters:
1026   - "throughput"
1027   - "parent"
1028   - "tags"
1029   layout:
1030     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1031     layout:
1032       "plot-throughput-speedup-analysis"
1033
1034 # IPv4 - 40ge2p1xl710 - NDR
1035 -
1036   type: "plot"
1037   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1038   algorithm: "plot_throughput_speedup_analysis"
1039   output-file-type: ".html"
1040   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1041   data:
1042     "plot-throughput-speedup-analysis"
1043   filter: "'NIC_Intel-XL710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1044   parameters:
1045   - "throughput"
1046   - "parent"
1047   - "tags"
1048   layout:
1049     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1050     layout:
1051       "plot-throughput-speedup-analysis"
1052
1053 # IPv4 - 10ge2p1x520 - PDR
1054 -
1055   type: "plot"
1056   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1057   algorithm: "plot_throughput_speedup_analysis"
1058   output-file-type: ".html"
1059   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1060   data:
1061     "plot-throughput-speedup-analysis"
1062   filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1063   parameters:
1064   - "throughput"
1065   - "parent"
1066   - "tags"
1067   layout:
1068     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1069     layout:
1070       "plot-throughput-speedup-analysis"
1071
1072 # IPv6 - 10ge2p1x520 - NDR
1073 -
1074   type: "plot"
1075   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1076   algorithm: "plot_throughput_speedup_analysis"
1077   output-file-type: ".html"
1078   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1079   data:
1080     "plot-throughput-speedup-analysis"
1081   filter: "'NIC_Intel-X520-DA2' and '78B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1082   parameters:
1083   - "throughput"
1084   - "parent"
1085   - "tags"
1086   layout:
1087     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1088     layout:
1089       "plot-throughput-speedup-analysis"
1090
1091 # IPv6 - 40ge2p1xl710 - NDR
1092 -
1093   type: "plot"
1094   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1095   algorithm: "plot_throughput_speedup_analysis"
1096   output-file-type: ".html"
1097   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1098   data:
1099     "plot-throughput-speedup-analysis"
1100   filter: "'NIC_Intel-XL710' and '78B' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1101   parameters:
1102   - "throughput"
1103   - "parent"
1104   - "tags"
1105   layout:
1106     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1107     layout:
1108       "plot-throughput-speedup-analysis"
1109
1110 # IPv6 - 10ge2p1x520 - PDR
1111 -
1112   type: "plot"
1113   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1114   algorithm: "plot_throughput_speedup_analysis"
1115   output-file-type: ".html"
1116   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1117   data:
1118     "plot-throughput-speedup-analysis"
1119   filter: "'NIC_Intel-X520-DA2' and '78B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1120   parameters:
1121   - "throughput"
1122   - "parent"
1123   - "tags"
1124   layout:
1125     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1126     layout:
1127       "plot-throughput-speedup-analysis"
1128
1129 # Plot packets per second
1130
1131 # VPP L2 sel1
1132 -
1133   type: "plot"
1134   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1135   algorithm: "plot_performance_box"
1136   output-file-type: ".html"
1137   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1138   data:
1139     "plot-vpp-throughput-latency"
1140   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1141   # each tag is enclosed with ' (apostrophe).
1142   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1143   parameters:
1144   - "throughput"
1145   - "parent"
1146   traces:
1147     hoverinfo: "x+y"
1148     boxpoints: "outliers"
1149     whiskerwidth: 0
1150   layout:
1151     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1152     layout:
1153       "plot-throughput"
1154
1155 -
1156   type: "plot"
1157   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1158   algorithm: "plot_performance_box"
1159   output-file-type: ".html"
1160   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1161   data:
1162     "plot-vpp-throughput-latency"
1163   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1164   parameters:
1165   - "throughput"
1166   - "parent"
1167   traces:
1168     hoverinfo: "x+y"
1169     boxpoints: "outliers"
1170     whiskerwidth: 0
1171   layout:
1172     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1173     layout:
1174       "plot-throughput"
1175
1176 -
1177   type: "plot"
1178   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1179   algorithm: "plot_performance_box"
1180   output-file-type: ".html"
1181   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1182   data:
1183     "plot-vpp-throughput-latency"
1184   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1185   parameters:
1186   - "throughput"
1187   - "parent"
1188   traces:
1189     hoverinfo: "x+y"
1190     boxpoints: "outliers"
1191     whiskerwidth: 0
1192   layout:
1193     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1194     layout:
1195       "plot-throughput"
1196
1197 -
1198   type: "plot"
1199   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1200   algorithm: "plot_performance_box"
1201   output-file-type: ".html"
1202   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1203   data:
1204     "plot-vpp-throughput-latency"
1205   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1206   parameters:
1207   - "throughput"
1208   - "parent"
1209   traces:
1210     hoverinfo: "x+y"
1211     boxpoints: "outliers"
1212     whiskerwidth: 0
1213   layout:
1214     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1215     layout:
1216       "plot-throughput"
1217
1218 # VPP L2 sel2
1219 -
1220   type: "plot"
1221   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1222   algorithm: "plot_performance_box"
1223   output-file-type: ".html"
1224   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1225   data:
1226     "plot-vpp-throughput-latency"
1227   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1228   parameters:
1229   - "throughput"
1230   - "parent"
1231   traces:
1232     hoverinfo: "x+y"
1233     boxpoints: "outliers"
1234     whiskerwidth: 0
1235   layout:
1236     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1237     layout:
1238       "plot-throughput"
1239
1240 -
1241   type: "plot"
1242   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1243   algorithm: "plot_performance_box"
1244   output-file-type: ".html"
1245   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1246   data:
1247     "plot-vpp-throughput-latency"
1248   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1249   parameters:
1250   - "throughput"
1251   - "parent"
1252   traces:
1253     hoverinfo: "x+y"
1254     boxpoints: "outliers"
1255     whiskerwidth: 0
1256   layout:
1257     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1258     layout:
1259       "plot-throughput"
1260
1261 -
1262   type: "plot"
1263   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1264   algorithm: "plot_performance_box"
1265   output-file-type: ".html"
1266   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1267   data:
1268     "plot-vpp-throughput-latency"
1269   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1270   parameters:
1271   - "throughput"
1272   - "parent"
1273   traces:
1274     hoverinfo: "x+y"
1275     boxpoints: "outliers"
1276     whiskerwidth: 0
1277   layout:
1278     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1279     layout:
1280       "plot-throughput"
1281
1282 -
1283   type: "plot"
1284   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1285   algorithm: "plot_performance_box"
1286   output-file-type: ".html"
1287   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1288   data:
1289     "plot-vpp-throughput-latency"
1290   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1291   parameters:
1292   - "throughput"
1293   - "parent"
1294   traces:
1295     hoverinfo: "x+y"
1296     boxpoints: "outliers"
1297     whiskerwidth: 0
1298   layout:
1299     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1300     layout:
1301       "plot-throughput"
1302
1303 # VPP IP4
1304 -
1305   type: "plot"
1306   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1307   algorithm: "plot_performance_box"
1308   output-file-type: ".html"
1309   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1310   data:
1311     "plot-vpp-throughput-latency"
1312   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1313   parameters:
1314   - "throughput"
1315   - "parent"
1316   traces:
1317     hoverinfo: "x+y"
1318     boxpoints: "outliers"
1319     whiskerwidth: 0
1320   layout:
1321     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1322     layout:
1323       "plot-throughput"
1324
1325 -
1326   type: "plot"
1327   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1328   algorithm: "plot_performance_box"
1329   output-file-type: ".html"
1330   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1331   data:
1332     "plot-vpp-throughput-latency"
1333   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1334   parameters:
1335   - "throughput"
1336   - "parent"
1337   traces:
1338     hoverinfo: "x+y"
1339     boxpoints: "outliers"
1340     whiskerwidth: 0
1341   layout:
1342     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1343     layout:
1344       "plot-throughput"
1345
1346 -
1347   type: "plot"
1348   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1349   algorithm: "plot_performance_box"
1350   output-file-type: ".html"
1351   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1352   data:
1353     "plot-vpp-throughput-latency"
1354   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1355   parameters:
1356   - "throughput"
1357   - "parent"
1358   traces:
1359     hoverinfo: "x+y"
1360     boxpoints: "outliers"
1361     whiskerwidth: 0
1362   layout:
1363     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1364     layout:
1365       "plot-throughput"
1366
1367 -
1368   type: "plot"
1369   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1370   algorithm: "plot_performance_box"
1371   output-file-type: ".html"
1372   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1373   data:
1374     "plot-vpp-throughput-latency"
1375   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1376   parameters:
1377   - "throughput"
1378   - "parent"
1379   traces:
1380     hoverinfo: "x+y"
1381     boxpoints: "outliers"
1382     whiskerwidth: 0
1383   layout:
1384     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1385     layout:
1386       "plot-throughput"
1387
1388 # VPP IP6
1389 -
1390   type: "plot"
1391   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1392   algorithm: "plot_performance_box"
1393   output-file-type: ".html"
1394   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1395   data:
1396     "plot-vpp-throughput-latency"
1397   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1398   parameters:
1399   - "throughput"
1400   - "parent"
1401   traces:
1402     hoverinfo: "x+y"
1403     boxpoints: "outliers"
1404     whiskerwidth: 0
1405   layout:
1406     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1407     layout:
1408       "plot-throughput"
1409
1410 -
1411   type: "plot"
1412   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1413   algorithm: "plot_performance_box"
1414   output-file-type: ".html"
1415   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1416   data:
1417     "plot-vpp-throughput-latency"
1418   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1419   parameters:
1420   - "throughput"
1421   - "parent"
1422   traces:
1423     hoverinfo: "x+y"
1424     boxpoints: "outliers"
1425     whiskerwidth: 0
1426   layout:
1427     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1428     layout:
1429       "plot-throughput"
1430
1431 -
1432   type: "plot"
1433   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1434   algorithm: "plot_performance_box"
1435   output-file-type: ".html"
1436   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1437   data:
1438     "plot-vpp-throughput-latency"
1439   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1440   parameters:
1441   - "throughput"
1442   - "parent"
1443   traces:
1444     hoverinfo: "x+y"
1445     boxpoints: "outliers"
1446     whiskerwidth: 0
1447   layout:
1448     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1449     layout:
1450       "plot-throughput"
1451
1452 -
1453   type: "plot"
1454   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1455   algorithm: "plot_performance_box"
1456   output-file-type: ".html"
1457   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1458   data:
1459     "plot-vpp-throughput-latency"
1460   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1461   parameters:
1462   - "throughput"
1463   - "parent"
1464   traces:
1465     hoverinfo: "x+y"
1466     boxpoints: "outliers"
1467     whiskerwidth: 0
1468   layout:
1469     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1470     layout:
1471       "plot-throughput"
1472
1473 # VPP IP4_overlay
1474 -
1475   type: "plot"
1476   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1477   algorithm: "plot_performance_box"
1478   output-file-type: ".html"
1479   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1480   data:
1481     "plot-vpp-throughput-latency"
1482   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1483   parameters:
1484   - "throughput"
1485   - "parent"
1486   traces:
1487     hoverinfo: "x+y"
1488     boxpoints: "outliers"
1489     whiskerwidth: 0
1490   layout:
1491     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1492     layout:
1493       "plot-throughput"
1494
1495 -
1496   type: "plot"
1497   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1498   algorithm: "plot_performance_box"
1499   output-file-type: ".html"
1500   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1501   data:
1502     "plot-vpp-throughput-latency"
1503   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1504   parameters:
1505   - "throughput"
1506   - "parent"
1507   traces:
1508     hoverinfo: "x+y"
1509     boxpoints: "outliers"
1510     whiskerwidth: 0
1511   layout:
1512     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1513     layout:
1514       "plot-throughput"
1515
1516 -
1517   type: "plot"
1518   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1519   algorithm: "plot_performance_box"
1520   output-file-type: ".html"
1521   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1522   data:
1523     "plot-vpp-throughput-latency"
1524   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1525   parameters:
1526   - "throughput"
1527   - "parent"
1528   traces:
1529     hoverinfo: "x+y"
1530     boxpoints: "outliers"
1531     whiskerwidth: 0
1532   layout:
1533     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1534     layout:
1535       "plot-throughput"
1536
1537 -
1538   type: "plot"
1539   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1540   algorithm: "plot_performance_box"
1541   output-file-type: ".html"
1542   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1543   data:
1544     "plot-vpp-throughput-latency"
1545   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1546   parameters:
1547   - "throughput"
1548   - "parent"
1549   traces:
1550     hoverinfo: "x+y"
1551     boxpoints: "outliers"
1552     whiskerwidth: 0
1553   layout:
1554     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1555     layout:
1556       "plot-throughput"
1557
1558 # VPP IP6_overlay
1559 -
1560   type: "plot"
1561   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1562   algorithm: "plot_performance_box"
1563   output-file-type: ".html"
1564   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1565   data:
1566     "plot-vpp-throughput-latency"
1567   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1568   parameters:
1569   - "throughput"
1570   - "parent"
1571   traces:
1572     hoverinfo: "x+y"
1573     boxpoints: "outliers"
1574     whiskerwidth: 0
1575   layout:
1576     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1577     layout:
1578       "plot-throughput"
1579
1580 -
1581   type: "plot"
1582   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1583   algorithm: "plot_performance_box"
1584   output-file-type: ".html"
1585   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1586   data:
1587     "plot-vpp-throughput-latency"
1588   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1589   parameters:
1590   - "throughput"
1591   - "parent"
1592   traces:
1593     hoverinfo: "x+y"
1594     boxpoints: "outliers"
1595     whiskerwidth: 0
1596   layout:
1597     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1598     layout:
1599       "plot-throughput"
1600
1601 -
1602   type: "plot"
1603   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1604   algorithm: "plot_performance_box"
1605   output-file-type: ".html"
1606   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1607   data:
1608     "plot-vpp-throughput-latency"
1609   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1610   parameters:
1611   - "throughput"
1612   - "parent"
1613   traces:
1614     hoverinfo: "x+y"
1615     boxpoints: "outliers"
1616     whiskerwidth: 0
1617   layout:
1618     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1619     layout:
1620       "plot-throughput"
1621
1622 -
1623   type: "plot"
1624   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1625   algorithm: "plot_performance_box"
1626   output-file-type: ".html"
1627   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1628   data:
1629     "plot-vpp-throughput-latency"
1630   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1631   parameters:
1632   - "throughput"
1633   - "parent"
1634   traces:
1635     hoverinfo: "x+y"
1636     boxpoints: "outliers"
1637     whiskerwidth: 0
1638   layout:
1639     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1640     layout:
1641       "plot-throughput"
1642
1643 # VPP VM VHOST
1644 -
1645   type: "plot"
1646   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1647   algorithm: "plot_performance_box"
1648   output-file-type: ".html"
1649   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
1650   data:
1651     "plot-vpp-throughput-latency"
1652   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1653   parameters:
1654   - "throughput"
1655   - "parent"
1656   traces:
1657     hoverinfo: "x+y"
1658     boxpoints: "outliers"
1659     whiskerwidth: 0
1660   layout:
1661     title: "64B-1t1c-.*vhost.*-ndrdisc"
1662     layout:
1663       "plot-throughput"
1664
1665 -
1666   type: "plot"
1667   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
1668   algorithm: "plot_performance_box"
1669   output-file-type: ".html"
1670   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
1671   data:
1672     "plot-vpp-throughput-latency"
1673   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1674   parameters:
1675   - "throughput"
1676   - "parent"
1677   traces:
1678     hoverinfo: "x+y"
1679     boxpoints: "outliers"
1680     whiskerwidth: 0
1681   layout:
1682     title: "64B-2t2c-.*vhost.*-ndrdisc"
1683     layout:
1684       "plot-throughput"
1685
1686 -
1687   type: "plot"
1688   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
1689   algorithm: "plot_performance_box"
1690   output-file-type: ".html"
1691   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
1692   data:
1693     "plot-vpp-throughput-latency"
1694   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1695   parameters:
1696   - "throughput"
1697   - "parent"
1698   traces:
1699     hoverinfo: "x+y"
1700     boxpoints: "outliers"
1701     whiskerwidth: 0
1702   layout:
1703     title: "64B-1t1c-.*vhost.*-pdrdisc"
1704     layout:
1705       "plot-throughput"
1706
1707 -
1708   type: "plot"
1709   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
1710   algorithm: "plot_performance_box"
1711   output-file-type: ".html"
1712   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
1713   data:
1714     "plot-vpp-throughput-latency"
1715   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1716   parameters:
1717   - "throughput"
1718   - "parent"
1719   traces:
1720     hoverinfo: "x+y"
1721     boxpoints: "outliers"
1722     whiskerwidth: 0
1723   layout:
1724     title: "64B-2t2c-.*vhost.*-pdrdisc"
1725     layout:
1726       "plot-throughput"
1727
1728 # VPP VM VHOST SELECTION
1729 -
1730   type: "plot"
1731   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
1732   algorithm: "plot_performance_box"
1733   output-file-type: ".html"
1734   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
1735   data:
1736     "plot-vpp-throughput-latency"
1737   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1738   parameters:
1739   - "throughput"
1740   - "parent"
1741   traces:
1742     hoverinfo: "x+y"
1743     boxpoints: "outliers"
1744     whiskerwidth: 0
1745   layout:
1746     title: "64B-1t1c-.*vhost.*-ndrdisc"
1747     layout:
1748       "plot-throughput"
1749
1750 -
1751   type: "plot"
1752   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
1753   algorithm: "plot_performance_box"
1754   output-file-type: ".html"
1755   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
1756   data:
1757     "plot-vpp-throughput-latency"
1758   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1759   parameters:
1760   - "throughput"
1761   - "parent"
1762   traces:
1763     hoverinfo: "x+y"
1764     boxpoints: "outliers"
1765     whiskerwidth: 0
1766   layout:
1767     title: "64B-2t2c-.*vhost.*-ndrdisc"
1768     layout:
1769       "plot-throughput"
1770
1771 -
1772   type: "plot"
1773   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
1774   algorithm: "plot_performance_box"
1775   output-file-type: ".html"
1776   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
1777   data:
1778     "plot-vpp-throughput-latency"
1779   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1780   parameters:
1781   - "throughput"
1782   - "parent"
1783   traces:
1784     hoverinfo: "x+y"
1785     boxpoints: "outliers"
1786     whiskerwidth: 0
1787   layout:
1788     title: "64B-1t1c-.*vhost.*-pdrdisc"
1789     layout:
1790       "plot-throughput"
1791
1792 -
1793   type: "plot"
1794   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
1795   algorithm: "plot_performance_box"
1796   output-file-type: ".html"
1797   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
1798   data:
1799     "plot-vpp-throughput-latency"
1800   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1801   parameters:
1802   - "throughput"
1803   - "parent"
1804   traces:
1805     hoverinfo: "x+y"
1806     boxpoints: "outliers"
1807     whiskerwidth: 0
1808   layout:
1809     title: "64B-2t2c-.*vhost.*-pdrdisc"
1810     layout:
1811       "plot-throughput"
1812
1813 # VPP CRYPTO
1814 -
1815   type: "plot"
1816   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
1817   algorithm: "plot_performance_box"
1818   output-file-type: ".html"
1819   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
1820   data:
1821     "plot-vpp-throughput-latency"
1822   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1823   parameters:
1824   - "throughput"
1825   - "parent"
1826   traces:
1827     hoverinfo: "x+y"
1828     boxpoints: "outliers"
1829     whiskerwidth: 0
1830   layout:
1831     title: "64B-1t1c-.*ipsec.*-ndrdisc"
1832     layout:
1833       "plot-throughput"
1834
1835 -
1836   type: "plot"
1837   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
1838   algorithm: "plot_performance_box"
1839   output-file-type: ".html"
1840   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
1841   data:
1842     "plot-vpp-throughput-latency"
1843   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1844   parameters:
1845   - "throughput"
1846   - "parent"
1847   traces:
1848     hoverinfo: "x+y"
1849     boxpoints: "outliers"
1850     whiskerwidth: 0
1851   layout:
1852     title: "64B-2t2c-.*ipsec.*-ndrdisc"
1853     layout:
1854       "plot-throughput"
1855
1856 -
1857   type: "plot"
1858   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
1859   algorithm: "plot_performance_box"
1860   output-file-type: ".html"
1861   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
1862   data:
1863     "plot-vpp-throughput-latency"
1864   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1865   parameters:
1866   - "throughput"
1867   - "parent"
1868   traces:
1869     hoverinfo: "x+y"
1870     boxpoints: "outliers"
1871     whiskerwidth: 0
1872   layout:
1873     title: "64B-1t1c-.*ipsec.*-pdrdisc"
1874     layout:
1875       "plot-throughput"
1876
1877 -
1878   type: "plot"
1879   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
1880   algorithm: "plot_performance_box"
1881   output-file-type: ".html"
1882   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
1883   data:
1884     "plot-vpp-throughput-latency"
1885   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
1886   parameters:
1887   - "throughput"
1888   - "parent"
1889   traces:
1890     hoverinfo: "x+y"
1891     boxpoints: "outliers"
1892     whiskerwidth: 0
1893   layout:
1894     title: "64B-2t2c-.*ipsec.*-pdrdisc"
1895     layout:
1896       "plot-throughput"
1897
1898 # DPDK
1899 -
1900   type: "plot"
1901   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1902   algorithm: "plot_performance_box"
1903   output-file-type: ".html"
1904   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
1905   data:
1906     "plot-dpdk-throughput-latency"
1907   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1908   parameters:
1909   - "throughput"
1910   - "parent"
1911   traces:
1912     hoverinfo: "x+y"
1913     boxpoints: "outliers"
1914     whiskerwidth: 0
1915   layout:
1916     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1917     layout:
1918       "plot-throughput"
1919
1920 -
1921   type: "plot"
1922   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1923   algorithm: "plot_performance_box"
1924   output-file-type: ".html"
1925   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
1926   data:
1927     "plot-dpdk-throughput-latency"
1928   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
1929   parameters:
1930   - "throughput"
1931   - "parent"
1932   traces:
1933     hoverinfo: "x+y"
1934     boxpoints: "outliers"
1935     whiskerwidth: 0
1936   layout:
1937     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1938     layout:
1939       "plot-throughput"
1940
1941 -
1942   type: "plot"
1943   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
1944   algorithm: "plot_performance_box"
1945   output-file-type: ".html"
1946   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
1947   data:
1948     "plot-dpdk-throughput-latency"
1949   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
1950   parameters:
1951   - "throughput"
1952   - "parent"
1953   traces:
1954     hoverinfo: "x+y"
1955     boxpoints: "outliers"
1956     whiskerwidth: 0
1957   layout:
1958     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
1959     xaxis:
1960       autorange: True
1961       autotick: False
1962       fixedrange: False
1963       gridcolor: "rgb(238, 238, 238)"
1964       linecolor: "rgb(238, 238, 238)"
1965       linewidth: 1
1966       showgrid: True
1967       showline: True
1968       showticklabels: True
1969       tickcolor: "rgb(238, 238, 238)"
1970       tickmode: "linear"
1971       title: "Indexed Test Cases"
1972       zeroline: False
1973     yaxis:
1974       gridcolor: "rgb(238, 238, 238)'"
1975       hoverformat: ".4s"
1976       linecolor: "rgb(238, 238, 238)"
1977       linewidth: 1
1978       range: [2000000, 12000000]
1979       showgrid: True
1980       showline: True
1981       showticklabels: True
1982       tickcolor: "rgb(238, 238, 238)"
1983       title: "Packets Per Second [pps]"
1984       zeroline: False
1985     boxmode: "group"
1986     boxgroupgap: 0.5
1987     autosize: False
1988     margin:
1989       t: 50
1990       b: 20
1991       l: 50
1992       r: 20
1993     showlegend: True
1994     legend:
1995       orientation: "h"
1996     width: 700
1997     height: 1000
1998
1999 -
2000   type: "plot"
2001   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2002   algorithm: "plot_performance_box"
2003   output-file-type: ".html"
2004   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2005   data:
2006     "plot-dpdk-throughput-latency"
2007   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2008   parameters:
2009   - "throughput"
2010   - "parent"
2011   traces:
2012     hoverinfo: "x+y"
2013     boxpoints: "outliers"
2014     whiskerwidth: 0
2015   layout:
2016     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2017     xaxis:
2018       autorange: True
2019       autotick: False
2020       fixedrange: False
2021       gridcolor: "rgb(238, 238, 238)"
2022       linecolor: "rgb(238, 238, 238)"
2023       linewidth: 1
2024       showgrid: True
2025       showline: True
2026       showticklabels: True
2027       tickcolor: "rgb(238, 238, 238)"
2028       tickmode: "linear"
2029       title: "Indexed Test Cases"
2030       zeroline: False
2031     yaxis:
2032       gridcolor: "rgb(238, 238, 238)'"
2033       hoverformat: ".4s"
2034       linecolor: "rgb(238, 238, 238)"
2035       linewidth: 1
2036       range: [2000000, 12000000]
2037       showgrid: True
2038       showline: True
2039       showticklabels: True
2040       tickcolor: "rgb(238, 238, 238)"
2041       title: "Packets Per Second [pps]"
2042       zeroline: False
2043     boxmode: "group"
2044     boxgroupgap: 0.5
2045     autosize: False
2046     margin:
2047       t: 50
2048       b: 20
2049       l: 50
2050       r: 20
2051     showlegend: True
2052     legend:
2053       orientation: "h"
2054     width: 700
2055     height: 1000
2056
2057 -
2058   type: "plot"
2059   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2060   algorithm: "plot_performance_box"
2061   output-file-type: ".html"
2062   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2063   data:
2064     "plot-dpdk-throughput-latency"
2065   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2066   parameters:
2067   - "throughput"
2068   - "parent"
2069   traces:
2070     hoverinfo: "x+y"
2071     boxpoints: "outliers"
2072     whiskerwidth: 0
2073   layout:
2074     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2075     layout:
2076       "plot-throughput"
2077
2078 -
2079   type: "plot"
2080   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2081   algorithm: "plot_performance_box"
2082   output-file-type: ".html"
2083   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2084   data:
2085     "plot-dpdk-throughput-latency"
2086   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2087   parameters:
2088   - "throughput"
2089   - "parent"
2090   traces:
2091     hoverinfo: "x+y"
2092     boxpoints: "outliers"
2093     whiskerwidth: 0
2094   layout:
2095     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2096     layout:
2097       "plot-throughput"
2098
2099 -
2100   type: "plot"
2101   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2102   algorithm: "plot_performance_box"
2103   output-file-type: ".html"
2104   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2105   data:
2106     "plot-dpdk-throughput-latency"
2107   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2108   parameters:
2109   - "throughput"
2110   - "parent"
2111   traces:
2112     hoverinfo: "x+y"
2113     boxpoints: "outliers"
2114     whiskerwidth: 0
2115   layout:
2116     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2117     xaxis:
2118       autorange: True
2119       autotick: False
2120       fixedrange: False
2121       gridcolor: "rgb(238, 238, 238)"
2122       linecolor: "rgb(238, 238, 238)"
2123       linewidth: 1
2124       showgrid: True
2125       showline: True
2126       showticklabels: True
2127       tickcolor: "rgb(238, 238, 238)"
2128       tickmode: "linear"
2129       title: "Indexed Test Cases"
2130       zeroline: False
2131     yaxis:
2132       gridcolor: "rgb(238, 238, 238)'"
2133       hoverformat: ".4s"
2134       linecolor: "rgb(238, 238, 238)"
2135       linewidth: 1
2136       range: [20000000, 30000000]
2137       showgrid: True
2138       showline: True
2139       showticklabels: True
2140       tickcolor: "rgb(238, 238, 238)"
2141       title: "Packets Per Second [pps]"
2142       zeroline: False
2143     boxmode: "group"
2144     boxgroupgap: 0.5
2145     autosize: False
2146     margin:
2147       t: 50
2148       b: 20
2149       l: 50
2150       r: 20
2151     showlegend: True
2152     legend:
2153       orientation: "h"
2154     width: 700
2155     height: 1000
2156
2157 -
2158   type: "plot"
2159   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2160   algorithm: "plot_performance_box"
2161   output-file-type: ".html"
2162   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2163   data:
2164     "plot-dpdk-throughput-latency"
2165   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2166   parameters:
2167   - "throughput"
2168   - "parent"
2169   traces:
2170     hoverinfo: "x+y"
2171     boxpoints: "outliers"
2172     whiskerwidth: 0
2173   layout:
2174     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2175     xaxis:
2176       autorange: True
2177       autotick: False
2178       fixedrange: False
2179       gridcolor: "rgb(238, 238, 238)"
2180       linecolor: "rgb(238, 238, 238)"
2181       linewidth: 1
2182       showgrid: True
2183       showline: True
2184       showticklabels: True
2185       tickcolor: "rgb(238, 238, 238)"
2186       tickmode: "linear"
2187       title: "Indexed Test Cases"
2188       zeroline: False
2189     yaxis:
2190       gridcolor: "rgb(238, 238, 238)'"
2191       hoverformat: ".4s"
2192       linecolor: "rgb(238, 238, 238)"
2193       linewidth: 1
2194       range: [20000000, 30000000]
2195       showgrid: True
2196       showline: True
2197       showticklabels: True
2198       tickcolor: "rgb(238, 238, 238)"
2199       title: "Packets Per Second [pps]"
2200       zeroline: False
2201     boxmode: "group"
2202     boxgroupgap: 0.5
2203     autosize: False
2204     margin:
2205       t: 50
2206       b: 20
2207       l: 50
2208       r: 20
2209     showlegend: True
2210     legend:
2211       orientation: "h"
2212     width: 700
2213     height: 1000
2214
2215 # Plot latency
2216
2217 # VPP L2 sel1
2218 -
2219   type: "plot"
2220   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2221   algorithm: "plot_latency_box"
2222   output-file-type: ".html"
2223   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2224   data:
2225     "plot-vpp-throughput-latency"
2226   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2227   parameters:
2228   - "latency"
2229   - "parent"
2230   traces:
2231     boxmean: False
2232   layout:
2233     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2234     layout:
2235       "plot-latency"
2236
2237 -
2238   type: "plot"
2239   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2240   algorithm: "plot_latency_box"
2241   output-file-type: ".html"
2242   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2243   data:
2244     "plot-vpp-throughput-latency"
2245   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2246   parameters:
2247   - "latency"
2248   - "parent"
2249   traces:
2250     boxmean: False
2251   layout:
2252     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2253     layout:
2254       "plot-latency"
2255
2256 # VPP L2 sel2
2257 -
2258   type: "plot"
2259   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2260   algorithm: "plot_latency_box"
2261   output-file-type: ".html"
2262   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2263   data:
2264     "plot-vpp-throughput-latency"
2265   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2266   parameters:
2267   - "latency"
2268   - "parent"
2269   traces:
2270     boxmean: False
2271   layout:
2272     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2273     layout:
2274       "plot-latency"
2275
2276 -
2277   type: "plot"
2278   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2279   algorithm: "plot_latency_box"
2280   output-file-type: ".html"
2281   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2282   data:
2283     "plot-vpp-throughput-latency"
2284   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2285   parameters:
2286   - "latency"
2287   - "parent"
2288   traces:
2289     boxmean: False
2290   layout:
2291     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2292     layout:
2293       "plot-latency"
2294
2295 # VPP IP4
2296 -
2297   type: "plot"
2298   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2299   algorithm: "plot_latency_box"
2300   output-file-type: ".html"
2301   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2302   data:
2303     "plot-vpp-throughput-latency"
2304   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2305   parameters:
2306   - "latency"
2307   - "parent"
2308   traces:
2309     boxmean: False
2310   layout:
2311     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2312     layout:
2313       "plot-latency"
2314
2315 -
2316   type: "plot"
2317   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2318   algorithm: "plot_latency_box"
2319   output-file-type: ".html"
2320   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2321   data:
2322     "plot-vpp-throughput-latency"
2323   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2324   parameters:
2325   - "latency"
2326   - "parent"
2327   traces:
2328     boxmean: False
2329   layout:
2330     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2331     layout:
2332       "plot-latency"
2333
2334 # VPP IP6
2335 -
2336   type: "plot"
2337   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2338   algorithm: "plot_latency_box"
2339   output-file-type: ".html"
2340   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2341   data:
2342     "plot-vpp-throughput-latency"
2343   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2344   parameters:
2345   - "latency"
2346   - "parent"
2347   traces:
2348     boxmean: False
2349   layout:
2350     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2351     layout:
2352       "plot-latency"
2353
2354 -
2355   type: "plot"
2356   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2357   algorithm: "plot_latency_box"
2358   output-file-type: ".html"
2359   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2360   data:
2361     "plot-vpp-throughput-latency"
2362   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2363   parameters:
2364   - "latency"
2365   - "parent"
2366   traces:
2367     boxmean: False
2368   layout:
2369     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2370     layout:
2371       "plot-latency"
2372
2373 # VPP IP4_overlay
2374 -
2375   type: "plot"
2376   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2377   algorithm: "plot_latency_box"
2378   output-file-type: ".html"
2379   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2380   data:
2381     "plot-vpp-throughput-latency"
2382   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2383   parameters:
2384   - "latency"
2385   - "parent"
2386   traces:
2387     boxmean: False
2388   layout:
2389     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2390     layout:
2391       "plot-latency"
2392
2393 -
2394   type: "plot"
2395   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2396   algorithm: "plot_latency_box"
2397   output-file-type: ".html"
2398   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2399   data:
2400     "plot-vpp-throughput-latency"
2401   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2402   parameters:
2403   - "latency"
2404   - "parent"
2405   traces:
2406     boxmean: False
2407   layout:
2408     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2409     layout:
2410       "plot-latency"
2411
2412 # VPP IP6_overlay
2413 -
2414   type: "plot"
2415   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2416   algorithm: "plot_latency_box"
2417   output-file-type: ".html"
2418   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2419   data:
2420     "plot-vpp-throughput-latency"
2421   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2422   parameters:
2423   - "latency"
2424   - "parent"
2425   traces:
2426     boxmean: False
2427   layout:
2428     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2429     layout:
2430       "plot-latency"
2431
2432 -
2433   type: "plot"
2434   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2435   algorithm: "plot_latency_box"
2436   output-file-type: ".html"
2437   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2438   data:
2439     "plot-vpp-throughput-latency"
2440   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2441   parameters:
2442   - "latency"
2443   - "parent"
2444   traces:
2445     boxmean: False
2446   layout:
2447     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2448     layout:
2449       "plot-latency"
2450
2451 # VPP VM VHOST
2452 -
2453   type: "plot"
2454   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2455   algorithm: "plot_latency_box"
2456   output-file-type: ".html"
2457   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2458   data:
2459     "plot-vpp-throughput-latency"
2460   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2461   parameters:
2462   - "latency"
2463   - "parent"
2464   traces:
2465     boxmean: False
2466   layout:
2467     title: "64B-1t1c-.*vhost.*-ndrdisc"
2468     layout:
2469       "plot-latency"
2470
2471 -
2472   type: "plot"
2473   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2474   algorithm: "plot_latency_box"
2475   output-file-type: ".html"
2476   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2477   data:
2478     "plot-vpp-throughput-latency"
2479   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2480   parameters:
2481   - "latency"
2482   - "parent"
2483   traces:
2484     boxmean: False
2485   layout:
2486     title: "64B-2t2c-.*vhost.*-ndrdisc"
2487     layout:
2488       "plot-latency"
2489
2490 # VPP VM VHOST selection
2491 -
2492   type: "plot"
2493   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2494   algorithm: "plot_latency_box"
2495   output-file-type: ".html"
2496   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2497   data:
2498     "plot-vpp-throughput-latency"
2499   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2500   parameters:
2501   - "latency"
2502   - "parent"
2503   traces:
2504     boxmean: False
2505   layout:
2506     title: "64B-1t1c-.*vhost.*-ndrdisc"
2507     layout:
2508       "plot-latency"
2509
2510 -
2511   type: "plot"
2512   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2513   algorithm: "plot_latency_box"
2514   output-file-type: ".html"
2515   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2516   data:
2517     "plot-vpp-throughput-latency"
2518   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2519   parameters:
2520   - "latency"
2521   - "parent"
2522   traces:
2523     boxmean: False
2524   layout:
2525     title: "64B-2t2c-.*vhost.*-ndrdisc"
2526     layout:
2527       "plot-latency"
2528
2529 # VPP CRYPTO
2530 -
2531   type: "plot"
2532   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2533   algorithm: "plot_latency_box"
2534   output-file-type: ".html"
2535   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2536   data:
2537     "plot-vpp-throughput-latency"
2538   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2539   parameters:
2540   - "latency"
2541   - "parent"
2542   traces:
2543     boxmean: False
2544   layout:
2545     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2546     layout:
2547       "plot-latency"
2548
2549 -
2550   type: "plot"
2551   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2552   algorithm: "plot_latency_box"
2553   output-file-type: ".html"
2554   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2555   data:
2556     "plot-vpp-throughput-latency"
2557   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2558   parameters:
2559   - "latency"
2560   - "parent"
2561   traces:
2562     boxmean: False
2563   layout:
2564     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2565     layout:
2566       "plot-latency"
2567
2568 # DPDK
2569 -
2570   type: "plot"
2571   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2572   algorithm: "plot_latency_box"
2573   output-file-type: ".html"
2574   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2575   data:
2576     "plot-dpdk-throughput-latency"
2577   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2578   parameters:
2579   - "latency"
2580   - "parent"
2581   traces:
2582     boxmean: False
2583   layout:
2584     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2585     layout:
2586       "plot-latency"
2587
2588 -
2589   type: "plot"
2590   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2591   algorithm: "plot_latency_box"
2592   output-file-type: ".html"
2593   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2594   data:
2595     "plot-dpdk-throughput-latency"
2596   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2597   parameters:
2598   - "latency"
2599   - "parent"
2600   traces:
2601     boxmean: False
2602   layout:
2603     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2604     layout:
2605       "plot-latency"
2606
2607 -
2608   type: "plot"
2609   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2610   algorithm: "plot_latency_box"
2611   output-file-type: ".html"
2612   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
2613   data:
2614     "plot-dpdk-throughput-latency"
2615   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2616   parameters:
2617   - "latency"
2618   - "parent"
2619   traces:
2620     boxmean: False
2621   layout:
2622     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2623     layout:
2624       "plot-latency"
2625
2626 -
2627   type: "plot"
2628   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2629   algorithm: "plot_latency_box"
2630   output-file-type: ".html"
2631   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
2632   data:
2633     "plot-dpdk-throughput-latency"
2634   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2635   parameters:
2636   - "latency"
2637   - "parent"
2638   traces:
2639     boxmean: False
2640   layout:
2641     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2642     layout:
2643       "plot-latency"
2644
2645 # Ligato - Throughput
2646
2647 # Container memif
2648 -
2649   type: "plot"
2650   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2651   algorithm: "plot_performance_box"
2652   output-file-type: ".html"
2653   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
2654   data:
2655     "plot-vpp-throughput-latency"
2656   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2657   parameters:
2658   - "throughput"
2659   - "parent"
2660   traces:
2661     hoverinfo: "x+y"
2662     boxpoints: "outliers"
2663     whiskerwidth: 0
2664   layout:
2665     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2666     layout:
2667       "plot-throughput"
2668
2669 -
2670   type: "plot"
2671   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2672   algorithm: "plot_performance_box"
2673   output-file-type: ".html"
2674   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
2675   data:
2676     "plot-vpp-throughput-latency"
2677   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2678   parameters:
2679   - "throughput"
2680   - "parent"
2681   traces:
2682     hoverinfo: "x+y"
2683     boxpoints: "outliers"
2684     whiskerwidth: 0
2685   layout:
2686     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2687     layout:
2688       "plot-throughput"
2689
2690 -
2691   type: "plot"
2692   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2693   algorithm: "plot_performance_box"
2694   output-file-type: ".html"
2695   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
2696   data:
2697     "plot-vpp-throughput-latency"
2698   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2699   parameters:
2700   - "throughput"
2701   - "parent"
2702   traces:
2703     hoverinfo: "x+y"
2704     boxpoints: "outliers"
2705     whiskerwidth: 0
2706   layout:
2707     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2708     layout:
2709       "plot-throughput"
2710
2711 -
2712   type: "plot"
2713   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2714   algorithm: "plot_performance_box"
2715   output-file-type: ".html"
2716   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
2717   data:
2718     "plot-vpp-throughput-latency"
2719   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2720   parameters:
2721   - "throughput"
2722   - "parent"
2723   traces:
2724     hoverinfo: "x+y"
2725     boxpoints: "outliers"
2726     whiskerwidth: 0
2727   layout:
2728     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2729     layout:
2730       "plot-throughput"
2731
2732 # Container orchestrated
2733 -
2734   type: "plot"
2735   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2736   algorithm: "plot_performance_box"
2737   output-file-type: ".html"
2738   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
2739   data:
2740     "plot-ligato-throughput-latency"
2741   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2742   parameters:
2743   - "throughput"
2744   - "parent"
2745   traces:
2746     hoverinfo: "x+y"
2747     boxpoints: "outliers"
2748     whiskerwidth: 0
2749   layout:
2750     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2751     layout:
2752       "plot-throughput"
2753
2754 -
2755   type: "plot"
2756   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2757   algorithm: "plot_performance_box"
2758   output-file-type: ".html"
2759   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
2760   data:
2761     "plot-ligato-throughput-latency"
2762   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2763   parameters:
2764   - "throughput"
2765   - "parent"
2766   traces:
2767     hoverinfo: "x+y"
2768     boxpoints: "outliers"
2769     whiskerwidth: 0
2770   layout:
2771     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2772     layout:
2773       "plot-throughput"
2774
2775 -
2776   type: "plot"
2777   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2778   algorithm: "plot_performance_box"
2779   output-file-type: ".html"
2780   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
2781   data:
2782     "plot-ligato-throughput-latency"
2783   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2784   parameters:
2785   - "throughput"
2786   - "parent"
2787   traces:
2788     hoverinfo: "x+y"
2789     boxpoints: "outliers"
2790     whiskerwidth: 0
2791   layout:
2792     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2793     layout:
2794       "plot-throughput"
2795
2796 -
2797   type: "plot"
2798   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2799   algorithm: "plot_performance_box"
2800   output-file-type: ".html"
2801   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
2802   data:
2803     "plot-ligato-throughput-latency"
2804   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2805   parameters:
2806   - "throughput"
2807   - "parent"
2808   traces:
2809     hoverinfo: "x+y"
2810     boxpoints: "outliers"
2811     whiskerwidth: 0
2812   layout:
2813     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2814     layout:
2815       "plot-throughput"
2816
2817 # Ligato - Latency
2818
2819 # Container memif
2820 -
2821   type: "plot"
2822   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2823   algorithm: "plot_latency_box"
2824   output-file-type: ".html"
2825   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
2826   data:
2827     "plot-vpp-throughput-latency"
2828   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2829   parameters:
2830   - "latency"
2831   - "parent"
2832   traces:
2833     boxmean: False
2834   layout:
2835     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2836     layout:
2837       "plot-latency"
2838
2839 -
2840   type: "plot"
2841   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2842   algorithm: "plot_latency_box"
2843   output-file-type: ".html"
2844   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
2845   data:
2846     "plot-vpp-throughput-latency"
2847   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2848   parameters:
2849   - "latency"
2850   - "parent"
2851   traces:
2852     boxmean: False
2853   layout:
2854     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2855     layout:
2856       "plot-latency"
2857
2858 # Container orchestrated
2859 -
2860   type: "plot"
2861   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2862   algorithm: "plot_latency_box"
2863   output-file-type: ".html"
2864   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
2865   data:
2866     "plot-ligato-throughput-latency"
2867   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2868   parameters:
2869   - "latency"
2870   - "parent"
2871   traces:
2872     boxmean: False
2873   layout:
2874     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2875     layout:
2876       "plot-latency"
2877
2878 -
2879   type: "plot"
2880   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2881   algorithm: "plot_latency_box"
2882   output-file-type: ".html"
2883   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
2884   data:
2885     "plot-ligato-throughput-latency"
2886   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2887   parameters:
2888   - "latency"
2889   - "parent"
2890   traces:
2891     boxmean: False
2892   layout:
2893     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2894     layout:
2895       "plot-latency"

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.