Report: Compare MRR data
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64     URL[NEXUS]: "https://docs.fd.io/csit"
65     DIR[NEXUS]: "report/_static/archive"
66
67   make-dirs:
68   # List the directories which are created while preparing the environment.
69   # All directories MUST be defined in "paths" section.
70   - "DIR[WORKING,DATA]"
71   - "DIR[STATIC,VPP]"
72   - "DIR[STATIC,DPDK]"
73   - "DIR[STATIC,ARCH]"
74   - "DIR[BUILD,LATEX]"
75   - "DIR[WORKING,SRC]"
76   - "DIR[WORKING,SRC,STATIC]"
77
78   remove-dirs:
79   # List the directories which are deleted while cleaning the environment.
80   # All directories MUST be defined in "paths" section.
81   #- "DIR[BUILD,HTML]"
82
83   build-dirs:
84   # List the directories where the results (build) is stored.
85   # All directories MUST be defined in "paths" section.
86   - "DIR[BUILD,HTML]"
87   - "DIR[BUILD,LATEX]"
88
89 -
90   type: "configuration"
91   data-sets:
92     plot-vpp-http-server-performance:
93 # TODO: Add the data sources
94       csit-vpp-perf-1801-all:
95       - 157
96       - 158
97       - 159
98       - 160
99       - 161
100       - 164
101       - 165
102       - 166
103       - 168
104       - 169
105       - 170
106 # TODO: Add the data sources
107 #    vpp-meltdown-impact:
108 #      csit-vpp-perf-1707-all:
109 #      - 9
110 #      - 10
111 #      - 13
112 #      csit-vpp-perf-1710-all:
113 #      - 11l
114 #      - 12
115 #      - 13
116 # TODO: Add the data sources
117 #    vpp-spectre-impact:
118 #      csit-vpp-perf-1707-all:
119 #      - 9
120 #      - 10
121 #      - 13
122 #      csit-vpp-perf-1710-all:
123 #      - 11
124 #      - 12
125 #      - 13
126     vpp-performance-changes:
127       csit-vpp-perf-1710-all:
128       - 11
129       - 12
130       - 13
131       - 14
132       - 15
133       - 16
134       - 17
135       - 18
136       - 19
137       - 20
138       csit-vpp-perf-1801-all:
139       - 124  # sel
140       - 127  # sel
141       - 128  # sel
142       - 141  # sel
143       - 142  # sel
144       - 143  # sel
145       - 145  # sel
146       - 146  # sel
147       - 162  # sel
148       - 163  # sel
149       - 167  # sel
150       - 172  # sel acl only
151       csit-vpp-perf-1804-all:
152       - 1
153     vpp-performance-changes-mrr:
154       csit-vpp-perf-check-1801:
155       - 1
156       - 2
157       - 3
158       - 4
159       - 5
160       - 6
161       - 7
162       - 8
163       - 9
164       - 11
165       - 12
166       - 13
167       csit-vpp-perf-check-1804:
168       - 1
169     plot-throughput-speedup-analysis:
170       csit-vpp-perf-1801-all:
171       - 122  # full
172       - 126  # full
173       - 129  # full
174       - 140  # full
175       - 124  # sel
176       - 127  # sel
177       - 128  # sel
178       - 141  # sel
179       - 142  # sel
180       - 143  # sel
181       - 145  # sel
182       - 146  # sel
183       - 162  # sel
184       - 163  # sel
185       - 167  # sel
186       - 172  # sel acl only
187 #    performance-improvements:
188 #      csit-vpp-perf-1707-all:
189 #      - 9
190 #      - 10
191 #      - 13
192 #      - 14
193 #      - 15
194 #      - 16
195 #      - 17
196 #      - 18
197 #      - 19
198 #      - 21
199 #      csit-vpp-perf-1710-all:
200 #      - 11
201 #      - 12
202 #      - 13
203 #      - 14
204 #      - 15
205 #      - 16
206 #      - 17
207 #      - 18
208 #      - 19
209 #      - 20
210 #      csit-vpp-perf-1801-all:
211 #      - 124
212 #      - 127
213 #      - 128
214 #      csit-ligato-perf-1710-all:
215 #      - 5
216 #      - 7
217 #      - 8
218 #      - 9
219 #      - 10
220 #      - 11
221 #      - 12
222 #      - 13
223 #      - 16
224 #      - 17
225 #      csit-ligato-perf-1801-all:
226 #      - 16  # sel
227 #      - 17  # sel
228 #      - 18  # sel
229 #      - 19  # sel
230 #      - 20  # sel
231 #      - 21  # sel
232 #      - 22  # sel
233 #      - 23  # sel
234 #      - 24  # sel
235     vpp-perf-results:
236       csit-vpp-perf-1801-all:
237       - 122
238       - 126
239       - 129
240       - 140
241     vpp-func-results:
242       csit-vpp-functional-1801-ubuntu1604-virl:
243       - "lastSuccessfulBuild"
244     ligato-perf-results:
245       csit-ligato-perf-1801-all:
246       - 25  # full
247     dpdk-perf-results:
248       csit-dpdk-perf-1801-all:
249       - 12
250     hc-func-results:
251       csit-hc2vpp-verify-func-1801-ubuntu1604:
252       - "lastSuccessfulBuild"
253     nsh-func-results:
254       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
255       - 1
256     plot-vpp-throughput-latency:
257       csit-vpp-perf-1801-all:
258       - 122  # full
259       - 126  # full
260       - 129  # full
261       - 140  # full
262       - 124  # sel
263       - 127  # sel
264       - 128  # sel
265       - 141  # sel
266       - 142  # sel
267       - 143  # sel
268       - 145  # sel
269       - 146  # sel
270       - 162  # sel
271       - 163  # sel
272       - 167  # sel
273       - 172  # sel acl only
274     plot-dpdk-throughput-latency:
275       csit-dpdk-perf-1801-all:
276       - 1
277       - 3
278       - 4
279       - 5
280       - 6
281       - 7
282       - 8
283       - 10
284       - 12
285     plot-ligato-throughput-latency:
286       csit-ligato-perf-1801-all:
287       - 16  # sel
288       - 17  # sel
289       - 18  # sel
290       - 19  # sel
291       - 20  # sel
292       - 21  # sel
293       - 22  # sel
294       - 23  # sel
295       - 24  # sel
296
297   plot-layouts:
298
299     plot-cps:
300       xaxis:
301         autorange: True
302         autotick: False
303         fixedrange: False
304         gridcolor: "rgb(238, 238, 238)"
305         linecolor: "rgb(238, 238, 238)"
306         linewidth: 1
307         showgrid: True
308         showline: True
309         showticklabels: True
310         tickcolor: "rgb(238, 238, 238)"
311         tickmode: "linear"
312         title: "Indexed Test Cases"
313         zeroline: False
314       yaxis:
315         gridcolor: "rgb(238, 238, 238)'"
316         hoverformat: ".4s"
317         linecolor: "rgb(238, 238, 238)"
318         linewidth: 1
319         range: []
320         rangemode: "tozero"
321         showgrid: True
322         showline: True
323         showticklabels: True
324         tickcolor: "rgb(238, 238, 238)"
325         title: "Connections Per Second [cps]"
326         zeroline: False
327       boxmode: "group"
328       boxgroupgap: 0.5
329       autosize: False
330       margin:
331         t: 50
332         b: 20
333         l: 50
334         r: 20
335       showlegend: True
336       legend:
337         orientation: "h"
338       width: 700
339       height: 1000
340
341     plot-rps:
342       xaxis:
343         autorange: True
344         autotick: False
345         fixedrange: False
346         gridcolor: "rgb(238, 238, 238)"
347         linecolor: "rgb(238, 238, 238)"
348         linewidth: 1
349         showgrid: True
350         showline: True
351         showticklabels: True
352         tickcolor: "rgb(238, 238, 238)"
353         tickmode: "linear"
354         title: "Indexed Test Cases"
355         zeroline: False
356       yaxis:
357         gridcolor: "rgb(238, 238, 238)'"
358         hoverformat: ".4s"
359         linecolor: "rgb(238, 238, 238)"
360         linewidth: 1
361         range: []
362         rangemode: "tozero"
363         showgrid: True
364         showline: True
365         showticklabels: True
366         tickcolor: "rgb(238, 238, 238)"
367         title: "Requests Per Second [rps]"
368         zeroline: False
369       boxmode: "group"
370       boxgroupgap: 0.5
371       autosize: False
372       margin:
373         t: 50
374         b: 20
375         l: 50
376         r: 20
377       showlegend: True
378       legend:
379         orientation: "h"
380       width: 700
381       height: 1000
382
383     plot-throughput:
384       xaxis:
385         autorange: True
386         autotick: False
387         fixedrange: False
388         gridcolor: "rgb(238, 238, 238)"
389         linecolor: "rgb(238, 238, 238)"
390         linewidth: 1
391         showgrid: True
392         showline: True
393         showticklabels: True
394         tickcolor: "rgb(238, 238, 238)"
395         tickmode: "linear"
396         title: "Indexed Test Cases"
397         zeroline: False
398       yaxis:
399         gridcolor: "rgb(238, 238, 238)'"
400         hoverformat: ".4s"
401         linecolor: "rgb(238, 238, 238)"
402         linewidth: 1
403         range: []
404         showgrid: True
405         showline: True
406         showticklabels: True
407         tickcolor: "rgb(238, 238, 238)"
408         title: "Packets Per Second [pps]"
409         zeroline: False
410       boxmode: "group"
411       boxgroupgap: 0.5
412       autosize: False
413       margin:
414         t: 50
415         b: 20
416         l: 50
417         r: 20
418       showlegend: True
419       legend:
420         orientation: "h"
421       width: 700
422       height: 1000
423
424     plot-latency:
425       xaxis:
426         autorange: True
427         autotick: False
428         fixedrange: False
429         gridcolor: "rgb(238, 238, 238)"
430         linecolor: "rgb(238, 238, 238)"
431         linewidth: 1
432         showgrid: True
433         showline: True
434         showticklabels: True
435         tickcolor: "rgb(238, 238, 238)"
436         tickmode: "linear"
437         title: "Indexed Test Cases"
438         zeroline: False
439       yaxis:
440         gridcolor: "rgb(238, 238, 238)'"
441         hoverformat: ""
442         linecolor: "rgb(238, 238, 238)"
443         linewidth: 1
444         range: []
445         showgrid: True
446         showline: True
447         showticklabels: True
448         tickcolor: "rgb(238, 238, 238)"
449         title: "Latency min/avg/max [uSec]"
450         zeroline: False
451       boxmode: "group"
452       boxgroupgap: 0.5
453       autosize: False
454       margin:
455         t: 50
456         b: 20
457         l: 50
458         r: 20
459       showlegend: True
460       legend:
461         orientation: "h"
462       width: 700
463       height: 1000
464
465     plot-throughput-speedup-analysis:
466       xaxis:
467         autorange: True
468         autotick: False
469         fixedrange: False
470         gridcolor: "rgb(238, 238, 238)"
471         linecolor: "rgb(238, 238, 238)"
472         linewidth: 1
473         showgrid: True
474         showline: True
475         showticklabels: True
476         tickcolor: "rgb(238, 238, 238)"
477         tickmode: "linear"
478         tickangle: 270
479         zeroline: False
480       yaxis:
481         title: "Throughput speedup factor"
482         gridcolor: "rgb(238, 238, 238)"
483         hoverformat: ".4s"
484         linecolor: "rgb(238, 238, 238)"
485         linewidth: 1
486         range: []
487         showgrid: True
488         showline: True
489         showticklabels: True
490         tickcolor: "rgb(238, 238, 238)"
491         zeroline: False
492       legend:
493         orientation: "h"
494         xanchor: "center"
495         yanchor: "top"
496         x: 0.5
497         y: 1
498         bgcolor: "rgba(255, 255, 255, 0)"
499         bordercolor: "rgba(255, 255, 255, 0)"
500       barmode: "group"
501       bargap: 0.15
502       bargroupgap: 0.1
503       autosize: False
504       margin:
505           't': 50
506           'b': 200
507           'l': 50
508           'r': 20
509       showlegend: True
510       width: 700
511       height: 1000
512
513 -
514   type: "debug"
515   general:
516     input-format: "xml"  # zip or xml
517     extract: "robot-plugin/output.xml"  # Only for zip
518   builds:
519     # The files must be in the directory DIR[WORKING,DATA]
520     csit-vpp-perf-1801-all:
521     -
522       build: 1
523       file: "{DIR[WORKING,DATA]}/output.xml"
524     -
525       build: 2
526       file: "{DIR[WORKING,DATA]}/output.xml"
527     -
528       build: 3
529       file: "{DIR[WORKING,DATA]}/output.xml"
530     -
531       build: 4
532       file: "{DIR[WORKING,DATA]}/output.xml"
533
534 -
535   type: "static"
536   src-path: "{DIR[RST]}"
537   dst-path: "{DIR[WORKING,SRC]}"
538
539 -
540   type: "input"  # Ignored in debug mode
541   general:
542     file-name: "robot-plugin.zip"
543     file-format: ".zip"
544     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
545     extract: "robot-plugin/output.xml"
546   builds:
547 #    csit-vpp-perf-1707-all:
548 #    - 9
549 #    - 10
550 #    - 13
551 #    - 14
552 #    - 15
553 #    - 16
554 #    - 17
555 #    - 18
556 #    - 19
557 #    - 21
558     csit-vpp-perf-1710-all:
559     - 11
560     - 12
561     - 13
562     - 14
563     - 15
564     - 16
565     - 17
566     - 18
567     - 19
568     - 20
569     csit-vpp-perf-1801-all:
570     - 122  # full
571     - 126  # full
572     - 129  # full
573     - 140  # full
574     - 124  # sel
575     - 127  # sel
576     - 128  # sel
577     - 141  # sel
578     - 142  # sel
579     - 143  # sel
580     - 145  # sel
581     - 146  # sel
582     - 157  # wrk
583     - 158  # wrk
584     - 159  # wrk
585     - 160  # wrk
586     - 161  # wrk
587     - 162  # sel
588     - 163  # sel
589     - 164  # wrk
590     - 165  # wrk
591     - 166  # wrk
592     - 167  # sel
593     - 168  # wrk
594     - 169  # wrk
595     - 170  # wrk
596     - 172  # sel acl only
597     csit-vpp-perf-1804-all:
598     - 1
599     csit-vpp-perf-check-1801:
600     - 1
601     - 2
602     - 3
603     - 4
604     - 5
605     - 6
606     - 7
607     - 8
608     - 9
609     - 11
610     - 12
611     - 13
612     csit-vpp-perf-check-1804:
613     - 1
614     csit-ligato-perf-1710-all:
615     - 5
616     - 7
617     - 8
618     - 9
619     - 10
620     - 11
621     - 12
622     - 13
623     - 16
624     - 17
625     csit-dpdk-perf-1801-all:
626     - 1
627     - 4
628     - 5
629     - 7
630     - 8
631     - 10
632     - 12
633     - 16
634     - 17
635     csit-ligato-perf-1801-all:
636     - 16  # sel
637     - 17  # sel
638     - 18  # sel
639     - 19  # sel
640     - 20  # sel
641     - 21  # sel
642     - 22  # sel
643     - 23  # sel
644     - 24  # sel
645     - 25  # full
646     csit-dpdk-perf-1801-all:
647     - 1
648     - 3
649     - 4
650     - 5
651     - 6
652     - 7
653     - 8
654     - 9
655     - 10
656     - 12
657     csit-vpp-functional-1801-ubuntu1604-virl:
658     - lastSuccessfulBuild
659     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
660     - 1
661     csit-hc2vpp-verify-func-1801-ubuntu1604:
662     - lastSuccessfulBuild
663
664 -
665   type: "output"
666   output: "report"
667   format:
668     html:
669     - full
670     pdf:
671     - minimal
672
673 ################################################################################
674 ###                               T A B L E S                                ###
675 ################################################################################
676
677 #-
678 #  type: "table"
679 #  title: "Performance Impact of Meltdown Patches"
680 #  algorithm: "table_performance_comparison"
681 #  output-file-ext: ".csv"
682 ## TODO: specify dir
683 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
684 #  reference:
685 #    title: "No Meltdown"
686 ## TODO: specify data sources
687 #    data:
688 #      csit-vpp-perf-1707-all:
689 #      - 9
690 #      - 10
691 #      - 13
692 #  compare:
693 #    title: "Meltdown Patches Applied"
694 ## TODO: specify data sources
695 #    data:
696 #      csit-vpp-perf-1710-all:
697 #      - 11
698 #      - 12
699 #      - 13
700 #  data:
701 #    "vpp-meltdown-impact"
702 #  filter: "all"
703 #  parameters:
704 #  - "name"
705 #  - "parent"
706 #  - "throughput"
707 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
708 #  # to present all tests.
709 #  nr-of-tests-shown: 20
710 #
711 #-
712 #  type: "table"
713 #  title: "Performance Impact of Spectre Patches"
714 #  algorithm: "table_performance_comparison"
715 #  output-file-ext: ".csv"
716 ## TODO: specify dir
717 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
718 #  reference:
719 #    title: "No Spectre"
720 ## TODO: specify data sources
721 #    data:
722 #      csit-vpp-perf-1707-all:
723 #      - 9
724 #      - 10
725 #      - 13
726 #  compare:
727 #    title: "Spectre Patches Applied"
728 ## TODO: specify data sources
729 #    data:
730 #      csit-vpp-perf-1710-all:
731 #      - 11
732 #      - 12
733 #      - 13
734 #  data:
735 #    "vpp-spectre-impact"
736 #  filter: "all"
737 #  parameters:
738 #  - "name"
739 #  - "parent"
740 #  - "throughput"
741 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
742 #  # to present all tests.
743 #  nr-of-tests-shown: 20
744
745 -
746   type: "table"
747   title: "VPP Performance Changes"
748   algorithm: "table_performance_comparison"
749   output-file-ext: ".csv"
750   output-file: "{DIR[STATIC,VPP]}/performance-changes"
751 #  reference:
752 #    title: "Release 1710"
753 #    data:
754 #      csit-vpp-perf-1710-all:
755 #      - 11
756 #      - 12
757 #      - 13
758 #      - 14
759 #      - 15
760 #      - 16
761 #      - 17
762 #      - 18
763 #      - 19
764 #      - 20
765   reference:
766     title: "Release 1801"
767     data:
768       csit-vpp-perf-1801-all:
769       - 124  # sel
770       - 127  # sel
771       - 128  # sel
772       - 141  # sel
773       - 142  # sel
774       - 143  # sel
775       - 145  # sel
776       - 146  # sel
777       - 162  # sel
778       - 163  # sel
779       - 167  # sel
780       - 172  # sel acl only
781   compare:
782     title: "Release 1804"
783     data:
784       csit-vpp-perf-1804-all:
785       - 1
786   data: "vpp-performance-changes"
787   filter: "all"
788   parameters:
789   - "name"
790   - "parent"
791   - "throughput"
792   # Number of the best and the worst tests presented in the table. Use 0 (zero)
793   # to present all tests.
794   nr-of-tests-shown: 20
795   outlier-const: 1.5
796
797 -
798   type: "table"
799   title: "VPP Performance Changes - MRR"
800   algorithm: "table_performance_comparison_mrr"
801   output-file-ext: ".csv"
802   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
803   reference:
804     title: "Release 1801"
805     data:
806       csit-vpp-perf-check-1801:
807       - 1
808       - 2
809       - 3
810       - 4
811       - 5
812       - 6
813       - 7
814       - 8
815       - 9
816       - 11
817       - 12
818       - 13
819   compare:
820     title: "Release 1804"
821     data:
822       csit-vpp-perf-check-1804:
823       - 1
824   data: "vpp-performance-changes-mrr"
825   filter: "all"
826   parameters:
827   - "name"
828   - "parent"
829   - "result"
830   # Number of the best and the worst tests presented in the table. Use 0 (zero)
831   # to present all tests.
832   nr-of-tests-shown: 20
833   outlier-const: 1.5
834
835 #-
836 #  type: "table"
837 #  title: "Performance improvements"
838 #  algorithm: "table_performance_improvements"
839 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
840 #  output-file-ext: ".csv"
841 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
842 #  columns:
843 #  -
844 #    title: "Test Name"
845 #    data: "template 1"
846 #  -
847 #    title: "16.09 mean [Mpps]"
848 #    data: "template 2"
849 #  -
850 #    title: "17.01 mean [Mpps]"
851 #    data: "template 3"
852 #  -
853 #    title: "17.04 mean [Mpps]"
854 #    data: "template 4"
855 #  -
856 #    title: "17.07 mean [Mpps]"
857 #    data: "data csit-vpp-perf-1707-all mean"
858 #  -
859 #    title: "17.10 mean [Mpps]"
860 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
861 #  -
862 #    title: "18.01 mean [Mpps]"
863 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
864 #  -
865 #    title: "18.01 stdev [Mpps]"
866 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
867 #  -
868 #    title: "17.10 to 18.01 change [%]"
869 #    data: "operation relative_change 5 6"
870 #  rows: "generated"
871 #  data:
872 #    "performance-improvements"
873 #  filter: "template"
874 #  parameters:
875 #  - "throughput"
876
877 -
878   type: "table"
879   title: "Detailed Test Results - VPP Performance Results"
880   algorithm: "table_merged_details"
881   output-file-ext: ".csv"
882   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
883   columns:
884   -
885     title: "Name"
886     data: "data name"
887   -
888     title: "Documentation"
889     data: "data doc"
890   -
891     title: "Status"
892     data: "data msg"
893   rows: "generated"
894   data:
895     "vpp-perf-results"
896   filter: "not 'NDRCHK' and not 'PDRCHK'"
897   parameters:
898   - "name"
899   - "parent"
900   - "doc"
901   - "msg"
902
903 -
904   type: "table"
905   title: "Test configuration - VPP Performance Test Configs"
906   algorithm: "table_merged_details"
907   output-file-ext: ".csv"
908   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
909   columns:
910   -
911     title: "Name"
912     data: "data name"
913   -
914     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
915     data: "data vat-history"
916   rows: "generated"
917   data:
918     "vpp-perf-results"
919   filter: "not 'NDRCHK' and not 'PDRCHK'"
920   parameters:
921   - "parent"
922   - "name"
923   - "vat-history"
924
925 -
926   type: "table"
927   title: "Test Operational Data - VPP Performance Operational Data"
928   algorithm: "table_merged_details"
929   output-file-ext: ".csv"
930   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
931   columns:
932   -
933     title: "Name"
934     data: "data name"
935   -
936     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
937     data: "data show-run"
938   rows: "generated"
939   data:
940     "vpp-perf-results"
941   filter: "not 'NDRCHK' and not 'PDRCHK'"
942   parameters:
943   - "parent"
944   - "name"
945   - "show-run"
946
947 -
948   type: "table"
949   title: "Detailed Test Results - VPP Functional Results"
950   algorithm: "table_details"
951   output-file-ext: ".csv"
952   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
953   columns:
954   -
955     title: "Name"
956     data: "data name"
957   -
958     title: "Documentation"
959     data: "data doc"
960   -
961     title: "Status"
962     data: "data status"
963   rows: "generated"
964   data:
965     "vpp-func-results"
966   filter: "all"
967   parameters:
968   - "name"
969   - "parent"
970   - "doc"
971   - "status"
972
973 -
974   type: "table"
975   title: "Test configuration - VPP Functional Test Configs"
976   algorithm: "table_details"
977   output-file-ext: ".csv"
978   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
979   columns:
980   -
981     title: "Name"
982     data: "data name"
983   -
984     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
985     data: "data vat-history"
986   rows: "generated"
987   data:
988     "vpp-func-results"
989   filter: "all"
990   parameters:
991   - "parent"
992   - "name"
993   - "vat-history"
994
995 -
996   type: "table"
997   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
998   algorithm: "table_details"
999   output-file-ext: ".csv"
1000   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1001   columns:
1002   -
1003     title: "Name"
1004     data: "data name"
1005   -
1006     title: "Documentation"
1007     data: "data doc"
1008   -
1009     title: "Status"
1010     data: "data msg"
1011   rows: "generated"
1012   data:
1013     "ligato-perf-results"
1014   filter: "all"
1015   parameters:
1016   - "name"
1017   - "parent"
1018   - "doc"
1019   - "msg"
1020
1021 -
1022   type: "table"
1023   title: "Detailed Test Results - DPDK Performance Results"
1024   algorithm: "table_details"
1025   output-file-ext: ".csv"
1026   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1027   columns:
1028   -
1029     title: "Name"
1030     data: "data name"
1031   -
1032     title: "Documentation"
1033     data: "data doc"
1034   -
1035     title: "Status"
1036     data: "data msg"
1037   rows: "generated"
1038   data:
1039     "dpdk-perf-results"
1040   filter: "all"
1041   parameters:
1042   - "name"
1043   - "parent"
1044   - "doc"
1045   - "msg"
1046
1047 -
1048   type: "table"
1049   title: "Detailed Test Results - Honeycomb Functional Results"
1050   algorithm: "table_details"
1051   output-file-ext: ".csv"
1052   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1053   columns:
1054   -
1055     title: "Name"
1056     data: "data name"
1057   -
1058     title: "Documentation"
1059     data: "data doc"
1060   -
1061     title: "Status"
1062     data: "data status"
1063   rows: "generated"
1064   data:
1065     "hc-func-results"
1066   filter: "all"
1067   parameters:
1068   - "name"
1069   - "parent"
1070   - "doc"
1071   - "status"
1072
1073 -
1074   type: "table"
1075   title: "Detailed Test Results - NSH SFC Functional Results"
1076   algorithm: "table_details"
1077   output-file-ext: ".csv"
1078   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1079   columns:
1080   -
1081     title: "Name"
1082     data: "data name"
1083   -
1084     title: "Documentation"
1085     data: "data doc"
1086   -
1087     title: "Status"
1088     data: "data status"
1089   rows: "generated"
1090   data:
1091     "nsh-func-results"
1092   filter: "all"
1093   parameters:
1094   - "name"
1095   - "parent"
1096   - "doc"
1097   - "status"
1098
1099 ################################################################################
1100 ###                                F I L E S                                 ###
1101 ################################################################################
1102
1103 -
1104   type: "file"
1105   title: "VPP Performance Results"
1106   algorithm: "file_merged_test_results"
1107   output-file-ext: ".rst"
1108   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1109   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1110   dir-tables: "{DIR[DTR,PERF,VPP]}"
1111   data:
1112     "vpp-perf-results"
1113   filter: "not 'NDRCHK' and not 'PDRCHK'"
1114   parameters:
1115   - "name"
1116   - "doc"
1117   - "level"
1118   - "parent"
1119   data-start-level: 3  # 0, 1, 2, ...
1120   chapters-start-level: 2  # 0, 1, 2, ...
1121
1122 -
1123   type: "file"
1124   title: "VPP Performance Configuration"
1125   algorithm: "file_merged_test_results"
1126   output-file-ext: ".rst"
1127   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1128   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1129   dir-tables: "{DIR[DTC,PERF,VPP]}"
1130   data:
1131     "vpp-perf-results"
1132   filter: "not 'NDRCHK' and not 'PDRCHK'"
1133   parameters:
1134   - "name"
1135   - "doc"
1136   - "level"
1137   - "parent"
1138   data-start-level: 3  # 0, 1, 2, ...
1139   chapters-start-level: 2  # 0, 1, 2, ...
1140
1141 -
1142   type: "file"
1143   title: "VPP Performance Operational Data"
1144   algorithm: "file_merged_test_results"
1145   output-file-ext: ".rst"
1146   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1147   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1148   dir-tables: "{DIR[DTO,PERF,VPP]}"
1149   data:
1150     "vpp-perf-results"
1151   filter: "not 'NDRCHK' and not 'PDRCHK'"
1152   parameters:
1153   - "name"
1154   - "doc"
1155   - "level"
1156   - "parent"
1157   data-start-level: 3  # 0, 1, 2, ...
1158   chapters-start-level: 2  # 0, 1, 2, ...
1159
1160 -
1161   type: "file"
1162   title: "VPP Functional Results"
1163   algorithm: "file_test_results"
1164   output-file-ext: ".rst"
1165   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1166   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1167   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1168   data:
1169     "vpp-func-results"
1170   filter: "all"
1171   parameters:
1172   - "name"
1173   - "doc"
1174   - "level"
1175   data-start-level: 3  # 0, 1, 2, ...
1176   chapters-start-level: 2  # 0, 1, 2, ...
1177
1178 -
1179   type: "file"
1180   title: "VPP Functional Configuration"
1181   algorithm: "file_test_results"
1182   output-file-ext: ".rst"
1183   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1184   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1185   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1186   data:
1187     "vpp-func-results"
1188   filter: "all"
1189   parameters:
1190   - "name"
1191   - "doc"
1192   - "level"
1193   data-start-level: 3  # 0, 1, 2, ...
1194   chapters-start-level: 2  # 0, 1, 2, ...
1195
1196 -
1197   type: "file"
1198   title: "Container Orchestrated Performance Results"
1199   algorithm: "file_test_results"
1200   output-file-ext: ".rst"
1201   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1202   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1203   dir-tables: "{DIR[DTR,PERF,COT]}"
1204   data:
1205     "ligato-perf-results"
1206   filter: "all"
1207   parameters:
1208   - "name"
1209   - "doc"
1210   - "level"
1211   data-start-level: 2  # 0, 1, 2, ...
1212   chapters-start-level: 2  # 0, 1, 2, ...
1213
1214 -
1215   type: "file"
1216   title: "DPDK Performance Results"
1217   algorithm: "file_test_results"
1218   output-file-ext: ".rst"
1219   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1220   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1221   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1222   data:
1223     "dpdk-perf-results"
1224   filter: "all"
1225   parameters:
1226   - "name"
1227   - "doc"
1228   - "level"
1229   chapters:
1230   - "suites"
1231   data-start-level: 2  # 0, 1, 2, ...
1232   chapters-start-level: 2  # 0, 1, 2, ...
1233
1234 -
1235   type: "file"
1236   title: "Honeycomb Functional Results"
1237   algorithm: "file_test_results"
1238   output-file-ext: ".rst"
1239   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1240   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1241   dir-tables: "{DIR[DTR,FUNC,HC]}"
1242   data:
1243     "hc-func-results"
1244   filter: "all"
1245   parameters:
1246   - "name"
1247   - "doc"
1248   - "level"
1249   chapters:
1250   - "suites"
1251   data-start-level: 3  # 0, 1, 2, ...
1252   chapters-start-level: 2  # 0, 1, 2, ...
1253
1254 -
1255   type: "file"
1256   title: "NSH SFC Functional Results"
1257   algorithm: "file_test_results"
1258   output-file-ext: ".rst"
1259   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1260   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1261   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1262   data:
1263     "nsh-func-results"
1264   filter: "all"
1265   parameters:
1266   - "name"
1267   - "doc"
1268   - "level"
1269   chapters:
1270   - "suites"
1271   data-start-level: 2  # 0, 1, 2, ...
1272   chapters-start-level: 2  # 0, 1, 2, ...
1273
1274 ################################################################################
1275 ###                                P L O T S                                 ###
1276 ################################################################################
1277
1278 # Plots VPP HTTP Server Performance
1279 -
1280   type: "plot"
1281   title: "VPP HTTP Server Performance"
1282   algorithm: "plot_http_server_performance_box"
1283   output-file-type: ".html"
1284   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1285   data:
1286     "plot-vpp-http-server-performance"
1287   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1288   # each tag is enclosed with ' (apostrophe).
1289   filter: "'HTTP' and 'TCP_CPS'"
1290   parameters:
1291   - "result"
1292   - "name"
1293   traces:
1294     hoverinfo: "x+y"
1295     boxpoints: "outliers"
1296     whiskerwidth: 0
1297   layout:
1298     title: "VPP HTTP Server Performance"
1299     layout:
1300       "plot-cps"
1301
1302 -
1303   type: "plot"
1304   title: "VPP HTTP Server Performance"
1305   algorithm: "plot_http_server_performance_box"
1306   output-file-type: ".html"
1307   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1308   data:
1309     "plot-vpp-http-server-performance"
1310   filter: "'HTTP' and 'TCP_RPS'"
1311   parameters:
1312   - "result"
1313   - "name"
1314   traces:
1315     hoverinfo: "x+y"
1316     boxpoints: "outliers"
1317     whiskerwidth: 0
1318   layout:
1319     title: "VPP HTTP Server Performance"
1320     layout:
1321       "plot-rps"
1322
1323 # Plot Throughput Speedup Analysis
1324
1325 # L2 - 10ge2p1x520 - NDR
1326 -
1327   type: "plot"
1328   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1329   algorithm: "plot_throughput_speedup_analysis"
1330   output-file-type: ".html"
1331   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1332   data:
1333     "plot-throughput-speedup-analysis"
1334   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1335   parameters:
1336   - "throughput"
1337   - "parent"
1338   - "tags"
1339   layout:
1340     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1341     layout:
1342       "plot-throughput-speedup-analysis"
1343
1344 # L2 - 40ge2p1xl710 - NDR
1345 -
1346   type: "plot"
1347   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1348   algorithm: "plot_throughput_speedup_analysis"
1349   output-file-type: ".html"
1350   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1351   data:
1352     "plot-throughput-speedup-analysis"
1353   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1354   parameters:
1355   - "throughput"
1356   - "parent"
1357   - "tags"
1358   layout:
1359     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1360     layout:
1361       "plot-throughput-speedup-analysis"
1362
1363 # L2 - 10ge2p1x520 - PDR
1364 -
1365   type: "plot"
1366   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1367   algorithm: "plot_throughput_speedup_analysis"
1368   output-file-type: ".html"
1369   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1370   data:
1371     "plot-throughput-speedup-analysis"
1372   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1373   parameters:
1374   - "throughput"
1375   - "parent"
1376   - "tags"
1377   layout:
1378     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1379     layout:
1380       "plot-throughput-speedup-analysis"
1381
1382 # IPv4 - 10ge2p1x520 - NDR
1383 -
1384   type: "plot"
1385   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1386   algorithm: "plot_throughput_speedup_analysis"
1387   output-file-type: ".html"
1388   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1389   data:
1390     "plot-throughput-speedup-analysis"
1391   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1392   parameters:
1393   - "throughput"
1394   - "parent"
1395   - "tags"
1396   layout:
1397     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1398     layout:
1399       "plot-throughput-speedup-analysis"
1400
1401 # IPv4 - 40ge2p1xl710 - NDR
1402 -
1403   type: "plot"
1404   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1405   algorithm: "plot_throughput_speedup_analysis"
1406   output-file-type: ".html"
1407   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1408   data:
1409     "plot-throughput-speedup-analysis"
1410   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1411   parameters:
1412   - "throughput"
1413   - "parent"
1414   - "tags"
1415   layout:
1416     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1417     layout:
1418       "plot-throughput-speedup-analysis"
1419
1420 # IPv4 - 10ge2p1x520 - PDR
1421 -
1422   type: "plot"
1423   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1424   algorithm: "plot_throughput_speedup_analysis"
1425   output-file-type: ".html"
1426   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1427   data:
1428     "plot-throughput-speedup-analysis"
1429   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1430   parameters:
1431   - "throughput"
1432   - "parent"
1433   - "tags"
1434   layout:
1435     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1436     layout:
1437       "plot-throughput-speedup-analysis"
1438
1439 # IPv6 - 10ge2p1x520 - NDR
1440 -
1441   type: "plot"
1442   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1443   algorithm: "plot_throughput_speedup_analysis"
1444   output-file-type: ".html"
1445   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1446   data:
1447     "plot-throughput-speedup-analysis"
1448   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1449   parameters:
1450   - "throughput"
1451   - "parent"
1452   - "tags"
1453   layout:
1454     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1455     layout:
1456       "plot-throughput-speedup-analysis"
1457
1458 # IPv6 - 40ge2p1xl710 - NDR
1459 -
1460   type: "plot"
1461   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1462   algorithm: "plot_throughput_speedup_analysis"
1463   output-file-type: ".html"
1464   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1465   data:
1466     "plot-throughput-speedup-analysis"
1467   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1468   parameters:
1469   - "throughput"
1470   - "parent"
1471   - "tags"
1472   layout:
1473     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1474     layout:
1475       "plot-throughput-speedup-analysis"
1476
1477 # IPv6 - 10ge2p1x520 - PDR
1478 -
1479   type: "plot"
1480   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1481   algorithm: "plot_throughput_speedup_analysis"
1482   output-file-type: ".html"
1483   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1484   data:
1485     "plot-throughput-speedup-analysis"
1486   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1487   parameters:
1488   - "throughput"
1489   - "parent"
1490   - "tags"
1491   layout:
1492     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1493     layout:
1494       "plot-throughput-speedup-analysis"
1495
1496 # Plot packets per second
1497
1498 # VPP L2 sel1
1499 -
1500   type: "plot"
1501   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1502   algorithm: "plot_performance_box"
1503   output-file-type: ".html"
1504   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1505   data:
1506     "plot-vpp-throughput-latency"
1507   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1508   # each tag is enclosed with ' (apostrophe).
1509   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1510   parameters:
1511   - "throughput"
1512   - "parent"
1513   traces:
1514     hoverinfo: "x+y"
1515     boxpoints: "outliers"
1516     whiskerwidth: 0
1517   layout:
1518     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1519     layout:
1520       "plot-throughput"
1521
1522 -
1523   type: "plot"
1524   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1525   algorithm: "plot_performance_box"
1526   output-file-type: ".html"
1527   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1528   data:
1529     "plot-vpp-throughput-latency"
1530   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1531   parameters:
1532   - "throughput"
1533   - "parent"
1534   traces:
1535     hoverinfo: "x+y"
1536     boxpoints: "outliers"
1537     whiskerwidth: 0
1538   layout:
1539     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1540     layout:
1541       "plot-throughput"
1542
1543 -
1544   type: "plot"
1545   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1546   algorithm: "plot_performance_box"
1547   output-file-type: ".html"
1548   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1549   data:
1550     "plot-vpp-throughput-latency"
1551   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1552   parameters:
1553   - "throughput"
1554   - "parent"
1555   traces:
1556     hoverinfo: "x+y"
1557     boxpoints: "outliers"
1558     whiskerwidth: 0
1559   layout:
1560     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1561     layout:
1562       "plot-throughput"
1563
1564 -
1565   type: "plot"
1566   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1567   algorithm: "plot_performance_box"
1568   output-file-type: ".html"
1569   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1570   data:
1571     "plot-vpp-throughput-latency"
1572   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1573   parameters:
1574   - "throughput"
1575   - "parent"
1576   traces:
1577     hoverinfo: "x+y"
1578     boxpoints: "outliers"
1579     whiskerwidth: 0
1580   layout:
1581     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1582     layout:
1583       "plot-throughput"
1584
1585 # VPP L2 sel2
1586 -
1587   type: "plot"
1588   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1589   algorithm: "plot_performance_box"
1590   output-file-type: ".html"
1591   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1592   data:
1593     "plot-vpp-throughput-latency"
1594   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1595   parameters:
1596   - "throughput"
1597   - "parent"
1598   traces:
1599     hoverinfo: "x+y"
1600     boxpoints: "outliers"
1601     whiskerwidth: 0
1602   layout:
1603     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1604     layout:
1605       "plot-throughput"
1606
1607 -
1608   type: "plot"
1609   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1610   algorithm: "plot_performance_box"
1611   output-file-type: ".html"
1612   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1613   data:
1614     "plot-vpp-throughput-latency"
1615   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1616   parameters:
1617   - "throughput"
1618   - "parent"
1619   traces:
1620     hoverinfo: "x+y"
1621     boxpoints: "outliers"
1622     whiskerwidth: 0
1623   layout:
1624     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1625     layout:
1626       "plot-throughput"
1627
1628 -
1629   type: "plot"
1630   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1631   algorithm: "plot_performance_box"
1632   output-file-type: ".html"
1633   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1634   data:
1635     "plot-vpp-throughput-latency"
1636   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1637   parameters:
1638   - "throughput"
1639   - "parent"
1640   traces:
1641     hoverinfo: "x+y"
1642     boxpoints: "outliers"
1643     whiskerwidth: 0
1644   layout:
1645     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1646     layout:
1647       "plot-throughput"
1648
1649 -
1650   type: "plot"
1651   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1652   algorithm: "plot_performance_box"
1653   output-file-type: ".html"
1654   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1655   data:
1656     "plot-vpp-throughput-latency"
1657   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1658   parameters:
1659   - "throughput"
1660   - "parent"
1661   traces:
1662     hoverinfo: "x+y"
1663     boxpoints: "outliers"
1664     whiskerwidth: 0
1665   layout:
1666     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1667     layout:
1668       "plot-throughput"
1669
1670 # VPP IP4
1671 -
1672   type: "plot"
1673   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1674   algorithm: "plot_performance_box"
1675   output-file-type: ".html"
1676   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1677   data:
1678     "plot-vpp-throughput-latency"
1679   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1680   parameters:
1681   - "throughput"
1682   - "parent"
1683   traces:
1684     hoverinfo: "x+y"
1685     boxpoints: "outliers"
1686     whiskerwidth: 0
1687   layout:
1688     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1689     layout:
1690       "plot-throughput"
1691
1692 -
1693   type: "plot"
1694   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1695   algorithm: "plot_performance_box"
1696   output-file-type: ".html"
1697   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1698   data:
1699     "plot-vpp-throughput-latency"
1700   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1701   parameters:
1702   - "throughput"
1703   - "parent"
1704   traces:
1705     hoverinfo: "x+y"
1706     boxpoints: "outliers"
1707     whiskerwidth: 0
1708   layout:
1709     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1710     layout:
1711       "plot-throughput"
1712
1713 -
1714   type: "plot"
1715   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1716   algorithm: "plot_performance_box"
1717   output-file-type: ".html"
1718   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1719   data:
1720     "plot-vpp-throughput-latency"
1721   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1722   parameters:
1723   - "throughput"
1724   - "parent"
1725   traces:
1726     hoverinfo: "x+y"
1727     boxpoints: "outliers"
1728     whiskerwidth: 0
1729   layout:
1730     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1731     layout:
1732       "plot-throughput"
1733
1734 -
1735   type: "plot"
1736   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1737   algorithm: "plot_performance_box"
1738   output-file-type: ".html"
1739   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1740   data:
1741     "plot-vpp-throughput-latency"
1742   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
1743   parameters:
1744   - "throughput"
1745   - "parent"
1746   traces:
1747     hoverinfo: "x+y"
1748     boxpoints: "outliers"
1749     whiskerwidth: 0
1750   layout:
1751     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1752     layout:
1753       "plot-throughput"
1754
1755 # VPP IP6
1756 -
1757   type: "plot"
1758   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1759   algorithm: "plot_performance_box"
1760   output-file-type: ".html"
1761   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1762   data:
1763     "plot-vpp-throughput-latency"
1764   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1765   parameters:
1766   - "throughput"
1767   - "parent"
1768   traces:
1769     hoverinfo: "x+y"
1770     boxpoints: "outliers"
1771     whiskerwidth: 0
1772   layout:
1773     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1774     layout:
1775       "plot-throughput"
1776
1777 -
1778   type: "plot"
1779   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1780   algorithm: "plot_performance_box"
1781   output-file-type: ".html"
1782   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1783   data:
1784     "plot-vpp-throughput-latency"
1785   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1786   parameters:
1787   - "throughput"
1788   - "parent"
1789   traces:
1790     hoverinfo: "x+y"
1791     boxpoints: "outliers"
1792     whiskerwidth: 0
1793   layout:
1794     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1795     layout:
1796       "plot-throughput"
1797
1798 -
1799   type: "plot"
1800   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1801   algorithm: "plot_performance_box"
1802   output-file-type: ".html"
1803   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1804   data:
1805     "plot-vpp-throughput-latency"
1806   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1807   parameters:
1808   - "throughput"
1809   - "parent"
1810   traces:
1811     hoverinfo: "x+y"
1812     boxpoints: "outliers"
1813     whiskerwidth: 0
1814   layout:
1815     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1816     layout:
1817       "plot-throughput"
1818
1819 -
1820   type: "plot"
1821   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1822   algorithm: "plot_performance_box"
1823   output-file-type: ".html"
1824   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1825   data:
1826     "plot-vpp-throughput-latency"
1827   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1828   parameters:
1829   - "throughput"
1830   - "parent"
1831   traces:
1832     hoverinfo: "x+y"
1833     boxpoints: "outliers"
1834     whiskerwidth: 0
1835   layout:
1836     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1837     layout:
1838       "plot-throughput"
1839
1840 # VPP IP4_overlay
1841 -
1842   type: "plot"
1843   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1844   algorithm: "plot_performance_box"
1845   output-file-type: ".html"
1846   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1847   data:
1848     "plot-vpp-throughput-latency"
1849   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1850   parameters:
1851   - "throughput"
1852   - "parent"
1853   traces:
1854     hoverinfo: "x+y"
1855     boxpoints: "outliers"
1856     whiskerwidth: 0
1857   layout:
1858     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1859     layout:
1860       "plot-throughput"
1861
1862 -
1863   type: "plot"
1864   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1865   algorithm: "plot_performance_box"
1866   output-file-type: ".html"
1867   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1868   data:
1869     "plot-vpp-throughput-latency"
1870   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1871   parameters:
1872   - "throughput"
1873   - "parent"
1874   traces:
1875     hoverinfo: "x+y"
1876     boxpoints: "outliers"
1877     whiskerwidth: 0
1878   layout:
1879     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1880     layout:
1881       "plot-throughput"
1882
1883 -
1884   type: "plot"
1885   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1886   algorithm: "plot_performance_box"
1887   output-file-type: ".html"
1888   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1889   data:
1890     "plot-vpp-throughput-latency"
1891   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1892   parameters:
1893   - "throughput"
1894   - "parent"
1895   traces:
1896     hoverinfo: "x+y"
1897     boxpoints: "outliers"
1898     whiskerwidth: 0
1899   layout:
1900     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1901     layout:
1902       "plot-throughput"
1903
1904 -
1905   type: "plot"
1906   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1907   algorithm: "plot_performance_box"
1908   output-file-type: ".html"
1909   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1910   data:
1911     "plot-vpp-throughput-latency"
1912   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1913   parameters:
1914   - "throughput"
1915   - "parent"
1916   traces:
1917     hoverinfo: "x+y"
1918     boxpoints: "outliers"
1919     whiskerwidth: 0
1920   layout:
1921     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1922     layout:
1923       "plot-throughput"
1924
1925 # VPP IP6_overlay
1926 -
1927   type: "plot"
1928   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1929   algorithm: "plot_performance_box"
1930   output-file-type: ".html"
1931   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1932   data:
1933     "plot-vpp-throughput-latency"
1934   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1935   parameters:
1936   - "throughput"
1937   - "parent"
1938   traces:
1939     hoverinfo: "x+y"
1940     boxpoints: "outliers"
1941     whiskerwidth: 0
1942   layout:
1943     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1944     xaxis:
1945       autorange: True
1946       autotick: False
1947       fixedrange: False
1948       gridcolor: "rgb(238, 238, 238)"
1949       linecolor: "rgb(238, 238, 238)"
1950       linewidth: 1
1951       showgrid: True
1952       showline: True
1953       showticklabels: True
1954       tickcolor: "rgb(238, 238, 238)"
1955       tickmode: "linear"
1956       title: "Indexed Test Cases"
1957       zeroline: False
1958     yaxis:
1959       gridcolor: "rgb(238, 238, 238)'"
1960       hoverformat: ".4s"
1961       linecolor: "rgb(238, 238, 238)"
1962       linewidth: 1
1963       range: [2000000, 6000000]
1964       showgrid: True
1965       showline: True
1966       showticklabels: True
1967       tickcolor: "rgb(238, 238, 238)"
1968       title: "Packets Per Second [pps]"
1969       zeroline: False
1970     boxmode: "group"
1971     boxgroupgap: 0.5
1972     autosize: False
1973     margin:
1974       t: 50
1975       b: 20
1976       l: 50
1977       r: 20
1978     showlegend: True
1979     legend:
1980       orientation: "h"
1981     width: 700
1982     height: 1000
1983
1984 -
1985   type: "plot"
1986   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1987   algorithm: "plot_performance_box"
1988   output-file-type: ".html"
1989   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1990   data:
1991     "plot-vpp-throughput-latency"
1992   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1993   parameters:
1994   - "throughput"
1995   - "parent"
1996   traces:
1997     hoverinfo: "x+y"
1998     boxpoints: "outliers"
1999     whiskerwidth: 0
2000   layout:
2001     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2002     layout:
2003       "plot-throughput"
2004
2005 -
2006   type: "plot"
2007   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2008   algorithm: "plot_performance_box"
2009   output-file-type: ".html"
2010   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2011   data:
2012     "plot-vpp-throughput-latency"
2013   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2014   parameters:
2015   - "throughput"
2016   - "parent"
2017   traces:
2018     hoverinfo: "x+y"
2019     boxpoints: "outliers"
2020     whiskerwidth: 0
2021   layout:
2022     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2023     layout:
2024       "plot-throughput"
2025
2026 -
2027   type: "plot"
2028   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2029   algorithm: "plot_performance_box"
2030   output-file-type: ".html"
2031   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2032   data:
2033     "plot-vpp-throughput-latency"
2034   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2035   parameters:
2036   - "throughput"
2037   - "parent"
2038   traces:
2039     hoverinfo: "x+y"
2040     boxpoints: "outliers"
2041     whiskerwidth: 0
2042   layout:
2043     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2044     xaxis:
2045       autorange: True
2046       autotick: False
2047       fixedrange: False
2048       gridcolor: "rgb(238, 238, 238)"
2049       linecolor: "rgb(238, 238, 238)"
2050       linewidth: 1
2051       showgrid: True
2052       showline: True
2053       showticklabels: True
2054       tickcolor: "rgb(238, 238, 238)"
2055       tickmode: "linear"
2056       title: "Indexed Test Cases"
2057       zeroline: False
2058     yaxis:
2059       gridcolor: "rgb(238, 238, 238)'"
2060       hoverformat: ".4s"
2061       linecolor: "rgb(238, 238, 238)"
2062       linewidth: 1
2063       range: [4000000, 12000000]
2064       showgrid: True
2065       showline: True
2066       showticklabels: True
2067       tickcolor: "rgb(238, 238, 238)"
2068       title: "Packets Per Second [pps]"
2069       zeroline: False
2070     boxmode: "group"
2071     boxgroupgap: 0.5
2072     autosize: False
2073     margin:
2074       t: 50
2075       b: 20
2076       l: 50
2077       r: 20
2078     showlegend: True
2079     legend:
2080       orientation: "h"
2081     width: 700
2082     height: 1000
2083
2084 # VPP VM VHOST
2085 -
2086   type: "plot"
2087   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2088   algorithm: "plot_performance_box"
2089   output-file-type: ".html"
2090   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2091   data:
2092     "plot-vpp-throughput-latency"
2093   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2094   parameters:
2095   - "throughput"
2096   - "parent"
2097   traces:
2098     hoverinfo: "x+y"
2099     boxpoints: "outliers"
2100     whiskerwidth: 0
2101   layout:
2102     title: "64B-1t1c-.*vhost.*-ndrdisc"
2103     xaxis:
2104       autorange: True
2105       autotick: False
2106       fixedrange: False
2107       gridcolor: "rgb(238, 238, 238)"
2108       linecolor: "rgb(238, 238, 238)"
2109       linewidth: 1
2110       showgrid: True
2111       showline: True
2112       showticklabels: True
2113       tickcolor: "rgb(238, 238, 238)"
2114       tickmode: "linear"
2115       title: "Indexed Test Cases"
2116       zeroline: False
2117     yaxis:
2118       gridcolor: "rgb(238, 238, 238)'"
2119       hoverformat: ".4s"
2120       linecolor: "rgb(238, 238, 238)"
2121       linewidth: 1
2122       range: [0, 3500000]
2123       showgrid: True
2124       showline: True
2125       showticklabels: True
2126       tickcolor: "rgb(238, 238, 238)"
2127       title: "Packets Per Second [pps]"
2128       zeroline: False
2129     boxmode: "group"
2130     boxgroupgap: 0.5
2131     autosize: False
2132     margin:
2133       t: 50
2134       b: 20
2135       l: 50
2136       r: 20
2137     showlegend: True
2138     legend:
2139       orientation: "h"
2140     width: 700
2141     height: 1000
2142
2143 -
2144   type: "plot"
2145   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2146   algorithm: "plot_performance_box"
2147   output-file-type: ".html"
2148   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2149   data:
2150     "plot-vpp-throughput-latency"
2151   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2152   parameters:
2153   - "throughput"
2154   - "parent"
2155   traces:
2156     hoverinfo: "x+y"
2157     boxpoints: "outliers"
2158     whiskerwidth: 0
2159   layout:
2160     title: "64B-2t2c-.*vhost.*-ndrdisc"
2161     layout:
2162       "plot-throughput"
2163
2164 -
2165   type: "plot"
2166   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2167   algorithm: "plot_performance_box"
2168   output-file-type: ".html"
2169   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2170   data:
2171     "plot-vpp-throughput-latency"
2172   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2173   parameters:
2174   - "throughput"
2175   - "parent"
2176   traces:
2177     hoverinfo: "x+y"
2178     boxpoints: "outliers"
2179     whiskerwidth: 0
2180   layout:
2181     title: "64B-1t1c-.*vhost.*-pdrdisc"
2182     layout:
2183       "plot-throughput"
2184
2185 -
2186   type: "plot"
2187   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2188   algorithm: "plot_performance_box"
2189   output-file-type: ".html"
2190   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2191   data:
2192     "plot-vpp-throughput-latency"
2193   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2194   parameters:
2195   - "throughput"
2196   - "parent"
2197   traces:
2198     hoverinfo: "x+y"
2199     boxpoints: "outliers"
2200     whiskerwidth: 0
2201   layout:
2202     title: "64B-2t2c-.*vhost.*-pdrdisc"
2203     layout:
2204       "plot-throughput"
2205
2206 # VPP VM VHOST SELECTION
2207 -
2208   type: "plot"
2209   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2210   algorithm: "plot_performance_box"
2211   output-file-type: ".html"
2212   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2213   data:
2214     "plot-vpp-throughput-latency"
2215   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2216   parameters:
2217   - "throughput"
2218   - "parent"
2219   traces:
2220     hoverinfo: "x+y"
2221     boxpoints: "outliers"
2222     whiskerwidth: 0
2223   layout:
2224     title: "64B-1t1c-.*vhost.*-ndrdisc"
2225     layout:
2226       "plot-throughput"
2227
2228 -
2229   type: "plot"
2230   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2231   algorithm: "plot_performance_box"
2232   output-file-type: ".html"
2233   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2234   data:
2235     "plot-vpp-throughput-latency"
2236   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2237   parameters:
2238   - "throughput"
2239   - "parent"
2240   traces:
2241     hoverinfo: "x+y"
2242     boxpoints: "outliers"
2243     whiskerwidth: 0
2244   layout:
2245     title: "64B-2t2c-.*vhost.*-ndrdisc"
2246     layout:
2247       "plot-throughput"
2248
2249 -
2250   type: "plot"
2251   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2252   algorithm: "plot_performance_box"
2253   output-file-type: ".html"
2254   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2255   data:
2256     "plot-vpp-throughput-latency"
2257   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2258   parameters:
2259   - "throughput"
2260   - "parent"
2261   traces:
2262     hoverinfo: "x+y"
2263     boxpoints: "outliers"
2264     whiskerwidth: 0
2265   layout:
2266     title: "64B-1t1c-.*vhost.*-pdrdisc"
2267     layout:
2268       "plot-throughput"
2269
2270 -
2271   type: "plot"
2272   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2273   algorithm: "plot_performance_box"
2274   output-file-type: ".html"
2275   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2276   data:
2277     "plot-vpp-throughput-latency"
2278   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2279   parameters:
2280   - "throughput"
2281   - "parent"
2282   traces:
2283     hoverinfo: "x+y"
2284     boxpoints: "outliers"
2285     whiskerwidth: 0
2286   layout:
2287     title: "64B-2t2c-.*vhost.*-pdrdisc"
2288     layout:
2289       "plot-throughput"
2290
2291 # VPP CRYPTO
2292 -
2293   type: "plot"
2294   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2295   algorithm: "plot_performance_box"
2296   output-file-type: ".html"
2297   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2298   data:
2299     "plot-vpp-throughput-latency"
2300   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2301   parameters:
2302   - "throughput"
2303   - "parent"
2304   traces:
2305     hoverinfo: "x+y"
2306     boxpoints: "outliers"
2307     whiskerwidth: 0
2308   layout:
2309     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2310     layout:
2311       "plot-throughput"
2312
2313 -
2314   type: "plot"
2315   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2316   algorithm: "plot_performance_box"
2317   output-file-type: ".html"
2318   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2319   data:
2320     "plot-vpp-throughput-latency"
2321   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2322   parameters:
2323   - "throughput"
2324   - "parent"
2325   traces:
2326     hoverinfo: "x+y"
2327     boxpoints: "outliers"
2328     whiskerwidth: 0
2329   layout:
2330     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2331     layout:
2332       "plot-throughput"
2333
2334 -
2335   type: "plot"
2336   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2337   algorithm: "plot_performance_box"
2338   output-file-type: ".html"
2339   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2340   data:
2341     "plot-vpp-throughput-latency"
2342   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2343   parameters:
2344   - "throughput"
2345   - "parent"
2346   traces:
2347     hoverinfo: "x+y"
2348     boxpoints: "outliers"
2349     whiskerwidth: 0
2350   layout:
2351     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2352     layout:
2353       "plot-throughput"
2354
2355 -
2356   type: "plot"
2357   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2358   algorithm: "plot_performance_box"
2359   output-file-type: ".html"
2360   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2361   data:
2362     "plot-vpp-throughput-latency"
2363   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2364   parameters:
2365   - "throughput"
2366   - "parent"
2367   traces:
2368     hoverinfo: "x+y"
2369     boxpoints: "outliers"
2370     whiskerwidth: 0
2371   layout:
2372     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2373     layout:
2374       "plot-throughput"
2375
2376 # DPDK
2377 -
2378   type: "plot"
2379   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2380   algorithm: "plot_performance_box"
2381   output-file-type: ".html"
2382   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2383   data:
2384     "plot-dpdk-throughput-latency"
2385   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2386   parameters:
2387   - "throughput"
2388   - "parent"
2389   traces:
2390     hoverinfo: "x+y"
2391     boxpoints: "outliers"
2392     whiskerwidth: 0
2393   layout:
2394     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2395     layout:
2396       "plot-throughput"
2397
2398 -
2399   type: "plot"
2400   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2401   algorithm: "plot_performance_box"
2402   output-file-type: ".html"
2403   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2404   data:
2405     "plot-dpdk-throughput-latency"
2406   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2407   parameters:
2408   - "throughput"
2409   - "parent"
2410   traces:
2411     hoverinfo: "x+y"
2412     boxpoints: "outliers"
2413     whiskerwidth: 0
2414   layout:
2415     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2416     layout:
2417       "plot-throughput"
2418
2419 -
2420   type: "plot"
2421   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2422   algorithm: "plot_performance_box"
2423   output-file-type: ".html"
2424   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2425   data:
2426     "plot-dpdk-throughput-latency"
2427   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2428   parameters:
2429   - "throughput"
2430   - "parent"
2431   traces:
2432     hoverinfo: "x+y"
2433     boxpoints: "outliers"
2434     whiskerwidth: 0
2435   layout:
2436     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2437     xaxis:
2438       autorange: True
2439       autotick: False
2440       fixedrange: False
2441       gridcolor: "rgb(238, 238, 238)"
2442       linecolor: "rgb(238, 238, 238)"
2443       linewidth: 1
2444       showgrid: True
2445       showline: True
2446       showticklabels: True
2447       tickcolor: "rgb(238, 238, 238)"
2448       tickmode: "linear"
2449       title: "Indexed Test Cases"
2450       zeroline: False
2451     yaxis:
2452       gridcolor: "rgb(238, 238, 238)'"
2453       hoverformat: ".4s"
2454       linecolor: "rgb(238, 238, 238)"
2455       linewidth: 1
2456       range: [2000000, 12000000]
2457       showgrid: True
2458       showline: True
2459       showticklabels: True
2460       tickcolor: "rgb(238, 238, 238)"
2461       title: "Packets Per Second [pps]"
2462       zeroline: False
2463     boxmode: "group"
2464     boxgroupgap: 0.5
2465     autosize: False
2466     margin:
2467       t: 50
2468       b: 20
2469       l: 50
2470       r: 20
2471     showlegend: True
2472     legend:
2473       orientation: "h"
2474     width: 700
2475     height: 1000
2476
2477 -
2478   type: "plot"
2479   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2480   algorithm: "plot_performance_box"
2481   output-file-type: ".html"
2482   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2483   data:
2484     "plot-dpdk-throughput-latency"
2485   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2486   parameters:
2487   - "throughput"
2488   - "parent"
2489   traces:
2490     hoverinfo: "x+y"
2491     boxpoints: "outliers"
2492     whiskerwidth: 0
2493   layout:
2494     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2495     xaxis:
2496       autorange: True
2497       autotick: False
2498       fixedrange: False
2499       gridcolor: "rgb(238, 238, 238)"
2500       linecolor: "rgb(238, 238, 238)"
2501       linewidth: 1
2502       showgrid: True
2503       showline: True
2504       showticklabels: True
2505       tickcolor: "rgb(238, 238, 238)"
2506       tickmode: "linear"
2507       title: "Indexed Test Cases"
2508       zeroline: False
2509     yaxis:
2510       gridcolor: "rgb(238, 238, 238)'"
2511       hoverformat: ".4s"
2512       linecolor: "rgb(238, 238, 238)"
2513       linewidth: 1
2514       range: [2000000, 12000000]
2515       showgrid: True
2516       showline: True
2517       showticklabels: True
2518       tickcolor: "rgb(238, 238, 238)"
2519       title: "Packets Per Second [pps]"
2520       zeroline: False
2521     boxmode: "group"
2522     boxgroupgap: 0.5
2523     autosize: False
2524     margin:
2525       t: 50
2526       b: 20
2527       l: 50
2528       r: 20
2529     showlegend: True
2530     legend:
2531       orientation: "h"
2532     width: 700
2533     height: 1000
2534
2535 -
2536   type: "plot"
2537   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2538   algorithm: "plot_performance_box"
2539   output-file-type: ".html"
2540   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2541   data:
2542     "plot-dpdk-throughput-latency"
2543   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2544   parameters:
2545   - "throughput"
2546   - "parent"
2547   traces:
2548     hoverinfo: "x+y"
2549     boxpoints: "outliers"
2550     whiskerwidth: 0
2551   layout:
2552     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2553     layout:
2554       "plot-throughput"
2555
2556 -
2557   type: "plot"
2558   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2559   algorithm: "plot_performance_box"
2560   output-file-type: ".html"
2561   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2562   data:
2563     "plot-dpdk-throughput-latency"
2564   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2565   parameters:
2566   - "throughput"
2567   - "parent"
2568   traces:
2569     hoverinfo: "x+y"
2570     boxpoints: "outliers"
2571     whiskerwidth: 0
2572   layout:
2573     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2574     layout:
2575       "plot-throughput"
2576
2577 -
2578   type: "plot"
2579   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2580   algorithm: "plot_performance_box"
2581   output-file-type: ".html"
2582   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2583   data:
2584     "plot-dpdk-throughput-latency"
2585   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2586   parameters:
2587   - "throughput"
2588   - "parent"
2589   traces:
2590     hoverinfo: "x+y"
2591     boxpoints: "outliers"
2592     whiskerwidth: 0
2593   layout:
2594     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2595     xaxis:
2596       autorange: True
2597       autotick: False
2598       fixedrange: False
2599       gridcolor: "rgb(238, 238, 238)"
2600       linecolor: "rgb(238, 238, 238)"
2601       linewidth: 1
2602       showgrid: True
2603       showline: True
2604       showticklabels: True
2605       tickcolor: "rgb(238, 238, 238)"
2606       tickmode: "linear"
2607       title: "Indexed Test Cases"
2608       zeroline: False
2609     yaxis:
2610       gridcolor: "rgb(238, 238, 238)'"
2611       hoverformat: ".4s"
2612       linecolor: "rgb(238, 238, 238)"
2613       linewidth: 1
2614       range: [20000000, 30000000]
2615       showgrid: True
2616       showline: True
2617       showticklabels: True
2618       tickcolor: "rgb(238, 238, 238)"
2619       title: "Packets Per Second [pps]"
2620       zeroline: False
2621     boxmode: "group"
2622     boxgroupgap: 0.5
2623     autosize: False
2624     margin:
2625       t: 50
2626       b: 20
2627       l: 50
2628       r: 20
2629     showlegend: True
2630     legend:
2631       orientation: "h"
2632     width: 700
2633     height: 1000
2634
2635 -
2636   type: "plot"
2637   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2638   algorithm: "plot_performance_box"
2639   output-file-type: ".html"
2640   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2641   data:
2642     "plot-dpdk-throughput-latency"
2643   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2644   parameters:
2645   - "throughput"
2646   - "parent"
2647   traces:
2648     hoverinfo: "x+y"
2649     boxpoints: "outliers"
2650     whiskerwidth: 0
2651   layout:
2652     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2653     xaxis:
2654       autorange: True
2655       autotick: False
2656       fixedrange: False
2657       gridcolor: "rgb(238, 238, 238)"
2658       linecolor: "rgb(238, 238, 238)"
2659       linewidth: 1
2660       showgrid: True
2661       showline: True
2662       showticklabels: True
2663       tickcolor: "rgb(238, 238, 238)"
2664       tickmode: "linear"
2665       title: "Indexed Test Cases"
2666       zeroline: False
2667     yaxis:
2668       gridcolor: "rgb(238, 238, 238)'"
2669       hoverformat: ".4s"
2670       linecolor: "rgb(238, 238, 238)"
2671       linewidth: 1
2672       range: [20000000, 30000000]
2673       showgrid: True
2674       showline: True
2675       showticklabels: True
2676       tickcolor: "rgb(238, 238, 238)"
2677       title: "Packets Per Second [pps]"
2678       zeroline: False
2679     boxmode: "group"
2680     boxgroupgap: 0.5
2681     autosize: False
2682     margin:
2683       t: 50
2684       b: 20
2685       l: 50
2686       r: 20
2687     showlegend: True
2688     legend:
2689       orientation: "h"
2690     width: 700
2691     height: 1000
2692
2693 # Plot latency
2694
2695 # VPP L2 sel1
2696 -
2697   type: "plot"
2698   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2699   algorithm: "plot_latency_box"
2700   output-file-type: ".html"
2701   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2702   data:
2703     "plot-vpp-throughput-latency"
2704   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2705   parameters:
2706   - "latency"
2707   - "parent"
2708   traces:
2709     boxmean: False
2710   layout:
2711     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2712     layout:
2713       "plot-latency"
2714
2715 -
2716   type: "plot"
2717   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2718   algorithm: "plot_latency_box"
2719   output-file-type: ".html"
2720   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2721   data:
2722     "plot-vpp-throughput-latency"
2723   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2724   parameters:
2725   - "latency"
2726   - "parent"
2727   traces:
2728     boxmean: False
2729   layout:
2730     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2731     layout:
2732       "plot-latency"
2733
2734 # VPP L2 sel2
2735 -
2736   type: "plot"
2737   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2738   algorithm: "plot_latency_box"
2739   output-file-type: ".html"
2740   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2741   data:
2742     "plot-vpp-throughput-latency"
2743   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2744   parameters:
2745   - "latency"
2746   - "parent"
2747   traces:
2748     boxmean: False
2749   layout:
2750     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2751     layout:
2752       "plot-latency"
2753
2754 -
2755   type: "plot"
2756   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2757   algorithm: "plot_latency_box"
2758   output-file-type: ".html"
2759   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2760   data:
2761     "plot-vpp-throughput-latency"
2762   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2763   parameters:
2764   - "latency"
2765   - "parent"
2766   traces:
2767     boxmean: False
2768   layout:
2769     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2770     layout:
2771       "plot-latency"
2772
2773 # VPP IP4
2774 -
2775   type: "plot"
2776   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2777   algorithm: "plot_latency_box"
2778   output-file-type: ".html"
2779   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2780   data:
2781     "plot-vpp-throughput-latency"
2782   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2783   parameters:
2784   - "latency"
2785   - "parent"
2786   traces:
2787     boxmean: False
2788   layout:
2789     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2790     layout:
2791       "plot-latency"
2792
2793 -
2794   type: "plot"
2795   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2796   algorithm: "plot_latency_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2799   data:
2800     "plot-vpp-throughput-latency"
2801   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2802   parameters:
2803   - "latency"
2804   - "parent"
2805   traces:
2806     boxmean: False
2807   layout:
2808     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2809     layout:
2810       "plot-latency"
2811
2812 # VPP IP6
2813 -
2814   type: "plot"
2815   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2816   algorithm: "plot_latency_box"
2817   output-file-type: ".html"
2818   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2819   data:
2820     "plot-vpp-throughput-latency"
2821   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2822   parameters:
2823   - "latency"
2824   - "parent"
2825   traces:
2826     boxmean: False
2827   layout:
2828     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2829     layout:
2830       "plot-latency"
2831
2832 -
2833   type: "plot"
2834   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2835   algorithm: "plot_latency_box"
2836   output-file-type: ".html"
2837   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2838   data:
2839     "plot-vpp-throughput-latency"
2840   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2841   parameters:
2842   - "latency"
2843   - "parent"
2844   traces:
2845     boxmean: False
2846   layout:
2847     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2848     layout:
2849       "plot-latency"
2850
2851 # VPP IP4_overlay
2852 -
2853   type: "plot"
2854   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2855   algorithm: "plot_latency_box"
2856   output-file-type: ".html"
2857   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2858   data:
2859     "plot-vpp-throughput-latency"
2860   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2861   parameters:
2862   - "latency"
2863   - "parent"
2864   traces:
2865     boxmean: False
2866   layout:
2867     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2868     layout:
2869       "plot-latency"
2870
2871 -
2872   type: "plot"
2873   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2874   algorithm: "plot_latency_box"
2875   output-file-type: ".html"
2876   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2877   data:
2878     "plot-vpp-throughput-latency"
2879   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2880   parameters:
2881   - "latency"
2882   - "parent"
2883   traces:
2884     boxmean: False
2885   layout:
2886     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2887     layout:
2888       "plot-latency"
2889
2890 # VPP IP6_overlay
2891 -
2892   type: "plot"
2893   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2894   algorithm: "plot_latency_box"
2895   output-file-type: ".html"
2896   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2897   data:
2898     "plot-vpp-throughput-latency"
2899   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2900   parameters:
2901   - "latency"
2902   - "parent"
2903   traces:
2904     boxmean: False
2905   layout:
2906     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2907     layout:
2908       "plot-latency"
2909
2910 -
2911   type: "plot"
2912   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2913   algorithm: "plot_latency_box"
2914   output-file-type: ".html"
2915   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2916   data:
2917     "plot-vpp-throughput-latency"
2918   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2919   parameters:
2920   - "latency"
2921   - "parent"
2922   traces:
2923     boxmean: False
2924   layout:
2925     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2926     layout:
2927       "plot-latency"
2928
2929 # VPP VM VHOST
2930 -
2931   type: "plot"
2932   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2933   algorithm: "plot_latency_box"
2934   output-file-type: ".html"
2935   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2936   data:
2937     "plot-vpp-throughput-latency"
2938   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2939   parameters:
2940   - "latency"
2941   - "parent"
2942   traces:
2943     boxmean: False
2944   layout:
2945     title: "64B-1t1c-.*vhost.*-ndrdisc"
2946     layout:
2947       "plot-latency"
2948
2949 -
2950   type: "plot"
2951   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2952   algorithm: "plot_latency_box"
2953   output-file-type: ".html"
2954   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2955   data:
2956     "plot-vpp-throughput-latency"
2957   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2958   parameters:
2959   - "latency"
2960   - "parent"
2961   traces:
2962     boxmean: False
2963   layout:
2964     title: "64B-2t2c-.*vhost.*-ndrdisc"
2965     layout:
2966       "plot-latency"
2967
2968 # VPP VM VHOST selection
2969 -
2970   type: "plot"
2971   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2972   algorithm: "plot_latency_box"
2973   output-file-type: ".html"
2974   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2975   data:
2976     "plot-vpp-throughput-latency"
2977   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2978   parameters:
2979   - "latency"
2980   - "parent"
2981   traces:
2982     boxmean: False
2983   layout:
2984     title: "64B-1t1c-.*vhost.*-ndrdisc"
2985     layout:
2986       "plot-latency"
2987
2988 -
2989   type: "plot"
2990   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2991   algorithm: "plot_latency_box"
2992   output-file-type: ".html"
2993   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2994   data:
2995     "plot-vpp-throughput-latency"
2996   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2997   parameters:
2998   - "latency"
2999   - "parent"
3000   traces:
3001     boxmean: False
3002   layout:
3003     title: "64B-2t2c-.*vhost.*-ndrdisc"
3004     layout:
3005       "plot-latency"
3006
3007 # VPP CRYPTO
3008 -
3009   type: "plot"
3010   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
3011   algorithm: "plot_latency_box"
3012   output-file-type: ".html"
3013   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
3014   data:
3015     "plot-vpp-throughput-latency"
3016   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3017   parameters:
3018   - "latency"
3019   - "parent"
3020   traces:
3021     boxmean: False
3022   layout:
3023     title: "64B-1t1c-.*ipsec.*-ndrdisc"
3024     layout:
3025       "plot-latency"
3026
3027 -
3028   type: "plot"
3029   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
3030   algorithm: "plot_latency_box"
3031   output-file-type: ".html"
3032   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
3033   data:
3034     "plot-vpp-throughput-latency"
3035   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3036   parameters:
3037   - "latency"
3038   - "parent"
3039   traces:
3040     boxmean: False
3041   layout:
3042     title: "64B-2t2c-.*ipsec.*-ndrdisc"
3043     layout:
3044       "plot-latency"
3045
3046 # DPDK
3047 -
3048   type: "plot"
3049   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3050   algorithm: "plot_latency_box"
3051   output-file-type: ".html"
3052   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
3053   data:
3054     "plot-dpdk-throughput-latency"
3055   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3056   parameters:
3057   - "latency"
3058   - "parent"
3059   traces:
3060     boxmean: False
3061   layout:
3062     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3063     layout:
3064       "plot-latency"
3065
3066 -
3067   type: "plot"
3068   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3069   algorithm: "plot_latency_box"
3070   output-file-type: ".html"
3071   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
3072   data:
3073     "plot-dpdk-throughput-latency"
3074   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3075   parameters:
3076   - "latency"
3077   - "parent"
3078   traces:
3079     boxmean: False
3080   layout:
3081     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3082     layout:
3083       "plot-latency"
3084
3085 -
3086   type: "plot"
3087   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3088   algorithm: "plot_latency_box"
3089   output-file-type: ".html"
3090   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3091   data:
3092     "plot-dpdk-throughput-latency"
3093   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3094   parameters:
3095   - "latency"
3096   - "parent"
3097   traces:
3098     boxmean: False
3099   layout:
3100     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3101     layout:
3102       "plot-latency"
3103
3104 -
3105   type: "plot"
3106   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3107   algorithm: "plot_latency_box"
3108   output-file-type: ".html"
3109   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3110   data:
3111     "plot-dpdk-throughput-latency"
3112   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3113   parameters:
3114   - "latency"
3115   - "parent"
3116   traces:
3117     boxmean: False
3118   layout:
3119     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3120     layout:
3121       "plot-latency"
3122
3123 # Ligato - Throughput
3124
3125 # Container memif
3126 -
3127   type: "plot"
3128   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3129   algorithm: "plot_performance_box"
3130   output-file-type: ".html"
3131   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3132   data:
3133     "plot-vpp-throughput-latency"
3134   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3135   parameters:
3136   - "throughput"
3137   - "parent"
3138   traces:
3139     hoverinfo: "x+y"
3140     boxpoints: "outliers"
3141     whiskerwidth: 0
3142   layout:
3143     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3144     xaxis:
3145       autorange: True
3146       autotick: False
3147       fixedrange: False
3148       gridcolor: "rgb(238, 238, 238)"
3149       linecolor: "rgb(238, 238, 238)"
3150       linewidth: 1
3151       showgrid: True
3152       showline: True
3153       showticklabels: True
3154       tickcolor: "rgb(238, 238, 238)"
3155       tickmode: "linear"
3156       title: "Indexed Test Cases"
3157       zeroline: False
3158     yaxis:
3159       gridcolor: "rgb(238, 238, 238)'"
3160       hoverformat: ".4s"
3161       linecolor: "rgb(238, 238, 238)"
3162       linewidth: 1
3163       range: [0, 4500000]
3164       showgrid: True
3165       showline: True
3166       showticklabels: True
3167       tickcolor: "rgb(238, 238, 238)"
3168       title: "Packets Per Second [pps]"
3169       zeroline: False
3170     boxmode: "group"
3171     boxgroupgap: 0.5
3172     autosize: False
3173     margin:
3174       t: 50
3175       b: 20
3176       l: 50
3177       r: 20
3178     showlegend: True
3179     legend:
3180       orientation: "h"
3181     width: 700
3182     height: 1000
3183
3184 -
3185   type: "plot"
3186   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3187   algorithm: "plot_performance_box"
3188   output-file-type: ".html"
3189   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3190   data:
3191     "plot-vpp-throughput-latency"
3192   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3193   parameters:
3194   - "throughput"
3195   - "parent"
3196   traces:
3197     hoverinfo: "x+y"
3198     boxpoints: "outliers"
3199     whiskerwidth: 0
3200   layout:
3201     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3202     xaxis:
3203       autorange: True
3204       autotick: False
3205       fixedrange: False
3206       gridcolor: "rgb(238, 238, 238)"
3207       linecolor: "rgb(238, 238, 238)"
3208       linewidth: 1
3209       showgrid: True
3210       showline: True
3211       showticklabels: True
3212       tickcolor: "rgb(238, 238, 238)"
3213       tickmode: "linear"
3214       title: "Indexed Test Cases"
3215       zeroline: False
3216     yaxis:
3217       gridcolor: "rgb(238, 238, 238)'"
3218       hoverformat: ".4s"
3219       linecolor: "rgb(238, 238, 238)"
3220       linewidth: 1
3221       range: [0, 8000000]
3222       showgrid: True
3223       showline: True
3224       showticklabels: True
3225       tickcolor: "rgb(238, 238, 238)"
3226       title: "Packets Per Second [pps]"
3227       zeroline: False
3228     boxmode: "group"
3229     boxgroupgap: 0.5
3230     autosize: False
3231     margin:
3232       t: 50
3233       b: 20
3234       l: 50
3235       r: 20
3236     showlegend: True
3237     legend:
3238       orientation: "h"
3239     width: 700
3240     height: 1000
3241
3242 -
3243   type: "plot"
3244   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3245   algorithm: "plot_performance_box"
3246   output-file-type: ".html"
3247   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3248   data:
3249     "plot-vpp-throughput-latency"
3250   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3251   parameters:
3252   - "throughput"
3253   - "parent"
3254   traces:
3255     hoverinfo: "x+y"
3256     boxpoints: "outliers"
3257     whiskerwidth: 0
3258   layout:
3259     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3260     xaxis:
3261       autorange: True
3262       autotick: False
3263       fixedrange: False
3264       gridcolor: "rgb(238, 238, 238)"
3265       linecolor: "rgb(238, 238, 238)"
3266       linewidth: 1
3267       showgrid: True
3268       showline: True
3269       showticklabels: True
3270       tickcolor: "rgb(238, 238, 238)"
3271       tickmode: "linear"
3272       title: "Indexed Test Cases"
3273       zeroline: False
3274     yaxis:
3275       gridcolor: "rgb(238, 238, 238)'"
3276       hoverformat: ".4s"
3277       linecolor: "rgb(238, 238, 238)"
3278       linewidth: 1
3279       range: [0, 4500000]
3280       showgrid: True
3281       showline: True
3282       showticklabels: True
3283       tickcolor: "rgb(238, 238, 238)"
3284       title: "Packets Per Second [pps]"
3285       zeroline: False
3286     boxmode: "group"
3287     boxgroupgap: 0.5
3288     autosize: False
3289     margin:
3290       t: 50
3291       b: 20
3292       l: 50
3293       r: 20
3294     showlegend: True
3295     legend:
3296       orientation: "h"
3297     width: 700
3298     height: 1000
3299
3300 -
3301   type: "plot"
3302   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3303   algorithm: "plot_performance_box"
3304   output-file-type: ".html"
3305   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3306   data:
3307     "plot-vpp-throughput-latency"
3308   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3309   parameters:
3310   - "throughput"
3311   - "parent"
3312   traces:
3313     hoverinfo: "x+y"
3314     boxpoints: "outliers"
3315     whiskerwidth: 0
3316   layout:
3317     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3318     xaxis:
3319       autorange: True
3320       autotick: False
3321       fixedrange: False
3322       gridcolor: "rgb(238, 238, 238)"
3323       linecolor: "rgb(238, 238, 238)"
3324       linewidth: 1
3325       showgrid: True
3326       showline: True
3327       showticklabels: True
3328       tickcolor: "rgb(238, 238, 238)"
3329       tickmode: "linear"
3330       title: "Indexed Test Cases"
3331       zeroline: False
3332     yaxis:
3333       gridcolor: "rgb(238, 238, 238)'"
3334       hoverformat: ".4s"
3335       linecolor: "rgb(238, 238, 238)"
3336       linewidth: 1
3337       range: [0, 8000000]
3338       showgrid: True
3339       showline: True
3340       showticklabels: True
3341       tickcolor: "rgb(238, 238, 238)"
3342       title: "Packets Per Second [pps]"
3343       zeroline: False
3344     boxmode: "group"
3345     boxgroupgap: 0.5
3346     autosize: False
3347     margin:
3348       t: 50
3349       b: 20
3350       l: 50
3351       r: 20
3352     showlegend: True
3353     legend:
3354       orientation: "h"
3355     width: 700
3356     height: 1000
3357
3358 # Container orchestrated
3359 -
3360   type: "plot"
3361   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3362   algorithm: "plot_performance_box"
3363   output-file-type: ".html"
3364   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3365   data:
3366     "plot-ligato-throughput-latency"
3367   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3368   parameters:
3369   - "throughput"
3370   - "parent"
3371   traces:
3372     hoverinfo: "x+y"
3373     boxpoints: "outliers"
3374     whiskerwidth: 0
3375   layout:
3376     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3377     layout:
3378       "plot-throughput"
3379
3380 -
3381   type: "plot"
3382   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3383   algorithm: "plot_performance_box"
3384   output-file-type: ".html"
3385   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3386   data:
3387     "plot-ligato-throughput-latency"
3388   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3389   parameters:
3390   - "throughput"
3391   - "parent"
3392   traces:
3393     hoverinfo: "x+y"
3394     boxpoints: "outliers"
3395     whiskerwidth: 0
3396   layout:
3397     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3398     layout:
3399       "plot-throughput"
3400
3401 -
3402   type: "plot"
3403   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3404   algorithm: "plot_performance_box"
3405   output-file-type: ".html"
3406   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3407   data:
3408     "plot-ligato-throughput-latency"
3409   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3410   parameters:
3411   - "throughput"
3412   - "parent"
3413   traces:
3414     hoverinfo: "x+y"
3415     boxpoints: "outliers"
3416     whiskerwidth: 0
3417   layout:
3418     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3419     layout:
3420       "plot-throughput"
3421
3422 -
3423   type: "plot"
3424   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3425   algorithm: "plot_performance_box"
3426   output-file-type: ".html"
3427   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3428   data:
3429     "plot-ligato-throughput-latency"
3430   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3431   parameters:
3432   - "throughput"
3433   - "parent"
3434   traces:
3435     hoverinfo: "x+y"
3436     boxpoints: "outliers"
3437     whiskerwidth: 0
3438   layout:
3439     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3440     layout:
3441       "plot-throughput"
3442
3443 # Ligato - Latency
3444
3445 # Container memif
3446 -
3447   type: "plot"
3448   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3449   algorithm: "plot_latency_box"
3450   output-file-type: ".html"
3451   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3452   data:
3453     "plot-vpp-throughput-latency"
3454   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3455   parameters:
3456   - "latency"
3457   - "parent"
3458   traces:
3459     boxmean: False
3460   layout:
3461     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3462     layout:
3463       "plot-latency"
3464
3465 -
3466   type: "plot"
3467   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3468   algorithm: "plot_latency_box"
3469   output-file-type: ".html"
3470   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3471   data:
3472     "plot-vpp-throughput-latency"
3473   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3474   parameters:
3475   - "latency"
3476   - "parent"
3477   traces:
3478     boxmean: False
3479   layout:
3480     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3481     layout:
3482       "plot-latency"
3483
3484 # Container orchestrated
3485 -
3486   type: "plot"
3487   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3488   algorithm: "plot_latency_box"
3489   output-file-type: ".html"
3490   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3491   data:
3492     "plot-ligato-throughput-latency"
3493   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3494   parameters:
3495   - "latency"
3496   - "parent"
3497   traces:
3498     boxmean: False
3499   layout:
3500     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3501     layout:
3502       "plot-latency"
3503
3504 -
3505   type: "plot"
3506   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3507   algorithm: "plot_latency_box"
3508   output-file-type: ".html"
3509   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3510   data:
3511     "plot-ligato-throughput-latency"
3512   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3513   parameters:
3514   - "latency"
3515   - "parent"
3516   traces:
3517     boxmean: False
3518   layout:
3519     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3520     layout:
3521       "plot-latency"

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.