Report: Data, plots, datetime
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,MRR,VPP]: "{DIR[DTR]}/vpp_mrr_results"
42     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
43     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
44     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
45     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
46     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
47     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
49
50     # Detailed test configurations
51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
52     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
53     DIR[DTC,MRR,VPP]: "{DIR[DTC]}/vpp_mrr_configuration"
54     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
55     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
56
57     # Detailed tests operational data
58     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
59     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
60
61     # .css patch file to fix tables generated by Sphinx
62     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
63     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
64
65   urls:
66     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
67     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
68     URL[NEXUS]: "https://docs.fd.io/csit"
69     DIR[NEXUS]: "report/_static/archive"
70
71   make-dirs:
72   # List the directories which are created while preparing the environment.
73   # All directories MUST be defined in "paths" section.
74   - "DIR[WORKING,DATA]"
75   - "DIR[STATIC,VPP]"
76   - "DIR[STATIC,DPDK]"
77   - "DIR[STATIC,ARCH]"
78   - "DIR[BUILD,LATEX]"
79   - "DIR[WORKING,SRC]"
80   - "DIR[WORKING,SRC,STATIC]"
81
82   remove-dirs:
83   # List the directories which are deleted while cleaning the environment.
84   # All directories MUST be defined in "paths" section.
85   #- "DIR[BUILD,HTML]"
86   - "DIR[WORKING,DATA]"
87
88   build-dirs:
89   # List the directories where the results (build) is stored.
90   # All directories MUST be defined in "paths" section.
91   - "DIR[BUILD,HTML]"
92   - "DIR[BUILD,LATEX]"
93
94 -
95   type: "configuration"
96   data-sets:
97     plot-vpp-http-server-performance:
98 # TODO: Add the data sources
99       csit-vpp-perf-1801-all:
100       - 157
101       - 158
102       - 159
103       - 160
104       - 161
105       - 164
106       - 165
107       - 166
108       - 168
109       - 169
110       - 170
111 # TODO: Add the data sources
112 #    vpp-meltdown-impact:
113 #      csit-vpp-perf-1707-all:
114 #      - 9
115 #      - 10
116 #      - 13
117 #      csit-vpp-perf-1710-all:
118 #      - 11l
119 #      - 12
120 #      - 13
121 # TODO: Add the data sources
122 #    vpp-spectre-impact:
123 #      csit-vpp-perf-1707-all:
124 #      - 9
125 #      - 10
126 #      - 13
127 #      csit-vpp-perf-1710-all:
128 #      - 11
129 #      - 12
130 #      - 13
131     vpp-performance-changes:
132       csit-vpp-perf-1710-all:
133       - 11
134       - 12
135       - 13
136       - 14
137       - 15
138       - 16
139       - 17
140       - 18
141       - 19
142       - 20
143       csit-vpp-perf-1801-all:
144       - 124  # sel
145       - 127  # sel
146       - 128  # sel
147       - 141  # sel
148       - 142  # sel
149       - 143  # sel
150       - 145  # sel
151       - 146  # sel
152       - 162  # sel
153       - 163  # sel
154       - 167  # sel
155       - 172  # sel acl only
156       csit-vpp-perf-1804-all:
157       - 21  # sel
158       - 22  # sel
159       - 23  # sel
160       - 24  # sel
161       - 27  # sel
162       - 28  # sel
163       - 29  # sel
164       - 30  # sel
165       - 31  # sel
166       - 35  # sel
167     vpp-performance-changes-mrr:
168       csit-vpp-perf-check-1801:
169       - 3
170       - 4
171       - 5
172       - 6
173       - 7
174       - 8
175       - 9
176       - 11
177       - 12
178       - 13
179       csit-vpp-perf-check-1804:
180       - 6   # mrr - sel
181       - 7   # mrr - sel
182       - 8   # mrr - sel
183       - 9   # mrr - sel
184       - 10  # mrr - sel
185       - 11  # mrr - sel
186       - 12  # mrr - sel
187       - 13  # mrr - sel
188       - 14  # mrr - sel
189       - 15  # mrr - sel
190     plot-throughput-speedup-analysis:
191       csit-vpp-perf-1804-all:
192       - 19  # full
193       - 20  # full
194       - 25  # full
195       - 26  # full
196       - 21  # sel
197       - 22  # sel
198       - 23  # sel
199       - 24  # sel
200       - 27  # sel
201       - 28  # sel
202       - 29  # sel
203       - 30  # sel
204       - 31  # sel
205       - 35  # sel
206     plot-ligato-throughput-speedup-analysis:
207       csit-ligato-perf-1804-all:
208       - 5   # sel
209       - 6   # sel
210       - 7   # sel
211       - 8   # sel
212       - 9   # sel
213       - 10  # sel
214       - 11  # sel
215       - 12  # sel
216 #    performance-improvements:
217 #      csit-vpp-perf-1707-all:
218 #      - 9
219 #      - 10
220 #      - 13
221 #      - 14
222 #      - 15
223 #      - 16
224 #      - 17
225 #      - 18
226 #      - 19
227 #      - 21
228 #      csit-vpp-perf-1710-all:
229 #      - 11
230 #      - 12
231 #      - 13
232 #      - 14
233 #      - 15
234 #      - 16
235 #      - 17
236 #      - 18
237 #      - 19
238 #      - 20
239 #      csit-vpp-perf-1801-all:
240 #      - 124
241 #      - 127
242 #      - 128
243 #      csit-ligato-perf-1710-all:
244 #      - 5
245 #      - 7
246 #      - 8
247 #      - 9
248 #      - 10
249 #      - 11
250 #      - 12
251 #      - 13
252 #      - 16
253 #      - 17
254 #      csit-ligato-perf-1801-all:
255 #      - 16  # sel
256 #      - 17  # sel
257 #      - 18  # sel
258 #      - 19  # sel
259 #      - 20  # sel
260 #      - 21  # sel
261 #      - 22  # sel
262 #      - 23  # sel
263 #      - 24  # sel
264     vpp-perf-results:
265       csit-vpp-perf-1804-all:
266       - 19  # full
267       - 20  # full
268       - 25  # full
269       - 26  # full
270     vpp-func-results:
271       csit-vpp-functional-1804-ubuntu1604-virl:
272       - 199
273     vpp-func-results-centos:
274       csit-vpp-functional-1804-centos7-virl:
275       - 207
276     vpp-mrr-results:
277       csit-vpp-perf-check-1804:
278       - 5   # mrr - full
279     ligato-perf-results:
280       csit-ligato-perf-1804-all:
281       - 4  # full
282     dpdk-perf-results:
283       csit-dpdk-perf-1804-all:
284       - 13
285     hc-func-results:
286       csit-hc2vpp-verify-func-1804-ubuntu1604:
287       - 3
288     nsh-func-results:
289       csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
290       - 7
291     plot-vpp-throughput-latency:
292       csit-vpp-perf-1804-all:
293       - 19  # full
294       - 20  # full
295       - 25  # full
296       - 26  # full
297       - 21  # sel
298       - 22  # sel
299       - 23  # sel
300       - 24  # sel
301       - 27  # sel
302       - 28  # sel
303       - 29  # sel
304       - 30  # sel
305       - 31  # sel
306       - 35  # sel
307     plot-dpdk-throughput-latency:
308       csit-dpdk-perf-1804-all:
309       - 4
310       - 5
311       - 6
312       - 7
313       - 8
314       - 9
315       - 10
316       - 11
317       - 12
318       - 13
319     plot-ligato-throughput-latency:
320       csit-ligato-perf-1804-all:
321       - 5   # sel
322       - 6   # sel
323       - 7   # sel
324       - 8   # sel
325       - 9   # sel
326       - 10  # sel
327       - 11  # sel
328       - 12  # sel
329
330   plot-layouts:
331
332     plot-cps:
333       xaxis:
334         autorange: True
335         autotick: False
336         fixedrange: False
337         gridcolor: "rgb(238, 238, 238)"
338         linecolor: "rgb(238, 238, 238)"
339         linewidth: 1
340         showgrid: True
341         showline: True
342         showticklabels: True
343         tickcolor: "rgb(238, 238, 238)"
344         tickmode: "linear"
345         title: "Indexed Test Cases"
346         zeroline: False
347       yaxis:
348         gridcolor: "rgb(238, 238, 238)'"
349         hoverformat: ".4s"
350         linecolor: "rgb(238, 238, 238)"
351         linewidth: 1
352         range: []
353         rangemode: "tozero"
354         showgrid: True
355         showline: True
356         showticklabels: True
357         tickcolor: "rgb(238, 238, 238)"
358         title: "Connections Per Second [cps]"
359         zeroline: False
360       boxmode: "group"
361       boxgroupgap: 0.5
362       autosize: False
363       margin:
364         t: 50
365         b: 20
366         l: 50
367         r: 20
368       showlegend: True
369       legend:
370         orientation: "h"
371       width: 700
372       height: 1000
373
374     plot-rps:
375       xaxis:
376         autorange: True
377         autotick: False
378         fixedrange: False
379         gridcolor: "rgb(238, 238, 238)"
380         linecolor: "rgb(238, 238, 238)"
381         linewidth: 1
382         showgrid: True
383         showline: True
384         showticklabels: True
385         tickcolor: "rgb(238, 238, 238)"
386         tickmode: "linear"
387         title: "Indexed Test Cases"
388         zeroline: False
389       yaxis:
390         gridcolor: "rgb(238, 238, 238)'"
391         hoverformat: ".4s"
392         linecolor: "rgb(238, 238, 238)"
393         linewidth: 1
394         range: []
395         rangemode: "tozero"
396         showgrid: True
397         showline: True
398         showticklabels: True
399         tickcolor: "rgb(238, 238, 238)"
400         title: "Requests Per Second [rps]"
401         zeroline: False
402       boxmode: "group"
403       boxgroupgap: 0.5
404       autosize: False
405       margin:
406         t: 50
407         b: 20
408         l: 50
409         r: 20
410       showlegend: True
411       legend:
412         orientation: "h"
413       width: 700
414       height: 1000
415
416     plot-throughput:
417       xaxis:
418         autorange: True
419         autotick: False
420         fixedrange: False
421         gridcolor: "rgb(238, 238, 238)"
422         linecolor: "rgb(238, 238, 238)"
423         linewidth: 1
424         showgrid: True
425         showline: True
426         showticklabels: True
427         tickcolor: "rgb(238, 238, 238)"
428         tickmode: "linear"
429         title: "Indexed Test Cases"
430         zeroline: False
431       yaxis:
432         gridcolor: "rgb(238, 238, 238)'"
433         hoverformat: ".4s"
434         linecolor: "rgb(238, 238, 238)"
435         linewidth: 1
436         range: []
437         showgrid: True
438         showline: True
439         showticklabels: True
440         tickcolor: "rgb(238, 238, 238)"
441         title: "Packets Per Second [pps]"
442         zeroline: False
443       boxmode: "group"
444       boxgroupgap: 0.5
445       autosize: False
446       margin:
447         t: 50
448         b: 20
449         l: 50
450         r: 20
451       showlegend: True
452       legend:
453         orientation: "h"
454       width: 700
455       height: 1000
456
457     plot-latency:
458       xaxis:
459         autorange: True
460         autotick: False
461         fixedrange: False
462         gridcolor: "rgb(238, 238, 238)"
463         linecolor: "rgb(238, 238, 238)"
464         linewidth: 1
465         showgrid: True
466         showline: True
467         showticklabels: True
468         tickcolor: "rgb(238, 238, 238)"
469         tickmode: "linear"
470         title: "Indexed Test Cases"
471         zeroline: False
472       yaxis:
473         gridcolor: "rgb(238, 238, 238)'"
474         hoverformat: ""
475         linecolor: "rgb(238, 238, 238)"
476         linewidth: 1
477         range: []
478         showgrid: True
479         showline: True
480         showticklabels: True
481         tickcolor: "rgb(238, 238, 238)"
482         title: "Latency min/avg/max [uSec]"
483         zeroline: False
484       boxmode: "group"
485       boxgroupgap: 0.5
486       autosize: False
487       margin:
488         t: 50
489         b: 20
490         l: 50
491         r: 20
492       showlegend: True
493       legend:
494         orientation: "h"
495       width: 700
496       height: 1000
497
498     plot-throughput-speedup-analysis:
499       xaxis:
500         autorange: True
501         autotick: False
502         fixedrange: False
503         gridcolor: "rgb(238, 238, 238)"
504         linecolor: "rgb(238, 238, 238)"
505         linewidth: 1
506         showgrid: True
507         showline: True
508         showticklabels: True
509         tickcolor: "rgb(238, 238, 238)"
510         tickmode: "linear"
511         tickangle: 270
512         zeroline: False
513       yaxis:
514         title: "Throughput speedup factor"
515         gridcolor: "rgb(238, 238, 238)"
516         hoverformat: ".4s"
517         linecolor: "rgb(238, 238, 238)"
518         linewidth: 1
519         range: []
520         showgrid: True
521         showline: True
522         showticklabels: True
523         tickcolor: "rgb(238, 238, 238)"
524         zeroline: False
525       legend:
526         orientation: "h"
527         xanchor: "center"
528         yanchor: "top"
529         x: 0.5
530         y: 1
531         bgcolor: "rgba(255, 255, 255, 0)"
532         bordercolor: "rgba(255, 255, 255, 0)"
533       barmode: "group"
534       bargap: 0.15
535       bargroupgap: 0.1
536       autosize: False
537       margin:
538           't': 50
539           'b': 200
540           'l': 50
541           'r': 20
542       showlegend: True
543       width: 700
544       height: 1000
545
546 -
547   type: "debug"
548   general:
549     input-format: "xml"  # zip or xml
550     extract: "robot-plugin/output.xml"  # Only for zip
551   builds:
552     # The files must be in the directory DIR[WORKING,DATA]
553     csit-vpp-perf-1801-all:
554     -
555       build: 1
556       file: "{DIR[WORKING,DATA]}/output.xml"
557     -
558       build: 2
559       file: "{DIR[WORKING,DATA]}/output.xml"
560     -
561       build: 3
562       file: "{DIR[WORKING,DATA]}/output.xml"
563     -
564       build: 4
565       file: "{DIR[WORKING,DATA]}/output.xml"
566
567 -
568   type: "static"
569   src-path: "{DIR[RST]}"
570   dst-path: "{DIR[WORKING,SRC]}"
571
572 -
573   type: "input"  # Ignored in debug mode
574   general:
575     file-name: "robot-plugin.zip"
576     file-format: ".zip"
577     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
578     extract: "robot-plugin/output.xml"
579   builds:
580 #    csit-vpp-perf-1707-all:
581 #    - 9
582 #    - 10
583 #    - 13
584 #    - 14
585 #    - 15
586 #    - 16
587 #    - 17
588 #    - 18
589 #    - 19
590 #    - 21
591     csit-vpp-perf-1710-all:
592     - 11
593     - 12
594     - 13
595     - 14
596     - 15
597     - 16
598     - 17
599     - 18
600     - 19
601     - 20
602     csit-vpp-perf-1801-all:
603 #    - 122  # full
604 #    - 126  # full
605 #    - 129  # full
606 #    - 140  # full
607     - 124  # sel
608     - 127  # sel
609     - 128  # sel
610     - 141  # sel
611     - 142  # sel
612     - 143  # sel
613     - 145  # sel
614     - 146  # sel
615     - 157  # wrk
616     - 158  # wrk
617     - 159  # wrk
618     - 160  # wrk
619     - 161  # wrk
620     - 162  # sel
621     - 163  # sel
622     - 164  # wrk
623     - 165  # wrk
624     - 166  # wrk
625     - 167  # sel
626     - 168  # wrk
627     - 169  # wrk
628     - 170  # wrk
629     - 172  # sel acl only
630     csit-vpp-perf-1804-all:
631     - 19  # full
632     - 20  # full
633     - 25  # full
634     - 26  # full
635     - 21  # sel
636     - 22  # sel
637     - 23  # sel
638     - 24  # sel
639     - 27  # sel
640     - 28  # sel
641     - 29  # sel
642     - 30  # sel
643     - 31  # sel
644     - 35  # sel
645     csit-vpp-perf-check-1801:
646     - 3   # mrr
647     - 4   # mrr
648     - 5   # mrr
649     - 6   # mrr
650     - 7   # mrr
651     - 8   # mrr
652     - 9   # mrr
653     - 11  # mrr
654     - 12  # mrr
655     - 13  # mrr
656     csit-vpp-perf-check-1804:
657     - 5   # mrr - full
658     - 6   # mrr - sel
659     - 7   # mrr - sel
660     - 8   # mrr - sel
661     - 9   # mrr - sel
662     - 10  # mrr - sel
663     - 11  # mrr - sel
664     - 12  # mrr - sel
665     - 13  # mrr - sel
666     - 14  # mrr - sel
667     - 15  # mrr - sel
668 #    csit-ligato-perf-1710-all:
669 #    - 5
670 #    - 7
671 #    - 8
672 #    - 9
673 #    - 10
674 #    - 11
675 #    - 12
676 #    - 13
677 #    - 16
678 #    - 17
679 #    csit-ligato-perf-1801-all:
680 #    - 16  # sel
681 #    - 17  # sel
682 #    - 18  # sel
683 #    - 19  # sel
684 #    - 20  # sel
685 #    - 21  # sel
686 #    - 22  # sel
687 #    - 23  # sel
688 #    - 24  # sel
689 #    - 25  # full
690     csit-ligato-perf-1804-all:
691     - 4   # full
692     - 5   # sel
693     - 6   # sel
694     - 7   # sel
695     - 8   # sel
696     - 9   # sel
697     - 10  # sel
698     - 11  # sel
699     - 12  # sel
700     csit-dpdk-perf-1804-all:
701     - 4
702     - 5
703     - 6
704     - 7
705     - 8
706     - 9
707     - 10
708     - 11
709     - 12
710     - 13
711     csit-vpp-functional-1804-ubuntu1604-virl:
712     - 199
713     csit-vpp-functional-1804-centos7-virl:
714     - 207
715     csit-nsh_sfc-verify-func-1804-ubuntu1604-virl:
716     - 7
717     csit-hc2vpp-verify-func-1804-ubuntu1604:
718     - 3
719
720 -
721   type: "output"
722   output: "report"
723   format:
724     html:
725     - full
726     pdf:
727     - minimal
728
729 ################################################################################
730 ###                               T A B L E S                                ###
731 ################################################################################
732
733 #-
734 #  type: "table"
735 #  title: "Performance Impact of Meltdown Patches"
736 #  algorithm: "table_performance_comparison"
737 #  output-file-ext: ".csv"
738 ## TODO: specify dir
739 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
740 #  reference:
741 #    title: "No Meltdown"
742 ## TODO: specify data sources
743 #    data:
744 #      csit-vpp-perf-1707-all:
745 #      - 9
746 #      - 10
747 #      - 13
748 #  compare:
749 #    title: "Meltdown Patches Applied"
750 ## TODO: specify data sources
751 #    data:
752 #      csit-vpp-perf-1710-all:
753 #      - 11
754 #      - 12
755 #      - 13
756 #  data:
757 #    "vpp-meltdown-impact"
758 #  filter: "all"
759 #  parameters:
760 #  - "name"
761 #  - "parent"
762 #  - "throughput"
763 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
764 #  # to present all tests.
765 #  nr-of-tests-shown: 20
766 #
767 #-
768 #  type: "table"
769 #  title: "Performance Impact of Spectre Patches"
770 #  algorithm: "table_performance_comparison"
771 #  output-file-ext: ".csv"
772 ## TODO: specify dir
773 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
774 #  reference:
775 #    title: "No Spectre"
776 ## TODO: specify data sources
777 #    data:
778 #      csit-vpp-perf-1707-all:
779 #      - 9
780 #      - 10
781 #      - 13
782 #  compare:
783 #    title: "Spectre Patches Applied"
784 ## TODO: specify data sources
785 #    data:
786 #      csit-vpp-perf-1710-all:
787 #      - 11
788 #      - 12
789 #      - 13
790 #  data:
791 #    "vpp-spectre-impact"
792 #  filter: "all"
793 #  parameters:
794 #  - "name"
795 #  - "parent"
796 #  - "throughput"
797 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
798 #  # to present all tests.
799 #  nr-of-tests-shown: 20
800
801 -
802   type: "table"
803   title: "VPP Performance Changes"
804   algorithm: "table_performance_comparison"
805   output-file-ext: ".csv"
806   output-file: "{DIR[STATIC,VPP]}/performance-changes"
807   history:
808     -
809       title: "rls1710"
810       data:
811         csit-vpp-perf-1710-all:
812         - 11
813         - 12
814         - 13
815         - 14
816         - 15
817         - 16
818         - 17
819         - 18
820         - 19
821         - 20
822   reference:
823     title: "rls1801"
824     data:
825       csit-vpp-perf-1801-all:
826       - 124  # sel
827       - 127  # sel
828       - 128  # sel
829       - 141  # sel
830       - 142  # sel
831       - 143  # sel
832       - 145  # sel
833       - 146  # sel
834       - 162  # sel
835       - 163  # sel
836       - 167  # sel
837       - 172  # sel acl only
838   compare:
839     title: "rls1804"
840     data:
841       csit-vpp-perf-1804-all:
842       - 21  # sel
843       - 22  # sel
844       - 23  # sel
845       - 24  # sel
846       - 27  # sel
847       - 28  # sel
848       - 29  # sel
849       - 30  # sel
850       - 31  # sel
851   data: "vpp-performance-changes"
852   filter: "all"
853   parameters:
854   - "name"
855   - "parent"
856   - "throughput"
857   # Number of the best and the worst tests presented in the table. Use 0 (zero)
858   # to present all tests.
859   nr-of-tests-shown: 20
860   outlier-const: 1.5
861
862 -
863   type: "table"
864   title: "VPP Performance Changes - MRR"
865   algorithm: "table_performance_comparison_mrr"
866   output-file-ext: ".csv"
867   output-file: "{DIR[STATIC,VPP]}/performance-changes-mrr"
868   reference:
869     title: "Release 1801"
870     data:
871       csit-vpp-perf-check-1801:
872 #      - 1
873 #      - 2
874       - 3
875       - 4
876       - 5
877       - 6
878       - 7
879       - 8
880       - 9
881       - 11
882       - 12
883       - 13
884   compare:
885     title: "Release 1804"
886     data:
887       csit-vpp-perf-check-1804:
888       - 5   # mrr - full
889       - 6   # mrr - sel
890       - 7   # mrr - sel
891       - 8   # mrr - sel
892       - 9   # mrr - sel
893       - 10  # mrr - sel
894       - 11  # mrr - sel
895       - 12  # mrr - sel
896       - 13  # mrr - sel
897   data: "vpp-performance-changes-mrr"
898   filter: "all"
899   parameters:
900   - "name"
901   - "parent"
902   - "result"
903   # Number of the best and the worst tests presented in the table. Use 0 (zero)
904   # to present all tests.
905   nr-of-tests-shown: 20
906   outlier-const: 1.5
907
908 #-
909 #  type: "table"
910 #  title: "Performance improvements"
911 #  algorithm: "table_performance_improvements"
912 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
913 #  output-file-ext: ".csv"
914 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
915 #  columns:
916 #  -
917 #    title: "Test Name"
918 #    data: "template 1"
919 #  -
920 #    title: "16.09 mean [Mpps]"
921 #    data: "template 2"
922 #  -
923 #    title: "17.01 mean [Mpps]"
924 #    data: "template 3"
925 #  -
926 #    title: "17.04 mean [Mpps]"
927 #    data: "template 4"
928 #  -
929 #    title: "17.07 mean [Mpps]"
930 #    data: "data csit-vpp-perf-1707-all mean"
931 #  -
932 #    title: "17.10 mean [Mpps]"
933 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
934 #  -
935 #    title: "18.01 mean [Mpps]"
936 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
937 #  -
938 #    title: "18.01 stdev [Mpps]"
939 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
940 #  -
941 #    title: "17.10 to 18.01 change [%]"
942 #    data: "operation relative_change 5 6"
943 #  rows: "generated"
944 #  data:
945 #    "performance-improvements"
946 #  filter: "template"
947 #  parameters:
948 #  - "throughput"
949
950 -
951   type: "table"
952   title: "Detailed Test Results - VPP Performance Results"
953   algorithm: "table_merged_details"
954   output-file-ext: ".csv"
955   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
956   columns:
957   -
958     title: "Name"
959     data: "data name"
960   -
961     title: "Documentation"
962     data: "data doc"
963   -
964     title: "Status"
965     data: "data msg"
966   rows: "generated"
967   data:
968     "vpp-perf-results"
969   filter: "not 'NDRCHK' and not 'PDRCHK'"
970   parameters:
971   - "name"
972   - "parent"
973   - "doc"
974   - "msg"
975
976 -
977   type: "table"
978   title: "Test configuration - VPP Performance Test Configs"
979   algorithm: "table_merged_details"
980   output-file-ext: ".csv"
981   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
982   columns:
983   -
984     title: "Name"
985     data: "data name"
986   -
987     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
988     data: "data vat-history"
989   rows: "generated"
990   data:
991     "vpp-perf-results"
992   filter: "not 'NDRCHK' and not 'PDRCHK'"
993   parameters:
994   - "parent"
995   - "name"
996   - "vat-history"
997
998 -
999   type: "table"
1000   title: "Test Operational Data - VPP Performance Operational Data"
1001   algorithm: "table_merged_details"
1002   output-file-ext: ".csv"
1003   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
1004   columns:
1005   -
1006     title: "Name"
1007     data: "data name"
1008   -
1009     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1010     data: "data show-run"
1011   rows: "generated"
1012   data:
1013     "vpp-perf-results"
1014   filter: "not 'NDRCHK' and not 'PDRCHK'"
1015   parameters:
1016   - "parent"
1017   - "name"
1018   - "show-run"
1019
1020 -
1021   type: "table"
1022   title: "Detailed Test Results - VPP MRR Results"
1023   algorithm: "table_details"
1024   output-file-ext: ".csv"
1025   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1026   columns:
1027   -
1028     title: "Name"
1029     data: "data name"
1030   -
1031     title: "Documentation"
1032     data: "data doc"
1033   -
1034     title: "Status"
1035     data: "data msg"
1036   rows: "generated"
1037   data:
1038     "vpp-mrr-results"
1039   filter: "'MRR'"
1040   parameters:
1041   - "name"
1042   - "parent"
1043   - "doc"
1044   - "msg"
1045
1046 -
1047   type: "table"
1048   title: "Test configuration - VPP MRR Test Configs"
1049   algorithm: "table_details"
1050   output-file-ext: ".csv"
1051   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_test_configuration"
1052   columns:
1053   -
1054     title: "Name"
1055     data: "data name"
1056   -
1057     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1058     data: "data vat-history"
1059   rows: "generated"
1060   data:
1061     "vpp-mrr-results"
1062   filter: "'MRR'"
1063   parameters:
1064   - "parent"
1065   - "name"
1066   - "vat-history"
1067
1068 -
1069   type: "table"
1070   title: "Detailed Test Results - VPP Functional Results"
1071   algorithm: "table_details"
1072   output-file-ext: ".csv"
1073   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1074   columns:
1075   -
1076     title: "Name"
1077     data: "data name"
1078   -
1079     title: "Documentation"
1080     data: "data doc"
1081   -
1082     title: "Status"
1083     data: "data status"
1084   rows: "generated"
1085   data:
1086     "vpp-func-results"
1087   filter: "all"
1088   parameters:
1089   - "name"
1090   - "parent"
1091   - "doc"
1092   - "status"
1093
1094 -
1095   type: "table"
1096   title: "Detailed Test Results - VPP Functional Results - CentOS"
1097   algorithm: "table_details"
1098   output-file-ext: ".csv"
1099   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1100   columns:
1101   -
1102     title: "Name"
1103     data: "data name"
1104   -
1105     title: "Documentation"
1106     data: "data doc"
1107   -
1108     title: "Status"
1109     data: "data status"
1110   rows: "generated"
1111   data:
1112     "vpp-func-results-centos"
1113   filter: "all"
1114   parameters:
1115   - "name"
1116   - "parent"
1117   - "doc"
1118   - "status"
1119
1120 -
1121   type: "table"
1122   title: "Test configuration - VPP Functional Test Configs"
1123   algorithm: "table_details"
1124   output-file-ext: ".csv"
1125   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1126   columns:
1127   -
1128     title: "Name"
1129     data: "data name"
1130   -
1131     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1132     data: "data vat-history"
1133   rows: "generated"
1134   data:
1135     "vpp-func-results"
1136   filter: "all"
1137   parameters:
1138   - "parent"
1139   - "name"
1140   - "vat-history"
1141
1142 -
1143   type: "table"
1144   title: "Test configuration - VPP Functional Test Configs - CentOS"
1145   algorithm: "table_details"
1146   output-file-ext: ".csv"
1147   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1148   columns:
1149   -
1150     title: "Name"
1151     data: "data name"
1152   -
1153     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1154     data: "data vat-history"
1155   rows: "generated"
1156   data:
1157     "vpp-func-results-centos"
1158   filter: "all"
1159   parameters:
1160   - "parent"
1161   - "name"
1162   - "vat-history"
1163
1164 -
1165   type: "table"
1166   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
1167   algorithm: "table_details"
1168   output-file-ext: ".csv"
1169   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1170   columns:
1171   -
1172     title: "Name"
1173     data: "data name"
1174   -
1175     title: "Documentation"
1176     data: "data doc"
1177   -
1178     title: "Status"
1179     data: "data msg"
1180   rows: "generated"
1181   data:
1182     "ligato-perf-results"
1183   filter: "all"
1184   parameters:
1185   - "name"
1186   - "parent"
1187   - "doc"
1188   - "msg"
1189
1190 -
1191   type: "table"
1192   title: "Detailed Test Results - DPDK Performance Results"
1193   algorithm: "table_details"
1194   output-file-ext: ".csv"
1195   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1196   columns:
1197   -
1198     title: "Name"
1199     data: "data name"
1200   -
1201     title: "Documentation"
1202     data: "data doc"
1203   -
1204     title: "Status"
1205     data: "data msg"
1206   rows: "generated"
1207   data:
1208     "dpdk-perf-results"
1209   filter: "all"
1210   parameters:
1211   - "name"
1212   - "parent"
1213   - "doc"
1214   - "msg"
1215
1216 -
1217   type: "table"
1218   title: "Detailed Test Results - Honeycomb Functional Results"
1219   algorithm: "table_details"
1220   output-file-ext: ".csv"
1221   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
1222   columns:
1223   -
1224     title: "Name"
1225     data: "data name"
1226   -
1227     title: "Documentation"
1228     data: "data doc"
1229   -
1230     title: "Status"
1231     data: "data status"
1232   rows: "generated"
1233   data:
1234     "hc-func-results"
1235   filter: "all"
1236   parameters:
1237   - "name"
1238   - "parent"
1239   - "doc"
1240   - "status"
1241
1242 -
1243   type: "table"
1244   title: "Detailed Test Results - NSH SFC Functional Results"
1245   algorithm: "table_details"
1246   output-file-ext: ".csv"
1247   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1248   columns:
1249   -
1250     title: "Name"
1251     data: "data name"
1252   -
1253     title: "Documentation"
1254     data: "data doc"
1255   -
1256     title: "Status"
1257     data: "data status"
1258   rows: "generated"
1259   data:
1260     "nsh-func-results"
1261   filter: "all"
1262   parameters:
1263   - "name"
1264   - "parent"
1265   - "doc"
1266   - "status"
1267
1268 ################################################################################
1269 ###                                F I L E S                                 ###
1270 ################################################################################
1271
1272 -
1273   type: "file"
1274   title: "VPP Performance Results"
1275   algorithm: "file_merged_test_results"
1276   output-file-ext: ".rst"
1277   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1278   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1279   dir-tables: "{DIR[DTR,PERF,VPP]}"
1280   data:
1281     "vpp-perf-results"
1282   filter: "not 'NDRCHK' and not 'PDRCHK'"
1283   parameters:
1284   - "name"
1285   - "doc"
1286   - "level"
1287   - "parent"
1288   data-start-level: 3  # 0, 1, 2, ...
1289   chapters-start-level: 2  # 0, 1, 2, ...
1290
1291 -
1292   type: "file"
1293   title: "VPP Performance Configuration"
1294   algorithm: "file_merged_test_results"
1295   output-file-ext: ".rst"
1296   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1297   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1298   dir-tables: "{DIR[DTC,PERF,VPP]}"
1299   data:
1300     "vpp-perf-results"
1301   filter: "not 'NDRCHK' and not 'PDRCHK'"
1302   parameters:
1303   - "name"
1304   - "doc"
1305   - "level"
1306   - "parent"
1307   data-start-level: 3  # 0, 1, 2, ...
1308   chapters-start-level: 2  # 0, 1, 2, ...
1309
1310 -
1311   type: "file"
1312   title: "VPP Performance Operational Data"
1313   algorithm: "file_merged_test_results"
1314   output-file-ext: ".rst"
1315   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1316   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1317   dir-tables: "{DIR[DTO,PERF,VPP]}"
1318   data:
1319     "vpp-perf-results"
1320   filter: "not 'NDRCHK' and not 'PDRCHK'"
1321   parameters:
1322   - "name"
1323   - "doc"
1324   - "level"
1325   - "parent"
1326   data-start-level: 3  # 0, 1, 2, ...
1327   chapters-start-level: 2  # 0, 1, 2, ...
1328
1329 -
1330   type: "file"
1331   title: "VPP MRR Results"
1332   algorithm: "file_test_results"
1333   output-file-ext: ".rst"
1334   output-file: "{DIR[DTR,MRR,VPP]}/vpp_mrr_results"
1335   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1336   dir-tables: "{DIR[DTR,MRR,VPP]}"
1337   data:
1338     "vpp-mrr-results"
1339   filter: "'MRR'"
1340   parameters:
1341   - "name"
1342   - "doc"
1343   - "level"
1344   - "parent"
1345   data-start-level: 2  # 0, 1, 2, ...
1346   chapters-start-level: 2  # 0, 1, 2, ...
1347
1348 -
1349   type: "file"
1350   title: "VPP MRR Configuration"
1351   algorithm: "file_test_results"
1352   output-file-ext: ".rst"
1353   output-file: "{DIR[DTC,MRR,VPP]}/vpp_mrr_configuration"
1354   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1355   dir-tables: "{DIR[DTC,MRR,VPP]}"
1356   data:
1357     "vpp-mrr-results"
1358   filter: "'MRR'"
1359   parameters:
1360   - "name"
1361   - "doc"
1362   - "level"
1363   - "parent"
1364   data-start-level: 2  # 0, 1, 2, ...
1365   chapters-start-level: 2  # 0, 1, 2, ...
1366
1367 -
1368   type: "file"
1369   title: "VPP Functional Results"
1370   algorithm: "file_test_results"
1371   output-file-ext: ".rst"
1372   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1373   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1374   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1375   data:
1376     "vpp-func-results"
1377   filter: "all"
1378   parameters:
1379   - "name"
1380   - "doc"
1381   - "level"
1382   data-start-level: 3  # 0, 1, 2, ...
1383   chapters-start-level: 2  # 0, 1, 2, ...
1384
1385 -
1386   type: "file"
1387   title: "VPP Functional Results - CentOS"
1388   algorithm: "file_test_results"
1389   output-file-ext: ".rst"
1390   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1391   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1392   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
1393   data:
1394     "vpp-func-results-centos"
1395   filter: "all"
1396   parameters:
1397   - "name"
1398   - "doc"
1399   - "level"
1400   data-start-level: 3  # 0, 1, 2, ...
1401   chapters-start-level: 2  # 0, 1, 2, ...
1402
1403 -
1404   type: "file"
1405   title: "VPP Functional Configuration"
1406   algorithm: "file_test_results"
1407   output-file-ext: ".rst"
1408   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1409   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1410   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1411   data:
1412     "vpp-func-results"
1413   filter: "all"
1414   parameters:
1415   - "name"
1416   - "doc"
1417   - "level"
1418   data-start-level: 3  # 0, 1, 2, ...
1419   chapters-start-level: 2  # 0, 1, 2, ...
1420
1421 -
1422   type: "file"
1423   title: "VPP Functional Configuration - CentOS"
1424   algorithm: "file_test_results"
1425   output-file-ext: ".rst"
1426   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1427   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1428   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
1429   data:
1430     "vpp-func-results-centos"
1431   filter: "all"
1432   parameters:
1433   - "name"
1434   - "doc"
1435   - "level"
1436   data-start-level: 3  # 0, 1, 2, ...
1437   chapters-start-level: 2  # 0, 1, 2, ...
1438
1439 -
1440   type: "file"
1441   title: "Container Orchestrated Performance Results"
1442   algorithm: "file_test_results"
1443   output-file-ext: ".rst"
1444   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1445   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1446   dir-tables: "{DIR[DTR,PERF,COT]}"
1447   data:
1448     "ligato-perf-results"
1449   filter: "all"
1450   parameters:
1451   - "name"
1452   - "doc"
1453   - "level"
1454   data-start-level: 2  # 0, 1, 2, ...
1455   chapters-start-level: 2  # 0, 1, 2, ...
1456
1457 -
1458   type: "file"
1459   title: "DPDK Performance Results"
1460   algorithm: "file_test_results"
1461   output-file-ext: ".rst"
1462   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1463   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1464   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1465   data:
1466     "dpdk-perf-results"
1467   filter: "all"
1468   parameters:
1469   - "name"
1470   - "doc"
1471   - "level"
1472   chapters:
1473   - "suites"
1474   data-start-level: 2  # 0, 1, 2, ...
1475   chapters-start-level: 2  # 0, 1, 2, ...
1476
1477 -
1478   type: "file"
1479   title: "Honeycomb Functional Results"
1480   algorithm: "file_test_results"
1481   output-file-ext: ".rst"
1482   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1483   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1484   dir-tables: "{DIR[DTR,FUNC,HC]}"
1485   data:
1486     "hc-func-results"
1487   filter: "all"
1488   parameters:
1489   - "name"
1490   - "doc"
1491   - "level"
1492   chapters:
1493   - "suites"
1494   data-start-level: 3  # 0, 1, 2, ...
1495   chapters-start-level: 2  # 0, 1, 2, ...
1496
1497 -
1498   type: "file"
1499   title: "NSH SFC Functional Results"
1500   algorithm: "file_test_results"
1501   output-file-ext: ".rst"
1502   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1503   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1504   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1505   data:
1506     "nsh-func-results"
1507   filter: "all"
1508   parameters:
1509   - "name"
1510   - "doc"
1511   - "level"
1512   chapters:
1513   - "suites"
1514   data-start-level: 2  # 0, 1, 2, ...
1515   chapters-start-level: 2  # 0, 1, 2, ...
1516
1517 ################################################################################
1518 ###                                P L O T S                                 ###
1519 ################################################################################
1520
1521 # Plots VPP HTTP Server Performance
1522 -
1523   type: "plot"
1524   title: "VPP HTTP Server Performance"
1525   algorithm: "plot_http_server_performance_box"
1526   output-file-type: ".html"
1527   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1528   data:
1529     "plot-vpp-http-server-performance"
1530   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1531   # each tag is enclosed with ' (apostrophe).
1532   filter: "'HTTP' and 'TCP_CPS'"
1533   parameters:
1534   - "result"
1535   - "name"
1536   traces:
1537     hoverinfo: "x+y"
1538     boxpoints: "outliers"
1539     whiskerwidth: 0
1540   layout:
1541     title: "VPP HTTP Server Performance"
1542     layout:
1543       "plot-cps"
1544
1545 -
1546   type: "plot"
1547   title: "VPP HTTP Server Performance"
1548   algorithm: "plot_http_server_performance_box"
1549   output-file-type: ".html"
1550   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1551   data:
1552     "plot-vpp-http-server-performance"
1553   filter: "'HTTP' and 'TCP_RPS'"
1554   parameters:
1555   - "result"
1556   - "name"
1557   traces:
1558     hoverinfo: "x+y"
1559     boxpoints: "outliers"
1560     whiskerwidth: 0
1561   layout:
1562     title: "VPP HTTP Server Performance"
1563     layout:
1564       "plot-rps"
1565
1566 # Plot Throughput Speedup Analysis
1567
1568 # L2 - 10ge2p1x520 - NDR
1569 -
1570   type: "plot"
1571   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1572   algorithm: "plot_throughput_speedup_analysis"
1573   output-file-type: ".html"
1574   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1575   data:
1576     "plot-throughput-speedup-analysis"
1577   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1578   parameters:
1579   - "throughput"
1580   - "parent"
1581   - "tags"
1582   layout:
1583     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1584     layout:
1585       "plot-throughput-speedup-analysis"
1586
1587 # L2 - 40ge2p1xl710 - NDR
1588 -
1589   type: "plot"
1590   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1591   algorithm: "plot_throughput_speedup_analysis"
1592   output-file-type: ".html"
1593   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1594   data:
1595     "plot-throughput-speedup-analysis"
1596   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1597   parameters:
1598   - "throughput"
1599   - "parent"
1600   - "tags"
1601   layout:
1602     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1603     layout:
1604       "plot-throughput-speedup-analysis"
1605
1606 # L2 - 10ge2p1x520 - PDR
1607 -
1608   type: "plot"
1609   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1610   algorithm: "plot_throughput_speedup_analysis"
1611   output-file-type: ".html"
1612   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1613   data:
1614     "plot-throughput-speedup-analysis"
1615   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1616   parameters:
1617   - "throughput"
1618   - "parent"
1619   - "tags"
1620   layout:
1621     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1622     layout:
1623       "plot-throughput-speedup-analysis"
1624
1625 # IPv4 - 10ge2p1x520 - NDR
1626 -
1627   type: "plot"
1628   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1629   algorithm: "plot_throughput_speedup_analysis"
1630   output-file-type: ".html"
1631   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1632   data:
1633     "plot-throughput-speedup-analysis"
1634   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1635   parameters:
1636   - "throughput"
1637   - "parent"
1638   - "tags"
1639   layout:
1640     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1641     layout:
1642       "plot-throughput-speedup-analysis"
1643
1644 # IPv4 - 40ge2p1xl710 - NDR
1645 -
1646   type: "plot"
1647   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1648   algorithm: "plot_throughput_speedup_analysis"
1649   output-file-type: ".html"
1650   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1651   data:
1652     "plot-throughput-speedup-analysis"
1653   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1654   parameters:
1655   - "throughput"
1656   - "parent"
1657   - "tags"
1658   layout:
1659     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1660     layout:
1661       "plot-throughput-speedup-analysis"
1662
1663 # IPv4 - 10ge2p1x520 - PDR
1664 -
1665   type: "plot"
1666   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1667   algorithm: "plot_throughput_speedup_analysis"
1668   output-file-type: ".html"
1669   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1670   data:
1671     "plot-throughput-speedup-analysis"
1672   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1673   parameters:
1674   - "throughput"
1675   - "parent"
1676   - "tags"
1677   layout:
1678     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1679     layout:
1680       "plot-throughput-speedup-analysis"
1681
1682 # IPv6 - 10ge2p1x520 - NDR
1683 -
1684   type: "plot"
1685   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1686   algorithm: "plot_throughput_speedup_analysis"
1687   output-file-type: ".html"
1688   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1689   data:
1690     "plot-throughput-speedup-analysis"
1691   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1692   parameters:
1693   - "throughput"
1694   - "parent"
1695   - "tags"
1696   layout:
1697     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1698     layout:
1699       "plot-throughput-speedup-analysis"
1700
1701 # IPv6 - 40ge2p1xl710 - NDR
1702 -
1703   type: "plot"
1704   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1705   algorithm: "plot_throughput_speedup_analysis"
1706   output-file-type: ".html"
1707   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1708   data:
1709     "plot-throughput-speedup-analysis"
1710   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1711   parameters:
1712   - "throughput"
1713   - "parent"
1714   - "tags"
1715   layout:
1716     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1717     layout:
1718       "plot-throughput-speedup-analysis"
1719
1720 # IPv6 - 10ge2p1x520 - PDR
1721 -
1722   type: "plot"
1723   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1724   algorithm: "plot_throughput_speedup_analysis"
1725   output-file-type: ".html"
1726   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1727   data:
1728     "plot-throughput-speedup-analysis"
1729   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1730   parameters:
1731   - "throughput"
1732   - "parent"
1733   - "tags"
1734   layout:
1735     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1736     layout:
1737       "plot-throughput-speedup-analysis"
1738
1739 ## IP4_overlay - NDR
1740 #-
1741 #  type: "plot"
1742 #  title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1743 #  algorithm: "plot_throughput_speedup_analysis"
1744 #  output-file-type: ".html"
1745 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-ndrdisc"
1746 #  data:
1747 #    "plot-throughput-speedup-analysis"
1748 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1749 #  parameters:
1750 #  - "throughput"
1751 #  - "parent"
1752 #  - "tags"
1753 #  layout:
1754 #    title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1755 #    layout:
1756 #      "plot-throughput-speedup-analysis"
1757 #
1758 ## IP4_overlay - PDR
1759 #-
1760 #  type: "plot"
1761 #  title: "TSA: 64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1762 #  algorithm: "plot_throughput_speedup_analysis"
1763 #  output-file-type: ".html"
1764 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ethip4-tsa-pdrdisc"
1765 #  data:
1766 #    "plot-throughput-speedup-analysis"
1767 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1768 #  parameters:
1769 #  - "throughput"
1770 #  - "parent"
1771 #  - "tags"
1772 #  layout:
1773 #    title: "64B-*-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1774 #    layout:
1775 #      "plot-throughput-speedup-analysis"
1776 #
1777 ## IP6_overlay - NDR
1778 #-
1779 #  type: "plot"
1780 #  title: "TSA: 78B-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1781 #  algorithm: "plot_throughput_speedup_analysis"
1782 #  output-file-type: ".html"
1783 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-ndrdisc"
1784 #  data:
1785 #    "plot-throughput-speedup-analysis"
1786 #  filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1787 #  parameters:
1788 #  - "throughput"
1789 #  - "parent"
1790 #  - "tags"
1791 #  layout:
1792 #    title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1793 #    layout:
1794 #      "plot-throughput-speedup-analysis"
1795 #
1796 ## IP6_overlay - PDR
1797 #-
1798 #  type: "plot"
1799 #  title: "TSA: 78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1800 #  algorithm: "plot_throughput_speedup_analysis"
1801 #  output-file-type: ".html"
1802 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ethip6-tsa-pdrdisc"
1803 #  data:
1804 #    "plot-throughput-speedup-analysis"
1805 #  filter: "'NIC_Intel-X520-DA2' and '78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1806 #  parameters:
1807 #  - "throughput"
1808 #  - "parent"
1809 #  - "tags"
1810 #  layout:
1811 #    title: "78B-*-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1812 #    layout:
1813 #      "plot-throughput-speedup-analysis"
1814 #
1815 ## VM VHOST - NDR
1816 #-
1817 #  type: "plot"
1818 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1819 #  algorithm: "plot_throughput_speedup_analysis"
1820 #  output-file-type: ".html"
1821 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-ndrdisc"
1822 #  data:
1823 #    "plot-throughput-speedup-analysis"
1824 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1825 #  parameters:
1826 #  - "throughput"
1827 #  - "parent"
1828 #  - "tags"
1829 #  layout:
1830 #    title: "64B-*-.*vhost.*-ndrdisc"
1831 #    layout:
1832 #      "plot-throughput-speedup-analysis"
1833 #
1834 #-
1835 #  type: "plot"
1836 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1837 #  algorithm: "plot_throughput_speedup_analysis"
1838 #  output-file-type: ".html"
1839 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-ndrdisc"
1840 #  data:
1841 #    "plot-throughput-speedup-analysis"
1842 #  filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1843 #  parameters:
1844 #  - "throughput"
1845 #  - "parent"
1846 #  - "tags"
1847 #  layout:
1848 #    title: "64B-*-.*vhost.*-ndrdisc"
1849 #    layout:
1850 #      "plot-throughput-speedup-analysis"
1851 #
1852 #-
1853 #  type: "plot"
1854 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1855 #  algorithm: "plot_throughput_speedup_analysis"
1856 #  output-file-type: ".html"
1857 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-ndrdisc"
1858 #  data:
1859 #    "plot-throughput-speedup-analysis"
1860 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1861 #  parameters:
1862 #  - "throughput"
1863 #  - "parent"
1864 #  - "tags"
1865 #  layout:
1866 #    title: "64B-*-.*vhost.*-ndrdisc"
1867 #    layout:
1868 #      "plot-throughput-speedup-analysis"
1869 #
1870 #-
1871 #  type: "plot"
1872 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1873 #  algorithm: "plot_throughput_speedup_analysis"
1874 #  output-file-type: ".html"
1875 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-ndrdisc"
1876 #  data:
1877 #    "plot-throughput-speedup-analysis"
1878 #  filter: "'NIC_Intel-X710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1879 #  parameters:
1880 #  - "throughput"
1881 #  - "parent"
1882 #  - "tags"
1883 #  layout:
1884 #    title: "64B-*-.*vhost.*-ndrdisc"
1885 #    layout:
1886 #      "plot-throughput-speedup-analysis"
1887 #
1888 #-
1889 #  type: "plot"
1890 #  title: "TSA: 64B-*-.*vhost.*-ndrdisc"
1891 #  algorithm: "plot_throughput_speedup_analysis"
1892 #  output-file-type: ".html"
1893 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-ndrdisc"
1894 #  data:
1895 #    "plot-throughput-speedup-analysis"
1896 #  filter: "'NIC_Intel-XL710' and '64B' and 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1897 #  parameters:
1898 #  - "throughput"
1899 #  - "parent"
1900 #  - "tags"
1901 #  layout:
1902 #    title: "64B-*-.*vhost.*-ndrdisc"
1903 #    layout:
1904 #      "plot-throughput-speedup-analysis"
1905 #
1906 ## VM VHOST - PDR
1907 #-
1908 #  type: "plot"
1909 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1910 #  algorithm: "plot_throughput_speedup_analysis"
1911 #  output-file-type: ".html"
1912 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel1-tsa-pdrdisc"
1913 #  data:
1914 #    "plot-throughput-speedup-analysis"
1915 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1916 #  parameters:
1917 #  - "throughput"
1918 #  - "parent"
1919 #  - "tags"
1920 #  layout:
1921 #    title: "64B-*-.*vhost.*-pdrdisc"
1922 #    layout:
1923 #      "plot-throughput-speedup-analysis"
1924 #
1925 #-
1926 #  type: "plot"
1927 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1928 #  algorithm: "plot_throughput_speedup_analysis"
1929 #  output-file-type: ".html"
1930 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel1-tsa-pdrdisc"
1931 #  data:
1932 #    "plot-throughput-speedup-analysis"
1933 #  filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
1934 #  parameters:
1935 #  - "throughput"
1936 #  - "parent"
1937 #  - "tags"
1938 #  layout:
1939 #    title: "64B-*-.*vhost.*-pdrdisc"
1940 #    layout:
1941 #      "plot-throughput-speedup-analysis"
1942 #
1943 #-
1944 #  type: "plot"
1945 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1946 #  algorithm: "plot_throughput_speedup_analysis"
1947 #  output-file-type: ".html"
1948 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-vhost-sel2-tsa-pdrdisc"
1949 #  data:
1950 #    "plot-throughput-speedup-analysis"
1951 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1952 #  parameters:
1953 #  - "throughput"
1954 #  - "parent"
1955 #  - "tags"
1956 #  layout:
1957 #    title: "64B-*-.*vhost.*-pdrdisc"
1958 #    layout:
1959 #      "plot-throughput-speedup-analysis"
1960 #
1961 #-
1962 #  type: "plot"
1963 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1964 #  algorithm: "plot_throughput_speedup_analysis"
1965 #  output-file-type: ".html"
1966 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-vhost-sel2-tsa-pdrdisc"
1967 #  data:
1968 #    "plot-throughput-speedup-analysis"
1969 #  filter: "'NIC_Intel-X710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1970 #  parameters:
1971 #  - "throughput"
1972 #  - "parent"
1973 #  - "tags"
1974 #  layout:
1975 #    title: "64B-*-.*vhost.*-pdrdisc"
1976 #    layout:
1977 #      "plot-throughput-speedup-analysis"
1978 #
1979 #-
1980 #  type: "plot"
1981 #  title: "TSA: 64B-*-.*vhost.*-pdrdisc"
1982 #  algorithm: "plot_throughput_speedup_analysis"
1983 #  output-file-type: ".html"
1984 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-vhost-sel2-tsa-pdrdisc"
1985 #  data:
1986 #    "plot-throughput-speedup-analysis"
1987 #  filter: "'NIC_Intel-XL710' and '64B' and 'PDRDISC' and not 'NDRDISC' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
1988 #  parameters:
1989 #  - "throughput"
1990 #  - "parent"
1991 #  - "tags"
1992 #  layout:
1993 #    title: "64B-*-.*vhost.*-pdrdisc"
1994 #    layout:
1995 #      "plot-throughput-speedup-analysis"
1996 #
1997 ## CRYPTO - NDR
1998 #-
1999 #  type: "plot"
2000 #  title: "TSA: 64B-*-.*ipsec.*-ndrdisc"
2001 #  algorithm: "plot_throughput_speedup_analysis"
2002 #  output-file-type: ".html"
2003 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-ndrdisc"
2004 #  data:
2005 #    "plot-throughput-speedup-analysis"
2006 #  filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2007 #  parameters:
2008 #  - "throughput"
2009 #  - "parent"
2010 #  - "tags"
2011 #  layout:
2012 #    title: "64B-*-.*ipsec.*-ndrdisc"
2013 #    layout:
2014 #      "plot-throughput-speedup-analysis"
2015 #
2016 ## CRYPTO - PDR
2017 #-
2018 #  type: "plot"
2019 #  title: "TSA: 64B-*-.*ipsec.*-pdrdisc"
2020 #  algorithm: "plot_throughput_speedup_analysis"
2021 #  output-file-type: ".html"
2022 #  output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ipsechw-tsa-pdrdisc"
2023 #  data:
2024 #    "plot-throughput-speedup-analysis"
2025 #  filter: "'NIC_Intel-XL710' and '64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2026 #  parameters:
2027 #  - "throughput"
2028 #  - "parent"
2029 #  - "tags"
2030 #  layout:
2031 #    title: "64B-*-.*ipsec.*-pdrdisc"
2032 #    layout:
2033 #      "plot-throughput-speedup-analysis"
2034 #
2035 ## Container memif - NDR
2036 #-
2037 #  type: "plot"
2038 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2039 #  algorithm: "plot_throughput_speedup_analysis"
2040 #  output-file-type: ".html"
2041 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-ndrdisc"
2042 #  data:
2043 #    "plot-throughput-speedup-analysis"
2044 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2045 #  parameters:
2046 #  - "throughput"
2047 #  - "parent"
2048 #  - "tags"
2049 #  layout:
2050 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2051 #    layout:
2052 #      "plot-throughput-speedup-analysis"
2053 #
2054 #-
2055 #  type: "plot"
2056 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2057 #  algorithm: "plot_throughput_speedup_analysis"
2058 #  output-file-type: ".html"
2059 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-memif-tsa-pdrdisc"
2060 #  data:
2061 #    "plot-throughput-speedup-analysis"
2062 #  filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2063 #  parameters:
2064 #  - "throughput"
2065 #  - "parent"
2066 #  - "tags"
2067 #  layout:
2068 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2069 #    layout:
2070 #      "plot-throughput-speedup-analysis"
2071 #
2072 ## Container orchestrated - NDR
2073 #-
2074 #  type: "plot"
2075 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2076 #  algorithm: "plot_throughput_speedup_analysis"
2077 #  output-file-type: ".html"
2078 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-ndrdisc"
2079 #  data:
2080 #    "plot-ligato-throughput-speedup-analysis"
2081 #  filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2082 #  parameters:
2083 #  - "throughput"
2084 #  - "parent"
2085 #  - "tags"
2086 #  layout:
2087 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2088 #    layout:
2089 #      "plot-throughput-speedup-analysis"
2090 #
2091 #-
2092 #  type: "plot"
2093 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2094 #  algorithm: "plot_throughput_speedup_analysis"
2095 #  output-file-type: ".html"
2096 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-ndrdisc"
2097 #  data:
2098 #    "plot-ligato-throughput-speedup-analysis"
2099 #  filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2100 #  parameters:
2101 #  - "throughput"
2102 #  - "parent"
2103 #  - "tags"
2104 #  layout:
2105 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
2106 #    layout:
2107 #      "plot-throughput-speedup-analysis"
2108 #
2109 ## Container orchestrated - PDR
2110 #-
2111 #  type: "plot"
2112 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2113 #  algorithm: "plot_throughput_speedup_analysis"
2114 #  output-file-type: ".html"
2115 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-container-orchestrated-tsa-pdrdisc"
2116 #  data:
2117 #    "plot-ligato-throughput-speedup-analysis"
2118 #  filter: "'NIC_Intel-X520-DA2' and '64B' and ('BASE' or 'SCALE') and ''PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2119 #  parameters:
2120 #  - "throughput"
2121 #  - "parent"
2122 #  - "tags"
2123 #  layout:
2124 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2125 #    layout:
2126 #      "plot-throughput-speedup-analysis"
2127 #
2128 #-
2129 #  type: "plot"
2130 #  title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2131 #  algorithm: "plot_throughput_speedup_analysis"
2132 #  output-file-type: ".html"
2133 #  output-file: "{DIR[STATIC,VPP]}/10ge2p1x710-64B-container-orchestrated-tsa-pdrdisc"
2134 #  data:
2135 #    "plot-ligato-throughput-speedup-analysis"
2136 #  filter: "'NIC_Intel-X710' and '64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2137 #  parameters:
2138 #  - "throughput"
2139 #  - "parent"
2140 #  - "tags"
2141 #  layout:
2142 #    title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
2143 #    layout:
2144 #      "plot-throughput-speedup-analysis"
2145
2146 # Plot packets per second
2147
2148 # VPP L2 sel1
2149 -
2150   type: "plot"
2151   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2152   algorithm: "plot_performance_box"
2153   output-file-type: ".html"
2154   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
2155   data:
2156     "plot-vpp-throughput-latency"
2157   # Keep this formatting, the filter is enclosed with " (quotation mark) and
2158   # each tag is enclosed with ' (apostrophe).
2159   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2160   parameters:
2161   - "throughput"
2162   - "parent"
2163   traces:
2164     hoverinfo: "x+y"
2165     boxpoints: "outliers"
2166     whiskerwidth: 0
2167   layout:
2168     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2169     layout:
2170       "plot-throughput"
2171
2172 -
2173   type: "plot"
2174   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2175   algorithm: "plot_performance_box"
2176   output-file-type: ".html"
2177   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
2178   data:
2179     "plot-vpp-throughput-latency"
2180   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2181   parameters:
2182   - "throughput"
2183   - "parent"
2184   traces:
2185     hoverinfo: "x+y"
2186     boxpoints: "outliers"
2187     whiskerwidth: 0
2188   layout:
2189     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2190     layout:
2191       "plot-throughput"
2192
2193 -
2194   type: "plot"
2195   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2196   algorithm: "plot_performance_box"
2197   output-file-type: ".html"
2198   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
2199   data:
2200     "plot-vpp-throughput-latency"
2201   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2202   parameters:
2203   - "throughput"
2204   - "parent"
2205   traces:
2206     hoverinfo: "x+y"
2207     boxpoints: "outliers"
2208     whiskerwidth: 0
2209   layout:
2210     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2211     layout:
2212       "plot-throughput"
2213
2214 -
2215   type: "plot"
2216   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2217   algorithm: "plot_performance_box"
2218   output-file-type: ".html"
2219   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
2220   data:
2221     "plot-vpp-throughput-latency"
2222   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2223   parameters:
2224   - "throughput"
2225   - "parent"
2226   traces:
2227     hoverinfo: "x+y"
2228     boxpoints: "outliers"
2229     whiskerwidth: 0
2230   layout:
2231     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2232     layout:
2233       "plot-throughput"
2234
2235 # VPP L2 sel2
2236 -
2237   type: "plot"
2238   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2239   algorithm: "plot_performance_box"
2240   output-file-type: ".html"
2241   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
2242   data:
2243     "plot-vpp-throughput-latency"
2244   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2245   parameters:
2246   - "throughput"
2247   - "parent"
2248   traces:
2249     hoverinfo: "x+y"
2250     boxpoints: "outliers"
2251     whiskerwidth: 0
2252   layout:
2253     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2254     layout:
2255       "plot-throughput"
2256
2257 -
2258   type: "plot"
2259   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2260   algorithm: "plot_performance_box"
2261   output-file-type: ".html"
2262   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
2263   data:
2264     "plot-vpp-throughput-latency"
2265   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2266   parameters:
2267   - "throughput"
2268   - "parent"
2269   traces:
2270     hoverinfo: "x+y"
2271     boxpoints: "outliers"
2272     whiskerwidth: 0
2273   layout:
2274     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2275     layout:
2276       "plot-throughput"
2277
2278 -
2279   type: "plot"
2280   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2281   algorithm: "plot_performance_box"
2282   output-file-type: ".html"
2283   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
2284   data:
2285     "plot-vpp-throughput-latency"
2286   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2287   parameters:
2288   - "throughput"
2289   - "parent"
2290   traces:
2291     hoverinfo: "x+y"
2292     boxpoints: "outliers"
2293     whiskerwidth: 0
2294   layout:
2295     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2296     layout:
2297       "plot-throughput"
2298
2299 -
2300   type: "plot"
2301   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2302   algorithm: "plot_performance_box"
2303   output-file-type: ".html"
2304   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
2305   data:
2306     "plot-vpp-throughput-latency"
2307   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2308   parameters:
2309   - "throughput"
2310   - "parent"
2311   traces:
2312     hoverinfo: "x+y"
2313     boxpoints: "outliers"
2314     whiskerwidth: 0
2315   layout:
2316     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2317     layout:
2318       "plot-throughput"
2319
2320 # VPP IP4
2321 -
2322   type: "plot"
2323   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2324   algorithm: "plot_performance_box"
2325   output-file-type: ".html"
2326   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
2327   data:
2328     "plot-vpp-throughput-latency"
2329   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2330   parameters:
2331   - "throughput"
2332   - "parent"
2333   traces:
2334     hoverinfo: "x+y"
2335     boxpoints: "outliers"
2336     whiskerwidth: 0
2337   layout:
2338     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2339     layout:
2340       "plot-throughput"
2341
2342 -
2343   type: "plot"
2344   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2345   algorithm: "plot_performance_box"
2346   output-file-type: ".html"
2347   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
2348   data:
2349     "plot-vpp-throughput-latency"
2350   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2351   parameters:
2352   - "throughput"
2353   - "parent"
2354   traces:
2355     hoverinfo: "x+y"
2356     boxpoints: "outliers"
2357     whiskerwidth: 0
2358   layout:
2359     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2360     layout:
2361       "plot-throughput"
2362
2363 -
2364   type: "plot"
2365   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2366   algorithm: "plot_performance_box"
2367   output-file-type: ".html"
2368   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
2369   data:
2370     "plot-vpp-throughput-latency"
2371   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2372   parameters:
2373   - "throughput"
2374   - "parent"
2375   traces:
2376     hoverinfo: "x+y"
2377     boxpoints: "outliers"
2378     whiskerwidth: 0
2379   layout:
2380     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2381     layout:
2382       "plot-throughput"
2383
2384 -
2385   type: "plot"
2386   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2387   algorithm: "plot_performance_box"
2388   output-file-type: ".html"
2389   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
2390   data:
2391     "plot-vpp-throughput-latency"
2392   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
2393   parameters:
2394   - "throughput"
2395   - "parent"
2396   traces:
2397     hoverinfo: "x+y"
2398     boxpoints: "outliers"
2399     whiskerwidth: 0
2400   layout:
2401     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
2402     layout:
2403       "plot-throughput"
2404
2405 # VPP IP6
2406 -
2407   type: "plot"
2408   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2409   algorithm: "plot_performance_box"
2410   output-file-type: ".html"
2411   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
2412   data:
2413     "plot-vpp-throughput-latency"
2414   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2415   parameters:
2416   - "throughput"
2417   - "parent"
2418   traces:
2419     hoverinfo: "x+y"
2420     boxpoints: "outliers"
2421     whiskerwidth: 0
2422   layout:
2423     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2424     layout:
2425       "plot-throughput"
2426
2427 -
2428   type: "plot"
2429   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2430   algorithm: "plot_performance_box"
2431   output-file-type: ".html"
2432   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
2433   data:
2434     "plot-vpp-throughput-latency"
2435   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2436   parameters:
2437   - "throughput"
2438   - "parent"
2439   traces:
2440     hoverinfo: "x+y"
2441     boxpoints: "outliers"
2442     whiskerwidth: 0
2443   layout:
2444     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2445     layout:
2446       "plot-throughput"
2447
2448 -
2449   type: "plot"
2450   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2451   algorithm: "plot_performance_box"
2452   output-file-type: ".html"
2453   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
2454   data:
2455     "plot-vpp-throughput-latency"
2456   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2457   parameters:
2458   - "throughput"
2459   - "parent"
2460   traces:
2461     hoverinfo: "x+y"
2462     boxpoints: "outliers"
2463     whiskerwidth: 0
2464   layout:
2465     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2466     layout:
2467       "plot-throughput"
2468
2469 -
2470   type: "plot"
2471   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2472   algorithm: "plot_performance_box"
2473   output-file-type: ".html"
2474   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
2475   data:
2476     "plot-vpp-throughput-latency"
2477   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2478   parameters:
2479   - "throughput"
2480   - "parent"
2481   traces:
2482     hoverinfo: "x+y"
2483     boxpoints: "outliers"
2484     whiskerwidth: 0
2485   layout:
2486     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
2487     layout:
2488       "plot-throughput"
2489
2490 # VPP IP4_overlay
2491 -
2492   type: "plot"
2493   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2494   algorithm: "plot_performance_box"
2495   output-file-type: ".html"
2496   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
2497   data:
2498     "plot-vpp-throughput-latency"
2499   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2500   parameters:
2501   - "throughput"
2502   - "parent"
2503   traces:
2504     hoverinfo: "x+y"
2505     boxpoints: "outliers"
2506     whiskerwidth: 0
2507   layout:
2508     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2509     layout:
2510       "plot-throughput"
2511
2512 -
2513   type: "plot"
2514   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2515   algorithm: "plot_performance_box"
2516   output-file-type: ".html"
2517   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
2518   data:
2519     "plot-vpp-throughput-latency"
2520   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2521   parameters:
2522   - "throughput"
2523   - "parent"
2524   traces:
2525     hoverinfo: "x+y"
2526     boxpoints: "outliers"
2527     whiskerwidth: 0
2528   layout:
2529     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2530     layout:
2531       "plot-throughput"
2532
2533 -
2534   type: "plot"
2535   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2536   algorithm: "plot_performance_box"
2537   output-file-type: ".html"
2538   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
2539   data:
2540     "plot-vpp-throughput-latency"
2541   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2542   parameters:
2543   - "throughput"
2544   - "parent"
2545   traces:
2546     hoverinfo: "x+y"
2547     boxpoints: "outliers"
2548     whiskerwidth: 0
2549   layout:
2550     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2551     layout:
2552       "plot-throughput"
2553
2554 -
2555   type: "plot"
2556   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2557   algorithm: "plot_performance_box"
2558   output-file-type: ".html"
2559   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
2560   data:
2561     "plot-vpp-throughput-latency"
2562   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2563   parameters:
2564   - "throughput"
2565   - "parent"
2566   traces:
2567     hoverinfo: "x+y"
2568     boxpoints: "outliers"
2569     whiskerwidth: 0
2570   layout:
2571     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
2572     layout:
2573       "plot-throughput"
2574
2575 # VPP IP6_overlay
2576 -
2577   type: "plot"
2578   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2579   algorithm: "plot_performance_box"
2580   output-file-type: ".html"
2581   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
2582   data:
2583     "plot-vpp-throughput-latency"
2584   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2585   parameters:
2586   - "throughput"
2587   - "parent"
2588   traces:
2589     hoverinfo: "x+y"
2590     boxpoints: "outliers"
2591     whiskerwidth: 0
2592   layout:
2593     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2594     xaxis:
2595       autorange: True
2596       autotick: False
2597       fixedrange: False
2598       gridcolor: "rgb(238, 238, 238)"
2599       linecolor: "rgb(238, 238, 238)"
2600       linewidth: 1
2601       showgrid: True
2602       showline: True
2603       showticklabels: True
2604       tickcolor: "rgb(238, 238, 238)"
2605       tickmode: "linear"
2606       title: "Indexed Test Cases"
2607       zeroline: False
2608     yaxis:
2609       gridcolor: "rgb(238, 238, 238)'"
2610       hoverformat: ".4s"
2611       linecolor: "rgb(238, 238, 238)"
2612       linewidth: 1
2613       range: [2000000, 6000000]
2614       showgrid: True
2615       showline: True
2616       showticklabels: True
2617       tickcolor: "rgb(238, 238, 238)"
2618       title: "Packets Per Second [pps]"
2619       zeroline: False
2620     boxmode: "group"
2621     boxgroupgap: 0.5
2622     autosize: False
2623     margin:
2624       t: 50
2625       b: 20
2626       l: 50
2627       r: 20
2628     showlegend: True
2629     legend:
2630       orientation: "h"
2631     width: 700
2632     height: 1000
2633
2634 -
2635   type: "plot"
2636   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2637   algorithm: "plot_performance_box"
2638   output-file-type: ".html"
2639   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
2640   data:
2641     "plot-vpp-throughput-latency"
2642   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2643   parameters:
2644   - "throughput"
2645   - "parent"
2646   traces:
2647     hoverinfo: "x+y"
2648     boxpoints: "outliers"
2649     whiskerwidth: 0
2650   layout:
2651     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2652     layout:
2653       "plot-throughput"
2654
2655 -
2656   type: "plot"
2657   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2658   algorithm: "plot_performance_box"
2659   output-file-type: ".html"
2660   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
2661   data:
2662     "plot-vpp-throughput-latency"
2663   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2664   parameters:
2665   - "throughput"
2666   - "parent"
2667   traces:
2668     hoverinfo: "x+y"
2669     boxpoints: "outliers"
2670     whiskerwidth: 0
2671   layout:
2672     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2673     layout:
2674       "plot-throughput"
2675
2676 -
2677   type: "plot"
2678   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2679   algorithm: "plot_performance_box"
2680   output-file-type: ".html"
2681   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
2682   data:
2683     "plot-vpp-throughput-latency"
2684   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2685   parameters:
2686   - "throughput"
2687   - "parent"
2688   traces:
2689     hoverinfo: "x+y"
2690     boxpoints: "outliers"
2691     whiskerwidth: 0
2692   layout:
2693     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
2694     xaxis:
2695       autorange: True
2696       autotick: False
2697       fixedrange: False
2698       gridcolor: "rgb(238, 238, 238)"
2699       linecolor: "rgb(238, 238, 238)"
2700       linewidth: 1
2701       showgrid: True
2702       showline: True
2703       showticklabels: True
2704       tickcolor: "rgb(238, 238, 238)"
2705       tickmode: "linear"
2706       title: "Indexed Test Cases"
2707       zeroline: False
2708     yaxis:
2709       gridcolor: "rgb(238, 238, 238)'"
2710       hoverformat: ".4s"
2711       linecolor: "rgb(238, 238, 238)"
2712       linewidth: 1
2713       range: [4000000, 12000000]
2714       showgrid: True
2715       showline: True
2716       showticklabels: True
2717       tickcolor: "rgb(238, 238, 238)"
2718       title: "Packets Per Second [pps]"
2719       zeroline: False
2720     boxmode: "group"
2721     boxgroupgap: 0.5
2722     autosize: False
2723     margin:
2724       t: 50
2725       b: 20
2726       l: 50
2727       r: 20
2728     showlegend: True
2729     legend:
2730       orientation: "h"
2731     width: 700
2732     height: 1000
2733
2734 # VPP VM VHOST
2735 -
2736   type: "plot"
2737   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2738   algorithm: "plot_performance_box"
2739   output-file-type: ".html"
2740   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2741   data:
2742     "plot-vpp-throughput-latency"
2743   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2744   parameters:
2745   - "throughput"
2746   - "parent"
2747   traces:
2748     hoverinfo: "x+y"
2749     boxpoints: "outliers"
2750     whiskerwidth: 0
2751   layout:
2752     title: "64B-1t1c-.*vhost.*-ndrdisc"
2753     xaxis:
2754       autorange: True
2755       autotick: False
2756       fixedrange: False
2757       gridcolor: "rgb(238, 238, 238)"
2758       linecolor: "rgb(238, 238, 238)"
2759       linewidth: 1
2760       showgrid: True
2761       showline: True
2762       showticklabels: True
2763       tickcolor: "rgb(238, 238, 238)"
2764       tickmode: "linear"
2765       title: "Indexed Test Cases"
2766       zeroline: False
2767     yaxis:
2768       gridcolor: "rgb(238, 238, 238)'"
2769       hoverformat: ".4s"
2770       linecolor: "rgb(238, 238, 238)"
2771       linewidth: 1
2772       range: [0, 3500000]
2773       showgrid: True
2774       showline: True
2775       showticklabels: True
2776       tickcolor: "rgb(238, 238, 238)"
2777       title: "Packets Per Second [pps]"
2778       zeroline: False
2779     boxmode: "group"
2780     boxgroupgap: 0.5
2781     autosize: False
2782     margin:
2783       t: 50
2784       b: 20
2785       l: 50
2786       r: 20
2787     showlegend: True
2788     legend:
2789       orientation: "h"
2790     width: 700
2791     height: 1000
2792
2793 -
2794   type: "plot"
2795   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2796   algorithm: "plot_performance_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2799   data:
2800     "plot-vpp-throughput-latency"
2801   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2802   parameters:
2803   - "throughput"
2804   - "parent"
2805   traces:
2806     hoverinfo: "x+y"
2807     boxpoints: "outliers"
2808     whiskerwidth: 0
2809   layout:
2810     title: "64B-2t2c-.*vhost.*-ndrdisc"
2811     layout:
2812       "plot-throughput"
2813
2814 -
2815   type: "plot"
2816   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2817   algorithm: "plot_performance_box"
2818   output-file-type: ".html"
2819   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2820   data:
2821     "plot-vpp-throughput-latency"
2822   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2823   parameters:
2824   - "throughput"
2825   - "parent"
2826   traces:
2827     hoverinfo: "x+y"
2828     boxpoints: "outliers"
2829     whiskerwidth: 0
2830   layout:
2831     title: "64B-1t1c-.*vhost.*-pdrdisc"
2832     layout:
2833       "plot-throughput"
2834
2835 -
2836   type: "plot"
2837   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2838   algorithm: "plot_performance_box"
2839   output-file-type: ".html"
2840   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2841   data:
2842     "plot-vpp-throughput-latency"
2843   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2844   parameters:
2845   - "throughput"
2846   - "parent"
2847   traces:
2848     hoverinfo: "x+y"
2849     boxpoints: "outliers"
2850     whiskerwidth: 0
2851   layout:
2852     title: "64B-2t2c-.*vhost.*-pdrdisc"
2853     layout:
2854       "plot-throughput"
2855
2856 # VPP VM VHOST SELECTION
2857 -
2858   type: "plot"
2859   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2860   algorithm: "plot_performance_box"
2861   output-file-type: ".html"
2862   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2863   data:
2864     "plot-vpp-throughput-latency"
2865   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2866   parameters:
2867   - "throughput"
2868   - "parent"
2869   traces:
2870     hoverinfo: "x+y"
2871     boxpoints: "outliers"
2872     whiskerwidth: 0
2873   layout:
2874     title: "64B-1t1c-.*vhost.*-ndrdisc"
2875     layout:
2876       "plot-throughput"
2877
2878 -
2879   type: "plot"
2880   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2881   algorithm: "plot_performance_box"
2882   output-file-type: ".html"
2883   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2884   data:
2885     "plot-vpp-throughput-latency"
2886   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2887   parameters:
2888   - "throughput"
2889   - "parent"
2890   traces:
2891     hoverinfo: "x+y"
2892     boxpoints: "outliers"
2893     whiskerwidth: 0
2894   layout:
2895     title: "64B-2t2c-.*vhost.*-ndrdisc"
2896     layout:
2897       "plot-throughput"
2898
2899 -
2900   type: "plot"
2901   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2902   algorithm: "plot_performance_box"
2903   output-file-type: ".html"
2904   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2905   data:
2906     "plot-vpp-throughput-latency"
2907   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2908   parameters:
2909   - "throughput"
2910   - "parent"
2911   traces:
2912     hoverinfo: "x+y"
2913     boxpoints: "outliers"
2914     whiskerwidth: 0
2915   layout:
2916     title: "64B-1t1c-.*vhost.*-pdrdisc"
2917     layout:
2918       "plot-throughput"
2919
2920 -
2921   type: "plot"
2922   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2923   algorithm: "plot_performance_box"
2924   output-file-type: ".html"
2925   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2926   data:
2927     "plot-vpp-throughput-latency"
2928   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2929   parameters:
2930   - "throughput"
2931   - "parent"
2932   traces:
2933     hoverinfo: "x+y"
2934     boxpoints: "outliers"
2935     whiskerwidth: 0
2936   layout:
2937     title: "64B-2t2c-.*vhost.*-pdrdisc"
2938     layout:
2939       "plot-throughput"
2940
2941 # VPP CRYPTO
2942 -
2943   type: "plot"
2944   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2945   algorithm: "plot_performance_box"
2946   output-file-type: ".html"
2947   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2948   data:
2949     "plot-vpp-throughput-latency"
2950   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2951   parameters:
2952   - "throughput"
2953   - "parent"
2954   traces:
2955     hoverinfo: "x+y"
2956     boxpoints: "outliers"
2957     whiskerwidth: 0
2958   layout:
2959     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2960     layout:
2961       "plot-throughput"
2962
2963 -
2964   type: "plot"
2965   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2966   algorithm: "plot_performance_box"
2967   output-file-type: ".html"
2968   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2969   data:
2970     "plot-vpp-throughput-latency"
2971   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2972   parameters:
2973   - "throughput"
2974   - "parent"
2975   traces:
2976     hoverinfo: "x+y"
2977     boxpoints: "outliers"
2978     whiskerwidth: 0
2979   layout:
2980     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2981     layout:
2982       "plot-throughput"
2983
2984 -
2985   type: "plot"
2986   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2987   algorithm: "plot_performance_box"
2988   output-file-type: ".html"
2989   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2990   data:
2991     "plot-vpp-throughput-latency"
2992   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2993   parameters:
2994   - "throughput"
2995   - "parent"
2996   traces:
2997     hoverinfo: "x+y"
2998     boxpoints: "outliers"
2999     whiskerwidth: 0
3000   layout:
3001     title: "64B-1t1c-.*ipsec.*-pdrdisc"
3002     layout:
3003       "plot-throughput"
3004
3005 -
3006   type: "plot"
3007   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
3008   algorithm: "plot_performance_box"
3009   output-file-type: ".html"
3010   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
3011   data:
3012     "plot-vpp-throughput-latency"
3013   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
3014   parameters:
3015   - "throughput"
3016   - "parent"
3017   traces:
3018     hoverinfo: "x+y"
3019     boxpoints: "outliers"
3020     whiskerwidth: 0
3021   layout:
3022     title: "64B-2t2c-.*ipsec.*-pdrdisc"
3023     layout:
3024       "plot-throughput"
3025
3026 # DPDK
3027 -
3028   type: "plot"
3029   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3030   algorithm: "plot_performance_box"
3031   output-file-type: ".html"
3032   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
3033   data:
3034     "plot-dpdk-throughput-latency"
3035   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3036   parameters:
3037   - "throughput"
3038   - "parent"
3039   traces:
3040     hoverinfo: "x+y"
3041     boxpoints: "outliers"
3042     whiskerwidth: 0
3043   layout:
3044     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3045     layout:
3046       "plot-throughput"
3047
3048 -
3049   type: "plot"
3050   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3051   algorithm: "plot_performance_box"
3052   output-file-type: ".html"
3053   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
3054   data:
3055     "plot-dpdk-throughput-latency"
3056   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3057   parameters:
3058   - "throughput"
3059   - "parent"
3060   traces:
3061     hoverinfo: "x+y"
3062     boxpoints: "outliers"
3063     whiskerwidth: 0
3064   layout:
3065     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3066     layout:
3067       "plot-throughput"
3068
3069 -
3070   type: "plot"
3071   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3072   algorithm: "plot_performance_box"
3073   output-file-type: ".html"
3074   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
3075   data:
3076     "plot-dpdk-throughput-latency"
3077   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3078   parameters:
3079   - "throughput"
3080   - "parent"
3081   traces:
3082     hoverinfo: "x+y"
3083     boxpoints: "outliers"
3084     whiskerwidth: 0
3085   layout:
3086     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3087     xaxis:
3088       autorange: True
3089       autotick: False
3090       fixedrange: False
3091       gridcolor: "rgb(238, 238, 238)"
3092       linecolor: "rgb(238, 238, 238)"
3093       linewidth: 1
3094       showgrid: True
3095       showline: True
3096       showticklabels: True
3097       tickcolor: "rgb(238, 238, 238)"
3098       tickmode: "linear"
3099       title: "Indexed Test Cases"
3100       zeroline: False
3101     yaxis:
3102       gridcolor: "rgb(238, 238, 238)'"
3103       hoverformat: ".4s"
3104       linecolor: "rgb(238, 238, 238)"
3105       linewidth: 1
3106       range: [2000000, 12000000]
3107       showgrid: True
3108       showline: True
3109       showticklabels: True
3110       tickcolor: "rgb(238, 238, 238)"
3111       title: "Packets Per Second [pps]"
3112       zeroline: False
3113     boxmode: "group"
3114     boxgroupgap: 0.5
3115     autosize: False
3116     margin:
3117       t: 50
3118       b: 20
3119       l: 50
3120       r: 20
3121     showlegend: True
3122     legend:
3123       orientation: "h"
3124     width: 700
3125     height: 1000
3126
3127 -
3128   type: "plot"
3129   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3130   algorithm: "plot_performance_box"
3131   output-file-type: ".html"
3132   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
3133   data:
3134     "plot-dpdk-throughput-latency"
3135   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3136   parameters:
3137   - "throughput"
3138   - "parent"
3139   traces:
3140     hoverinfo: "x+y"
3141     boxpoints: "outliers"
3142     whiskerwidth: 0
3143   layout:
3144     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3145     xaxis:
3146       autorange: True
3147       autotick: False
3148       fixedrange: False
3149       gridcolor: "rgb(238, 238, 238)"
3150       linecolor: "rgb(238, 238, 238)"
3151       linewidth: 1
3152       showgrid: True
3153       showline: True
3154       showticklabels: True
3155       tickcolor: "rgb(238, 238, 238)"
3156       tickmode: "linear"
3157       title: "Indexed Test Cases"
3158       zeroline: False
3159     yaxis:
3160       gridcolor: "rgb(238, 238, 238)'"
3161       hoverformat: ".4s"
3162       linecolor: "rgb(238, 238, 238)"
3163       linewidth: 1
3164       range: [2000000, 12000000]
3165       showgrid: True
3166       showline: True
3167       showticklabels: True
3168       tickcolor: "rgb(238, 238, 238)"
3169       title: "Packets Per Second [pps]"
3170       zeroline: False
3171     boxmode: "group"
3172     boxgroupgap: 0.5
3173     autosize: False
3174     margin:
3175       t: 50
3176       b: 20
3177       l: 50
3178       r: 20
3179     showlegend: True
3180     legend:
3181       orientation: "h"
3182     width: 700
3183     height: 1000
3184
3185 -
3186   type: "plot"
3187   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3188   algorithm: "plot_performance_box"
3189   output-file-type: ".html"
3190   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
3191   data:
3192     "plot-dpdk-throughput-latency"
3193   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3194   parameters:
3195   - "throughput"
3196   - "parent"
3197   traces:
3198     hoverinfo: "x+y"
3199     boxpoints: "outliers"
3200     whiskerwidth: 0
3201   layout:
3202     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3203     layout:
3204       "plot-throughput"
3205
3206 -
3207   type: "plot"
3208   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3209   algorithm: "plot_performance_box"
3210   output-file-type: ".html"
3211   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
3212   data:
3213     "plot-dpdk-throughput-latency"
3214   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3215   parameters:
3216   - "throughput"
3217   - "parent"
3218   traces:
3219     hoverinfo: "x+y"
3220     boxpoints: "outliers"
3221     whiskerwidth: 0
3222   layout:
3223     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
3224     layout:
3225       "plot-throughput"
3226
3227 -
3228   type: "plot"
3229   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3230   algorithm: "plot_performance_box"
3231   output-file-type: ".html"
3232   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
3233   data:
3234     "plot-dpdk-throughput-latency"
3235   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
3236   parameters:
3237   - "throughput"
3238   - "parent"
3239   traces:
3240     hoverinfo: "x+y"
3241     boxpoints: "outliers"
3242     whiskerwidth: 0
3243   layout:
3244     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
3245     xaxis:
3246       autorange: True
3247       autotick: False
3248       fixedrange: False
3249       gridcolor: "rgb(238, 238, 238)"
3250       linecolor: "rgb(238, 238, 238)"
3251       linewidth: 1
3252       showgrid: True
3253       showline: True
3254       showticklabels: True
3255       tickcolor: "rgb(238, 238, 238)"
3256       tickmode: "linear"
3257       title: "Indexed Test Cases"
3258       zeroline: False
3259     yaxis:
3260       gridcolor: "rgb(238, 238, 238)'"
3261       hoverformat: ".4s"
3262       linecolor: "rgb(238, 238, 238)"
3263       linewidth: 1
3264       range: [20000000, 30000000]
3265       showgrid: True
3266       showline: True
3267       showticklabels: True
3268       tickcolor: "rgb(238, 238, 238)"
3269       title: "Packets Per Second [pps]"
3270       zeroline: False
3271     boxmode: "group"
3272     boxgroupgap: 0.5
3273     autosize: False
3274     margin:
3275       t: 50
3276       b: 20
3277       l: 50
3278       r: 20
3279     showlegend: True
3280     legend:
3281       orientation: "h"
3282     width: 700
3283     height: 1000
3284
3285 -
3286   type: "plot"
3287   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3288   algorithm: "plot_performance_box"
3289   output-file-type: ".html"
3290   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
3291   data:
3292     "plot-dpdk-throughput-latency"
3293   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
3294   parameters:
3295   - "throughput"
3296   - "parent"
3297   traces:
3298     hoverinfo: "x+y"
3299     boxpoints: "outliers"
3300     whiskerwidth: 0
3301   layout:
3302     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
3303     xaxis:
3304       autorange: True
3305       autotick: False
3306       fixedrange: False
3307       gridcolor: "rgb(238, 238, 238)"
3308       linecolor: "rgb(238, 238, 238)"
3309       linewidth: 1
3310       showgrid: True
3311       showline: True
3312       showticklabels: True
3313       tickcolor: "rgb(238, 238, 238)"
3314       tickmode: "linear"
3315       title: "Indexed Test Cases"
3316       zeroline: False
3317     yaxis:
3318       gridcolor: "rgb(238, 238, 238)'"
3319       hoverformat: ".4s"
3320       linecolor: "rgb(238, 238, 238)"
3321       linewidth: 1
3322       range: [20000000, 30000000]
3323       showgrid: True
3324       showline: True
3325       showticklabels: True
3326       tickcolor: "rgb(238, 238, 238)"
3327       title: "Packets Per Second [pps]"
3328       zeroline: False
3329     boxmode: "group"
3330     boxgroupgap: 0.5
3331     autosize: False
3332     margin:
3333       t: 50
3334       b: 20
3335       l: 50
3336       r: 20
3337     showlegend: True
3338     legend:
3339       orientation: "h"
3340     width: 700
3341     height: 1000
3342
3343 # Plot latency
3344
3345 # VPP L2 sel1
3346 -
3347   type: "plot"
3348   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3349   algorithm: "plot_latency_box"
3350   output-file-type: ".html"
3351   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
3352   data:
3353     "plot-vpp-throughput-latency"
3354   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3355   parameters:
3356   - "latency"
3357   - "parent"
3358   traces:
3359     boxmean: False
3360   layout:
3361     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3362     layout:
3363       "plot-latency"
3364
3365 -
3366   type: "plot"
3367   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3368   algorithm: "plot_latency_box"
3369   output-file-type: ".html"
3370   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
3371   data:
3372     "plot-vpp-throughput-latency"
3373   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3374   parameters:
3375   - "latency"
3376   - "parent"
3377   traces:
3378     boxmean: False
3379   layout:
3380     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3381     layout:
3382       "plot-latency"
3383
3384 # VPP L2 sel2
3385 -
3386   type: "plot"
3387   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3388   algorithm: "plot_latency_box"
3389   output-file-type: ".html"
3390   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
3391   data:
3392     "plot-vpp-throughput-latency"
3393   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3394   parameters:
3395   - "latency"
3396   - "parent"
3397   traces:
3398     boxmean: False
3399   layout:
3400     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3401     layout:
3402       "plot-latency"
3403
3404 -
3405   type: "plot"
3406   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3407   algorithm: "plot_latency_box"
3408   output-file-type: ".html"
3409   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
3410   data:
3411     "plot-vpp-throughput-latency"
3412   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
3413   parameters:
3414   - "latency"
3415   - "parent"
3416   traces:
3417     boxmean: False
3418   layout:
3419     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3420     layout:
3421       "plot-latency"
3422
3423 # VPP IP4
3424 -
3425   type: "plot"
3426   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3427   algorithm: "plot_latency_box"
3428   output-file-type: ".html"
3429   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
3430   data:
3431     "plot-vpp-throughput-latency"
3432   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3433   parameters:
3434   - "latency"
3435   - "parent"
3436   traces:
3437     boxmean: False
3438   layout:
3439     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3440     layout:
3441       "plot-latency"
3442
3443 -
3444   type: "plot"
3445   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3446   algorithm: "plot_latency_box"
3447   output-file-type: ".html"
3448   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
3449   data:
3450     "plot-vpp-throughput-latency"
3451   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'ACL1' and not 'ACL10' and not '100_FLOWS' and not '100k_FLOWS' and not 'IPSEC' and not 'VHOST'"
3452   parameters:
3453   - "latency"
3454   - "parent"
3455   traces:
3456     boxmean: False
3457   layout:
3458     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
3459     layout:
3460       "plot-latency"
3461
3462 # VPP IP6
3463 -
3464   type: "plot"
3465   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3466   algorithm: "plot_latency_box"
3467   output-file-type: ".html"
3468   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
3469   data:
3470     "plot-vpp-throughput-latency"
3471   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3472   parameters:
3473   - "latency"
3474   - "parent"
3475   traces:
3476     boxmean: False
3477   layout:
3478     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3479     layout:
3480       "plot-latency"
3481
3482 -
3483   type: "plot"
3484   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3485   algorithm: "plot_latency_box"
3486   output-file-type: ".html"
3487   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
3488   data:
3489     "plot-vpp-throughput-latency"
3490   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
3491   parameters:
3492   - "latency"
3493   - "parent"
3494   traces:
3495     boxmean: False
3496   layout:
3497     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
3498     layout:
3499       "plot-latency"
3500
3501 # VPP IP4_overlay
3502 -
3503   type: "plot"
3504   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3505   algorithm: "plot_latency_box"
3506   output-file-type: ".html"
3507   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
3508   data:
3509     "plot-vpp-throughput-latency"
3510   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
3511   parameters:
3512   - "latency"
3513   - "parent"
3514   traces:
3515     boxmean: False
3516   layout:
3517     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3518     layout:
3519       "plot-latency"
3520
3521 -
3522   type: "plot"
3523   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
3524   algorithm: "plot_latency_box"
3525