CSIT-891: Add data sources for 1801 report
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64     URL[NEXUS]: "https://docs.fd.io/csit"
65     DIR[NEXUS]: "report/_static/archive"
66
67   make-dirs:
68   # List the directories which are created while preparing the environment.
69   # All directories MUST be defined in "paths" section.
70   - "DIR[WORKING,DATA]"
71   - "DIR[STATIC,VPP]"
72   - "DIR[STATIC,DPDK]"
73   - "DIR[STATIC,ARCH]"
74   - "DIR[BUILD,LATEX]"
75   - "DIR[WORKING,SRC]"
76   - "DIR[WORKING,SRC,STATIC]"
77
78   remove-dirs:
79   # List the directories which are deleted while cleaning the environment.
80   # All directories MUST be defined in "paths" section.
81   #- "DIR[BUILD,HTML]"
82
83   build-dirs:
84   # List the directories where the results (build) is stored.
85   # All directories MUST be defined in "paths" section.
86   - "DIR[BUILD,HTML]"
87   - "DIR[BUILD,LATEX]"
88
89 -
90   type: "configuration"
91   data-sets:
92 # TODO: Add the data sources
93     plot-vpp-http-server-performance:
94       csit-vpp-perf-1801-all:
95       - 157
96       - 158
97       - 159
98       - 160
99       - 161
100       - 164
101       - 165
102       - 166
103       - 168
104       - 169
105       - 170
106 # TODO: Add the data sources
107 #    vpp-meltdown-impact:
108 #      csit-vpp-perf-1707-all:
109 #      - 9
110 #      - 10
111 #      - 13
112 #      csit-vpp-perf-1710-all:
113 #      - 11l
114 #      - 12
115 #      - 13
116 # TODO: Add the data sources
117 #    vpp-spectre-impact:
118 #      csit-vpp-perf-1707-all:
119 #      - 9
120 #      - 10
121 #      - 13
122 #      csit-vpp-perf-1710-all:
123 #      - 11
124 #      - 12
125 #      - 13
126     vpp-performance-changes:
127       csit-vpp-perf-1710-all:
128       - 11
129       - 12
130       - 13
131       - 14
132       - 15
133       - 16
134       - 17
135       - 18
136       - 19
137       - 20
138 # TODO: Add the data sources
139       csit-vpp-perf-1801-all:
140       - 124  # sel
141       - 127  # sel
142       - 128  # sel
143       - 141  # sel
144       - 142  # sel
145       - 143  # sel
146       - 145  # sel
147       - 146  # sel
148       - 162  # sel
149       - 163  # sel
150 #      - 167  # sel
151 # TODO: Add the data sources
152     plot-throughput-speedup-analysis:
153       csit-vpp-perf-1801-all:
154       - 124  # sel
155       - 127  # sel
156       - 128  # sel
157       - 141  # sel
158       - 142  # sel
159       - 143  # sel
160       - 145  # sel
161       - 146  # sel
162       - 162  # sel
163       - 163  # sel
164 #      - 167  # sel
165 #    performance-improvements:
166 #      csit-vpp-perf-1707-all:
167 #      - 9
168 #      - 10
169 #      - 13
170 #      - 14
171 #      - 15
172 #      - 16
173 #      - 17
174 #      - 18
175 #      - 19
176 #      - 21
177 #      csit-vpp-perf-1710-all:
178 #      - 11
179 #      - 12
180 #      - 13
181 #      - 14
182 #      - 15
183 #      - 16
184 #      - 17
185 #      - 18
186 #      - 19
187 #      - 20
188 #      csit-vpp-perf-1801-all:
189 #      - 124
190 #      - 127
191 #      - 128
192 #      csit-ligato-perf-1710-all:
193 #      - 5
194 #      - 7
195 #      - 8
196 #      - 9
197 #      - 10
198 #      - 11
199 #      - 12
200 #      - 13
201 #      - 16
202 #      - 17
203 #      csit-ligato-perf-1801-all:
204 #      - 16  # sel
205 #      - 17  # sel
206 #      - 18  # sel
207 #      - 19  # sel
208 #      - 20  # sel
209 #      - 21  # sel
210 #      - 22  # sel
211 #      - 23  # sel
212 #      - 24  # sel
213 # TODO: Add the data sources
214     vpp-perf-results:
215       csit-vpp-perf-1801-all:
216       - 122
217       - 126
218       - 129
219       - 140
220     vpp-func-results:
221       csit-vpp-functional-1801-ubuntu1604-virl:
222       - "lastSuccessfulBuild"
223 # TODO: Add the data sources
224     ligato-perf-results:
225       csit-ligato-perf-1801-all:
226       - 25  # full
227     dpdk-perf-results:
228       csit-dpdk-perf-1801-all:
229       - 12
230     hc-func-results:
231       csit-hc2vpp-verify-func-1801-ubuntu1604:
232       - "lastSuccessfulBuild"
233     nsh-func-results:
234       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
235       - 1
236 # TODO: Add the data sources
237     plot-vpp-throughput-latency:
238       csit-vpp-perf-1801-all:
239       - 124  # sel
240       - 127  # sel
241       - 128  # sel
242       - 141  # sel
243       - 142  # sel
244       - 143  # sel
245       - 145  # sel
246       - 146  # sel
247       - 162  # sel
248       - 163  # sel
249 #      - 167  # sel
250     plot-dpdk-throughput-latency:
251       csit-dpdk-perf-1801-all:
252       - 1
253       - 3
254       - 4
255       - 5
256       - 6
257       - 7
258       - 8
259       - 10
260       - 12
261 # TODO: Add the data sources
262     plot-ligato-throughput-latency:
263       csit-ligato-perf-1801-all:
264       - 16  # sel
265       - 17  # sel
266       - 18  # sel
267       - 19  # sel
268       - 20  # sel
269       - 21  # sel
270       - 22  # sel
271       - 23  # sel
272       - 24  # sel
273
274   plot-layouts:
275
276     plot-cps:
277       xaxis:
278         autorange: True
279         autotick: False
280         fixedrange: False
281         gridcolor: "rgb(238, 238, 238)"
282         linecolor: "rgb(238, 238, 238)"
283         linewidth: 1
284         showgrid: True
285         showline: True
286         showticklabels: True
287         tickcolor: "rgb(238, 238, 238)"
288         tickmode: "linear"
289         title: "Indexed Test Cases"
290         zeroline: False
291       yaxis:
292         gridcolor: "rgb(238, 238, 238)'"
293         hoverformat: ".4s"
294         linecolor: "rgb(238, 238, 238)"
295         linewidth: 1
296         range: []
297         rangemode: "tozero"
298         showgrid: True
299         showline: True
300         showticklabels: True
301         tickcolor: "rgb(238, 238, 238)"
302         title: "Connections Per Second [cps]"
303         zeroline: False
304       boxmode: "group"
305       boxgroupgap: 0.5
306       autosize: False
307       margin:
308         t: 50
309         b: 20
310         l: 50
311         r: 20
312       showlegend: True
313       legend:
314         orientation: "h"
315       width: 700
316       height: 1000
317
318     plot-rps:
319       xaxis:
320         autorange: True
321         autotick: False
322         fixedrange: False
323         gridcolor: "rgb(238, 238, 238)"
324         linecolor: "rgb(238, 238, 238)"
325         linewidth: 1
326         showgrid: True
327         showline: True
328         showticklabels: True
329         tickcolor: "rgb(238, 238, 238)"
330         tickmode: "linear"
331         title: "Indexed Test Cases"
332         zeroline: False
333       yaxis:
334         gridcolor: "rgb(238, 238, 238)'"
335         hoverformat: ".4s"
336         linecolor: "rgb(238, 238, 238)"
337         linewidth: 1
338         range: []
339         rangemode: "tozero"
340         showgrid: True
341         showline: True
342         showticklabels: True
343         tickcolor: "rgb(238, 238, 238)"
344         title: "Requests Per Second [rps]"
345         zeroline: False
346       boxmode: "group"
347       boxgroupgap: 0.5
348       autosize: False
349       margin:
350         t: 50
351         b: 20
352         l: 50
353         r: 20
354       showlegend: True
355       legend:
356         orientation: "h"
357       width: 700
358       height: 1000
359
360     plot-throughput:
361       xaxis:
362         autorange: True
363         autotick: False
364         fixedrange: False
365         gridcolor: "rgb(238, 238, 238)"
366         linecolor: "rgb(238, 238, 238)"
367         linewidth: 1
368         showgrid: True
369         showline: True
370         showticklabels: True
371         tickcolor: "rgb(238, 238, 238)"
372         tickmode: "linear"
373         title: "Indexed Test Cases"
374         zeroline: False
375       yaxis:
376         gridcolor: "rgb(238, 238, 238)'"
377         hoverformat: ".4s"
378         linecolor: "rgb(238, 238, 238)"
379         linewidth: 1
380         range: []
381         showgrid: True
382         showline: True
383         showticklabels: True
384         tickcolor: "rgb(238, 238, 238)"
385         title: "Packets Per Second [pps]"
386         zeroline: False
387       boxmode: "group"
388       boxgroupgap: 0.5
389       autosize: False
390       margin:
391         t: 50
392         b: 20
393         l: 50
394         r: 20
395       showlegend: True
396       legend:
397         orientation: "h"
398       width: 700
399       height: 1000
400
401     plot-latency:
402       xaxis:
403         autorange: True
404         autotick: False
405         fixedrange: False
406         gridcolor: "rgb(238, 238, 238)"
407         linecolor: "rgb(238, 238, 238)"
408         linewidth: 1
409         showgrid: True
410         showline: True
411         showticklabels: True
412         tickcolor: "rgb(238, 238, 238)"
413         tickmode: "linear"
414         title: "Indexed Test Cases"
415         zeroline: False
416       yaxis:
417         gridcolor: "rgb(238, 238, 238)'"
418         hoverformat: ""
419         linecolor: "rgb(238, 238, 238)"
420         linewidth: 1
421         range: []
422         showgrid: True
423         showline: True
424         showticklabels: True
425         tickcolor: "rgb(238, 238, 238)"
426         title: "Latency min/avg/max [uSec]"
427         zeroline: False
428       boxmode: "group"
429       boxgroupgap: 0.5
430       autosize: False
431       margin:
432         t: 50
433         b: 20
434         l: 50
435         r: 20
436       showlegend: True
437       legend:
438         orientation: "h"
439       width: 700
440       height: 1000
441
442     plot-throughput-speedup-analysis:
443       xaxis:
444         autorange: True
445         autotick: False
446         fixedrange: False
447         gridcolor: "rgb(238, 238, 238)"
448         linecolor: "rgb(238, 238, 238)"
449         linewidth: 1
450         showgrid: True
451         showline: True
452         showticklabels: True
453         tickcolor: "rgb(238, 238, 238)"
454         tickmode: "linear"
455         tickangle: 270
456         zeroline: False
457       yaxis:
458         title: "Throughput speedup factor"
459         gridcolor: "rgb(238, 238, 238)"
460         hoverformat: ".4s"
461         linecolor: "rgb(238, 238, 238)"
462         linewidth: 1
463         range: []
464         showgrid: True
465         showline: True
466         showticklabels: True
467         tickcolor: "rgb(238, 238, 238)"
468         zeroline: False
469       legend:
470         orientation: "h"
471         xanchor: "center"
472         yanchor: "top"
473         x: 0.5
474         y: 1
475         bgcolor: "rgba(255, 255, 255, 0)"
476         bordercolor: "rgba(255, 255, 255, 0)"
477       barmode: "group"
478       bargap: 0.15
479       bargroupgap: 0.1
480       autosize: False
481       margin:
482           't': 50
483           'b': 200
484           'l': 50
485           'r': 20
486       showlegend: True
487       width: 700
488       height: 1000
489
490 -
491   type: "debug"
492   general:
493     input-format: "xml"  # zip or xml
494     extract: "robot-plugin/output.xml"  # Only for zip
495   builds:
496     # The files must be in the directory DIR[WORKING,DATA]
497     csit-vpp-perf-1801-all:
498     -
499       build: 1
500       file: "{DIR[WORKING,DATA]}/output.xml"
501     -
502       build: 2
503       file: "{DIR[WORKING,DATA]}/output.xml"
504     -
505       build: 3
506       file: "{DIR[WORKING,DATA]}/output.xml"
507     -
508       build: 4
509       file: "{DIR[WORKING,DATA]}/output.xml"
510
511 -
512   type: "static"
513   src-path: "{DIR[RST]}"
514   dst-path: "{DIR[WORKING,SRC]}"
515
516 -
517   type: "input"  # Ignored in debug mode
518   general:
519     file-name: "robot-plugin.zip"
520     file-format: ".zip"
521     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
522     extract: "robot-plugin/output.xml"
523   builds:
524 #    csit-vpp-perf-1707-all:
525 #    - 9
526 #    - 10
527 #    - 13
528 #    - 14
529 #    - 15
530 #    - 16
531 #    - 17
532 #    - 18
533 #    - 19
534 #    - 21
535     csit-vpp-perf-1710-all:
536     - 11
537     - 12
538     - 13
539     - 14
540     - 15
541     - 16
542     - 17
543     - 18
544     - 19
545     - 20
546 # TODO:
547     csit-vpp-perf-1801-all:
548     - 122  # full
549     - 126  # full
550     - 129  # full
551     - 140  # full
552     - 124  # sel
553     - 127  # sel
554     - 128  # sel
555     - 141  # sel
556     - 142  # sel
557     - 143  # sel
558     - 145  # sel
559     - 146  # sel
560     - 157  # wrk
561     - 158  # wrk
562     - 159  # wrk
563     - 160  # wrk
564     - 161  # wrk
565     - 162  # sel
566     - 163  # sel
567     - 164  # wrk
568     - 165  # wrk
569     - 166  # wrk
570 #    - 167  # sel
571     - 168  # wrk
572     - 169  # wrk
573     - 170  # wrk
574     csit-ligato-perf-1710-all:
575     - 5
576     - 7
577     - 8
578     - 9
579     - 10
580     - 11
581     - 12
582     - 13
583     - 16
584     - 17
585     csit-dpdk-perf-1801-all:
586     - 1
587     - 4
588     - 5
589     - 7
590     - 8
591     - 10
592     - 12
593     - 16
594     - 17
595 # TODO:
596     csit-ligato-perf-1801-all:
597     - 16  # sel
598     - 17  # sel
599     - 18  # sel
600     - 19  # sel
601     - 20  # sel
602     - 21  # sel
603     - 22  # sel
604     - 23  # sel
605     - 24  # sel
606     - 25  # full
607     csit-dpdk-perf-1801-all:
608     - 1
609     - 3
610     - 4
611     - 5
612     - 6
613     - 7
614     - 8
615     - 9
616     - 10
617     - 12
618     csit-vpp-functional-1801-ubuntu1604-virl:
619     - lastSuccessfulBuild
620     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
621     - 1
622     csit-hc2vpp-verify-func-1801-ubuntu1604:
623     - lastSuccessfulBuild
624
625 -
626   type: "output"
627   format:
628     html:
629     - full
630     pdf:
631     - minimal
632
633 ################################################################################
634 ###                               T A B L E S                                ###
635 ################################################################################
636
637 #-
638 #  type: "table"
639 #  title: "Performance Impact of Meltdown Patches"
640 #  algorithm: "table_performance_comparison"
641 #  output-file-ext: ".csv"
642 ## TODO: specify dir
643 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
644 #  reference:
645 #    title: "No Meltdown"
646 ## TODO: specify data sources
647 #    data:
648 #      csit-vpp-perf-1707-all:
649 #      - 9
650 #      - 10
651 #      - 13
652 #  compare:
653 #    title: "Meltdown Patches Applied"
654 ## TODO: specify data sources
655 #    data:
656 #      csit-vpp-perf-1710-all:
657 #      - 11
658 #      - 12
659 #      - 13
660 #  data:
661 #    "vpp-meltdown-impact"
662 #  filter: "all"
663 #  parameters:
664 #  - "name"
665 #  - "parent"
666 #  - "throughput"
667 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
668 #  # to present all tests.
669 #  nr-of-tests-shown: 20
670 #
671 #-
672 #  type: "table"
673 #  title: "Performance Impact of Spectre Patches"
674 #  algorithm: "table_performance_comparison"
675 #  output-file-ext: ".csv"
676 ## TODO: specify dir
677 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
678 #  reference:
679 #    title: "No Spectre"
680 ## TODO: specify data sources
681 #    data:
682 #      csit-vpp-perf-1707-all:
683 #      - 9
684 #      - 10
685 #      - 13
686 #  compare:
687 #    title: "Spectre Patches Applied"
688 ## TODO: specify data sources
689 #    data:
690 #      csit-vpp-perf-1710-all:
691 #      - 11
692 #      - 12
693 #      - 13
694 #  data:
695 #    "vpp-spectre-impact"
696 #  filter: "all"
697 #  parameters:
698 #  - "name"
699 #  - "parent"
700 #  - "throughput"
701 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
702 #  # to present all tests.
703 #  nr-of-tests-shown: 20
704
705 -
706   type: "table"
707   title: "VPP Performance Changes"
708   algorithm: "table_performance_comparison"
709   output-file-ext: ".csv"
710 # TODO: specify dir
711   output-file: "{DIR[STATIC,VPP]}/performance-changes"
712   reference:
713     title: "Release 1710"
714 # TODO: specify data sources
715     data:
716       csit-vpp-perf-1710-all:
717       - 11
718       - 12
719       - 13
720       - 14
721       - 15
722       - 16
723       - 17
724       - 18
725       - 19
726       - 20
727   compare:
728     title: "Release 1801"
729 # TODO: specify data sources
730     data:
731       csit-vpp-perf-1801-all:
732       - 124  # sel
733       - 127  # sel
734       - 128  # sel
735       - 141  # sel
736       - 142  # sel
737       - 143  # sel
738       - 145  # sel
739       - 146  # sel
740   data: "vpp-performance-changes"
741   filter: "all"
742   parameters:
743   - "name"
744   - "parent"
745   - "throughput"
746   # Number of the best and the worst tests presented in the table. Use 0 (zero)
747   # to present all tests.
748   nr-of-tests-shown: 20
749   outlier-const: 1.5
750
751 #-
752 #  type: "table"
753 #  title: "Performance improvements"
754 #  algorithm: "table_performance_improvements"
755 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
756 #  output-file-ext: ".csv"
757 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
758 #  columns:
759 #  -
760 #    title: "Test Name"
761 #    data: "template 1"
762 #  -
763 #    title: "16.09 mean [Mpps]"
764 #    data: "template 2"
765 #  -
766 #    title: "17.01 mean [Mpps]"
767 #    data: "template 3"
768 #  -
769 #    title: "17.04 mean [Mpps]"
770 #    data: "template 4"
771 #  -
772 #    title: "17.07 mean [Mpps]"
773 #    data: "data csit-vpp-perf-1707-all mean"
774 #  -
775 #    title: "17.10 mean [Mpps]"
776 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
777 #  -
778 #    title: "18.01 mean [Mpps]"
779 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
780 #  -
781 #    title: "18.01 stdev [Mpps]"
782 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
783 #  -
784 #    title: "17.10 to 18.01 change [%]"
785 #    data: "operation relative_change 5 6"
786 #  rows: "generated"
787 #  data:
788 #    "performance-improvements"
789 #  filter: "template"
790 #  parameters:
791 #  - "throughput"
792
793 -
794   type: "table"
795   title: "Detailed Test Results - VPP Performance Results"
796   algorithm: "table_merged_details"
797   output-file-ext: ".csv"
798   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
799   columns:
800   -
801     title: "Name"
802     data: "data name"
803   -
804     title: "Documentation"
805     data: "data doc"
806   -
807     title: "Status"
808     data: "data msg"
809   rows: "generated"
810   data:
811     "vpp-perf-results"
812   filter: "not 'NDRCHK' and not 'PDRCHK'"
813   parameters:
814   - "name"
815   - "parent"
816   - "doc"
817   - "msg"
818
819 -
820   type: "table"
821   title: "Test configuration - VPP Performance Test Configs"
822   algorithm: "table_merged_details"
823   output-file-ext: ".csv"
824   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
825   columns:
826   -
827     title: "Name"
828     data: "data name"
829   -
830     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
831     data: "data vat-history"
832   rows: "generated"
833   data:
834     "vpp-perf-results"
835   filter: "not 'NDRCHK' and not 'PDRCHK'"
836   parameters:
837   - "parent"
838   - "name"
839   - "vat-history"
840
841 -
842   type: "table"
843   title: "Test Operational Data - VPP Performance Operational Data"
844   algorithm: "table_merged_details"
845   output-file-ext: ".csv"
846   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
847   columns:
848   -
849     title: "Name"
850     data: "data name"
851   -
852     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
853     data: "data show-run"
854   rows: "generated"
855   data:
856     "vpp-perf-results"
857   filter: "not 'NDRCHK' and not 'PDRCHK'"
858   parameters:
859   - "parent"
860   - "name"
861   - "show-run"
862
863 -
864   type: "table"
865   title: "Detailed Test Results - VPP Functional Results"
866   algorithm: "table_details"
867   output-file-ext: ".csv"
868   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
869   columns:
870   -
871     title: "Name"
872     data: "data name"
873   -
874     title: "Documentation"
875     data: "data doc"
876   -
877     title: "Status"
878     data: "data status"
879   rows: "generated"
880   data:
881     "vpp-func-results"
882   filter: "all"
883   parameters:
884   - "name"
885   - "parent"
886   - "doc"
887   - "status"
888
889 -
890   type: "table"
891   title: "Test configuration - VPP Functional Test Configs"
892   algorithm: "table_details"
893   output-file-ext: ".csv"
894   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
895   columns:
896   -
897     title: "Name"
898     data: "data name"
899   -
900     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
901     data: "data vat-history"
902   rows: "generated"
903   data:
904     "vpp-func-results"
905   filter: "all"
906   parameters:
907   - "parent"
908   - "name"
909   - "vat-history"
910
911 -
912   type: "table"
913   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
914   algorithm: "table_details"
915   output-file-ext: ".csv"
916   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
917   columns:
918   -
919     title: "Name"
920     data: "data name"
921   -
922     title: "Documentation"
923     data: "data doc"
924   -
925     title: "Status"
926     data: "data msg"
927   rows: "generated"
928   data:
929     "ligato-perf-results"
930   filter: "all"
931   parameters:
932   - "name"
933   - "parent"
934   - "doc"
935   - "msg"
936
937 -
938   type: "table"
939   title: "Detailed Test Results - DPDK Performance Results"
940   algorithm: "table_details"
941   output-file-ext: ".csv"
942   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
943   columns:
944   -
945     title: "Name"
946     data: "data name"
947   -
948     title: "Documentation"
949     data: "data doc"
950   -
951     title: "Status"
952     data: "data msg"
953   rows: "generated"
954   data:
955     "dpdk-perf-results"
956   filter: "all"
957   parameters:
958   - "name"
959   - "parent"
960   - "doc"
961   - "msg"
962
963 -
964   type: "table"
965   title: "Detailed Test Results - Honeycomb Functional Results"
966   algorithm: "table_details"
967   output-file-ext: ".csv"
968   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
969   columns:
970   -
971     title: "Name"
972     data: "data name"
973   -
974     title: "Documentation"
975     data: "data doc"
976   -
977     title: "Status"
978     data: "data status"
979   rows: "generated"
980   data:
981     "hc-func-results"
982   filter: "all"
983   parameters:
984   - "name"
985   - "parent"
986   - "doc"
987   - "status"
988
989 -
990   type: "table"
991   title: "Detailed Test Results - NSH SFC Functional Results"
992   algorithm: "table_details"
993   output-file-ext: ".csv"
994   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
995   columns:
996   -
997     title: "Name"
998     data: "data name"
999   -
1000     title: "Documentation"
1001     data: "data doc"
1002   -
1003     title: "Status"
1004     data: "data status"
1005   rows: "generated"
1006   data:
1007     "nsh-func-results"
1008   filter: "all"
1009   parameters:
1010   - "name"
1011   - "parent"
1012   - "doc"
1013   - "status"
1014
1015 ################################################################################
1016 ###                                F I L E S                                 ###
1017 ################################################################################
1018
1019 -
1020   type: "file"
1021   title: "VPP Performance Results"
1022   algorithm: "file_merged_test_results"
1023   output-file-ext: ".rst"
1024   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1025   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1026   dir-tables: "{DIR[DTR,PERF,VPP]}"
1027   data:
1028     "vpp-perf-results"
1029   filter: "not 'NDRCHK' and not 'PDRCHK'"
1030   parameters:
1031   - "name"
1032   - "doc"
1033   - "level"
1034   - "parent"
1035   data-start-level: 3  # 0, 1, 2, ...
1036   chapters-start-level: 2  # 0, 1, 2, ...
1037
1038 -
1039   type: "file"
1040   title: "VPP Performance Configuration"
1041   algorithm: "file_merged_test_results"
1042   output-file-ext: ".rst"
1043   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1044   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1045   dir-tables: "{DIR[DTC,PERF,VPP]}"
1046   data:
1047     "vpp-perf-results"
1048   filter: "not 'NDRCHK' and not 'PDRCHK'"
1049   parameters:
1050   - "name"
1051   - "doc"
1052   - "level"
1053   - "parent"
1054   data-start-level: 3  # 0, 1, 2, ...
1055   chapters-start-level: 2  # 0, 1, 2, ...
1056
1057 -
1058   type: "file"
1059   title: "VPP Performance Operational Data"
1060   algorithm: "file_merged_test_results"
1061   output-file-ext: ".rst"
1062   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1063   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1064   dir-tables: "{DIR[DTO,PERF,VPP]}"
1065   data:
1066     "vpp-perf-results"
1067   filter: "not 'NDRCHK' and not 'PDRCHK'"
1068   parameters:
1069   - "name"
1070   - "doc"
1071   - "level"
1072   - "parent"
1073   data-start-level: 3  # 0, 1, 2, ...
1074   chapters-start-level: 2  # 0, 1, 2, ...
1075
1076 -
1077   type: "file"
1078   title: "VPP Functional Results"
1079   algorithm: "file_test_results"
1080   output-file-ext: ".rst"
1081   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1082   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1083   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1084   data:
1085     "vpp-func-results"
1086   filter: "all"
1087   parameters:
1088   - "name"
1089   - "doc"
1090   - "level"
1091   data-start-level: 3  # 0, 1, 2, ...
1092   chapters-start-level: 2  # 0, 1, 2, ...
1093
1094 -
1095   type: "file"
1096   title: "VPP Functional Configuration"
1097   algorithm: "file_test_results"
1098   output-file-ext: ".rst"
1099   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1100   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1101   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1102   data:
1103     "vpp-func-results"
1104   filter: "all"
1105   parameters:
1106   - "name"
1107   - "doc"
1108   - "level"
1109   data-start-level: 3  # 0, 1, 2, ...
1110   chapters-start-level: 2  # 0, 1, 2, ...
1111
1112 -
1113   type: "file"
1114   title: "Container Orchestrated Performance Results"
1115   algorithm: "file_test_results"
1116   output-file-ext: ".rst"
1117   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1118   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1119   dir-tables: "{DIR[DTR,PERF,COT]}"
1120   data:
1121     "ligato-perf-results"
1122   filter: "all"
1123   parameters:
1124   - "name"
1125   - "doc"
1126   - "level"
1127   data-start-level: 2  # 0, 1, 2, ...
1128   chapters-start-level: 2  # 0, 1, 2, ...
1129
1130 -
1131   type: "file"
1132   title: "DPDK Performance Results"
1133   algorithm: "file_test_results"
1134   output-file-ext: ".rst"
1135   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1136   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1137   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1138   data:
1139     "dpdk-perf-results"
1140   filter: "all"
1141   parameters:
1142   - "name"
1143   - "doc"
1144   - "level"
1145   chapters:
1146   - "suites"
1147   data-start-level: 2  # 0, 1, 2, ...
1148   chapters-start-level: 2  # 0, 1, 2, ...
1149
1150 -
1151   type: "file"
1152   title: "Honeycomb Functional Results"
1153   algorithm: "file_test_results"
1154   output-file-ext: ".rst"
1155   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1156   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1157   dir-tables: "{DIR[DTR,FUNC,HC]}"
1158   data:
1159     "hc-func-results"
1160   filter: "all"
1161   parameters:
1162   - "name"
1163   - "doc"
1164   - "level"
1165   chapters:
1166   - "suites"
1167   data-start-level: 3  # 0, 1, 2, ...
1168   chapters-start-level: 2  # 0, 1, 2, ...
1169
1170 -
1171   type: "file"
1172   title: "NSH SFC Functional Results"
1173   algorithm: "file_test_results"
1174   output-file-ext: ".rst"
1175   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1176   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1177   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1178   data:
1179     "nsh-func-results"
1180   filter: "all"
1181   parameters:
1182   - "name"
1183   - "doc"
1184   - "level"
1185   chapters:
1186   - "suites"
1187   data-start-level: 2  # 0, 1, 2, ...
1188   chapters-start-level: 2  # 0, 1, 2, ...
1189
1190 ################################################################################
1191 ###                                P L O T S                                 ###
1192 ################################################################################
1193
1194 # Plots VPP HTTP Server Performance
1195 -
1196   type: "plot"
1197   title: "VPP HTTP Server Performance"
1198   algorithm: "plot_http_server_performance_box"
1199   output-file-type: ".html"
1200   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1201   data:
1202     "plot-vpp-http-server-performance"
1203   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1204   # each tag is enclosed with ' (apostrophe).
1205   filter: "'HTTP' and 'TCP_CPS'"
1206   parameters:
1207   - "result"
1208   - "name"
1209   traces:
1210     hoverinfo: "x+y"
1211     boxpoints: "outliers"
1212     whiskerwidth: 0
1213   layout:
1214     title: "VPP HTTP Server Performance"
1215     layout:
1216       "plot-cps"
1217
1218 -
1219   type: "plot"
1220   title: "VPP HTTP Server Performance"
1221   algorithm: "plot_http_server_performance_box"
1222   output-file-type: ".html"
1223   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1224   data:
1225     "plot-vpp-http-server-performance"
1226   filter: "'HTTP' and 'TCP_RPS'"
1227   parameters:
1228   - "result"
1229   - "name"
1230   traces:
1231     hoverinfo: "x+y"
1232     boxpoints: "outliers"
1233     whiskerwidth: 0
1234   layout:
1235     title: "VPP HTTP Server Performance"
1236     layout:
1237       "plot-rps"
1238
1239 # Plot Throughput Speedup Analysis
1240
1241 # L2 - 10ge2p1x520 - NDR
1242 -
1243   type: "plot"
1244   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1245   algorithm: "plot_throughput_speedup_analysis"
1246   output-file-type: ".html"
1247   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1248   data:
1249     "plot-throughput-speedup-analysis"
1250   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1251   parameters:
1252   - "throughput"
1253   - "parent"
1254   - "tags"
1255   layout:
1256     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1257     layout:
1258       "plot-throughput-speedup-analysis"
1259
1260 # L2 - 40ge2p1xl710 - NDR
1261 -
1262   type: "plot"
1263   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1264   algorithm: "plot_throughput_speedup_analysis"
1265   output-file-type: ".html"
1266   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1267   data:
1268     "plot-throughput-speedup-analysis"
1269   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1270   parameters:
1271   - "throughput"
1272   - "parent"
1273   - "tags"
1274   layout:
1275     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1276     layout:
1277       "plot-throughput-speedup-analysis"
1278
1279 # L2 - 10ge2p1x520 - PDR
1280 -
1281   type: "plot"
1282   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1283   algorithm: "plot_throughput_speedup_analysis"
1284   output-file-type: ".html"
1285   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1286   data:
1287     "plot-throughput-speedup-analysis"
1288   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1289   parameters:
1290   - "throughput"
1291   - "parent"
1292   - "tags"
1293   layout:
1294     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1295     layout:
1296       "plot-throughput-speedup-analysis"
1297
1298 # IPv4 - 10ge2p1x520 - NDR
1299 -
1300   type: "plot"
1301   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1302   algorithm: "plot_throughput_speedup_analysis"
1303   output-file-type: ".html"
1304   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1305   data:
1306     "plot-throughput-speedup-analysis"
1307   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1308   parameters:
1309   - "throughput"
1310   - "parent"
1311   - "tags"
1312   layout:
1313     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1314     layout:
1315       "plot-throughput-speedup-analysis"
1316
1317 # IPv4 - 40ge2p1xl710 - NDR
1318 -
1319   type: "plot"
1320   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1321   algorithm: "plot_throughput_speedup_analysis"
1322   output-file-type: ".html"
1323   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1324   data:
1325     "plot-throughput-speedup-analysis"
1326   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1327   parameters:
1328   - "throughput"
1329   - "parent"
1330   - "tags"
1331   layout:
1332     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1333     layout:
1334       "plot-throughput-speedup-analysis"
1335
1336 # IPv4 - 10ge2p1x520 - PDR
1337 -
1338   type: "plot"
1339   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1340   algorithm: "plot_throughput_speedup_analysis"
1341   output-file-type: ".html"
1342   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1343   data:
1344     "plot-throughput-speedup-analysis"
1345   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1346   parameters:
1347   - "throughput"
1348   - "parent"
1349   - "tags"
1350   layout:
1351     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1352     layout:
1353       "plot-throughput-speedup-analysis"
1354
1355 # IPv6 - 10ge2p1x520 - NDR
1356 -
1357   type: "plot"
1358   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1359   algorithm: "plot_throughput_speedup_analysis"
1360   output-file-type: ".html"
1361   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1362   data:
1363     "plot-throughput-speedup-analysis"
1364   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1365   parameters:
1366   - "throughput"
1367   - "parent"
1368   - "tags"
1369   layout:
1370     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1371     layout:
1372       "plot-throughput-speedup-analysis"
1373
1374 # IPv6 - 40ge2p1xl710 - NDR
1375 -
1376   type: "plot"
1377   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1378   algorithm: "plot_throughput_speedup_analysis"
1379   output-file-type: ".html"
1380   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1381   data:
1382     "plot-throughput-speedup-analysis"
1383   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1384   parameters:
1385   - "throughput"
1386   - "parent"
1387   - "tags"
1388   layout:
1389     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1390     layout:
1391       "plot-throughput-speedup-analysis"
1392
1393 # IPv6 - 10ge2p1x520 - PDR
1394 -
1395   type: "plot"
1396   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1397   algorithm: "plot_throughput_speedup_analysis"
1398   output-file-type: ".html"
1399   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1400   data:
1401     "plot-throughput-speedup-analysis"
1402   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1403   parameters:
1404   - "throughput"
1405   - "parent"
1406   - "tags"
1407   layout:
1408     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1409     layout:
1410       "plot-throughput-speedup-analysis"
1411
1412 # Plot packets per second
1413
1414 # VPP L2 sel1
1415 -
1416   type: "plot"
1417   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1418   algorithm: "plot_performance_box"
1419   output-file-type: ".html"
1420   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1421   data:
1422     "plot-vpp-throughput-latency"
1423   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1424   # each tag is enclosed with ' (apostrophe).
1425   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1426   parameters:
1427   - "throughput"
1428   - "parent"
1429   traces:
1430     hoverinfo: "x+y"
1431     boxpoints: "outliers"
1432     whiskerwidth: 0
1433   layout:
1434     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1435     layout:
1436       "plot-throughput"
1437
1438 -
1439   type: "plot"
1440   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1441   algorithm: "plot_performance_box"
1442   output-file-type: ".html"
1443   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1444   data:
1445     "plot-vpp-throughput-latency"
1446   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1447   parameters:
1448   - "throughput"
1449   - "parent"
1450   traces:
1451     hoverinfo: "x+y"
1452     boxpoints: "outliers"
1453     whiskerwidth: 0
1454   layout:
1455     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1456     layout:
1457       "plot-throughput"
1458
1459 -
1460   type: "plot"
1461   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1462   algorithm: "plot_performance_box"
1463   output-file-type: ".html"
1464   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1465   data:
1466     "plot-vpp-throughput-latency"
1467   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1468   parameters:
1469   - "throughput"
1470   - "parent"
1471   traces:
1472     hoverinfo: "x+y"
1473     boxpoints: "outliers"
1474     whiskerwidth: 0
1475   layout:
1476     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1477     layout:
1478       "plot-throughput"
1479
1480 -
1481   type: "plot"
1482   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1483   algorithm: "plot_performance_box"
1484   output-file-type: ".html"
1485   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1486   data:
1487     "plot-vpp-throughput-latency"
1488   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1489   parameters:
1490   - "throughput"
1491   - "parent"
1492   traces:
1493     hoverinfo: "x+y"
1494     boxpoints: "outliers"
1495     whiskerwidth: 0
1496   layout:
1497     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1498     layout:
1499       "plot-throughput"
1500
1501 # VPP L2 sel2
1502 -
1503   type: "plot"
1504   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1505   algorithm: "plot_performance_box"
1506   output-file-type: ".html"
1507   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1508   data:
1509     "plot-vpp-throughput-latency"
1510   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1511   parameters:
1512   - "throughput"
1513   - "parent"
1514   traces:
1515     hoverinfo: "x+y"
1516     boxpoints: "outliers"
1517     whiskerwidth: 0
1518   layout:
1519     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1520     layout:
1521       "plot-throughput"
1522
1523 -
1524   type: "plot"
1525   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1526   algorithm: "plot_performance_box"
1527   output-file-type: ".html"
1528   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1529   data:
1530     "plot-vpp-throughput-latency"
1531   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1532   parameters:
1533   - "throughput"
1534   - "parent"
1535   traces:
1536     hoverinfo: "x+y"
1537     boxpoints: "outliers"
1538     whiskerwidth: 0
1539   layout:
1540     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1541     layout:
1542       "plot-throughput"
1543
1544 -
1545   type: "plot"
1546   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1547   algorithm: "plot_performance_box"
1548   output-file-type: ".html"
1549   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1550   data:
1551     "plot-vpp-throughput-latency"
1552   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1553   parameters:
1554   - "throughput"
1555   - "parent"
1556   traces:
1557     hoverinfo: "x+y"
1558     boxpoints: "outliers"
1559     whiskerwidth: 0
1560   layout:
1561     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1562     layout:
1563       "plot-throughput"
1564
1565 -
1566   type: "plot"
1567   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1568   algorithm: "plot_performance_box"
1569   output-file-type: ".html"
1570   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1571   data:
1572     "plot-vpp-throughput-latency"
1573   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1574   parameters:
1575   - "throughput"
1576   - "parent"
1577   traces:
1578     hoverinfo: "x+y"
1579     boxpoints: "outliers"
1580     whiskerwidth: 0
1581   layout:
1582     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1583     layout:
1584       "plot-throughput"
1585
1586 # VPP IP4
1587 -
1588   type: "plot"
1589   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1590   algorithm: "plot_performance_box"
1591   output-file-type: ".html"
1592   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1593   data:
1594     "plot-vpp-throughput-latency"
1595   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1596   parameters:
1597   - "throughput"
1598   - "parent"
1599   traces:
1600     hoverinfo: "x+y"
1601     boxpoints: "outliers"
1602     whiskerwidth: 0
1603   layout:
1604     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1605     layout:
1606       "plot-throughput"
1607
1608 -
1609   type: "plot"
1610   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1611   algorithm: "plot_performance_box"
1612   output-file-type: ".html"
1613   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1614   data:
1615     "plot-vpp-throughput-latency"
1616   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1617   parameters:
1618   - "throughput"
1619   - "parent"
1620   traces:
1621     hoverinfo: "x+y"
1622     boxpoints: "outliers"
1623     whiskerwidth: 0
1624   layout:
1625     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1626     layout:
1627       "plot-throughput"
1628
1629 -
1630   type: "plot"
1631   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1632   algorithm: "plot_performance_box"
1633   output-file-type: ".html"
1634   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1635   data:
1636     "plot-vpp-throughput-latency"
1637   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1638   parameters:
1639   - "throughput"
1640   - "parent"
1641   traces:
1642     hoverinfo: "x+y"
1643     boxpoints: "outliers"
1644     whiskerwidth: 0
1645   layout:
1646     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1647     layout:
1648       "plot-throughput"
1649
1650 -
1651   type: "plot"
1652   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1653   algorithm: "plot_performance_box"
1654   output-file-type: ".html"
1655   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1656   data:
1657     "plot-vpp-throughput-latency"
1658   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1659   parameters:
1660   - "throughput"
1661   - "parent"
1662   traces:
1663     hoverinfo: "x+y"
1664     boxpoints: "outliers"
1665     whiskerwidth: 0
1666   layout:
1667     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1668     layout:
1669       "plot-throughput"
1670
1671 # VPP IP6
1672 -
1673   type: "plot"
1674   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1675   algorithm: "plot_performance_box"
1676   output-file-type: ".html"
1677   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1678   data:
1679     "plot-vpp-throughput-latency"
1680   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1681   parameters:
1682   - "throughput"
1683   - "parent"
1684   traces:
1685     hoverinfo: "x+y"
1686     boxpoints: "outliers"
1687     whiskerwidth: 0
1688   layout:
1689     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1690     layout:
1691       "plot-throughput"
1692
1693 -
1694   type: "plot"
1695   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1696   algorithm: "plot_performance_box"
1697   output-file-type: ".html"
1698   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1699   data:
1700     "plot-vpp-throughput-latency"
1701   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1702   parameters:
1703   - "throughput"
1704   - "parent"
1705   traces:
1706     hoverinfo: "x+y"
1707     boxpoints: "outliers"
1708     whiskerwidth: 0
1709   layout:
1710     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1711     layout:
1712       "plot-throughput"
1713
1714 -
1715   type: "plot"
1716   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1717   algorithm: "plot_performance_box"
1718   output-file-type: ".html"
1719   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1720   data:
1721     "plot-vpp-throughput-latency"
1722   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1723   parameters:
1724   - "throughput"
1725   - "parent"
1726   traces:
1727     hoverinfo: "x+y"
1728     boxpoints: "outliers"
1729     whiskerwidth: 0
1730   layout:
1731     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1732     layout:
1733       "plot-throughput"
1734
1735 -
1736   type: "plot"
1737   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1738   algorithm: "plot_performance_box"
1739   output-file-type: ".html"
1740   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1741   data:
1742     "plot-vpp-throughput-latency"
1743   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1744   parameters:
1745   - "throughput"
1746   - "parent"
1747   traces:
1748     hoverinfo: "x+y"
1749     boxpoints: "outliers"
1750     whiskerwidth: 0
1751   layout:
1752     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1753     layout:
1754       "plot-throughput"
1755
1756 # VPP IP4_overlay
1757 -
1758   type: "plot"
1759   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1760   algorithm: "plot_performance_box"
1761   output-file-type: ".html"
1762   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1763   data:
1764     "plot-vpp-throughput-latency"
1765   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1766   parameters:
1767   - "throughput"
1768   - "parent"
1769   traces:
1770     hoverinfo: "x+y"
1771     boxpoints: "outliers"
1772     whiskerwidth: 0
1773   layout:
1774     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1775     layout:
1776       "plot-throughput"
1777
1778 -
1779   type: "plot"
1780   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1781   algorithm: "plot_performance_box"
1782   output-file-type: ".html"
1783   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1784   data:
1785     "plot-vpp-throughput-latency"
1786   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1787   parameters:
1788   - "throughput"
1789   - "parent"
1790   traces:
1791     hoverinfo: "x+y"
1792     boxpoints: "outliers"
1793     whiskerwidth: 0
1794   layout:
1795     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1796     layout:
1797       "plot-throughput"
1798
1799 -
1800   type: "plot"
1801   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1802   algorithm: "plot_performance_box"
1803   output-file-type: ".html"
1804   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1805   data:
1806     "plot-vpp-throughput-latency"
1807   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1808   parameters:
1809   - "throughput"
1810   - "parent"
1811   traces:
1812     hoverinfo: "x+y"
1813     boxpoints: "outliers"
1814     whiskerwidth: 0
1815   layout:
1816     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1817     layout:
1818       "plot-throughput"
1819
1820 -
1821   type: "plot"
1822   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1823   algorithm: "plot_performance_box"
1824   output-file-type: ".html"
1825   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1826   data:
1827     "plot-vpp-throughput-latency"
1828   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1829   parameters:
1830   - "throughput"
1831   - "parent"
1832   traces:
1833     hoverinfo: "x+y"
1834     boxpoints: "outliers"
1835     whiskerwidth: 0
1836   layout:
1837     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1838     layout:
1839       "plot-throughput"
1840
1841 # VPP IP6_overlay
1842 -
1843   type: "plot"
1844   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1845   algorithm: "plot_performance_box"
1846   output-file-type: ".html"
1847   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1848   data:
1849     "plot-vpp-throughput-latency"
1850   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1851   parameters:
1852   - "throughput"
1853   - "parent"
1854   traces:
1855     hoverinfo: "x+y"
1856     boxpoints: "outliers"
1857     whiskerwidth: 0
1858   layout:
1859     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1860     xaxis:
1861       autorange: True
1862       autotick: False
1863       fixedrange: False
1864       gridcolor: "rgb(238, 238, 238)"
1865       linecolor: "rgb(238, 238, 238)"
1866       linewidth: 1
1867       showgrid: True
1868       showline: True
1869       showticklabels: True
1870       tickcolor: "rgb(238, 238, 238)"
1871       tickmode: "linear"
1872       title: "Indexed Test Cases"
1873       zeroline: False
1874     yaxis:
1875       gridcolor: "rgb(238, 238, 238)'"
1876       hoverformat: ".4s"
1877       linecolor: "rgb(238, 238, 238)"
1878       linewidth: 1
1879       range: [2000000, 6000000]
1880       showgrid: True
1881       showline: True
1882       showticklabels: True
1883       tickcolor: "rgb(238, 238, 238)"
1884       title: "Packets Per Second [pps]"
1885       zeroline: False
1886     boxmode: "group"
1887     boxgroupgap: 0.5
1888     autosize: False
1889     margin:
1890       t: 50
1891       b: 20
1892       l: 50
1893       r: 20
1894     showlegend: True
1895     legend:
1896       orientation: "h"
1897     width: 700
1898     height: 1000
1899
1900 -
1901   type: "plot"
1902   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1903   algorithm: "plot_performance_box"
1904   output-file-type: ".html"
1905   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1906   data:
1907     "plot-vpp-throughput-latency"
1908   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1909   parameters:
1910   - "throughput"
1911   - "parent"
1912   traces:
1913     hoverinfo: "x+y"
1914     boxpoints: "outliers"
1915     whiskerwidth: 0
1916   layout:
1917     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1918     layout:
1919       "plot-throughput"
1920
1921 -
1922   type: "plot"
1923   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1924   algorithm: "plot_performance_box"
1925   output-file-type: ".html"
1926   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1927   data:
1928     "plot-vpp-throughput-latency"
1929   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1930   parameters:
1931   - "throughput"
1932   - "parent"
1933   traces:
1934     hoverinfo: "x+y"
1935     boxpoints: "outliers"
1936     whiskerwidth: 0
1937   layout:
1938     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1939     layout:
1940       "plot-throughput"
1941
1942 -
1943   type: "plot"
1944   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1945   algorithm: "plot_performance_box"
1946   output-file-type: ".html"
1947   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1948   data:
1949     "plot-vpp-throughput-latency"
1950   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1951   parameters:
1952   - "throughput"
1953   - "parent"
1954   traces:
1955     hoverinfo: "x+y"
1956     boxpoints: "outliers"
1957     whiskerwidth: 0
1958   layout:
1959     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1960     xaxis:
1961       autorange: True
1962       autotick: False
1963       fixedrange: False
1964       gridcolor: "rgb(238, 238, 238)"
1965       linecolor: "rgb(238, 238, 238)"
1966       linewidth: 1
1967       showgrid: True
1968       showline: True
1969       showticklabels: True
1970       tickcolor: "rgb(238, 238, 238)"
1971       tickmode: "linear"
1972       title: "Indexed Test Cases"
1973       zeroline: False
1974     yaxis:
1975       gridcolor: "rgb(238, 238, 238)'"
1976       hoverformat: ".4s"
1977       linecolor: "rgb(238, 238, 238)"
1978       linewidth: 1
1979       range: [4000000, 12000000]
1980       showgrid: True
1981       showline: True
1982       showticklabels: True
1983       tickcolor: "rgb(238, 238, 238)"
1984       title: "Packets Per Second [pps]"
1985       zeroline: False
1986     boxmode: "group"
1987     boxgroupgap: 0.5
1988     autosize: False
1989     margin:
1990       t: 50
1991       b: 20
1992       l: 50
1993       r: 20
1994     showlegend: True
1995     legend:
1996       orientation: "h"
1997     width: 700
1998     height: 1000
1999
2000 # VPP VM VHOST
2001 -
2002   type: "plot"
2003   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2004   algorithm: "plot_performance_box"
2005   output-file-type: ".html"
2006   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2007   data:
2008     "plot-vpp-throughput-latency"
2009   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2010   parameters:
2011   - "throughput"
2012   - "parent"
2013   traces:
2014     hoverinfo: "x+y"
2015     boxpoints: "outliers"
2016     whiskerwidth: 0
2017   layout:
2018     title: "64B-1t1c-.*vhost.*-ndrdisc"
2019     xaxis:
2020       autorange: True
2021       autotick: False
2022       fixedrange: False
2023       gridcolor: "rgb(238, 238, 238)"
2024       linecolor: "rgb(238, 238, 238)"
2025       linewidth: 1
2026       showgrid: True
2027       showline: True
2028       showticklabels: True
2029       tickcolor: "rgb(238, 238, 238)"
2030       tickmode: "linear"
2031       title: "Indexed Test Cases"
2032       zeroline: False
2033     yaxis:
2034       gridcolor: "rgb(238, 238, 238)'"
2035       hoverformat: ".4s"
2036       linecolor: "rgb(238, 238, 238)"
2037       linewidth: 1
2038       range: [0, 3500000]
2039       showgrid: True
2040       showline: True
2041       showticklabels: True
2042       tickcolor: "rgb(238, 238, 238)"
2043       title: "Packets Per Second [pps]"
2044       zeroline: False
2045     boxmode: "group"
2046     boxgroupgap: 0.5
2047     autosize: False
2048     margin:
2049       t: 50
2050       b: 20
2051       l: 50
2052       r: 20
2053     showlegend: True
2054     legend:
2055       orientation: "h"
2056     width: 700
2057     height: 1000
2058
2059 -
2060   type: "plot"
2061   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2062   algorithm: "plot_performance_box"
2063   output-file-type: ".html"
2064   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2065   data:
2066     "plot-vpp-throughput-latency"
2067   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2068   parameters:
2069   - "throughput"
2070   - "parent"
2071   traces:
2072     hoverinfo: "x+y"
2073     boxpoints: "outliers"
2074     whiskerwidth: 0
2075   layout:
2076     title: "64B-2t2c-.*vhost.*-ndrdisc"
2077     layout:
2078       "plot-throughput"
2079
2080 -
2081   type: "plot"
2082   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2083   algorithm: "plot_performance_box"
2084   output-file-type: ".html"
2085   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2086   data:
2087     "plot-vpp-throughput-latency"
2088   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2089   parameters:
2090   - "throughput"
2091   - "parent"
2092   traces:
2093     hoverinfo: "x+y"
2094     boxpoints: "outliers"
2095     whiskerwidth: 0
2096   layout:
2097     title: "64B-1t1c-.*vhost.*-pdrdisc"
2098     layout:
2099       "plot-throughput"
2100
2101 -
2102   type: "plot"
2103   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2104   algorithm: "plot_performance_box"
2105   output-file-type: ".html"
2106   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2107   data:
2108     "plot-vpp-throughput-latency"
2109   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2110   parameters:
2111   - "throughput"
2112   - "parent"
2113   traces:
2114     hoverinfo: "x+y"
2115     boxpoints: "outliers"
2116     whiskerwidth: 0
2117   layout:
2118     title: "64B-2t2c-.*vhost.*-pdrdisc"
2119     layout:
2120       "plot-throughput"
2121
2122 # VPP VM VHOST SELECTION
2123 -
2124   type: "plot"
2125   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2126   algorithm: "plot_performance_box"
2127   output-file-type: ".html"
2128   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2129   data:
2130     "plot-vpp-throughput-latency"
2131   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2132   parameters:
2133   - "throughput"
2134   - "parent"
2135   traces:
2136     hoverinfo: "x+y"
2137     boxpoints: "outliers"
2138     whiskerwidth: 0
2139   layout:
2140     title: "64B-1t1c-.*vhost.*-ndrdisc"
2141     layout:
2142       "plot-throughput"
2143
2144 -
2145   type: "plot"
2146   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2147   algorithm: "plot_performance_box"
2148   output-file-type: ".html"
2149   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2150   data:
2151     "plot-vpp-throughput-latency"
2152   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2153   parameters:
2154   - "throughput"
2155   - "parent"
2156   traces:
2157     hoverinfo: "x+y"
2158     boxpoints: "outliers"
2159     whiskerwidth: 0
2160   layout:
2161     title: "64B-2t2c-.*vhost.*-ndrdisc"
2162     layout:
2163       "plot-throughput"
2164
2165 -
2166   type: "plot"
2167   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2168   algorithm: "plot_performance_box"
2169   output-file-type: ".html"
2170   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2171   data:
2172     "plot-vpp-throughput-latency"
2173   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2174   parameters:
2175   - "throughput"
2176   - "parent"
2177   traces:
2178     hoverinfo: "x+y"
2179     boxpoints: "outliers"
2180     whiskerwidth: 0
2181   layout:
2182     title: "64B-1t1c-.*vhost.*-pdrdisc"
2183     layout:
2184       "plot-throughput"
2185
2186 -
2187   type: "plot"
2188   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2189   algorithm: "plot_performance_box"
2190   output-file-type: ".html"
2191   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2192   data:
2193     "plot-vpp-throughput-latency"
2194   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2195   parameters:
2196   - "throughput"
2197   - "parent"
2198   traces:
2199     hoverinfo: "x+y"
2200     boxpoints: "outliers"
2201     whiskerwidth: 0
2202   layout:
2203     title: "64B-2t2c-.*vhost.*-pdrdisc"
2204     layout:
2205       "plot-throughput"
2206
2207 # VPP CRYPTO
2208 -
2209   type: "plot"
2210   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2211   algorithm: "plot_performance_box"
2212   output-file-type: ".html"
2213   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2214   data:
2215     "plot-vpp-throughput-latency"
2216   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2217   parameters:
2218   - "throughput"
2219   - "parent"
2220   traces:
2221     hoverinfo: "x+y"
2222     boxpoints: "outliers"
2223     whiskerwidth: 0
2224   layout:
2225     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2226     layout:
2227       "plot-throughput"
2228
2229 -
2230   type: "plot"
2231   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2232   algorithm: "plot_performance_box"
2233   output-file-type: ".html"
2234   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2235   data:
2236     "plot-vpp-throughput-latency"
2237   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2238   parameters:
2239   - "throughput"
2240   - "parent"
2241   traces:
2242     hoverinfo: "x+y"
2243     boxpoints: "outliers"
2244     whiskerwidth: 0
2245   layout:
2246     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2247     layout:
2248       "plot-throughput"
2249
2250 -
2251   type: "plot"
2252   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2253   algorithm: "plot_performance_box"
2254   output-file-type: ".html"
2255   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2256   data:
2257     "plot-vpp-throughput-latency"
2258   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2259   parameters:
2260   - "throughput"
2261   - "parent"
2262   traces:
2263     hoverinfo: "x+y"
2264     boxpoints: "outliers"
2265     whiskerwidth: 0
2266   layout:
2267     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2268     layout:
2269       "plot-throughput"
2270
2271 -
2272   type: "plot"
2273   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2274   algorithm: "plot_performance_box"
2275   output-file-type: ".html"
2276   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2277   data:
2278     "plot-vpp-throughput-latency"
2279   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2280   parameters:
2281   - "throughput"
2282   - "parent"
2283   traces:
2284     hoverinfo: "x+y"
2285     boxpoints: "outliers"
2286     whiskerwidth: 0
2287   layout:
2288     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2289     layout:
2290       "plot-throughput"
2291
2292 # DPDK
2293 -
2294   type: "plot"
2295   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2296   algorithm: "plot_performance_box"
2297   output-file-type: ".html"
2298   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2299   data:
2300     "plot-dpdk-throughput-latency"
2301   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2302   parameters:
2303   - "throughput"
2304   - "parent"
2305   traces:
2306     hoverinfo: "x+y"
2307     boxpoints: "outliers"
2308     whiskerwidth: 0
2309   layout:
2310     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2311     layout:
2312       "plot-throughput"
2313
2314 -
2315   type: "plot"
2316   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2317   algorithm: "plot_performance_box"
2318   output-file-type: ".html"
2319   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2320   data:
2321     "plot-dpdk-throughput-latency"
2322   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2323   parameters:
2324   - "throughput"
2325   - "parent"
2326   traces:
2327     hoverinfo: "x+y"
2328     boxpoints: "outliers"
2329     whiskerwidth: 0
2330   layout:
2331     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2332     layout:
2333       "plot-throughput"
2334
2335 -
2336   type: "plot"
2337   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2338   algorithm: "plot_performance_box"
2339   output-file-type: ".html"
2340   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2341   data:
2342     "plot-dpdk-throughput-latency"
2343   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2344   parameters:
2345   - "throughput"
2346   - "parent"
2347   traces:
2348     hoverinfo: "x+y"
2349     boxpoints: "outliers"
2350     whiskerwidth: 0
2351   layout:
2352     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2353     xaxis:
2354       autorange: True
2355       autotick: False
2356       fixedrange: False
2357       gridcolor: "rgb(238, 238, 238)"
2358       linecolor: "rgb(238, 238, 238)"
2359       linewidth: 1
2360       showgrid: True
2361       showline: True
2362       showticklabels: True
2363       tickcolor: "rgb(238, 238, 238)"
2364       tickmode: "linear"
2365       title: "Indexed Test Cases"
2366       zeroline: False
2367     yaxis:
2368       gridcolor: "rgb(238, 238, 238)'"
2369       hoverformat: ".4s"
2370       linecolor: "rgb(238, 238, 238)"
2371       linewidth: 1
2372       range: [2000000, 12000000]
2373       showgrid: True
2374       showline: True
2375       showticklabels: True
2376       tickcolor: "rgb(238, 238, 238)"
2377       title: "Packets Per Second [pps]"
2378       zeroline: False
2379     boxmode: "group"
2380     boxgroupgap: 0.5
2381     autosize: False
2382     margin:
2383       t: 50
2384       b: 20
2385       l: 50
2386       r: 20
2387     showlegend: True
2388     legend:
2389       orientation: "h"
2390     width: 700
2391     height: 1000
2392
2393 -
2394   type: "plot"
2395   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2396   algorithm: "plot_performance_box"
2397   output-file-type: ".html"
2398   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2399   data:
2400     "plot-dpdk-throughput-latency"
2401   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2402   parameters:
2403   - "throughput"
2404   - "parent"
2405   traces:
2406     hoverinfo: "x+y"
2407     boxpoints: "outliers"
2408     whiskerwidth: 0
2409   layout:
2410     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2411     xaxis:
2412       autorange: True
2413       autotick: False
2414       fixedrange: False
2415       gridcolor: "rgb(238, 238, 238)"
2416       linecolor: "rgb(238, 238, 238)"
2417       linewidth: 1
2418       showgrid: True
2419       showline: True
2420       showticklabels: True
2421       tickcolor: "rgb(238, 238, 238)"
2422       tickmode: "linear"
2423       title: "Indexed Test Cases"
2424       zeroline: False
2425     yaxis:
2426       gridcolor: "rgb(238, 238, 238)'"
2427       hoverformat: ".4s"
2428       linecolor: "rgb(238, 238, 238)"
2429       linewidth: 1
2430       range: [2000000, 12000000]
2431       showgrid: True
2432       showline: True
2433       showticklabels: True
2434       tickcolor: "rgb(238, 238, 238)"
2435       title: "Packets Per Second [pps]"
2436       zeroline: False
2437     boxmode: "group"
2438     boxgroupgap: 0.5
2439     autosize: False
2440     margin:
2441       t: 50
2442       b: 20
2443       l: 50
2444       r: 20
2445     showlegend: True
2446     legend:
2447       orientation: "h"
2448     width: 700
2449     height: 1000
2450
2451 -
2452   type: "plot"
2453   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2454   algorithm: "plot_performance_box"
2455   output-file-type: ".html"
2456   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2457   data:
2458     "plot-dpdk-throughput-latency"
2459   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2460   parameters:
2461   - "throughput"
2462   - "parent"
2463   traces:
2464     hoverinfo: "x+y"
2465     boxpoints: "outliers"
2466     whiskerwidth: 0
2467   layout:
2468     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2469     layout:
2470       "plot-throughput"
2471
2472 -
2473   type: "plot"
2474   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2475   algorithm: "plot_performance_box"
2476   output-file-type: ".html"
2477   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2478   data:
2479     "plot-dpdk-throughput-latency"
2480   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2481   parameters:
2482   - "throughput"
2483   - "parent"
2484   traces:
2485     hoverinfo: "x+y"
2486     boxpoints: "outliers"
2487     whiskerwidth: 0
2488   layout:
2489     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2490     layout:
2491       "plot-throughput"
2492
2493 -
2494   type: "plot"
2495   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2496   algorithm: "plot_performance_box"
2497   output-file-type: ".html"
2498   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2499   data:
2500     "plot-dpdk-throughput-latency"
2501   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2502   parameters:
2503   - "throughput"
2504   - "parent"
2505   traces:
2506     hoverinfo: "x+y"
2507     boxpoints: "outliers"
2508     whiskerwidth: 0
2509   layout:
2510     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2511     xaxis:
2512       autorange: True
2513       autotick: False
2514       fixedrange: False
2515       gridcolor: "rgb(238, 238, 238)"
2516       linecolor: "rgb(238, 238, 238)"
2517       linewidth: 1
2518       showgrid: True
2519       showline: True
2520       showticklabels: True
2521       tickcolor: "rgb(238, 238, 238)"
2522       tickmode: "linear"
2523       title: "Indexed Test Cases"
2524       zeroline: False
2525     yaxis:
2526       gridcolor: "rgb(238, 238, 238)'"
2527       hoverformat: ".4s"
2528       linecolor: "rgb(238, 238, 238)"
2529       linewidth: 1
2530       range: [20000000, 30000000]
2531       showgrid: True
2532       showline: True
2533       showticklabels: True
2534       tickcolor: "rgb(238, 238, 238)"
2535       title: "Packets Per Second [pps]"
2536       zeroline: False
2537     boxmode: "group"
2538     boxgroupgap: 0.5
2539     autosize: False
2540     margin:
2541       t: 50
2542       b: 20
2543       l: 50
2544       r: 20
2545     showlegend: True
2546     legend:
2547       orientation: "h"
2548     width: 700
2549     height: 1000
2550
2551 -
2552   type: "plot"
2553   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2554   algorithm: "plot_performance_box"
2555   output-file-type: ".html"
2556   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2557   data:
2558     "plot-dpdk-throughput-latency"
2559   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2560   parameters:
2561   - "throughput"
2562   - "parent"
2563   traces:
2564     hoverinfo: "x+y"
2565     boxpoints: "outliers"
2566     whiskerwidth: 0
2567   layout:
2568     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2569     xaxis:
2570       autorange: True
2571       autotick: False
2572       fixedrange: False
2573       gridcolor: "rgb(238, 238, 238)"
2574       linecolor: "rgb(238, 238, 238)"
2575       linewidth: 1
2576       showgrid: True
2577       showline: True
2578       showticklabels: True
2579       tickcolor: "rgb(238, 238, 238)"
2580       tickmode: "linear"
2581       title: "Indexed Test Cases"
2582       zeroline: False
2583     yaxis:
2584       gridcolor: "rgb(238, 238, 238)'"
2585       hoverformat: ".4s"
2586       linecolor: "rgb(238, 238, 238)"
2587       linewidth: 1
2588       range: [20000000, 30000000]
2589       showgrid: True
2590       showline: True
2591       showticklabels: True
2592       tickcolor: "rgb(238, 238, 238)"
2593       title: "Packets Per Second [pps]"
2594       zeroline: False
2595     boxmode: "group"
2596     boxgroupgap: 0.5
2597     autosize: False
2598     margin:
2599       t: 50
2600       b: 20
2601       l: 50
2602       r: 20
2603     showlegend: True
2604     legend:
2605       orientation: "h"
2606     width: 700
2607     height: 1000
2608
2609 # Plot latency
2610
2611 # VPP L2 sel1
2612 -
2613   type: "plot"
2614   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2615   algorithm: "plot_latency_box"
2616   output-file-type: ".html"
2617   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2618   data:
2619     "plot-vpp-throughput-latency"
2620   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2621   parameters:
2622   - "latency"
2623   - "parent"
2624   traces:
2625     boxmean: False
2626   layout:
2627     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2628     layout:
2629       "plot-latency"
2630
2631 -
2632   type: "plot"
2633   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2634   algorithm: "plot_latency_box"
2635   output-file-type: ".html"
2636   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2637   data:
2638     "plot-vpp-throughput-latency"
2639   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2640   parameters:
2641   - "latency"
2642   - "parent"
2643   traces:
2644     boxmean: False
2645   layout:
2646     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2647     layout:
2648       "plot-latency"
2649
2650 # VPP L2 sel2
2651 -
2652   type: "plot"
2653   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2654   algorithm: "plot_latency_box"
2655   output-file-type: ".html"
2656   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2657   data:
2658     "plot-vpp-throughput-latency"
2659   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2660   parameters:
2661   - "latency"
2662   - "parent"
2663   traces:
2664     boxmean: False
2665   layout:
2666     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2667     layout:
2668       "plot-latency"
2669
2670 -
2671   type: "plot"
2672   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2673   algorithm: "plot_latency_box"
2674   output-file-type: ".html"
2675   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2676   data:
2677     "plot-vpp-throughput-latency"
2678   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2679   parameters:
2680   - "latency"
2681   - "parent"
2682   traces:
2683     boxmean: False
2684   layout:
2685     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2686     layout:
2687       "plot-latency"
2688
2689 # VPP IP4
2690 -
2691   type: "plot"
2692   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2693   algorithm: "plot_latency_box"
2694   output-file-type: ".html"
2695   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2696   data:
2697     "plot-vpp-throughput-latency"
2698   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2699   parameters:
2700   - "latency"
2701   - "parent"
2702   traces:
2703     boxmean: False
2704   layout:
2705     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2706     layout:
2707       "plot-latency"
2708
2709 -
2710   type: "plot"
2711   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2712   algorithm: "plot_latency_box"
2713   output-file-type: ".html"
2714   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2715   data:
2716     "plot-vpp-throughput-latency"
2717   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2718   parameters:
2719   - "latency"
2720   - "parent"
2721   traces:
2722     boxmean: False
2723   layout:
2724     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2725     layout:
2726       "plot-latency"
2727
2728 # VPP IP6
2729 -
2730   type: "plot"
2731   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2732   algorithm: "plot_latency_box"
2733   output-file-type: ".html"
2734   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2735   data:
2736     "plot-vpp-throughput-latency"
2737   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2738   parameters:
2739   - "latency"
2740   - "parent"
2741   traces:
2742     boxmean: False
2743   layout:
2744     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2745     layout:
2746       "plot-latency"
2747
2748 -
2749   type: "plot"
2750   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2751   algorithm: "plot_latency_box"
2752   output-file-type: ".html"
2753   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2754   data:
2755     "plot-vpp-throughput-latency"
2756   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2757   parameters:
2758   - "latency"
2759   - "parent"
2760   traces:
2761     boxmean: False
2762   layout:
2763     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2764     layout:
2765       "plot-latency"
2766
2767 # VPP IP4_overlay
2768 -
2769   type: "plot"
2770   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2771   algorithm: "plot_latency_box"
2772   output-file-type: ".html"
2773   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2774   data:
2775     "plot-vpp-throughput-latency"
2776   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2777   parameters:
2778   - "latency"
2779   - "parent"
2780   traces:
2781     boxmean: False
2782   layout:
2783     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2784     layout:
2785       "plot-latency"
2786
2787 -
2788   type: "plot"
2789   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2790   algorithm: "plot_latency_box"
2791   output-file-type: ".html"
2792   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2793   data:
2794     "plot-vpp-throughput-latency"
2795   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2796   parameters:
2797   - "latency"
2798   - "parent"
2799   traces:
2800     boxmean: False
2801   layout:
2802     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2803     layout:
2804       "plot-latency"
2805
2806 # VPP IP6_overlay
2807 -
2808   type: "plot"
2809   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2810   algorithm: "plot_latency_box"
2811   output-file-type: ".html"
2812   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2813   data:
2814     "plot-vpp-throughput-latency"
2815   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2816   parameters:
2817   - "latency"
2818   - "parent"
2819   traces:
2820     boxmean: False
2821   layout:
2822     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2823     layout:
2824       "plot-latency"
2825
2826 -
2827   type: "plot"
2828   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2829   algorithm: "plot_latency_box"
2830   output-file-type: ".html"
2831   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2832   data:
2833     "plot-vpp-throughput-latency"
2834   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2835   parameters:
2836   - "latency"
2837   - "parent"
2838   traces:
2839     boxmean: False
2840   layout:
2841     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2842     layout:
2843       "plot-latency"
2844
2845 # VPP VM VHOST
2846 -
2847   type: "plot"
2848   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2849   algorithm: "plot_latency_box"
2850   output-file-type: ".html"
2851   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2852   data:
2853     "plot-vpp-throughput-latency"
2854   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2855   parameters:
2856   - "latency"
2857   - "parent"
2858   traces:
2859     boxmean: False
2860   layout:
2861     title: "64B-1t1c-.*vhost.*-ndrdisc"
2862     layout:
2863       "plot-latency"
2864
2865 -
2866   type: "plot"
2867   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2868   algorithm: "plot_latency_box"
2869   output-file-type: ".html"
2870   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2871   data:
2872     "plot-vpp-throughput-latency"
2873   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2874   parameters:
2875   - "latency"
2876   - "parent"
2877   traces:
2878     boxmean: False
2879   layout:
2880     title: "64B-2t2c-.*vhost.*-ndrdisc"
2881     layout:
2882       "plot-latency"
2883
2884 # VPP VM VHOST selection
2885 -
2886   type: "plot"
2887   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2888   algorithm: "plot_latency_box"
2889   output-file-type: ".html"
2890   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2891   data:
2892     "plot-vpp-throughput-latency"
2893   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2894   parameters:
2895   - "latency"
2896   - "parent"
2897   traces:
2898     boxmean: False
2899   layout:
2900     title: "64B-1t1c-.*vhost.*-ndrdisc"
2901     layout:
2902       "plot-latency"
2903
2904 -
2905   type: "plot"
2906   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2907   algorithm: "plot_latency_box"
2908   output-file-type: ".html"
2909   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2910   data:
2911     "plot-vpp-throughput-latency"
2912   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2913   parameters:
2914   - "latency"
2915   - "parent"
2916   traces:
2917     boxmean: False
2918   layout:
2919     title: "64B-2t2c-.*vhost.*-ndrdisc"
2920     layout:
2921       "plot-latency"
2922
2923 # VPP CRYPTO
2924 -
2925   type: "plot"
2926   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2927   algorithm: "plot_latency_box"
2928   output-file-type: ".html"
2929   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2930   data:
2931     "plot-vpp-throughput-latency"
2932   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2933   parameters:
2934   - "latency"
2935   - "parent"
2936   traces:
2937     boxmean: False
2938   layout:
2939     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2940     layout:
2941       "plot-latency"
2942
2943 -
2944   type: "plot"
2945   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2946   algorithm: "plot_latency_box"
2947   output-file-type: ".html"
2948   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2949   data:
2950     "plot-vpp-throughput-latency"
2951   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2952   parameters:
2953   - "latency"
2954   - "parent"
2955   traces:
2956     boxmean: False
2957   layout:
2958     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2959     layout:
2960       "plot-latency"
2961
2962 # DPDK
2963 -
2964   type: "plot"
2965   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2966   algorithm: "plot_latency_box"
2967   output-file-type: ".html"
2968   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2969   data:
2970     "plot-dpdk-throughput-latency"
2971   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2972   parameters:
2973   - "latency"
2974   - "parent"
2975   traces:
2976     boxmean: False
2977   layout:
2978     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2979     layout:
2980       "plot-latency"
2981
2982 -
2983   type: "plot"
2984   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2985   algorithm: "plot_latency_box"
2986   output-file-type: ".html"
2987   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2988   data:
2989     "plot-dpdk-throughput-latency"
2990   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2991   parameters:
2992   - "latency"
2993   - "parent"
2994   traces:
2995     boxmean: False
2996   layout:
2997     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2998     layout:
2999       "plot-latency"
3000
3001 -
3002   type: "plot"
3003   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3004   algorithm: "plot_latency_box"
3005   output-file-type: ".html"
3006   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3007   data:
3008     "plot-dpdk-throughput-latency"
3009   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3010   parameters:
3011   - "latency"
3012   - "parent"
3013   traces:
3014     boxmean: False
3015   layout:
3016     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3017     layout:
3018       "plot-latency"
3019
3020 -
3021   type: "plot"
3022   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3023   algorithm: "plot_latency_box"
3024   output-file-type: ".html"
3025   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3026   data:
3027     "plot-dpdk-throughput-latency"
3028   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3029   parameters:
3030   - "latency"
3031   - "parent"
3032   traces:
3033     boxmean: False
3034   layout:
3035     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3036     layout:
3037       "plot-latency"
3038
3039 # Ligato - Throughput
3040
3041 # Container memif
3042 -
3043   type: "plot"
3044   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3045   algorithm: "plot_performance_box"
3046   output-file-type: ".html"
3047   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3048   data:
3049     "plot-vpp-throughput-latency"
3050   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3051   parameters:
3052   - "throughput"
3053   - "parent"
3054   traces:
3055     hoverinfo: "x+y"
3056     boxpoints: "outliers"
3057     whiskerwidth: 0
3058   layout:
3059     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3060     xaxis:
3061       autorange: True
3062       autotick: False
3063       fixedrange: False
3064       gridcolor: "rgb(238, 238, 238)"
3065       linecolor: "rgb(238, 238, 238)"
3066       linewidth: 1
3067       showgrid: True
3068       showline: True
3069       showticklabels: True
3070       tickcolor: "rgb(238, 238, 238)"
3071       tickmode: "linear"
3072       title: "Indexed Test Cases"
3073       zeroline: False
3074     yaxis:
3075       gridcolor: "rgb(238, 238, 238)'"
3076       hoverformat: ".4s"
3077       linecolor: "rgb(238, 238, 238)"
3078       linewidth: 1
3079       range: [0, 4500000]
3080       showgrid: True
3081       showline: True
3082       showticklabels: True
3083       tickcolor: "rgb(238, 238, 238)"
3084       title: "Packets Per Second [pps]"
3085       zeroline: False
3086     boxmode: "group"
3087     boxgroupgap: 0.5
3088     autosize: False
3089     margin:
3090       t: 50
3091       b: 20
3092       l: 50
3093       r: 20
3094     showlegend: True
3095     legend:
3096       orientation: "h"
3097     width: 700
3098     height: 1000
3099
3100 -
3101   type: "plot"
3102   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3103   algorithm: "plot_performance_box"
3104   output-file-type: ".html"
3105   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3106   data:
3107     "plot-vpp-throughput-latency"
3108   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3109   parameters:
3110   - "throughput"
3111   - "parent"
3112   traces:
3113     hoverinfo: "x+y"
3114     boxpoints: "outliers"
3115     whiskerwidth: 0
3116   layout:
3117     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3118     xaxis:
3119       autorange: True
3120       autotick: False
3121       fixedrange: False
3122       gridcolor: "rgb(238, 238, 238)"
3123       linecolor: "rgb(238, 238, 238)"
3124       linewidth: 1
3125       showgrid: True
3126       showline: True
3127       showticklabels: True
3128       tickcolor: "rgb(238, 238, 238)"
3129       tickmode: "linear"
3130       title: "Indexed Test Cases"
3131       zeroline: False
3132     yaxis:
3133       gridcolor: "rgb(238, 238, 238)'"
3134       hoverformat: ".4s"
3135       linecolor: "rgb(238, 238, 238)"
3136       linewidth: 1
3137       range: [0, 8000000]
3138       showgrid: True
3139       showline: True
3140       showticklabels: True
3141       tickcolor: "rgb(238, 238, 238)"
3142       title: "Packets Per Second [pps]"
3143       zeroline: False
3144     boxmode: "group"
3145     boxgroupgap: 0.5
3146     autosize: False
3147     margin:
3148       t: 50
3149       b: 20
3150       l: 50
3151       r: 20
3152     showlegend: True
3153     legend:
3154       orientation: "h"
3155     width: 700
3156     height: 1000
3157
3158 -
3159   type: "plot"
3160   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3161   algorithm: "plot_performance_box"
3162   output-file-type: ".html"
3163   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3164   data:
3165     "plot-vpp-throughput-latency"
3166   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3167   parameters:
3168   - "throughput"
3169   - "parent"
3170   traces:
3171     hoverinfo: "x+y"
3172     boxpoints: "outliers"
3173     whiskerwidth: 0
3174   layout:
3175     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3176     xaxis:
3177       autorange: True
3178       autotick: False
3179       fixedrange: False
3180       gridcolor: "rgb(238, 238, 238)"
3181       linecolor: "rgb(238, 238, 238)"
3182       linewidth: 1
3183       showgrid: True
3184       showline: True
3185       showticklabels: True
3186       tickcolor: "rgb(238, 238, 238)"
3187       tickmode: "linear"
3188       title: "Indexed Test Cases"
3189       zeroline: False
3190     yaxis:
3191       gridcolor: "rgb(238, 238, 238)'"
3192       hoverformat: ".4s"
3193       linecolor: "rgb(238, 238, 238)"
3194       linewidth: 1
3195       range: [0, 4500000]
3196       showgrid: True
3197       showline: True
3198       showticklabels: True
3199       tickcolor: "rgb(238, 238, 238)"
3200       title: "Packets Per Second [pps]"
3201       zeroline: False
3202     boxmode: "group"
3203     boxgroupgap: 0.5
3204     autosize: False
3205     margin:
3206       t: 50
3207       b: 20
3208       l: 50
3209       r: 20
3210     showlegend: True
3211     legend:
3212       orientation: "h"
3213     width: 700
3214     height: 1000
3215
3216 -
3217   type: "plot"
3218   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3219   algorithm: "plot_performance_box"
3220   output-file-type: ".html"
3221   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3222   data:
3223     "plot-vpp-throughput-latency"
3224   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3225   parameters:
3226   - "throughput"
3227   - "parent"
3228   traces:
3229     hoverinfo: "x+y"
3230     boxpoints: "outliers"
3231     whiskerwidth: 0
3232   layout:
3233     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3234     xaxis:
3235       autorange: True
3236       autotick: False
3237       fixedrange: False
3238       gridcolor: "rgb(238, 238, 238)"
3239       linecolor: "rgb(238, 238, 238)"
3240       linewidth: 1
3241       showgrid: True
3242       showline: True
3243       showticklabels: True
3244       tickcolor: "rgb(238, 238, 238)"
3245       tickmode: "linear"
3246       title: "Indexed Test Cases"
3247       zeroline: False
3248     yaxis:
3249       gridcolor: "rgb(238, 238, 238)'"
3250       hoverformat: ".4s"
3251       linecolor: "rgb(238, 238, 238)"
3252       linewidth: 1
3253       range: [0, 8000000]
3254       showgrid: True
3255       showline: True
3256       showticklabels: True
3257       tickcolor: "rgb(238, 238, 238)"
3258       title: "Packets Per Second [pps]"
3259       zeroline: False
3260     boxmode: "group"
3261     boxgroupgap: 0.5
3262     autosize: False
3263     margin:
3264       t: 50
3265       b: 20
3266       l: 50
3267       r: 20
3268     showlegend: True
3269     legend:
3270       orientation: "h"
3271     width: 700
3272     height: 1000
3273
3274 # Container orchestrated
3275 -
3276   type: "plot"
3277   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3278   algorithm: "plot_performance_box"
3279   output-file-type: ".html"
3280   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3281   data:
3282     "plot-ligato-throughput-latency"
3283   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3284   parameters:
3285   - "throughput"
3286   - "parent"
3287   traces:
3288     hoverinfo: "x+y"
3289     boxpoints: "outliers"
3290     whiskerwidth: 0
3291   layout:
3292     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3293     layout:
3294       "plot-throughput"
3295
3296 -
3297   type: "plot"
3298   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3299   algorithm: "plot_performance_box"
3300   output-file-type: ".html"
3301   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3302   data:
3303     "plot-ligato-throughput-latency"
3304   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3305   parameters:
3306   - "throughput"
3307   - "parent"
3308   traces:
3309     hoverinfo: "x+y"
3310     boxpoints: "outliers"
3311     whiskerwidth: 0
3312   layout:
3313     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3314     layout:
3315       "plot-throughput"
3316
3317 -
3318   type: "plot"
3319   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3320   algorithm: "plot_performance_box"
3321   output-file-type: ".html"
3322   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3323   data:
3324     "plot-ligato-throughput-latency"
3325   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3326   parameters:
3327   - "throughput"
3328   - "parent"
3329   traces:
3330     hoverinfo: "x+y"
3331     boxpoints: "outliers"
3332     whiskerwidth: 0
3333   layout:
3334     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3335     layout:
3336       "plot-throughput"
3337
3338 -
3339   type: "plot"
3340   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3341   algorithm: "plot_performance_box"
3342   output-file-type: ".html"
3343   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3344   data:
3345     "plot-ligato-throughput-latency"
3346   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3347   parameters:
3348   - "throughput"
3349   - "parent"
3350   traces:
3351     hoverinfo: "x+y"
3352     boxpoints: "outliers"
3353     whiskerwidth: 0
3354   layout:
3355     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3356     layout:
3357       "plot-throughput"
3358
3359 # Ligato - Latency
3360
3361 # Container memif
3362 -
3363   type: "plot"
3364   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3365   algorithm: "plot_latency_box"
3366   output-file-type: ".html"
3367   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3368   data:
3369     "plot-vpp-throughput-latency"
3370   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3371   parameters:
3372   - "latency"
3373   - "parent"
3374   traces:
3375     boxmean: False
3376   layout:
3377     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3378     layout:
3379       "plot-latency"
3380
3381 -
3382   type: "plot"
3383   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3384   algorithm: "plot_latency_box"
3385   output-file-type: ".html"
3386   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3387   data:
3388     "plot-vpp-throughput-latency"
3389   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3390   parameters:
3391   - "latency"
3392   - "parent"
3393   traces:
3394     boxmean: False
3395   layout:
3396     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3397     layout:
3398       "plot-latency"
3399
3400 # Container orchestrated
3401 -
3402   type: "plot"
3403   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3404   algorithm: "plot_latency_box"
3405   output-file-type: ".html"
3406   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3407   data:
3408     "plot-ligato-throughput-latency"
3409   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3410   parameters:
3411   - "latency"
3412   - "parent"
3413   traces:
3414     boxmean: False
3415   layout:
3416     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3417     layout:
3418       "plot-latency"
3419
3420 -
3421   type: "plot"
3422   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3423   algorithm: "plot_latency_box"
3424   output-file-type: ".html"
3425   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3426   data:
3427     "plot-ligato-throughput-latency"
3428   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3429   parameters:
3430   - "latency"
3431   - "parent"
3432   traces:
3433     boxmean: False
3434   layout:
3435     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3436     layout:
3437       "plot-latency"

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.