271a5e2a2586be11d36a94341e248553de42bb3c
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64     URL[NEXUS]: "https://docs.fd.io/csit"
65     DIR[NEXUS]: "report/_static/archive"
66
67   make-dirs:
68   # List the directories which are created while preparing the environment.
69   # All directories MUST be defined in "paths" section.
70   - "DIR[WORKING,DATA]"
71   - "DIR[STATIC,VPP]"
72   - "DIR[STATIC,DPDK]"
73   - "DIR[STATIC,ARCH]"
74   - "DIR[BUILD,LATEX]"
75   - "DIR[WORKING,SRC]"
76   - "DIR[WORKING,SRC,STATIC]"
77
78   remove-dirs:
79   # List the directories which are deleted while cleaning the environment.
80   # All directories MUST be defined in "paths" section.
81   #- "DIR[BUILD,HTML]"
82
83   build-dirs:
84   # List the directories where the results (build) is stored.
85   # All directories MUST be defined in "paths" section.
86   - "DIR[BUILD,HTML]"
87   - "DIR[BUILD,LATEX]"
88
89 -
90   type: "configuration"
91   data-sets:
92 # TODO: Add the data sources
93     plot-vpp-http-server-performance:
94       csit-vpp-perf-1801-all:
95       - 157
96       - 158
97       - 159
98       - 160
99       - 161
100       - 164
101       - 165
102       - 166
103       - 169
104       - 170
105 # TODO: Add the data sources
106 #    vpp-meltdown-impact:
107 #      csit-vpp-perf-1707-all:
108 #      - 9
109 #      - 10
110 #      - 13
111 #      csit-vpp-perf-1710-all:
112 #      - 11l
113 #      - 12
114 #      - 13
115 # TODO: Add the data sources
116 #    vpp-spectre-impact:
117 #      csit-vpp-perf-1707-all:
118 #      - 9
119 #      - 10
120 #      - 13
121 #      csit-vpp-perf-1710-all:
122 #      - 11
123 #      - 12
124 #      - 13
125     vpp-performance-changes:
126       csit-vpp-perf-1710-all:
127       - 11
128       - 12
129       - 13
130       - 14
131       - 15
132       - 16
133       - 17
134       - 18
135       - 19
136       - 20
137 # TODO: Add the data sources
138       csit-vpp-perf-1801-all:
139       - 124  # sel
140       - 127  # sel
141       - 128  # sel
142       - 141  # sel
143       - 142  # sel
144       - 143  # sel
145       - 145  # sel
146       - 146  # sel
147       - 162  # sel
148       - 163  # sel
149 #      - 167  # sel
150 #      - 168  # sel
151 # TODO: Add the data sources
152     plot-throughput-speedup-analysis:
153       csit-vpp-perf-1801-all:
154       - 124  # sel
155       - 127  # sel
156       - 128  # sel
157       - 141  # sel
158       - 142  # sel
159       - 143  # sel
160       - 145  # sel
161       - 146  # sel
162       - 162  # sel
163       - 163  # sel
164 #      - 167  # sel
165 #      - 168  # sel
166 #    performance-improvements:
167 #      csit-vpp-perf-1707-all:
168 #      - 9
169 #      - 10
170 #      - 13
171 #      - 14
172 #      - 15
173 #      - 16
174 #      - 17
175 #      - 18
176 #      - 19
177 #      - 21
178 #      csit-vpp-perf-1710-all:
179 #      - 11
180 #      - 12
181 #      - 13
182 #      - 14
183 #      - 15
184 #      - 16
185 #      - 17
186 #      - 18
187 #      - 19
188 #      - 20
189 #      csit-vpp-perf-1801-all:
190 #      - 124
191 #      - 127
192 #      - 128
193 #      csit-ligato-perf-1710-all:
194 #      - 5
195 #      - 7
196 #      - 8
197 #      - 9
198 #      - 10
199 #      - 11
200 #      - 12
201 #      - 13
202 #      - 16
203 #      - 17
204 #      csit-ligato-perf-1801-all:
205 #      - 16  # sel
206 #      - 17  # sel
207 #      - 18  # sel
208 #      - 19  # sel
209 #      - 20  # sel
210 #      - 21  # sel
211 #      - 22  # sel
212 #      - 23  # sel
213 #      - 24  # sel
214 # TODO: Add the data sources
215     vpp-perf-results:
216       csit-vpp-perf-1801-all:
217       - 122
218       - 126
219       - 129
220       - 140
221     vpp-func-results:
222       csit-vpp-functional-1801-ubuntu1604-virl:
223       - "lastSuccessfulBuild"
224 # TODO: Add the data sources
225     ligato-perf-results:
226       csit-ligato-perf-1801-all:
227       - 25  # full
228     dpdk-perf-results:
229       csit-dpdk-perf-1801-all:
230       - 12
231     hc-func-results:
232       csit-hc2vpp-verify-func-1801-ubuntu1604:
233       - "lastSuccessfulBuild"
234     nsh-func-results:
235       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
236       - 1
237 # TODO: Add the data sources
238     plot-vpp-throughput-latency:
239       csit-vpp-perf-1801-all:
240       - 124  # sel
241       - 127  # sel
242       - 128  # sel
243       - 141  # sel
244       - 142  # sel
245       - 143  # sel
246       - 145  # sel
247       - 146  # sel
248       - 162  # sel
249       - 163  # sel
250 #      - 167  # sel
251 #      - 168  # sel
252     plot-dpdk-throughput-latency:
253       csit-dpdk-perf-1801-all:
254       - 1
255       - 3
256       - 4
257       - 5
258       - 6
259       - 7
260       - 8
261       - 10
262       - 12
263 # TODO: Add the data sources
264     plot-ligato-throughput-latency:
265       csit-ligato-perf-1801-all:
266       - 16  # sel
267       - 17  # sel
268       - 18  # sel
269       - 19  # sel
270       - 20  # sel
271       - 21  # sel
272       - 22  # sel
273       - 23  # sel
274       - 24  # sel
275
276   plot-layouts:
277
278     plot-cps:
279       xaxis:
280         autorange: True
281         autotick: False
282         fixedrange: False
283         gridcolor: "rgb(238, 238, 238)"
284         linecolor: "rgb(238, 238, 238)"
285         linewidth: 1
286         showgrid: True
287         showline: True
288         showticklabels: True
289         tickcolor: "rgb(238, 238, 238)"
290         tickmode: "linear"
291         title: "Indexed Test Cases"
292         zeroline: False
293       yaxis:
294         gridcolor: "rgb(238, 238, 238)'"
295         hoverformat: ".4s"
296         linecolor: "rgb(238, 238, 238)"
297         linewidth: 1
298         range: []
299         rangemode: "tozero"
300         showgrid: True
301         showline: True
302         showticklabels: True
303         tickcolor: "rgb(238, 238, 238)"
304         title: "Connections Per Second [cps]"
305         zeroline: False
306       boxmode: "group"
307       boxgroupgap: 0.5
308       autosize: False
309       margin:
310         t: 50
311         b: 20
312         l: 50
313         r: 20
314       showlegend: True
315       legend:
316         orientation: "h"
317       width: 700
318       height: 1000
319
320     plot-rps:
321       xaxis:
322         autorange: True
323         autotick: False
324         fixedrange: False
325         gridcolor: "rgb(238, 238, 238)"
326         linecolor: "rgb(238, 238, 238)"
327         linewidth: 1
328         showgrid: True
329         showline: True
330         showticklabels: True
331         tickcolor: "rgb(238, 238, 238)"
332         tickmode: "linear"
333         title: "Indexed Test Cases"
334         zeroline: False
335       yaxis:
336         gridcolor: "rgb(238, 238, 238)'"
337         hoverformat: ".4s"
338         linecolor: "rgb(238, 238, 238)"
339         linewidth: 1
340         range: []
341         rangemode: "tozero"
342         showgrid: True
343         showline: True
344         showticklabels: True
345         tickcolor: "rgb(238, 238, 238)"
346         title: "Requests Per Second [rps]"
347         zeroline: False
348       boxmode: "group"
349       boxgroupgap: 0.5
350       autosize: False
351       margin:
352         t: 50
353         b: 20
354         l: 50
355         r: 20
356       showlegend: True
357       legend:
358         orientation: "h"
359       width: 700
360       height: 1000
361
362     plot-throughput:
363       xaxis:
364         autorange: True
365         autotick: False
366         fixedrange: False
367         gridcolor: "rgb(238, 238, 238)"
368         linecolor: "rgb(238, 238, 238)"
369         linewidth: 1
370         showgrid: True
371         showline: True
372         showticklabels: True
373         tickcolor: "rgb(238, 238, 238)"
374         tickmode: "linear"
375         title: "Indexed Test Cases"
376         zeroline: False
377       yaxis:
378         gridcolor: "rgb(238, 238, 238)'"
379         hoverformat: ".4s"
380         linecolor: "rgb(238, 238, 238)"
381         linewidth: 1
382         range: []
383         showgrid: True
384         showline: True
385         showticklabels: True
386         tickcolor: "rgb(238, 238, 238)"
387         title: "Packets Per Second [pps]"
388         zeroline: False
389       boxmode: "group"
390       boxgroupgap: 0.5
391       autosize: False
392       margin:
393         t: 50
394         b: 20
395         l: 50
396         r: 20
397       showlegend: True
398       legend:
399         orientation: "h"
400       width: 700
401       height: 1000
402
403     plot-latency:
404       xaxis:
405         autorange: True
406         autotick: False
407         fixedrange: False
408         gridcolor: "rgb(238, 238, 238)"
409         linecolor: "rgb(238, 238, 238)"
410         linewidth: 1
411         showgrid: True
412         showline: True
413         showticklabels: True
414         tickcolor: "rgb(238, 238, 238)"
415         tickmode: "linear"
416         title: "Indexed Test Cases"
417         zeroline: False
418       yaxis:
419         gridcolor: "rgb(238, 238, 238)'"
420         hoverformat: ""
421         linecolor: "rgb(238, 238, 238)"
422         linewidth: 1
423         range: []
424         showgrid: True
425         showline: True
426         showticklabels: True
427         tickcolor: "rgb(238, 238, 238)"
428         title: "Latency min/avg/max [uSec]"
429         zeroline: False
430       boxmode: "group"
431       boxgroupgap: 0.5
432       autosize: False
433       margin:
434         t: 50
435         b: 20
436         l: 50
437         r: 20
438       showlegend: True
439       legend:
440         orientation: "h"
441       width: 700
442       height: 1000
443
444     plot-throughput-speedup-analysis:
445       xaxis:
446         autorange: True
447         autotick: False
448         fixedrange: False
449         gridcolor: "rgb(238, 238, 238)"
450         linecolor: "rgb(238, 238, 238)"
451         linewidth: 1
452         showgrid: True
453         showline: True
454         showticklabels: True
455         tickcolor: "rgb(238, 238, 238)"
456         tickmode: "linear"
457         tickangle: 270
458         zeroline: False
459       yaxis:
460         title: "Throughput speedup factor"
461         gridcolor: "rgb(238, 238, 238)"
462         hoverformat: ".4s"
463         linecolor: "rgb(238, 238, 238)"
464         linewidth: 1
465         range: []
466         showgrid: True
467         showline: True
468         showticklabels: True
469         tickcolor: "rgb(238, 238, 238)"
470         zeroline: False
471       legend:
472         orientation: "h"
473         xanchor: "center"
474         yanchor: "top"
475         x: 0.5
476         y: 1
477         bgcolor: "rgba(255, 255, 255, 0)"
478         bordercolor: "rgba(255, 255, 255, 0)"
479       barmode: "group"
480       bargap: 0.15
481       bargroupgap: 0.1
482       autosize: False
483       margin:
484           't': 50
485           'b': 200
486           'l': 50
487           'r': 20
488       showlegend: True
489       width: 700
490       height: 1000
491
492 -
493   type: "debug"
494   general:
495     input-format: "xml"  # zip or xml
496     extract: "robot-plugin/output.xml"  # Only for zip
497   builds:
498     # The files must be in the directory DIR[WORKING,DATA]
499     csit-vpp-perf-1801-all:
500     -
501       build: 1
502       file: "{DIR[WORKING,DATA]}/output.xml"
503     -
504       build: 2
505       file: "{DIR[WORKING,DATA]}/output.xml"
506     -
507       build: 3
508       file: "{DIR[WORKING,DATA]}/output.xml"
509     -
510       build: 4
511       file: "{DIR[WORKING,DATA]}/output.xml"
512
513 -
514   type: "static"
515   src-path: "{DIR[RST]}"
516   dst-path: "{DIR[WORKING,SRC]}"
517
518 -
519   type: "input"  # Ignored in debug mode
520   general:
521     file-name: "robot-plugin.zip"
522     file-format: ".zip"
523     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
524     extract: "robot-plugin/output.xml"
525   builds:
526 #    csit-vpp-perf-1707-all:
527 #    - 9
528 #    - 10
529 #    - 13
530 #    - 14
531 #    - 15
532 #    - 16
533 #    - 17
534 #    - 18
535 #    - 19
536 #    - 21
537     csit-vpp-perf-1710-all:
538     - 11
539     - 12
540     - 13
541     - 14
542     - 15
543     - 16
544     - 17
545     - 18
546     - 19
547     - 20
548 # TODO:
549     csit-vpp-perf-1801-all:
550     - 122  # full
551     - 126  # full
552     - 129  # full
553     - 140  # full
554     - 124  # sel
555     - 127  # sel
556     - 128  # sel
557     - 141  # sel
558     - 142  # sel
559     - 143  # sel
560     - 145  # sel
561     - 146  # sel
562     - 157  # wrk
563     - 158  # wrk
564     - 159  # wrk
565     - 160  # wrk
566     - 161  # wrk
567     - 162  # sel
568     - 163  # sel
569     - 164  # wrk
570     - 165  # wrk
571     - 166  # wrk
572 #    - 167  # sel
573 #    - 168  # sel
574     - 169  # wrk
575     - 170  # wrk
576     csit-ligato-perf-1710-all:
577     - 5
578     - 7
579     - 8
580     - 9
581     - 10
582     - 11
583     - 12
584     - 13
585     - 16
586     - 17
587     csit-dpdk-perf-1801-all:
588     - 1
589     - 4
590     - 5
591     - 7
592     - 8
593     - 10
594     - 12
595     - 16
596     - 17
597 # TODO:
598     csit-ligato-perf-1801-all:
599     - 16  # sel
600     - 17  # sel
601     - 18  # sel
602     - 19  # sel
603     - 20  # sel
604     - 21  # sel
605     - 22  # sel
606     - 23  # sel
607     - 24  # sel
608     - 25  # full
609     csit-dpdk-perf-1801-all:
610     - 1
611     - 3
612     - 4
613     - 5
614     - 6
615     - 7
616     - 8
617     - 9
618     - 10
619     - 12
620     csit-vpp-functional-1801-ubuntu1604-virl:
621     - lastSuccessfulBuild
622     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
623     - 1
624     csit-hc2vpp-verify-func-1801-ubuntu1604:
625     - lastSuccessfulBuild
626
627 -
628   type: "output"
629   format:
630     html:
631     - full
632     pdf:
633     - minimal
634
635 ################################################################################
636 ###                               T A B L E S                                ###
637 ################################################################################
638
639 #-
640 #  type: "table"
641 #  title: "Performance Impact of Meltdown Patches"
642 #  algorithm: "table_performance_comparison"
643 #  output-file-ext: ".csv"
644 ## TODO: specify dir
645 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
646 #  reference:
647 #    title: "No Meltdown"
648 ## TODO: specify data sources
649 #    data:
650 #      csit-vpp-perf-1707-all:
651 #      - 9
652 #      - 10
653 #      - 13
654 #  compare:
655 #    title: "Meltdown Patches Applied"
656 ## TODO: specify data sources
657 #    data:
658 #      csit-vpp-perf-1710-all:
659 #      - 11
660 #      - 12
661 #      - 13
662 #  data:
663 #    "vpp-meltdown-impact"
664 #  filter: "all"
665 #  parameters:
666 #  - "name"
667 #  - "parent"
668 #  - "throughput"
669 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
670 #  # to present all tests.
671 #  nr-of-tests-shown: 20
672 #
673 #-
674 #  type: "table"
675 #  title: "Performance Impact of Spectre Patches"
676 #  algorithm: "table_performance_comparison"
677 #  output-file-ext: ".csv"
678 ## TODO: specify dir
679 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
680 #  reference:
681 #    title: "No Spectre"
682 ## TODO: specify data sources
683 #    data:
684 #      csit-vpp-perf-1707-all:
685 #      - 9
686 #      - 10
687 #      - 13
688 #  compare:
689 #    title: "Spectre Patches Applied"
690 ## TODO: specify data sources
691 #    data:
692 #      csit-vpp-perf-1710-all:
693 #      - 11
694 #      - 12
695 #      - 13
696 #  data:
697 #    "vpp-spectre-impact"
698 #  filter: "all"
699 #  parameters:
700 #  - "name"
701 #  - "parent"
702 #  - "throughput"
703 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
704 #  # to present all tests.
705 #  nr-of-tests-shown: 20
706
707 -
708   type: "table"
709   title: "VPP Performance Changes"
710   algorithm: "table_performance_comparison"
711   output-file-ext: ".csv"
712 # TODO: specify dir
713   output-file: "{DIR[STATIC,VPP]}/performance-changes"
714   reference:
715     title: "Release 1710"
716 # TODO: specify data sources
717     data:
718       csit-vpp-perf-1710-all:
719       - 11
720       - 12
721       - 13
722       - 14
723       - 15
724       - 16
725       - 17
726       - 18
727       - 19
728       - 20
729   compare:
730     title: "Release 1801"
731 # TODO: specify data sources
732     data:
733       csit-vpp-perf-1801-all:
734       - 124  # sel
735       - 127  # sel
736       - 128  # sel
737       - 141  # sel
738       - 142  # sel
739       - 143  # sel
740       - 145  # sel
741       - 146  # sel
742   data: "vpp-performance-changes"
743   filter: "all"
744   parameters:
745   - "name"
746   - "parent"
747   - "throughput"
748   # Number of the best and the worst tests presented in the table. Use 0 (zero)
749   # to present all tests.
750   nr-of-tests-shown: 20
751   outlier-const: 1.5
752
753 #-
754 #  type: "table"
755 #  title: "Performance improvements"
756 #  algorithm: "table_performance_improvements"
757 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
758 #  output-file-ext: ".csv"
759 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
760 #  columns:
761 #  -
762 #    title: "Test Name"
763 #    data: "template 1"
764 #  -
765 #    title: "16.09 mean [Mpps]"
766 #    data: "template 2"
767 #  -
768 #    title: "17.01 mean [Mpps]"
769 #    data: "template 3"
770 #  -
771 #    title: "17.04 mean [Mpps]"
772 #    data: "template 4"
773 #  -
774 #    title: "17.07 mean [Mpps]"
775 #    data: "data csit-vpp-perf-1707-all mean"
776 #  -
777 #    title: "17.10 mean [Mpps]"
778 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
779 #  -
780 #    title: "18.01 mean [Mpps]"
781 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
782 #  -
783 #    title: "18.01 stdev [Mpps]"
784 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
785 #  -
786 #    title: "17.10 to 18.01 change [%]"
787 #    data: "operation relative_change 5 6"
788 #  rows: "generated"
789 #  data:
790 #    "performance-improvements"
791 #  filter: "template"
792 #  parameters:
793 #  - "throughput"
794
795 -
796   type: "table"
797   title: "Detailed Test Results - VPP Performance Results"
798   algorithm: "table_merged_details"
799   output-file-ext: ".csv"
800   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
801   columns:
802   -
803     title: "Name"
804     data: "data name"
805   -
806     title: "Documentation"
807     data: "data doc"
808   -
809     title: "Status"
810     data: "data msg"
811   rows: "generated"
812   data:
813     "vpp-perf-results"
814   filter: "not 'NDRCHK' and not 'PDRCHK'"
815   parameters:
816   - "name"
817   - "parent"
818   - "doc"
819   - "msg"
820
821 -
822   type: "table"
823   title: "Test configuration - VPP Performance Test Configs"
824   algorithm: "table_merged_details"
825   output-file-ext: ".csv"
826   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
827   columns:
828   -
829     title: "Name"
830     data: "data name"
831   -
832     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
833     data: "data vat-history"
834   rows: "generated"
835   data:
836     "vpp-perf-results"
837   filter: "not 'NDRCHK' and not 'PDRCHK'"
838   parameters:
839   - "parent"
840   - "name"
841   - "vat-history"
842
843 -
844   type: "table"
845   title: "Test Operational Data - VPP Performance Operational Data"
846   algorithm: "table_merged_details"
847   output-file-ext: ".csv"
848   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
849   columns:
850   -
851     title: "Name"
852     data: "data name"
853   -
854     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
855     data: "data show-run"
856   rows: "generated"
857   data:
858     "vpp-perf-results"
859   filter: "not 'NDRCHK' and not 'PDRCHK'"
860   parameters:
861   - "parent"
862   - "name"
863   - "show-run"
864
865 -
866   type: "table"
867   title: "Detailed Test Results - VPP Functional Results"
868   algorithm: "table_details"
869   output-file-ext: ".csv"
870   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
871   columns:
872   -
873     title: "Name"
874     data: "data name"
875   -
876     title: "Documentation"
877     data: "data doc"
878   -
879     title: "Status"
880     data: "data status"
881   rows: "generated"
882   data:
883     "vpp-func-results"
884   filter: "all"
885   parameters:
886   - "name"
887   - "parent"
888   - "doc"
889   - "status"
890
891 -
892   type: "table"
893   title: "Test configuration - VPP Functional Test Configs"
894   algorithm: "table_details"
895   output-file-ext: ".csv"
896   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
897   columns:
898   -
899     title: "Name"
900     data: "data name"
901   -
902     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
903     data: "data vat-history"
904   rows: "generated"
905   data:
906     "vpp-func-results"
907   filter: "all"
908   parameters:
909   - "parent"
910   - "name"
911   - "vat-history"
912
913 -
914   type: "table"
915   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
916   algorithm: "table_details"
917   output-file-ext: ".csv"
918   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
919   columns:
920   -
921     title: "Name"
922     data: "data name"
923   -
924     title: "Documentation"
925     data: "data doc"
926   -
927     title: "Status"
928     data: "data msg"
929   rows: "generated"
930   data:
931     "ligato-perf-results"
932   filter: "all"
933   parameters:
934   - "name"
935   - "parent"
936   - "doc"
937   - "msg"
938
939 -
940   type: "table"
941   title: "Detailed Test Results - DPDK Performance Results"
942   algorithm: "table_details"
943   output-file-ext: ".csv"
944   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
945   columns:
946   -
947     title: "Name"
948     data: "data name"
949   -
950     title: "Documentation"
951     data: "data doc"
952   -
953     title: "Status"
954     data: "data msg"
955   rows: "generated"
956   data:
957     "dpdk-perf-results"
958   filter: "all"
959   parameters:
960   - "name"
961   - "parent"
962   - "doc"
963   - "msg"
964
965 -
966   type: "table"
967   title: "Detailed Test Results - Honeycomb Functional Results"
968   algorithm: "table_details"
969   output-file-ext: ".csv"
970   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
971   columns:
972   -
973     title: "Name"
974     data: "data name"
975   -
976     title: "Documentation"
977     data: "data doc"
978   -
979     title: "Status"
980     data: "data status"
981   rows: "generated"
982   data:
983     "hc-func-results"
984   filter: "all"
985   parameters:
986   - "name"
987   - "parent"
988   - "doc"
989   - "status"
990
991 -
992   type: "table"
993   title: "Detailed Test Results - NSH SFC Functional Results"
994   algorithm: "table_details"
995   output-file-ext: ".csv"
996   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
997   columns:
998   -
999     title: "Name"
1000     data: "data name"
1001   -
1002     title: "Documentation"
1003     data: "data doc"
1004   -
1005     title: "Status"
1006     data: "data status"
1007   rows: "generated"
1008   data:
1009     "nsh-func-results"
1010   filter: "all"
1011   parameters:
1012   - "name"
1013   - "parent"
1014   - "doc"
1015   - "status"
1016
1017 ################################################################################
1018 ###                                F I L E S                                 ###
1019 ################################################################################
1020
1021 -
1022   type: "file"
1023   title: "VPP Performance Results"
1024   algorithm: "file_merged_test_results"
1025   output-file-ext: ".rst"
1026   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1027   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1028   dir-tables: "{DIR[DTR,PERF,VPP]}"
1029   data:
1030     "vpp-perf-results"
1031   filter: "not 'NDRCHK' and not 'PDRCHK'"
1032   parameters:
1033   - "name"
1034   - "doc"
1035   - "level"
1036   - "parent"
1037   data-start-level: 3  # 0, 1, 2, ...
1038   chapters-start-level: 2  # 0, 1, 2, ...
1039
1040 -
1041   type: "file"
1042   title: "VPP Performance Configuration"
1043   algorithm: "file_merged_test_results"
1044   output-file-ext: ".rst"
1045   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1046   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1047   dir-tables: "{DIR[DTC,PERF,VPP]}"
1048   data:
1049     "vpp-perf-results"
1050   filter: "not 'NDRCHK' and not 'PDRCHK'"
1051   parameters:
1052   - "name"
1053   - "doc"
1054   - "level"
1055   - "parent"
1056   data-start-level: 3  # 0, 1, 2, ...
1057   chapters-start-level: 2  # 0, 1, 2, ...
1058
1059 -
1060   type: "file"
1061   title: "VPP Performance Operational Data"
1062   algorithm: "file_merged_test_results"
1063   output-file-ext: ".rst"
1064   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1065   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1066   dir-tables: "{DIR[DTO,PERF,VPP]}"
1067   data:
1068     "vpp-perf-results"
1069   filter: "not 'NDRCHK' and not 'PDRCHK'"
1070   parameters:
1071   - "name"
1072   - "doc"
1073   - "level"
1074   - "parent"
1075   data-start-level: 3  # 0, 1, 2, ...
1076   chapters-start-level: 2  # 0, 1, 2, ...
1077
1078 -
1079   type: "file"
1080   title: "VPP Functional Results"
1081   algorithm: "file_test_results"
1082   output-file-ext: ".rst"
1083   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1084   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1085   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1086   data:
1087     "vpp-func-results"
1088   filter: "all"
1089   parameters:
1090   - "name"
1091   - "doc"
1092   - "level"
1093   data-start-level: 3  # 0, 1, 2, ...
1094   chapters-start-level: 2  # 0, 1, 2, ...
1095
1096 -
1097   type: "file"
1098   title: "VPP Functional Configuration"
1099   algorithm: "file_test_results"
1100   output-file-ext: ".rst"
1101   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1102   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1103   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1104   data:
1105     "vpp-func-results"
1106   filter: "all"
1107   parameters:
1108   - "name"
1109   - "doc"
1110   - "level"
1111   data-start-level: 3  # 0, 1, 2, ...
1112   chapters-start-level: 2  # 0, 1, 2, ...
1113
1114 -
1115   type: "file"
1116   title: "Container Orchestrated Performance Results"
1117   algorithm: "file_test_results"
1118   output-file-ext: ".rst"
1119   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1120   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1121   dir-tables: "{DIR[DTR,PERF,COT]}"
1122   data:
1123     "ligato-perf-results"
1124   filter: "all"
1125   parameters:
1126   - "name"
1127   - "doc"
1128   - "level"
1129   data-start-level: 2  # 0, 1, 2, ...
1130   chapters-start-level: 2  # 0, 1, 2, ...
1131
1132 -
1133   type: "file"
1134   title: "DPDK Performance Results"
1135   algorithm: "file_test_results"
1136   output-file-ext: ".rst"
1137   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1138   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1139   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1140   data:
1141     "dpdk-perf-results"
1142   filter: "all"
1143   parameters:
1144   - "name"
1145   - "doc"
1146   - "level"
1147   chapters:
1148   - "suites"
1149   data-start-level: 2  # 0, 1, 2, ...
1150   chapters-start-level: 2  # 0, 1, 2, ...
1151
1152 -
1153   type: "file"
1154   title: "Honeycomb Functional Results"
1155   algorithm: "file_test_results"
1156   output-file-ext: ".rst"
1157   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1158   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1159   dir-tables: "{DIR[DTR,FUNC,HC]}"
1160   data:
1161     "hc-func-results"
1162   filter: "all"
1163   parameters:
1164   - "name"
1165   - "doc"
1166   - "level"
1167   chapters:
1168   - "suites"
1169   data-start-level: 3  # 0, 1, 2, ...
1170   chapters-start-level: 2  # 0, 1, 2, ...
1171
1172 -
1173   type: "file"
1174   title: "NSH SFC Functional Results"
1175   algorithm: "file_test_results"
1176   output-file-ext: ".rst"
1177   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1178   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1179   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1180   data:
1181     "nsh-func-results"
1182   filter: "all"
1183   parameters:
1184   - "name"
1185   - "doc"
1186   - "level"
1187   chapters:
1188   - "suites"
1189   data-start-level: 2  # 0, 1, 2, ...
1190   chapters-start-level: 2  # 0, 1, 2, ...
1191
1192 ################################################################################
1193 ###                                P L O T S                                 ###
1194 ################################################################################
1195
1196 # Plots VPP HTTP Server Performance
1197 -
1198   type: "plot"
1199   title: "VPP HTTP Server Performance"
1200   algorithm: "plot_http_server_performance_box"
1201   output-file-type: ".html"
1202   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1203   data:
1204     "plot-vpp-http-server-performance"
1205   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1206   # each tag is enclosed with ' (apostrophe).
1207   filter: "'HTTP' and 'TCP_CPS'"
1208   parameters:
1209   - "result"
1210   - "name"
1211   traces:
1212     hoverinfo: "x+y"
1213     boxpoints: "outliers"
1214     whiskerwidth: 0
1215   layout:
1216     title: "VPP HTTP Server Performance"
1217     layout:
1218       "plot-cps"
1219
1220 -
1221   type: "plot"
1222   title: "VPP HTTP Server Performance"
1223   algorithm: "plot_http_server_performance_box"
1224   output-file-type: ".html"
1225   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1226   data:
1227     "plot-vpp-http-server-performance"
1228   filter: "'HTTP' and 'TCP_RPS'"
1229   parameters:
1230   - "result"
1231   - "name"
1232   traces:
1233     hoverinfo: "x+y"
1234     boxpoints: "outliers"
1235     whiskerwidth: 0
1236   layout:
1237     title: "VPP HTTP Server Performance"
1238     layout:
1239       "plot-rps"
1240
1241 # Plot Throughput Speedup Analysis
1242
1243 # L2 - 10ge2p1x520 - NDR
1244 -
1245   type: "plot"
1246   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1247   algorithm: "plot_throughput_speedup_analysis"
1248   output-file-type: ".html"
1249   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1250   data:
1251     "plot-throughput-speedup-analysis"
1252   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1253   parameters:
1254   - "throughput"
1255   - "parent"
1256   - "tags"
1257   layout:
1258     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1259     layout:
1260       "plot-throughput-speedup-analysis"
1261
1262 # L2 - 40ge2p1xl710 - NDR
1263 -
1264   type: "plot"
1265   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1266   algorithm: "plot_throughput_speedup_analysis"
1267   output-file-type: ".html"
1268   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1269   data:
1270     "plot-throughput-speedup-analysis"
1271   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1272   parameters:
1273   - "throughput"
1274   - "parent"
1275   - "tags"
1276   layout:
1277     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1278     layout:
1279       "plot-throughput-speedup-analysis"
1280
1281 # L2 - 10ge2p1x520 - PDR
1282 -
1283   type: "plot"
1284   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1285   algorithm: "plot_throughput_speedup_analysis"
1286   output-file-type: ".html"
1287   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1288   data:
1289     "plot-throughput-speedup-analysis"
1290   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1291   parameters:
1292   - "throughput"
1293   - "parent"
1294   - "tags"
1295   layout:
1296     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1297     layout:
1298       "plot-throughput-speedup-analysis"
1299
1300 # IPv4 - 10ge2p1x520 - NDR
1301 -
1302   type: "plot"
1303   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1304   algorithm: "plot_throughput_speedup_analysis"
1305   output-file-type: ".html"
1306   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1307   data:
1308     "plot-throughput-speedup-analysis"
1309   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1310   parameters:
1311   - "throughput"
1312   - "parent"
1313   - "tags"
1314   layout:
1315     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1316     layout:
1317       "plot-throughput-speedup-analysis"
1318
1319 # IPv4 - 40ge2p1xl710 - NDR
1320 -
1321   type: "plot"
1322   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1323   algorithm: "plot_throughput_speedup_analysis"
1324   output-file-type: ".html"
1325   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1326   data:
1327     "plot-throughput-speedup-analysis"
1328   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1329   parameters:
1330   - "throughput"
1331   - "parent"
1332   - "tags"
1333   layout:
1334     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1335     layout:
1336       "plot-throughput-speedup-analysis"
1337
1338 # IPv4 - 10ge2p1x520 - PDR
1339 -
1340   type: "plot"
1341   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1342   algorithm: "plot_throughput_speedup_analysis"
1343   output-file-type: ".html"
1344   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1345   data:
1346     "plot-throughput-speedup-analysis"
1347   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1348   parameters:
1349   - "throughput"
1350   - "parent"
1351   - "tags"
1352   layout:
1353     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1354     layout:
1355       "plot-throughput-speedup-analysis"
1356
1357 # IPv6 - 10ge2p1x520 - NDR
1358 -
1359   type: "plot"
1360   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1361   algorithm: "plot_throughput_speedup_analysis"
1362   output-file-type: ".html"
1363   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1364   data:
1365     "plot-throughput-speedup-analysis"
1366   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1367   parameters:
1368   - "throughput"
1369   - "parent"
1370   - "tags"
1371   layout:
1372     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1373     layout:
1374       "plot-throughput-speedup-analysis"
1375
1376 # IPv6 - 40ge2p1xl710 - NDR
1377 -
1378   type: "plot"
1379   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1380   algorithm: "plot_throughput_speedup_analysis"
1381   output-file-type: ".html"
1382   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1383   data:
1384     "plot-throughput-speedup-analysis"
1385   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1386   parameters:
1387   - "throughput"
1388   - "parent"
1389   - "tags"
1390   layout:
1391     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1392     layout:
1393       "plot-throughput-speedup-analysis"
1394
1395 # IPv6 - 10ge2p1x520 - PDR
1396 -
1397   type: "plot"
1398   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1399   algorithm: "plot_throughput_speedup_analysis"
1400   output-file-type: ".html"
1401   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1402   data:
1403     "plot-throughput-speedup-analysis"
1404   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1405   parameters:
1406   - "throughput"
1407   - "parent"
1408   - "tags"
1409   layout:
1410     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1411     layout:
1412       "plot-throughput-speedup-analysis"
1413
1414 # Plot packets per second
1415
1416 # VPP L2 sel1
1417 -
1418   type: "plot"
1419   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1420   algorithm: "plot_performance_box"
1421   output-file-type: ".html"
1422   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1423   data:
1424     "plot-vpp-throughput-latency"
1425   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1426   # each tag is enclosed with ' (apostrophe).
1427   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1428   parameters:
1429   - "throughput"
1430   - "parent"
1431   traces:
1432     hoverinfo: "x+y"
1433     boxpoints: "outliers"
1434     whiskerwidth: 0
1435   layout:
1436     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1437     layout:
1438       "plot-throughput"
1439
1440 -
1441   type: "plot"
1442   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1443   algorithm: "plot_performance_box"
1444   output-file-type: ".html"
1445   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1446   data:
1447     "plot-vpp-throughput-latency"
1448   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1449   parameters:
1450   - "throughput"
1451   - "parent"
1452   traces:
1453     hoverinfo: "x+y"
1454     boxpoints: "outliers"
1455     whiskerwidth: 0
1456   layout:
1457     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1458     layout:
1459       "plot-throughput"
1460
1461 -
1462   type: "plot"
1463   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1464   algorithm: "plot_performance_box"
1465   output-file-type: ".html"
1466   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1467   data:
1468     "plot-vpp-throughput-latency"
1469   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1470   parameters:
1471   - "throughput"
1472   - "parent"
1473   traces:
1474     hoverinfo: "x+y"
1475     boxpoints: "outliers"
1476     whiskerwidth: 0
1477   layout:
1478     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1479     layout:
1480       "plot-throughput"
1481
1482 -
1483   type: "plot"
1484   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1485   algorithm: "plot_performance_box"
1486   output-file-type: ".html"
1487   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1488   data:
1489     "plot-vpp-throughput-latency"
1490   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1491   parameters:
1492   - "throughput"
1493   - "parent"
1494   traces:
1495     hoverinfo: "x+y"
1496     boxpoints: "outliers"
1497     whiskerwidth: 0
1498   layout:
1499     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1500     layout:
1501       "plot-throughput"
1502
1503 # VPP L2 sel2
1504 -
1505   type: "plot"
1506   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1507   algorithm: "plot_performance_box"
1508   output-file-type: ".html"
1509   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1510   data:
1511     "plot-vpp-throughput-latency"
1512   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1513   parameters:
1514   - "throughput"
1515   - "parent"
1516   traces:
1517     hoverinfo: "x+y"
1518     boxpoints: "outliers"
1519     whiskerwidth: 0
1520   layout:
1521     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1522     layout:
1523       "plot-throughput"
1524
1525 -
1526   type: "plot"
1527   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1528   algorithm: "plot_performance_box"
1529   output-file-type: ".html"
1530   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1531   data:
1532     "plot-vpp-throughput-latency"
1533   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1534   parameters:
1535   - "throughput"
1536   - "parent"
1537   traces:
1538     hoverinfo: "x+y"
1539     boxpoints: "outliers"
1540     whiskerwidth: 0
1541   layout:
1542     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1543     layout:
1544       "plot-throughput"
1545
1546 -
1547   type: "plot"
1548   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1549   algorithm: "plot_performance_box"
1550   output-file-type: ".html"
1551   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1552   data:
1553     "plot-vpp-throughput-latency"
1554   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1555   parameters:
1556   - "throughput"
1557   - "parent"
1558   traces:
1559     hoverinfo: "x+y"
1560     boxpoints: "outliers"
1561     whiskerwidth: 0
1562   layout:
1563     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1564     layout:
1565       "plot-throughput"
1566
1567 -
1568   type: "plot"
1569   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1570   algorithm: "plot_performance_box"
1571   output-file-type: ".html"
1572   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1573   data:
1574     "plot-vpp-throughput-latency"
1575   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1576   parameters:
1577   - "throughput"
1578   - "parent"
1579   traces:
1580     hoverinfo: "x+y"
1581     boxpoints: "outliers"
1582     whiskerwidth: 0
1583   layout:
1584     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1585     layout:
1586       "plot-throughput"
1587
1588 # VPP IP4
1589 -
1590   type: "plot"
1591   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1592   algorithm: "plot_performance_box"
1593   output-file-type: ".html"
1594   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1595   data:
1596     "plot-vpp-throughput-latency"
1597   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1598   parameters:
1599   - "throughput"
1600   - "parent"
1601   traces:
1602     hoverinfo: "x+y"
1603     boxpoints: "outliers"
1604     whiskerwidth: 0
1605   layout:
1606     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1607     layout:
1608       "plot-throughput"
1609
1610 -
1611   type: "plot"
1612   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1613   algorithm: "plot_performance_box"
1614   output-file-type: ".html"
1615   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1616   data:
1617     "plot-vpp-throughput-latency"
1618   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1619   parameters:
1620   - "throughput"
1621   - "parent"
1622   traces:
1623     hoverinfo: "x+y"
1624     boxpoints: "outliers"
1625     whiskerwidth: 0
1626   layout:
1627     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1628     layout:
1629       "plot-throughput"
1630
1631 -
1632   type: "plot"
1633   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1634   algorithm: "plot_performance_box"
1635   output-file-type: ".html"
1636   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1637   data:
1638     "plot-vpp-throughput-latency"
1639   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1640   parameters:
1641   - "throughput"
1642   - "parent"
1643   traces:
1644     hoverinfo: "x+y"
1645     boxpoints: "outliers"
1646     whiskerwidth: 0
1647   layout:
1648     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1649     layout:
1650       "plot-throughput"
1651
1652 -
1653   type: "plot"
1654   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1655   algorithm: "plot_performance_box"
1656   output-file-type: ".html"
1657   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1658   data:
1659     "plot-vpp-throughput-latency"
1660   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1661   parameters:
1662   - "throughput"
1663   - "parent"
1664   traces:
1665     hoverinfo: "x+y"
1666     boxpoints: "outliers"
1667     whiskerwidth: 0
1668   layout:
1669     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1670     layout:
1671       "plot-throughput"
1672
1673 # VPP IP6
1674 -
1675   type: "plot"
1676   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1677   algorithm: "plot_performance_box"
1678   output-file-type: ".html"
1679   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1680   data:
1681     "plot-vpp-throughput-latency"
1682   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1683   parameters:
1684   - "throughput"
1685   - "parent"
1686   traces:
1687     hoverinfo: "x+y"
1688     boxpoints: "outliers"
1689     whiskerwidth: 0
1690   layout:
1691     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1692     layout:
1693       "plot-throughput"
1694
1695 -
1696   type: "plot"
1697   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1698   algorithm: "plot_performance_box"
1699   output-file-type: ".html"
1700   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1701   data:
1702     "plot-vpp-throughput-latency"
1703   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1704   parameters:
1705   - "throughput"
1706   - "parent"
1707   traces:
1708     hoverinfo: "x+y"
1709     boxpoints: "outliers"
1710     whiskerwidth: 0
1711   layout:
1712     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1713     layout:
1714       "plot-throughput"
1715
1716 -
1717   type: "plot"
1718   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1719   algorithm: "plot_performance_box"
1720   output-file-type: ".html"
1721   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1722   data:
1723     "plot-vpp-throughput-latency"
1724   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1725   parameters:
1726   - "throughput"
1727   - "parent"
1728   traces:
1729     hoverinfo: "x+y"
1730     boxpoints: "outliers"
1731     whiskerwidth: 0
1732   layout:
1733     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1734     layout:
1735       "plot-throughput"
1736
1737 -
1738   type: "plot"
1739   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1740   algorithm: "plot_performance_box"
1741   output-file-type: ".html"
1742   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1743   data:
1744     "plot-vpp-throughput-latency"
1745   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1746   parameters:
1747   - "throughput"
1748   - "parent"
1749   traces:
1750     hoverinfo: "x+y"
1751     boxpoints: "outliers"
1752     whiskerwidth: 0
1753   layout:
1754     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1755     layout:
1756       "plot-throughput"
1757
1758 # VPP IP4_overlay
1759 -
1760   type: "plot"
1761   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1762   algorithm: "plot_performance_box"
1763   output-file-type: ".html"
1764   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1765   data:
1766     "plot-vpp-throughput-latency"
1767   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1768   parameters:
1769   - "throughput"
1770   - "parent"
1771   traces:
1772     hoverinfo: "x+y"
1773     boxpoints: "outliers"
1774     whiskerwidth: 0
1775   layout:
1776     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1777     layout:
1778       "plot-throughput"
1779
1780 -
1781   type: "plot"
1782   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1783   algorithm: "plot_performance_box"
1784   output-file-type: ".html"
1785   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1786   data:
1787     "plot-vpp-throughput-latency"
1788   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1789   parameters:
1790   - "throughput"
1791   - "parent"
1792   traces:
1793     hoverinfo: "x+y"
1794     boxpoints: "outliers"
1795     whiskerwidth: 0
1796   layout:
1797     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1798     layout:
1799       "plot-throughput"
1800
1801 -
1802   type: "plot"
1803   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1804   algorithm: "plot_performance_box"
1805   output-file-type: ".html"
1806   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1807   data:
1808     "plot-vpp-throughput-latency"
1809   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1810   parameters:
1811   - "throughput"
1812   - "parent"
1813   traces:
1814     hoverinfo: "x+y"
1815     boxpoints: "outliers"
1816     whiskerwidth: 0
1817   layout:
1818     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1819     layout:
1820       "plot-throughput"
1821
1822 -
1823   type: "plot"
1824   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1825   algorithm: "plot_performance_box"
1826   output-file-type: ".html"
1827   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1828   data:
1829     "plot-vpp-throughput-latency"
1830   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1831   parameters:
1832   - "throughput"
1833   - "parent"
1834   traces:
1835     hoverinfo: "x+y"
1836     boxpoints: "outliers"
1837     whiskerwidth: 0
1838   layout:
1839     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1840     layout:
1841       "plot-throughput"
1842
1843 # VPP IP6_overlay
1844 -
1845   type: "plot"
1846   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1847   algorithm: "plot_performance_box"
1848   output-file-type: ".html"
1849   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1850   data:
1851     "plot-vpp-throughput-latency"
1852   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1853   parameters:
1854   - "throughput"
1855   - "parent"
1856   traces:
1857     hoverinfo: "x+y"
1858     boxpoints: "outliers"
1859     whiskerwidth: 0
1860   layout:
1861     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1862     xaxis:
1863       autorange: True
1864       autotick: False
1865       fixedrange: False
1866       gridcolor: "rgb(238, 238, 238)"
1867       linecolor: "rgb(238, 238, 238)"
1868       linewidth: 1
1869       showgrid: True
1870       showline: True
1871       showticklabels: True
1872       tickcolor: "rgb(238, 238, 238)"
1873       tickmode: "linear"
1874       title: "Indexed Test Cases"
1875       zeroline: False
1876     yaxis:
1877       gridcolor: "rgb(238, 238, 238)'"
1878       hoverformat: ".4s"
1879       linecolor: "rgb(238, 238, 238)"
1880       linewidth: 1
1881       range: [2000000, 6000000]
1882       showgrid: True
1883       showline: True
1884       showticklabels: True
1885       tickcolor: "rgb(238, 238, 238)"
1886       title: "Packets Per Second [pps]"
1887       zeroline: False
1888     boxmode: "group"
1889     boxgroupgap: 0.5
1890     autosize: False
1891     margin:
1892       t: 50
1893       b: 20
1894       l: 50
1895       r: 20
1896     showlegend: True
1897     legend:
1898       orientation: "h"
1899     width: 700
1900     height: 1000
1901
1902 -
1903   type: "plot"
1904   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1905   algorithm: "plot_performance_box"
1906   output-file-type: ".html"
1907   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1908   data:
1909     "plot-vpp-throughput-latency"
1910   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1911   parameters:
1912   - "throughput"
1913   - "parent"
1914   traces:
1915     hoverinfo: "x+y"
1916     boxpoints: "outliers"
1917     whiskerwidth: 0
1918   layout:
1919     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1920     layout:
1921       "plot-throughput"
1922
1923 -
1924   type: "plot"
1925   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1926   algorithm: "plot_performance_box"
1927   output-file-type: ".html"
1928   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1929   data:
1930     "plot-vpp-throughput-latency"
1931   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1932   parameters:
1933   - "throughput"
1934   - "parent"
1935   traces:
1936     hoverinfo: "x+y"
1937     boxpoints: "outliers"
1938     whiskerwidth: 0
1939   layout:
1940     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1941     layout:
1942       "plot-throughput"
1943
1944 -
1945   type: "plot"
1946   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1947   algorithm: "plot_performance_box"
1948   output-file-type: ".html"
1949   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1950   data:
1951     "plot-vpp-throughput-latency"
1952   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1953   parameters:
1954   - "throughput"
1955   - "parent"
1956   traces:
1957     hoverinfo: "x+y"
1958     boxpoints: "outliers"
1959     whiskerwidth: 0
1960   layout:
1961     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1962     xaxis:
1963       autorange: True
1964       autotick: False
1965       fixedrange: False
1966       gridcolor: "rgb(238, 238, 238)"
1967       linecolor: "rgb(238, 238, 238)"
1968       linewidth: 1
1969       showgrid: True
1970       showline: True
1971       showticklabels: True
1972       tickcolor: "rgb(238, 238, 238)"
1973       tickmode: "linear"
1974       title: "Indexed Test Cases"
1975       zeroline: False
1976     yaxis:
1977       gridcolor: "rgb(238, 238, 238)'"
1978       hoverformat: ".4s"
1979       linecolor: "rgb(238, 238, 238)"
1980       linewidth: 1
1981       range: [4000000, 12000000]
1982       showgrid: True
1983       showline: True
1984       showticklabels: True
1985       tickcolor: "rgb(238, 238, 238)"
1986       title: "Packets Per Second [pps]"
1987       zeroline: False
1988     boxmode: "group"
1989     boxgroupgap: 0.5
1990     autosize: False
1991     margin:
1992       t: 50
1993       b: 20
1994       l: 50
1995       r: 20
1996     showlegend: True
1997     legend:
1998       orientation: "h"
1999     width: 700
2000     height: 1000
2001
2002 # VPP VM VHOST
2003 -
2004   type: "plot"
2005   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2006   algorithm: "plot_performance_box"
2007   output-file-type: ".html"
2008   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2009   data:
2010     "plot-vpp-throughput-latency"
2011   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2012   parameters:
2013   - "throughput"
2014   - "parent"
2015   traces:
2016     hoverinfo: "x+y"
2017     boxpoints: "outliers"
2018     whiskerwidth: 0
2019   layout:
2020     title: "64B-1t1c-.*vhost.*-ndrdisc"
2021     xaxis:
2022       autorange: True
2023       autotick: False
2024       fixedrange: False
2025       gridcolor: "rgb(238, 238, 238)"
2026       linecolor: "rgb(238, 238, 238)"
2027       linewidth: 1
2028       showgrid: True
2029       showline: True
2030       showticklabels: True
2031       tickcolor: "rgb(238, 238, 238)"
2032       tickmode: "linear"
2033       title: "Indexed Test Cases"
2034       zeroline: False
2035     yaxis:
2036       gridcolor: "rgb(238, 238, 238)'"
2037       hoverformat: ".4s"
2038       linecolor: "rgb(238, 238, 238)"
2039       linewidth: 1
2040       range: [0, 3500000]
2041       showgrid: True
2042       showline: True
2043       showticklabels: True
2044       tickcolor: "rgb(238, 238, 238)"
2045       title: "Packets Per Second [pps]"
2046       zeroline: False
2047     boxmode: "group"
2048     boxgroupgap: 0.5
2049     autosize: False
2050     margin:
2051       t: 50
2052       b: 20
2053       l: 50
2054       r: 20
2055     showlegend: True
2056     legend:
2057       orientation: "h"
2058     width: 700
2059     height: 1000
2060
2061 -
2062   type: "plot"
2063   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2064   algorithm: "plot_performance_box"
2065   output-file-type: ".html"
2066   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2067   data:
2068     "plot-vpp-throughput-latency"
2069   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2070   parameters:
2071   - "throughput"
2072   - "parent"
2073   traces:
2074     hoverinfo: "x+y"
2075     boxpoints: "outliers"
2076     whiskerwidth: 0
2077   layout:
2078     title: "64B-2t2c-.*vhost.*-ndrdisc"
2079     layout:
2080       "plot-throughput"
2081
2082 -
2083   type: "plot"
2084   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2085   algorithm: "plot_performance_box"
2086   output-file-type: ".html"
2087   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2088   data:
2089     "plot-vpp-throughput-latency"
2090   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2091   parameters:
2092   - "throughput"
2093   - "parent"
2094   traces:
2095     hoverinfo: "x+y"
2096     boxpoints: "outliers"
2097     whiskerwidth: 0
2098   layout:
2099     title: "64B-1t1c-.*vhost.*-pdrdisc"
2100     layout:
2101       "plot-throughput"
2102
2103 -
2104   type: "plot"
2105   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2106   algorithm: "plot_performance_box"
2107   output-file-type: ".html"
2108   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2109   data:
2110     "plot-vpp-throughput-latency"
2111   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2112   parameters:
2113   - "throughput"
2114   - "parent"
2115   traces:
2116     hoverinfo: "x+y"
2117     boxpoints: "outliers"
2118     whiskerwidth: 0
2119   layout:
2120     title: "64B-2t2c-.*vhost.*-pdrdisc"
2121     layout:
2122       "plot-throughput"
2123
2124 # VPP VM VHOST SELECTION
2125 -
2126   type: "plot"
2127   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2128   algorithm: "plot_performance_box"
2129   output-file-type: ".html"
2130   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2131   data:
2132     "plot-vpp-throughput-latency"
2133   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2134   parameters:
2135   - "throughput"
2136   - "parent"
2137   traces:
2138     hoverinfo: "x+y"
2139     boxpoints: "outliers"
2140     whiskerwidth: 0
2141   layout:
2142     title: "64B-1t1c-.*vhost.*-ndrdisc"
2143     layout:
2144       "plot-throughput"
2145
2146 -
2147   type: "plot"
2148   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2149   algorithm: "plot_performance_box"
2150   output-file-type: ".html"
2151   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2152   data:
2153     "plot-vpp-throughput-latency"
2154   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2155   parameters:
2156   - "throughput"
2157   - "parent"
2158   traces:
2159     hoverinfo: "x+y"
2160     boxpoints: "outliers"
2161     whiskerwidth: 0
2162   layout:
2163     title: "64B-2t2c-.*vhost.*-ndrdisc"
2164     layout:
2165       "plot-throughput"
2166
2167 -
2168   type: "plot"
2169   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2170   algorithm: "plot_performance_box"
2171   output-file-type: ".html"
2172   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2173   data:
2174     "plot-vpp-throughput-latency"
2175   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2176   parameters:
2177   - "throughput"
2178   - "parent"
2179   traces:
2180     hoverinfo: "x+y"
2181     boxpoints: "outliers"
2182     whiskerwidth: 0
2183   layout:
2184     title: "64B-1t1c-.*vhost.*-pdrdisc"
2185     layout:
2186       "plot-throughput"
2187
2188 -
2189   type: "plot"
2190   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2191   algorithm: "plot_performance_box"
2192   output-file-type: ".html"
2193   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2194   data:
2195     "plot-vpp-throughput-latency"
2196   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2197   parameters:
2198   - "throughput"
2199   - "parent"
2200   traces:
2201     hoverinfo: "x+y"
2202     boxpoints: "outliers"
2203     whiskerwidth: 0
2204   layout:
2205     title: "64B-2t2c-.*vhost.*-pdrdisc"
2206     layout:
2207       "plot-throughput"
2208
2209 # VPP CRYPTO
2210 -
2211   type: "plot"
2212   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2213   algorithm: "plot_performance_box"
2214   output-file-type: ".html"
2215   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2216   data:
2217     "plot-vpp-throughput-latency"
2218   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2219   parameters:
2220   - "throughput"
2221   - "parent"
2222   traces:
2223     hoverinfo: "x+y"
2224     boxpoints: "outliers"
2225     whiskerwidth: 0
2226   layout:
2227     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2228     layout:
2229       "plot-throughput"
2230
2231 -
2232   type: "plot"
2233   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2234   algorithm: "plot_performance_box"
2235   output-file-type: ".html"
2236   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2237   data:
2238     "plot-vpp-throughput-latency"
2239   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2240   parameters:
2241   - "throughput"
2242   - "parent"
2243   traces:
2244     hoverinfo: "x+y"
2245     boxpoints: "outliers"
2246     whiskerwidth: 0
2247   layout:
2248     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2249     layout:
2250       "plot-throughput"
2251
2252 -
2253   type: "plot"
2254   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2255   algorithm: "plot_performance_box"
2256   output-file-type: ".html"
2257   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2258   data:
2259     "plot-vpp-throughput-latency"
2260   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2261   parameters:
2262   - "throughput"
2263   - "parent"
2264   traces:
2265     hoverinfo: "x+y"
2266     boxpoints: "outliers"
2267     whiskerwidth: 0
2268   layout:
2269     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2270     layout:
2271       "plot-throughput"
2272
2273 -
2274   type: "plot"
2275   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2276   algorithm: "plot_performance_box"
2277   output-file-type: ".html"
2278   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2279   data:
2280     "plot-vpp-throughput-latency"
2281   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2282   parameters:
2283   - "throughput"
2284   - "parent"
2285   traces:
2286     hoverinfo: "x+y"
2287     boxpoints: "outliers"
2288     whiskerwidth: 0
2289   layout:
2290     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2291     layout:
2292       "plot-throughput"
2293
2294 # DPDK
2295 -
2296   type: "plot"
2297   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2298   algorithm: "plot_performance_box"
2299   output-file-type: ".html"
2300   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2301   data:
2302     "plot-dpdk-throughput-latency"
2303   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2304   parameters:
2305   - "throughput"
2306   - "parent"
2307   traces:
2308     hoverinfo: "x+y"
2309     boxpoints: "outliers"
2310     whiskerwidth: 0
2311   layout:
2312     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2313     layout:
2314       "plot-throughput"
2315
2316 -
2317   type: "plot"
2318   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2319   algorithm: "plot_performance_box"
2320   output-file-type: ".html"
2321   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2322   data:
2323     "plot-dpdk-throughput-latency"
2324   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2325   parameters:
2326   - "throughput"
2327   - "parent"
2328   traces:
2329     hoverinfo: "x+y"
2330     boxpoints: "outliers"
2331     whiskerwidth: 0
2332   layout:
2333     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2334     layout:
2335       "plot-throughput"
2336
2337 -
2338   type: "plot"
2339   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2340   algorithm: "plot_performance_box"
2341   output-file-type: ".html"
2342   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2343   data:
2344     "plot-dpdk-throughput-latency"
2345   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2346   parameters:
2347   - "throughput"
2348   - "parent"
2349   traces:
2350     hoverinfo: "x+y"
2351     boxpoints: "outliers"
2352     whiskerwidth: 0
2353   layout:
2354     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2355     xaxis:
2356       autorange: True
2357       autotick: False
2358       fixedrange: False
2359       gridcolor: "rgb(238, 238, 238)"
2360       linecolor: "rgb(238, 238, 238)"
2361       linewidth: 1
2362       showgrid: True
2363       showline: True
2364       showticklabels: True
2365       tickcolor: "rgb(238, 238, 238)"
2366       tickmode: "linear"
2367       title: "Indexed Test Cases"
2368       zeroline: False
2369     yaxis:
2370       gridcolor: "rgb(238, 238, 238)'"
2371       hoverformat: ".4s"
2372       linecolor: "rgb(238, 238, 238)"
2373       linewidth: 1
2374       range: [2000000, 12000000]
2375       showgrid: True
2376       showline: True
2377       showticklabels: True
2378       tickcolor: "rgb(238, 238, 238)"
2379       title: "Packets Per Second [pps]"
2380       zeroline: False
2381     boxmode: "group"
2382     boxgroupgap: 0.5
2383     autosize: False
2384     margin:
2385       t: 50
2386       b: 20
2387       l: 50
2388       r: 20
2389     showlegend: True
2390     legend:
2391       orientation: "h"
2392     width: 700
2393     height: 1000
2394
2395 -
2396   type: "plot"
2397   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2398   algorithm: "plot_performance_box"
2399   output-file-type: ".html"
2400   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2401   data:
2402     "plot-dpdk-throughput-latency"
2403   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2404   parameters:
2405   - "throughput"
2406   - "parent"
2407   traces:
2408     hoverinfo: "x+y"
2409     boxpoints: "outliers"
2410     whiskerwidth: 0
2411   layout:
2412     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2413     xaxis:
2414       autorange: True
2415       autotick: False
2416       fixedrange: False
2417       gridcolor: "rgb(238, 238, 238)"
2418       linecolor: "rgb(238, 238, 238)"
2419       linewidth: 1
2420       showgrid: True
2421       showline: True
2422       showticklabels: True
2423       tickcolor: "rgb(238, 238, 238)"
2424       tickmode: "linear"
2425       title: "Indexed Test Cases"
2426       zeroline: False
2427     yaxis:
2428       gridcolor: "rgb(238, 238, 238)'"
2429       hoverformat: ".4s"
2430       linecolor: "rgb(238, 238, 238)"
2431       linewidth: 1
2432       range: [2000000, 12000000]
2433       showgrid: True
2434       showline: True
2435       showticklabels: True
2436       tickcolor: "rgb(238, 238, 238)"
2437       title: "Packets Per Second [pps]"
2438       zeroline: False
2439     boxmode: "group"
2440     boxgroupgap: 0.5
2441     autosize: False
2442     margin:
2443       t: 50
2444       b: 20
2445       l: 50
2446       r: 20
2447     showlegend: True
2448     legend:
2449       orientation: "h"
2450     width: 700
2451     height: 1000
2452
2453 -
2454   type: "plot"
2455   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2456   algorithm: "plot_performance_box"
2457   output-file-type: ".html"
2458   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2459   data:
2460     "plot-dpdk-throughput-latency"
2461   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2462   parameters:
2463   - "throughput"
2464   - "parent"
2465   traces:
2466     hoverinfo: "x+y"
2467     boxpoints: "outliers"
2468     whiskerwidth: 0
2469   layout:
2470     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2471     layout:
2472       "plot-throughput"
2473
2474 -
2475   type: "plot"
2476   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2477   algorithm: "plot_performance_box"
2478   output-file-type: ".html"
2479   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2480   data:
2481     "plot-dpdk-throughput-latency"
2482   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2483   parameters:
2484   - "throughput"
2485   - "parent"
2486   traces:
2487     hoverinfo: "x+y"
2488     boxpoints: "outliers"
2489     whiskerwidth: 0
2490   layout:
2491     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2492     layout:
2493       "plot-throughput"
2494
2495 -
2496   type: "plot"
2497   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2498   algorithm: "plot_performance_box"
2499   output-file-type: ".html"
2500   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2501   data:
2502     "plot-dpdk-throughput-latency"
2503   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2504   parameters:
2505   - "throughput"
2506   - "parent"
2507   traces:
2508     hoverinfo: "x+y"
2509     boxpoints: "outliers"
2510     whiskerwidth: 0
2511   layout:
2512     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2513     xaxis:
2514       autorange: True
2515       autotick: False
2516       fixedrange: False
2517       gridcolor: "rgb(238, 238, 238)"
2518       linecolor: "rgb(238, 238, 238)"
2519       linewidth: 1
2520       showgrid: True
2521       showline: True
2522       showticklabels: True
2523       tickcolor: "rgb(238, 238, 238)"
2524       tickmode: "linear"
2525       title: "Indexed Test Cases"
2526       zeroline: False
2527     yaxis:
2528       gridcolor: "rgb(238, 238, 238)'"
2529       hoverformat: ".4s"
2530       linecolor: "rgb(238, 238, 238)"
2531       linewidth: 1
2532       range: [20000000, 30000000]
2533       showgrid: True
2534       showline: True
2535       showticklabels: True
2536       tickcolor: "rgb(238, 238, 238)"
2537       title: "Packets Per Second [pps]"
2538       zeroline: False
2539     boxmode: "group"
2540     boxgroupgap: 0.5
2541     autosize: False
2542     margin:
2543       t: 50
2544       b: 20
2545       l: 50
2546       r: 20
2547     showlegend: True
2548     legend:
2549       orientation: "h"
2550     width: 700
2551     height: 1000
2552
2553 -
2554   type: "plot"
2555   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2556   algorithm: "plot_performance_box"
2557   output-file-type: ".html"
2558   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2559   data:
2560     "plot-dpdk-throughput-latency"
2561   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2562   parameters:
2563   - "throughput"
2564   - "parent"
2565   traces:
2566     hoverinfo: "x+y"
2567     boxpoints: "outliers"
2568     whiskerwidth: 0
2569   layout:
2570     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2571     xaxis:
2572       autorange: True
2573       autotick: False
2574       fixedrange: False
2575       gridcolor: "rgb(238, 238, 238)"
2576       linecolor: "rgb(238, 238, 238)"
2577       linewidth: 1
2578       showgrid: True
2579       showline: True
2580       showticklabels: True
2581       tickcolor: "rgb(238, 238, 238)"
2582       tickmode: "linear"
2583       title: "Indexed Test Cases"
2584       zeroline: False
2585     yaxis:
2586       gridcolor: "rgb(238, 238, 238)'"
2587       hoverformat: ".4s"
2588       linecolor: "rgb(238, 238, 238)"
2589       linewidth: 1
2590       range: [20000000, 30000000]
2591       showgrid: True
2592       showline: True
2593       showticklabels: True
2594       tickcolor: "rgb(238, 238, 238)"
2595       title: "Packets Per Second [pps]"
2596       zeroline: False
2597     boxmode: "group"
2598     boxgroupgap: 0.5
2599     autosize: False
2600     margin:
2601       t: 50
2602       b: 20
2603       l: 50
2604       r: 20
2605     showlegend: True
2606     legend:
2607       orientation: "h"
2608     width: 700
2609     height: 1000
2610
2611 # Plot latency
2612
2613 # VPP L2 sel1
2614 -
2615   type: "plot"
2616   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2617   algorithm: "plot_latency_box"
2618   output-file-type: ".html"
2619   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2620   data:
2621     "plot-vpp-throughput-latency"
2622   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2623   parameters:
2624   - "latency"
2625   - "parent"
2626   traces:
2627     boxmean: False
2628   layout:
2629     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2630     layout:
2631       "plot-latency"
2632
2633 -
2634   type: "plot"
2635   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2636   algorithm: "plot_latency_box"
2637   output-file-type: ".html"
2638   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2639   data:
2640     "plot-vpp-throughput-latency"
2641   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2642   parameters:
2643   - "latency"
2644   - "parent"
2645   traces:
2646     boxmean: False
2647   layout:
2648     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2649     layout:
2650       "plot-latency"
2651
2652 # VPP L2 sel2
2653 -
2654   type: "plot"
2655   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2656   algorithm: "plot_latency_box"
2657   output-file-type: ".html"
2658   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2659   data:
2660     "plot-vpp-throughput-latency"
2661   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2662   parameters:
2663   - "latency"
2664   - "parent"
2665   traces:
2666     boxmean: False
2667   layout:
2668     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2669     layout:
2670       "plot-latency"
2671
2672 -
2673   type: "plot"
2674   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2675   algorithm: "plot_latency_box"
2676   output-file-type: ".html"
2677   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2678   data:
2679     "plot-vpp-throughput-latency"
2680   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2681   parameters:
2682   - "latency"
2683   - "parent"
2684   traces:
2685     boxmean: False
2686   layout:
2687     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2688     layout:
2689       "plot-latency"
2690
2691 # VPP IP4
2692 -
2693   type: "plot"
2694   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2695   algorithm: "plot_latency_box"
2696   output-file-type: ".html"
2697   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2698   data:
2699     "plot-vpp-throughput-latency"
2700   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2701   parameters:
2702   - "latency"
2703   - "parent"
2704   traces:
2705     boxmean: False
2706   layout:
2707     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2708     layout:
2709       "plot-latency"
2710
2711 -
2712   type: "plot"
2713   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2714   algorithm: "plot_latency_box"
2715   output-file-type: ".html"
2716   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2717   data:
2718     "plot-vpp-throughput-latency"
2719   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2720   parameters:
2721   - "latency"
2722   - "parent"
2723   traces:
2724     boxmean: False
2725   layout:
2726     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2727     layout:
2728       "plot-latency"
2729
2730 # VPP IP6
2731 -
2732   type: "plot"
2733   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2734   algorithm: "plot_latency_box"
2735   output-file-type: ".html"
2736   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2737   data:
2738     "plot-vpp-throughput-latency"
2739   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2740   parameters:
2741   - "latency"
2742   - "parent"
2743   traces:
2744     boxmean: False
2745   layout:
2746     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2747     layout:
2748       "plot-latency"
2749
2750 -
2751   type: "plot"
2752   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2753   algorithm: "plot_latency_box"
2754   output-file-type: ".html"
2755   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2756   data:
2757     "plot-vpp-throughput-latency"
2758   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2759   parameters:
2760   - "latency"
2761   - "parent"
2762   traces:
2763     boxmean: False
2764   layout:
2765     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2766     layout:
2767       "plot-latency"
2768
2769 # VPP IP4_overlay
2770 -
2771   type: "plot"
2772   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2773   algorithm: "plot_latency_box"
2774   output-file-type: ".html"
2775   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2776   data:
2777     "plot-vpp-throughput-latency"
2778   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2779   parameters:
2780   - "latency"
2781   - "parent"
2782   traces:
2783     boxmean: False
2784   layout:
2785     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2786     layout:
2787       "plot-latency"
2788
2789 -
2790   type: "plot"
2791   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2792   algorithm: "plot_latency_box"
2793   output-file-type: ".html"
2794   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2795   data:
2796     "plot-vpp-throughput-latency"
2797   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2798   parameters:
2799   - "latency"
2800   - "parent"
2801   traces:
2802     boxmean: False
2803   layout:
2804     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2805     layout:
2806       "plot-latency"
2807
2808 # VPP IP6_overlay
2809 -
2810   type: "plot"
2811   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2812   algorithm: "plot_latency_box"
2813   output-file-type: ".html"
2814   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2815   data:
2816     "plot-vpp-throughput-latency"
2817   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2818   parameters:
2819   - "latency"
2820   - "parent"
2821   traces:
2822     boxmean: False
2823   layout:
2824     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2825     layout:
2826       "plot-latency"
2827
2828 -
2829   type: "plot"
2830   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2831   algorithm: "plot_latency_box"
2832   output-file-type: ".html"
2833   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2834   data:
2835     "plot-vpp-throughput-latency"
2836   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2837   parameters:
2838   - "latency"
2839   - "parent"
2840   traces:
2841     boxmean: False
2842   layout:
2843     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2844     layout:
2845       "plot-latency"
2846
2847 # VPP VM VHOST
2848 -
2849   type: "plot"
2850   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2851   algorithm: "plot_latency_box"
2852   output-file-type: ".html"
2853   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2854   data:
2855     "plot-vpp-throughput-latency"
2856   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2857   parameters:
2858   - "latency"
2859   - "parent"
2860   traces:
2861     boxmean: False
2862   layout:
2863     title: "64B-1t1c-.*vhost.*-ndrdisc"
2864     layout:
2865       "plot-latency"
2866
2867 -
2868   type: "plot"
2869   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2870   algorithm: "plot_latency_box"
2871   output-file-type: ".html"
2872   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2873   data:
2874     "plot-vpp-throughput-latency"
2875   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2876   parameters:
2877   - "latency"
2878   - "parent"
2879   traces:
2880     boxmean: False
2881   layout:
2882     title: "64B-2t2c-.*vhost.*-ndrdisc"
2883     layout:
2884       "plot-latency"
2885
2886 # VPP VM VHOST selection
2887 -
2888   type: "plot"
2889   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2890   algorithm: "plot_latency_box"
2891   output-file-type: ".html"
2892   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2893   data:
2894     "plot-vpp-throughput-latency"
2895   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2896   parameters:
2897   - "latency"
2898   - "parent"
2899   traces:
2900     boxmean: False
2901   layout:
2902     title: "64B-1t1c-.*vhost.*-ndrdisc"
2903     layout:
2904       "plot-latency"
2905
2906 -
2907   type: "plot"
2908   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2909   algorithm: "plot_latency_box"
2910   output-file-type: ".html"
2911   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2912   data:
2913     "plot-vpp-throughput-latency"
2914   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2915   parameters:
2916   - "latency"
2917   - "parent"
2918   traces:
2919     boxmean: False
2920   layout:
2921     title: "64B-2t2c-.*vhost.*-ndrdisc"
2922     layout:
2923       "plot-latency"
2924
2925 # VPP CRYPTO
2926 -
2927   type: "plot"
2928   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2929   algorithm: "plot_latency_box"
2930   output-file-type: ".html"
2931   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2932   data:
2933     "plot-vpp-throughput-latency"
2934   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2935   parameters:
2936   - "latency"
2937   - "parent"
2938   traces:
2939     boxmean: False
2940   layout:
2941     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2942     layout:
2943       "plot-latency"
2944
2945 -
2946   type: "plot"
2947   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2948   algorithm: "plot_latency_box"
2949   output-file-type: ".html"
2950   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2951   data:
2952     "plot-vpp-throughput-latency"
2953   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2954   parameters:
2955   - "latency"
2956   - "parent"
2957   traces:
2958     boxmean: False
2959   layout:
2960     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2961     layout:
2962       "plot-latency"
2963
2964 # DPDK
2965 -
2966   type: "plot"
2967   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2968   algorithm: "plot_latency_box"
2969   output-file-type: ".html"
2970   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2971   data:
2972     "plot-dpdk-throughput-latency"
2973   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2974   parameters:
2975   - "latency"
2976   - "parent"
2977   traces:
2978     boxmean: False
2979   layout:
2980     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2981     layout:
2982       "plot-latency"
2983
2984 -
2985   type: "plot"
2986   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2987   algorithm: "plot_latency_box"
2988   output-file-type: ".html"
2989   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2990   data:
2991     "plot-dpdk-throughput-latency"
2992   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2993   parameters:
2994   - "latency"
2995   - "parent"
2996   traces:
2997     boxmean: False
2998   layout:
2999     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3000     layout:
3001       "plot-latency"
3002
3003 -
3004   type: "plot"
3005   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3006   algorithm: "plot_latency_box"
3007   output-file-type: ".html"
3008   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3009   data:
3010     "plot-dpdk-throughput-latency"
3011   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3012   parameters:
3013   - "latency"
3014   - "parent"
3015   traces:
3016     boxmean: False
3017   layout:
3018     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3019     layout:
3020       "plot-latency"
3021
3022 -
3023   type: "plot"
3024   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3025   algorithm: "plot_latency_box"
3026   output-file-type: ".html"
3027   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3028   data:
3029     "plot-dpdk-throughput-latency"
3030   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3031   parameters:
3032   - "latency"
3033   - "parent"
3034   traces:
3035     boxmean: False
3036   layout:
3037     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3038     layout:
3039       "plot-latency"
3040
3041 # Ligato - Throughput
3042
3043 # Container memif
3044 -
3045   type: "plot"
3046   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3047   algorithm: "plot_performance_box"
3048   output-file-type: ".html"
3049   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3050   data:
3051     "plot-vpp-throughput-latency"
3052   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3053   parameters:
3054   - "throughput"
3055   - "parent"
3056   traces:
3057     hoverinfo: "x+y"
3058     boxpoints: "outliers"
3059     whiskerwidth: 0
3060   layout:
3061     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3062     xaxis:
3063       autorange: True
3064       autotick: False
3065       fixedrange: False
3066       gridcolor: "rgb(238, 238, 238)"
3067       linecolor: "rgb(238, 238, 238)"
3068       linewidth: 1
3069       showgrid: True
3070       showline: True
3071       showticklabels: True
3072       tickcolor: "rgb(238, 238, 238)"
3073       tickmode: "linear"
3074       title: "Indexed Test Cases"
3075       zeroline: False
3076     yaxis:
3077       gridcolor: "rgb(238, 238, 238)'"
3078       hoverformat: ".4s"
3079       linecolor: "rgb(238, 238, 238)"
3080       linewidth: 1
3081       range: [0, 4500000]
3082       showgrid: True
3083       showline: True
3084       showticklabels: True
3085       tickcolor: "rgb(238, 238, 238)"
3086       title: "Packets Per Second [pps]"
3087       zeroline: False
3088     boxmode: "group"
3089     boxgroupgap: 0.5
3090     autosize: False
3091     margin:
3092       t: 50
3093       b: 20
3094       l: 50
3095       r: 20
3096     showlegend: True
3097     legend:
3098       orientation: "h"
3099     width: 700
3100     height: 1000
3101
3102 -
3103   type: "plot"
3104   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3105   algorithm: "plot_performance_box"
3106   output-file-type: ".html"
3107   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3108   data:
3109     "plot-vpp-throughput-latency"
3110   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3111   parameters:
3112   - "throughput"
3113   - "parent"
3114   traces:
3115     hoverinfo: "x+y"
3116     boxpoints: "outliers"
3117     whiskerwidth: 0
3118   layout:
3119     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3120     xaxis:
3121       autorange: True
3122       autotick: False
3123       fixedrange: False
3124       gridcolor: "rgb(238, 238, 238)"
3125       linecolor: "rgb(238, 238, 238)"
3126       linewidth: 1
3127       showgrid: True
3128       showline: True
3129       showticklabels: True
3130       tickcolor: "rgb(238, 238, 238)"
3131       tickmode: "linear"
3132       title: "Indexed Test Cases"
3133       zeroline: False
3134     yaxis:
3135       gridcolor: "rgb(238, 238, 238)'"
3136       hoverformat: ".4s"
3137       linecolor: "rgb(238, 238, 238)"
3138       linewidth: 1
3139       range: [0, 8000000]
3140       showgrid: True
3141       showline: True
3142       showticklabels: True
3143       tickcolor: "rgb(238, 238, 238)"
3144       title: "Packets Per Second [pps]"
3145       zeroline: False
3146     boxmode: "group"
3147     boxgroupgap: 0.5
3148     autosize: False
3149     margin:
3150       t: 50
3151       b: 20
3152       l: 50
3153       r: 20
3154     showlegend: True
3155     legend:
3156       orientation: "h"
3157     width: 700
3158     height: 1000
3159
3160 -
3161   type: "plot"
3162   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3163   algorithm: "plot_performance_box"
3164   output-file-type: ".html"
3165   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3166   data:
3167     "plot-vpp-throughput-latency"
3168   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3169   parameters:
3170   - "throughput"
3171   - "parent"
3172   traces:
3173     hoverinfo: "x+y"
3174     boxpoints: "outliers"
3175     whiskerwidth: 0
3176   layout:
3177     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3178     xaxis:
3179       autorange: True
3180       autotick: False
3181       fixedrange: False
3182       gridcolor: "rgb(238, 238, 238)"
3183       linecolor: "rgb(238, 238, 238)"
3184       linewidth: 1
3185       showgrid: True
3186       showline: True
3187       showticklabels: True
3188       tickcolor: "rgb(238, 238, 238)"
3189       tickmode: "linear"
3190       title: "Indexed Test Cases"
3191       zeroline: False
3192     yaxis:
3193       gridcolor: "rgb(238, 238, 238)'"
3194       hoverformat: ".4s"
3195       linecolor: "rgb(238, 238, 238)"
3196       linewidth: 1
3197       range: [0, 4500000]
3198       showgrid: True
3199       showline: True
3200       showticklabels: True
3201       tickcolor: "rgb(238, 238, 238)"
3202       title: "Packets Per Second [pps]"
3203       zeroline: False
3204     boxmode: "group"
3205     boxgroupgap: 0.5
3206     autosize: False
3207     margin:
3208       t: 50
3209       b: 20
3210       l: 50
3211       r: 20
3212     showlegend: True
3213     legend:
3214       orientation: "h"
3215     width: 700
3216     height: 1000
3217
3218 -
3219   type: "plot"
3220   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3221   algorithm: "plot_performance_box"
3222   output-file-type: ".html"
3223   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3224   data:
3225     "plot-vpp-throughput-latency"
3226   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3227   parameters:
3228   - "throughput"
3229   - "parent"
3230   traces:
3231     hoverinfo: "x+y"
3232     boxpoints: "outliers"
3233     whiskerwidth: 0
3234   layout:
3235     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3236     xaxis:
3237       autorange: True
3238       autotick: False
3239       fixedrange: False
3240       gridcolor: "rgb(238, 238, 238)"
3241       linecolor: "rgb(238, 238, 238)"
3242       linewidth: 1
3243       showgrid: True
3244       showline: True
3245       showticklabels: True
3246       tickcolor: "rgb(238, 238, 238)"
3247       tickmode: "linear"
3248       title: "Indexed Test Cases"
3249       zeroline: False
3250     yaxis:
3251       gridcolor: "rgb(238, 238, 238)'"
3252       hoverformat: ".4s"
3253       linecolor: "rgb(238, 238, 238)"
3254       linewidth: 1
3255       range: [0, 8000000]
3256       showgrid: True
3257       showline: True
3258       showticklabels: True
3259       tickcolor: "rgb(238, 238, 238)"
3260       title: "Packets Per Second [pps]"
3261       zeroline: False
3262     boxmode: "group"
3263     boxgroupgap: 0.5
3264     autosize: False
3265     margin:
3266       t: 50
3267       b: 20
3268       l: 50
3269       r: 20
3270     showlegend: True
3271     legend:
3272       orientation: "h"
3273     width: 700
3274     height: 1000
3275
3276 # Container orchestrated
3277 -
3278   type: "plot"
3279   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3280   algorithm: "plot_performance_box"
3281   output-file-type: ".html"
3282   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3283   data:
3284     "plot-ligato-throughput-latency"
3285   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3286   parameters:
3287   - "throughput"
3288   - "parent"
3289   traces:
3290     hoverinfo: "x+y"
3291     boxpoints: "outliers"
3292     whiskerwidth: 0
3293   layout:
3294     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3295     layout:
3296       "plot-throughput"
3297
3298 -
3299   type: "plot"
3300   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3301   algorithm: "plot_performance_box"
3302   output-file-type: ".html"
3303   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3304   data:
3305     "plot-ligato-throughput-latency"
3306   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3307   parameters:
3308   - "throughput"
3309   - "parent"
3310   traces:
3311     hoverinfo: "x+y"
3312     boxpoints: "outliers"
3313     whiskerwidth: 0
3314   layout:
3315     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3316     layout:
3317       "plot-throughput"
3318
3319 -
3320   type: "plot"
3321   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3322   algorithm: "plot_performance_box"
3323   output-file-type: ".html"
3324   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3325   data:
3326     "plot-ligato-throughput-latency"
3327   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3328   parameters:
3329   - "throughput"
3330   - "parent"
3331   traces:
3332     hoverinfo: "x+y"
3333     boxpoints: "outliers"
3334     whiskerwidth: 0
3335   layout:
3336     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3337     layout:
3338       "plot-throughput"
3339
3340 -
3341   type: "plot"
3342   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3343   algorithm: "plot_performance_box"
3344   output-file-type: ".html"
3345   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3346   data:
3347     "plot-ligato-throughput-latency"
3348   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3349   parameters:
3350   - "throughput"
3351   - "parent"
3352   traces:
3353     hoverinfo: "x+y"
3354     boxpoints: "outliers"
3355     whiskerwidth: 0
3356   layout:
3357     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3358     layout:
3359       "plot-throughput"
3360
3361 # Ligato - Latency
3362
3363 # Container memif
3364 -
3365   type: "plot"
3366   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3367   algorithm: "plot_latency_box"
3368   output-file-type: ".html"
3369   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3370   data:
3371     "plot-vpp-throughput-latency"
3372   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3373   parameters:
3374   - "latency"
3375   - "parent"
3376   traces:
3377     boxmean: False
3378   layout:
3379     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3380     layout:
3381       "plot-latency"
3382
3383 -
3384   type: "plot"
3385   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3386   algorithm: "plot_latency_box"
3387   output-file-type: ".html"
3388   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3389   data:
3390     "plot-vpp-throughput-latency"
3391   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3392   parameters:
3393   - "latency"
3394   - "parent"
3395   traces:
3396     boxmean: False
3397   layout:
3398     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3399     layout:
3400       "plot-latency"
3401
3402 # Container orchestrated
3403 -
3404   type: "plot"
3405   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3406   algorithm: "plot_latency_box"
3407   output-file-type: ".html"
3408   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3409   data:
3410     "plot-ligato-throughput-latency"
3411   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3412   parameters:
3413   - "latency"
3414   - "parent"
3415   traces:
3416     boxmean: False
3417   layout:
3418     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3419     layout:
3420       "plot-latency"
3421
3422 -
3423   type: "plot"
3424   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3425   algorithm: "plot_latency_box"
3426   output-file-type: ".html"
3427   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3428   data:
3429     "plot-ligato-throughput-latency"
3430   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3431   parameters:
3432   - "latency"
3433   - "parent"
3434   traces:
3435     boxmean: False
3436   layout:
3437     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3438     layout:
3439       "plot-latency"

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.