9d51d51faec4a411f4b81b6e190fa7096a2dc9f0
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3   configuration:
4     # Debug mode:
5     # - Skip:
6     #   - Download of input data files
7     # - Do:
8     #   - Read data from given zip / xml files
9     #   - Set the configuration as it is done in normal mode
10     # If the section "type: debug" is missing, CFG[DEBUG] is set to 0.
11     CFG[DEBUG]: 0
12
13   paths:
14     # Top level directories:
15     ## Working directory
16     DIR[WORKING]: "_tmp"
17     ## Build directories
18     DIR[BUILD,HTML]: "_build"
19     DIR[BUILD,LATEX]: "_build_latex"
20
21     # Static .rst files
22     DIR[RST]: "../../../docs/report"
23
24     # Working directories
25     ## Input data files (.zip, .xml)
26     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
27     ## Static source files from git
28     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
29     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
30
31     # Static html content
32     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
33     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
34     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
35     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
36
37     # Detailed test results
38     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
39     DIR[DTR,PERF,DPDK]: "{DIR[DTR]}/dpdk_performance_results"
40     DIR[DTR,PERF,VPP]: "{DIR[DTR]}/vpp_performance_results"
41     DIR[DTR,PERF,COT]: "{DIR[DTR]}/cot_performance_results"
42     DIR[DTR,PERF,HC]: "{DIR[DTR]}/honeycomb_performance_results"
43     DIR[DTR,FUNC,VPP]: "{DIR[DTR]}/vpp_functional_results"
44     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
45     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP]: "{DIR[DTC]}/vpp_performance_configuration"
51     DIR[DTC,FUNC,VPP]: "{DIR[DTC]}/vpp_functional_configuration"
52
53     # Detailed tests operational data
54     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
55     DIR[DTO,PERF,VPP]: "{DIR[DTO]}/vpp_performance_operational_data"
56
57     # .css patch file to fix tables generated by Sphinx
58     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
59     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
60
61   urls:
62     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
63     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
64     URL[NEXUS]: "https://docs.fd.io/csit"
65     DIR[NEXUS]: "report/_static/archive"
66
67   make-dirs:
68   # List the directories which are created while preparing the environment.
69   # All directories MUST be defined in "paths" section.
70   - "DIR[WORKING,DATA]"
71   - "DIR[STATIC,VPP]"
72   - "DIR[STATIC,DPDK]"
73   - "DIR[STATIC,ARCH]"
74   - "DIR[BUILD,LATEX]"
75   - "DIR[WORKING,SRC]"
76   - "DIR[WORKING,SRC,STATIC]"
77
78   remove-dirs:
79   # List the directories which are deleted while cleaning the environment.
80   # All directories MUST be defined in "paths" section.
81   #- "DIR[BUILD,HTML]"
82
83   build-dirs:
84   # List the directories where the results (build) is stored.
85   # All directories MUST be defined in "paths" section.
86   - "DIR[BUILD,HTML]"
87   - "DIR[BUILD,LATEX]"
88
89 -
90   type: "configuration"
91   data-sets:
92     plot-vpp-http-server-performance:
93       csit-vpp-perf-1801-all:
94       - 157
95       - 158
96       - 159
97       - 160
98       - 161
99       - 164
100       - 165
101       - 166
102       - 168
103       - 169
104       - 170
105 # TODO: Add the data sources
106 #    vpp-meltdown-impact:
107 #      csit-vpp-perf-1707-all:
108 #      - 9
109 #      - 10
110 #      - 13
111 #      csit-vpp-perf-1710-all:
112 #      - 11l
113 #      - 12
114 #      - 13
115 # TODO: Add the data sources
116 #    vpp-spectre-impact:
117 #      csit-vpp-perf-1707-all:
118 #      - 9
119 #      - 10
120 #      - 13
121 #      csit-vpp-perf-1710-all:
122 #      - 11
123 #      - 12
124 #      - 13
125     vpp-performance-changes:
126       csit-vpp-perf-1710-all:
127       - 11
128       - 12
129       - 13
130       - 14
131       - 15
132       - 16
133       - 17
134       - 18
135       - 19
136       - 20
137       csit-vpp-perf-1801-all:
138       - 124  # sel
139       - 127  # sel
140       - 128  # sel
141       - 141  # sel
142       - 142  # sel
143       - 143  # sel
144       - 145  # sel
145       - 146  # sel
146       - 162  # sel
147       - 163  # sel
148       - 167  # sel
149       - 172  # sel acl only
150     plot-throughput-speedup-analysis:
151       csit-vpp-perf-1801-all:
152       - 122  # full
153       - 126  # full
154       - 129  # full
155       - 140  # full
156       - 124  # sel
157       - 127  # sel
158       - 128  # sel
159       - 141  # sel
160       - 142  # sel
161       - 143  # sel
162       - 145  # sel
163       - 146  # sel
164       - 162  # sel
165       - 163  # sel
166       - 167  # sel
167       - 172  # sel acl only
168 #    performance-improvements:
169 #      csit-vpp-perf-1707-all:
170 #      - 9
171 #      - 10
172 #      - 13
173 #      - 14
174 #      - 15
175 #      - 16
176 #      - 17
177 #      - 18
178 #      - 19
179 #      - 21
180 #      csit-vpp-perf-1710-all:
181 #      - 11
182 #      - 12
183 #      - 13
184 #      - 14
185 #      - 15
186 #      - 16
187 #      - 17
188 #      - 18
189 #      - 19
190 #      - 20
191 #      csit-vpp-perf-1801-all:
192 #      - 124
193 #      - 127
194 #      - 128
195 #      csit-ligato-perf-1710-all:
196 #      - 5
197 #      - 7
198 #      - 8
199 #      - 9
200 #      - 10
201 #      - 11
202 #      - 12
203 #      - 13
204 #      - 16
205 #      - 17
206 #      csit-ligato-perf-1801-all:
207 #      - 16  # sel
208 #      - 17  # sel
209 #      - 18  # sel
210 #      - 19  # sel
211 #      - 20  # sel
212 #      - 21  # sel
213 #      - 22  # sel
214 #      - 23  # sel
215 #      - 24  # sel
216     vpp-perf-results:
217       csit-vpp-perf-1801-all:
218       - 122
219       - 126
220       - 129
221       - 140
222     vpp-func-results:
223       csit-vpp-functional-1801-ubuntu1604-virl:
224       - "lastSuccessfulBuild"
225     ligato-perf-results:
226       csit-ligato-perf-1801-all:
227       - 25  # full
228     dpdk-perf-results:
229       csit-dpdk-perf-1801-all:
230       - 12
231     hc-func-results:
232       csit-hc2vpp-verify-func-1801-ubuntu1604:
233       - "lastSuccessfulBuild"
234     nsh-func-results:
235       csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
236       - 1
237     plot-vpp-throughput-latency:
238       csit-vpp-perf-1801-all:
239       - 122  # full
240       - 126  # full
241       - 129  # full
242       - 140  # full
243       - 124  # sel
244       - 127  # sel
245       - 128  # sel
246       - 141  # sel
247       - 142  # sel
248       - 143  # sel
249       - 145  # sel
250       - 146  # sel
251       - 162  # sel
252       - 163  # sel
253       - 167  # sel
254       - 172  # sel acl only
255     plot-dpdk-throughput-latency:
256       csit-dpdk-perf-1801-all:
257       - 1
258       - 3
259       - 4
260       - 5
261       - 6
262       - 7
263       - 8
264       - 10
265       - 12
266     plot-ligato-throughput-latency:
267       csit-ligato-perf-1801-all:
268       - 16  # sel
269       - 17  # sel
270       - 18  # sel
271       - 19  # sel
272       - 20  # sel
273       - 21  # sel
274       - 22  # sel
275       - 23  # sel
276       - 24  # sel
277
278   plot-layouts:
279
280     plot-cps:
281       xaxis:
282         autorange: True
283         autotick: False
284         fixedrange: False
285         gridcolor: "rgb(238, 238, 238)"
286         linecolor: "rgb(238, 238, 238)"
287         linewidth: 1
288         showgrid: True
289         showline: True
290         showticklabels: True
291         tickcolor: "rgb(238, 238, 238)"
292         tickmode: "linear"
293         title: "Indexed Test Cases"
294         zeroline: False
295       yaxis:
296         gridcolor: "rgb(238, 238, 238)'"
297         hoverformat: ".4s"
298         linecolor: "rgb(238, 238, 238)"
299         linewidth: 1
300         range: []
301         rangemode: "tozero"
302         showgrid: True
303         showline: True
304         showticklabels: True
305         tickcolor: "rgb(238, 238, 238)"
306         title: "Connections Per Second [cps]"
307         zeroline: False
308       boxmode: "group"
309       boxgroupgap: 0.5
310       autosize: False
311       margin:
312         t: 50
313         b: 20
314         l: 50
315         r: 20
316       showlegend: True
317       legend:
318         orientation: "h"
319       width: 700
320       height: 1000
321
322     plot-rps:
323       xaxis:
324         autorange: True
325         autotick: False
326         fixedrange: False
327         gridcolor: "rgb(238, 238, 238)"
328         linecolor: "rgb(238, 238, 238)"
329         linewidth: 1
330         showgrid: True
331         showline: True
332         showticklabels: True
333         tickcolor: "rgb(238, 238, 238)"
334         tickmode: "linear"
335         title: "Indexed Test Cases"
336         zeroline: False
337       yaxis:
338         gridcolor: "rgb(238, 238, 238)'"
339         hoverformat: ".4s"
340         linecolor: "rgb(238, 238, 238)"
341         linewidth: 1
342         range: []
343         rangemode: "tozero"
344         showgrid: True
345         showline: True
346         showticklabels: True
347         tickcolor: "rgb(238, 238, 238)"
348         title: "Requests Per Second [rps]"
349         zeroline: False
350       boxmode: "group"
351       boxgroupgap: 0.5
352       autosize: False
353       margin:
354         t: 50
355         b: 20
356         l: 50
357         r: 20
358       showlegend: True
359       legend:
360         orientation: "h"
361       width: 700
362       height: 1000
363
364     plot-throughput:
365       xaxis:
366         autorange: True
367         autotick: False
368         fixedrange: False
369         gridcolor: "rgb(238, 238, 238)"
370         linecolor: "rgb(238, 238, 238)"
371         linewidth: 1
372         showgrid: True
373         showline: True
374         showticklabels: True
375         tickcolor: "rgb(238, 238, 238)"
376         tickmode: "linear"
377         title: "Indexed Test Cases"
378         zeroline: False
379       yaxis:
380         gridcolor: "rgb(238, 238, 238)'"
381         hoverformat: ".4s"
382         linecolor: "rgb(238, 238, 238)"
383         linewidth: 1
384         range: []
385         showgrid: True
386         showline: True
387         showticklabels: True
388         tickcolor: "rgb(238, 238, 238)"
389         title: "Packets Per Second [pps]"
390         zeroline: False
391       boxmode: "group"
392       boxgroupgap: 0.5
393       autosize: False
394       margin:
395         t: 50
396         b: 20
397         l: 50
398         r: 20
399       showlegend: True
400       legend:
401         orientation: "h"
402       width: 700
403       height: 1000
404
405     plot-latency:
406       xaxis:
407         autorange: True
408         autotick: False
409         fixedrange: False
410         gridcolor: "rgb(238, 238, 238)"
411         linecolor: "rgb(238, 238, 238)"
412         linewidth: 1
413         showgrid: True
414         showline: True
415         showticklabels: True
416         tickcolor: "rgb(238, 238, 238)"
417         tickmode: "linear"
418         title: "Indexed Test Cases"
419         zeroline: False
420       yaxis:
421         gridcolor: "rgb(238, 238, 238)'"
422         hoverformat: ""
423         linecolor: "rgb(238, 238, 238)"
424         linewidth: 1
425         range: []
426         showgrid: True
427         showline: True
428         showticklabels: True
429         tickcolor: "rgb(238, 238, 238)"
430         title: "Latency min/avg/max [uSec]"
431         zeroline: False
432       boxmode: "group"
433       boxgroupgap: 0.5
434       autosize: False
435       margin:
436         t: 50
437         b: 20
438         l: 50
439         r: 20
440       showlegend: True
441       legend:
442         orientation: "h"
443       width: 700
444       height: 1000
445
446     plot-throughput-speedup-analysis:
447       xaxis:
448         autorange: True
449         autotick: False
450         fixedrange: False
451         gridcolor: "rgb(238, 238, 238)"
452         linecolor: "rgb(238, 238, 238)"
453         linewidth: 1
454         showgrid: True
455         showline: True
456         showticklabels: True
457         tickcolor: "rgb(238, 238, 238)"
458         tickmode: "linear"
459         tickangle: 270
460         zeroline: False
461       yaxis:
462         title: "Throughput speedup factor"
463         gridcolor: "rgb(238, 238, 238)"
464         hoverformat: ".4s"
465         linecolor: "rgb(238, 238, 238)"
466         linewidth: 1
467         range: []
468         showgrid: True
469         showline: True
470         showticklabels: True
471         tickcolor: "rgb(238, 238, 238)"
472         zeroline: False
473       legend:
474         orientation: "h"
475         xanchor: "center"
476         yanchor: "top"
477         x: 0.5
478         y: 1
479         bgcolor: "rgba(255, 255, 255, 0)"
480         bordercolor: "rgba(255, 255, 255, 0)"
481       barmode: "group"
482       bargap: 0.15
483       bargroupgap: 0.1
484       autosize: False
485       margin:
486           't': 50
487           'b': 200
488           'l': 50
489           'r': 20
490       showlegend: True
491       width: 700
492       height: 1000
493
494 -
495   type: "debug"
496   general:
497     input-format: "xml"  # zip or xml
498     extract: "robot-plugin/output.xml"  # Only for zip
499   builds:
500     # The files must be in the directory DIR[WORKING,DATA]
501     csit-vpp-perf-1801-all:
502     -
503       build: 1
504       file: "{DIR[WORKING,DATA]}/output.xml"
505     -
506       build: 2
507       file: "{DIR[WORKING,DATA]}/output.xml"
508     -
509       build: 3
510       file: "{DIR[WORKING,DATA]}/output.xml"
511     -
512       build: 4
513       file: "{DIR[WORKING,DATA]}/output.xml"
514
515 -
516   type: "static"
517   src-path: "{DIR[RST]}"
518   dst-path: "{DIR[WORKING,SRC]}"
519
520 -
521   type: "input"  # Ignored in debug mode
522   general:
523     file-name: "robot-plugin.zip"
524     file-format: ".zip"
525     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
526     extract: "robot-plugin/output.xml"
527   builds:
528 #    csit-vpp-perf-1707-all:
529 #    - 9
530 #    - 10
531 #    - 13
532 #    - 14
533 #    - 15
534 #    - 16
535 #    - 17
536 #    - 18
537 #    - 19
538 #    - 21
539     csit-vpp-perf-1710-all:
540     - 11
541     - 12
542     - 13
543     - 14
544     - 15
545     - 16
546     - 17
547     - 18
548     - 19
549     - 20
550     csit-vpp-perf-1801-all:
551     - 122  # full
552     - 126  # full
553     - 129  # full
554     - 140  # full
555     - 124  # sel
556     - 127  # sel
557     - 128  # sel
558     - 141  # sel
559     - 142  # sel
560     - 143  # sel
561     - 145  # sel
562     - 146  # sel
563     - 157  # wrk
564     - 158  # wrk
565     - 159  # wrk
566     - 160  # wrk
567     - 161  # wrk
568     - 162  # sel
569     - 163  # sel
570     - 164  # wrk
571     - 165  # wrk
572     - 166  # wrk
573     - 167  # sel
574     - 168  # wrk
575     - 169  # wrk
576     - 170  # wrk
577     - 172  # sel acl only
578     csit-ligato-perf-1710-all:
579     - 5
580     - 7
581     - 8
582     - 9
583     - 10
584     - 11
585     - 12
586     - 13
587     - 16
588     - 17
589     csit-dpdk-perf-1801-all:
590     - 1
591     - 4
592     - 5
593     - 7
594     - 8
595     - 10
596     - 12
597     - 16
598     - 17
599     csit-ligato-perf-1801-all:
600     - 16  # sel
601     - 17  # sel
602     - 18  # sel
603     - 19  # sel
604     - 20  # sel
605     - 21  # sel
606     - 22  # sel
607     - 23  # sel
608     - 24  # sel
609     - 25  # full
610     csit-dpdk-perf-1801-all:
611     - 1
612     - 3
613     - 4
614     - 5
615     - 6
616     - 7
617     - 8
618     - 9
619     - 10
620     - 12
621     csit-vpp-functional-1801-ubuntu1604-virl:
622     - lastSuccessfulBuild
623     csit-nsh_sfc-verify-func-1801-ubuntu1604-virl:
624     - 1
625     csit-hc2vpp-verify-func-1801-ubuntu1604:
626     - lastSuccessfulBuild
627
628 -
629   type: "output"
630   output: "report"
631   format:
632     html:
633     - full
634     pdf:
635     - minimal
636
637 ################################################################################
638 ###                               T A B L E S                                ###
639 ################################################################################
640
641 #-
642 #  type: "table"
643 #  title: "Performance Impact of Meltdown Patches"
644 #  algorithm: "table_performance_comparison"
645 #  output-file-ext: ".csv"
646 ## TODO: specify dir
647 #  output-file: "{DIR[STATIC,VPP]}/meltdown-impact"
648 #  reference:
649 #    title: "No Meltdown"
650 ## TODO: specify data sources
651 #    data:
652 #      csit-vpp-perf-1707-all:
653 #      - 9
654 #      - 10
655 #      - 13
656 #  compare:
657 #    title: "Meltdown Patches Applied"
658 ## TODO: specify data sources
659 #    data:
660 #      csit-vpp-perf-1710-all:
661 #      - 11
662 #      - 12
663 #      - 13
664 #  data:
665 #    "vpp-meltdown-impact"
666 #  filter: "all"
667 #  parameters:
668 #  - "name"
669 #  - "parent"
670 #  - "throughput"
671 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
672 #  # to present all tests.
673 #  nr-of-tests-shown: 20
674 #
675 #-
676 #  type: "table"
677 #  title: "Performance Impact of Spectre Patches"
678 #  algorithm: "table_performance_comparison"
679 #  output-file-ext: ".csv"
680 ## TODO: specify dir
681 #  output-file: "{DIR[STATIC,VPP]}/meltdown-spectre-impact"
682 #  reference:
683 #    title: "No Spectre"
684 ## TODO: specify data sources
685 #    data:
686 #      csit-vpp-perf-1707-all:
687 #      - 9
688 #      - 10
689 #      - 13
690 #  compare:
691 #    title: "Spectre Patches Applied"
692 ## TODO: specify data sources
693 #    data:
694 #      csit-vpp-perf-1710-all:
695 #      - 11
696 #      - 12
697 #      - 13
698 #  data:
699 #    "vpp-spectre-impact"
700 #  filter: "all"
701 #  parameters:
702 #  - "name"
703 #  - "parent"
704 #  - "throughput"
705 #  # Number of the best and the worst tests presented in the table. Use 0 (zero)
706 #  # to present all tests.
707 #  nr-of-tests-shown: 20
708
709 -
710   type: "table"
711   title: "VPP Performance Changes"
712   algorithm: "table_performance_comparison"
713   output-file-ext: ".csv"
714   output-file: "{DIR[STATIC,VPP]}/performance-changes"
715   reference:
716     title: "Release 1710"
717     data:
718       csit-vpp-perf-1710-all:
719       - 11
720       - 12
721       - 13
722       - 14
723       - 15
724       - 16
725       - 17
726       - 18
727       - 19
728       - 20
729   compare:
730     title: "Release 1801"
731 # TODO: specify data sources
732     data:
733       csit-vpp-perf-1801-all:
734       - 124  # sel
735       - 127  # sel
736       - 128  # sel
737       - 141  # sel
738       - 142  # sel
739       - 143  # sel
740       - 145  # sel
741       - 146  # sel
742       - 162  # sel
743       - 163  # sel
744       - 167  # sel
745       - 172  # sel acl only
746   data: "vpp-performance-changes"
747   filter: "all"
748   parameters:
749   - "name"
750   - "parent"
751   - "throughput"
752   # Number of the best and the worst tests presented in the table. Use 0 (zero)
753   # to present all tests.
754   nr-of-tests-shown: 20
755   outlier-const: 1.5
756
757 #-
758 #  type: "table"
759 #  title: "Performance improvements"
760 #  algorithm: "table_performance_improvements"
761 #  template: "{DIR[DTR,PERF,VPP,IMPRV]}/tmpl_performance_improvements.csv"
762 #  output-file-ext: ".csv"
763 #  output-file: "{DIR[DTR,PERF,VPP,IMPRV]}/performance_improvements"
764 #  columns:
765 #  -
766 #    title: "Test Name"
767 #    data: "template 1"
768 #  -
769 #    title: "16.09 mean [Mpps]"
770 #    data: "template 2"
771 #  -
772 #    title: "17.01 mean [Mpps]"
773 #    data: "template 3"
774 #  -
775 #    title: "17.04 mean [Mpps]"
776 #    data: "template 4"
777 #  -
778 #    title: "17.07 mean [Mpps]"
779 #    data: "data csit-vpp-perf-1707-all mean"
780 #  -
781 #    title: "17.10 mean [Mpps]"
782 #    data: "data csit-vpp-perf-1710-all csit-ligato-perf-1710-all mean"
783 #  -
784 #    title: "18.01 mean [Mpps]"
785 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all mean"
786 #  -
787 #    title: "18.01 stdev [Mpps]"
788 #    data: "data csit-vpp-perf-1801-all csit-ligato-perf-1801-all stdev"
789 #  -
790 #    title: "17.10 to 18.01 change [%]"
791 #    data: "operation relative_change 5 6"
792 #  rows: "generated"
793 #  data:
794 #    "performance-improvements"
795 #  filter: "template"
796 #  parameters:
797 #  - "throughput"
798
799 -
800   type: "table"
801   title: "Detailed Test Results - VPP Performance Results"
802   algorithm: "table_merged_details"
803   output-file-ext: ".csv"
804   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
805   columns:
806   -
807     title: "Name"
808     data: "data name"
809   -
810     title: "Documentation"
811     data: "data doc"
812   -
813     title: "Status"
814     data: "data msg"
815   rows: "generated"
816   data:
817     "vpp-perf-results"
818   filter: "not 'NDRCHK' and not 'PDRCHK'"
819   parameters:
820   - "name"
821   - "parent"
822   - "doc"
823   - "msg"
824
825 -
826   type: "table"
827   title: "Test configuration - VPP Performance Test Configs"
828   algorithm: "table_merged_details"
829   output-file-ext: ".csv"
830   output-file: "{DIR[DTC,PERF,VPP]}/vpp_test_configuration"
831   columns:
832   -
833     title: "Name"
834     data: "data name"
835   -
836     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
837     data: "data vat-history"
838   rows: "generated"
839   data:
840     "vpp-perf-results"
841   filter: "not 'NDRCHK' and not 'PDRCHK'"
842   parameters:
843   - "parent"
844   - "name"
845   - "vat-history"
846
847 -
848   type: "table"
849   title: "Test Operational Data - VPP Performance Operational Data"
850   algorithm: "table_merged_details"
851   output-file-ext: ".csv"
852   output-file: "{DIR[DTO,PERF,VPP]}/vpp_test_operational"
853   columns:
854   -
855     title: "Name"
856     data: "data name"
857   -
858     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
859     data: "data show-run"
860   rows: "generated"
861   data:
862     "vpp-perf-results"
863   filter: "not 'NDRCHK' and not 'PDRCHK'"
864   parameters:
865   - "parent"
866   - "name"
867   - "show-run"
868
869 -
870   type: "table"
871   title: "Detailed Test Results - VPP Functional Results"
872   algorithm: "table_details"
873   output-file-ext: ".csv"
874   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
875   columns:
876   -
877     title: "Name"
878     data: "data name"
879   -
880     title: "Documentation"
881     data: "data doc"
882   -
883     title: "Status"
884     data: "data status"
885   rows: "generated"
886   data:
887     "vpp-func-results"
888   filter: "all"
889   parameters:
890   - "name"
891   - "parent"
892   - "doc"
893   - "status"
894
895 -
896   type: "table"
897   title: "Test configuration - VPP Functional Test Configs"
898   algorithm: "table_details"
899   output-file-ext: ".csv"
900   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
901   columns:
902   -
903     title: "Name"
904     data: "data name"
905   -
906     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
907     data: "data vat-history"
908   rows: "generated"
909   data:
910     "vpp-func-results"
911   filter: "all"
912   parameters:
913   - "parent"
914   - "name"
915   - "vat-history"
916
917 -
918   type: "table"
919   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results"
920   algorithm: "table_details"
921   output-file-ext: ".csv"
922   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
923   columns:
924   -
925     title: "Name"
926     data: "data name"
927   -
928     title: "Documentation"
929     data: "data doc"
930   -
931     title: "Status"
932     data: "data msg"
933   rows: "generated"
934   data:
935     "ligato-perf-results"
936   filter: "all"
937   parameters:
938   - "name"
939   - "parent"
940   - "doc"
941   - "msg"
942
943 -
944   type: "table"
945   title: "Detailed Test Results - DPDK Performance Results"
946   algorithm: "table_details"
947   output-file-ext: ".csv"
948   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
949   columns:
950   -
951     title: "Name"
952     data: "data name"
953   -
954     title: "Documentation"
955     data: "data doc"
956   -
957     title: "Status"
958     data: "data msg"
959   rows: "generated"
960   data:
961     "dpdk-perf-results"
962   filter: "all"
963   parameters:
964   - "name"
965   - "parent"
966   - "doc"
967   - "msg"
968
969 -
970   type: "table"
971   title: "Detailed Test Results - Honeycomb Functional Results"
972   algorithm: "table_details"
973   output-file-ext: ".csv"
974   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
975   columns:
976   -
977     title: "Name"
978     data: "data name"
979   -
980     title: "Documentation"
981     data: "data doc"
982   -
983     title: "Status"
984     data: "data status"
985   rows: "generated"
986   data:
987     "hc-func-results"
988   filter: "all"
989   parameters:
990   - "name"
991   - "parent"
992   - "doc"
993   - "status"
994
995 -
996   type: "table"
997   title: "Detailed Test Results - NSH SFC Functional Results"
998   algorithm: "table_details"
999   output-file-ext: ".csv"
1000   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
1001   columns:
1002   -
1003     title: "Name"
1004     data: "data name"
1005   -
1006     title: "Documentation"
1007     data: "data doc"
1008   -
1009     title: "Status"
1010     data: "data status"
1011   rows: "generated"
1012   data:
1013     "nsh-func-results"
1014   filter: "all"
1015   parameters:
1016   - "name"
1017   - "parent"
1018   - "doc"
1019   - "status"
1020
1021 ################################################################################
1022 ###                                F I L E S                                 ###
1023 ################################################################################
1024
1025 -
1026   type: "file"
1027   title: "VPP Performance Results"
1028   algorithm: "file_merged_test_results"
1029   output-file-ext: ".rst"
1030   output-file: "{DIR[DTR,PERF,VPP]}/vpp_performance_results"
1031   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1032   dir-tables: "{DIR[DTR,PERF,VPP]}"
1033   data:
1034     "vpp-perf-results"
1035   filter: "not 'NDRCHK' and not 'PDRCHK'"
1036   parameters:
1037   - "name"
1038   - "doc"
1039   - "level"
1040   - "parent"
1041   data-start-level: 3  # 0, 1, 2, ...
1042   chapters-start-level: 2  # 0, 1, 2, ...
1043
1044 -
1045   type: "file"
1046   title: "VPP Performance Configuration"
1047   algorithm: "file_merged_test_results"
1048   output-file-ext: ".rst"
1049   output-file: "{DIR[DTC,PERF,VPP]}/vpp_performance_configuration"
1050   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1051   dir-tables: "{DIR[DTC,PERF,VPP]}"
1052   data:
1053     "vpp-perf-results"
1054   filter: "not 'NDRCHK' and not 'PDRCHK'"
1055   parameters:
1056   - "name"
1057   - "doc"
1058   - "level"
1059   - "parent"
1060   data-start-level: 3  # 0, 1, 2, ...
1061   chapters-start-level: 2  # 0, 1, 2, ...
1062
1063 -
1064   type: "file"
1065   title: "VPP Performance Operational Data"
1066   algorithm: "file_merged_test_results"
1067   output-file-ext: ".rst"
1068   output-file: "{DIR[DTO,PERF,VPP]}/vpp_performance_operational_data"
1069   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1070   dir-tables: "{DIR[DTO,PERF,VPP]}"
1071   data:
1072     "vpp-perf-results"
1073   filter: "not 'NDRCHK' and not 'PDRCHK'"
1074   parameters:
1075   - "name"
1076   - "doc"
1077   - "level"
1078   - "parent"
1079   data-start-level: 3  # 0, 1, 2, ...
1080   chapters-start-level: 2  # 0, 1, 2, ...
1081
1082 -
1083   type: "file"
1084   title: "VPP Functional Results"
1085   algorithm: "file_test_results"
1086   output-file-ext: ".rst"
1087   output-file: "{DIR[DTR,FUNC,VPP]}/vpp_functional_results"
1088   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1089   dir-tables: "{DIR[DTR,FUNC,VPP]}"
1090   data:
1091     "vpp-func-results"
1092   filter: "all"
1093   parameters:
1094   - "name"
1095   - "doc"
1096   - "level"
1097   data-start-level: 3  # 0, 1, 2, ...
1098   chapters-start-level: 2  # 0, 1, 2, ...
1099
1100 -
1101   type: "file"
1102   title: "VPP Functional Configuration"
1103   algorithm: "file_test_results"
1104   output-file-ext: ".rst"
1105   output-file: "{DIR[DTC,FUNC,VPP]}/vpp_functional_configuration"
1106   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1107   dir-tables: "{DIR[DTC,FUNC,VPP]}"
1108   data:
1109     "vpp-func-results"
1110   filter: "all"
1111   parameters:
1112   - "name"
1113   - "doc"
1114   - "level"
1115   data-start-level: 3  # 0, 1, 2, ...
1116   chapters-start-level: 2  # 0, 1, 2, ...
1117
1118 -
1119   type: "file"
1120   title: "Container Orchestrated Performance Results"
1121   algorithm: "file_test_results"
1122   output-file-ext: ".rst"
1123   output-file: "{DIR[DTR,PERF,COT]}/cot_performance_results"
1124   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1125   dir-tables: "{DIR[DTR,PERF,COT]}"
1126   data:
1127     "ligato-perf-results"
1128   filter: "all"
1129   parameters:
1130   - "name"
1131   - "doc"
1132   - "level"
1133   data-start-level: 2  # 0, 1, 2, ...
1134   chapters-start-level: 2  # 0, 1, 2, ...
1135
1136 -
1137   type: "file"
1138   title: "DPDK Performance Results"
1139   algorithm: "file_test_results"
1140   output-file-ext: ".rst"
1141   output-file: "{DIR[DTR,PERF,DPDK]}/dpdk_performance_results"
1142   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1143   dir-tables: "{DIR[DTR,PERF,DPDK]}"
1144   data:
1145     "dpdk-perf-results"
1146   filter: "all"
1147   parameters:
1148   - "name"
1149   - "doc"
1150   - "level"
1151   chapters:
1152   - "suites"
1153   data-start-level: 2  # 0, 1, 2, ...
1154   chapters-start-level: 2  # 0, 1, 2, ...
1155
1156 -
1157   type: "file"
1158   title: "Honeycomb Functional Results"
1159   algorithm: "file_test_results"
1160   output-file-ext: ".rst"
1161   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
1162   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1163   dir-tables: "{DIR[DTR,FUNC,HC]}"
1164   data:
1165     "hc-func-results"
1166   filter: "all"
1167   parameters:
1168   - "name"
1169   - "doc"
1170   - "level"
1171   chapters:
1172   - "suites"
1173   data-start-level: 3  # 0, 1, 2, ...
1174   chapters-start-level: 2  # 0, 1, 2, ...
1175
1176 -
1177   type: "file"
1178   title: "NSH SFC Functional Results"
1179   algorithm: "file_test_results"
1180   output-file-ext: ".rst"
1181   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
1182   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
1183   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
1184   data:
1185     "nsh-func-results"
1186   filter: "all"
1187   parameters:
1188   - "name"
1189   - "doc"
1190   - "level"
1191   chapters:
1192   - "suites"
1193   data-start-level: 2  # 0, 1, 2, ...
1194   chapters-start-level: 2  # 0, 1, 2, ...
1195
1196 ################################################################################
1197 ###                                P L O T S                                 ###
1198 ################################################################################
1199
1200 # Plots VPP HTTP Server Performance
1201 -
1202   type: "plot"
1203   title: "VPP HTTP Server Performance"
1204   algorithm: "plot_http_server_performance_box"
1205   output-file-type: ".html"
1206   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
1207   data:
1208     "plot-vpp-http-server-performance"
1209   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1210   # each tag is enclosed with ' (apostrophe).
1211   filter: "'HTTP' and 'TCP_CPS'"
1212   parameters:
1213   - "result"
1214   - "name"
1215   traces:
1216     hoverinfo: "x+y"
1217     boxpoints: "outliers"
1218     whiskerwidth: 0
1219   layout:
1220     title: "VPP HTTP Server Performance"
1221     layout:
1222       "plot-cps"
1223
1224 -
1225   type: "plot"
1226   title: "VPP HTTP Server Performance"
1227   algorithm: "plot_http_server_performance_box"
1228   output-file-type: ".html"
1229   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
1230   data:
1231     "plot-vpp-http-server-performance"
1232   filter: "'HTTP' and 'TCP_RPS'"
1233   parameters:
1234   - "result"
1235   - "name"
1236   traces:
1237     hoverinfo: "x+y"
1238     boxpoints: "outliers"
1239     whiskerwidth: 0
1240   layout:
1241     title: "VPP HTTP Server Performance"
1242     layout:
1243       "plot-rps"
1244
1245 # Plot Throughput Speedup Analysis
1246
1247 # L2 - 10ge2p1x520 - NDR
1248 -
1249   type: "plot"
1250   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1251   algorithm: "plot_throughput_speedup_analysis"
1252   output-file-type: ".html"
1253   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-ndrdisc"
1254   data:
1255     "plot-throughput-speedup-analysis"
1256   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1257   parameters:
1258   - "throughput"
1259   - "parent"
1260   - "tags"
1261   layout:
1262     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1263     layout:
1264       "plot-throughput-speedup-analysis"
1265
1266 # L2 - 40ge2p1xl710 - NDR
1267 -
1268   type: "plot"
1269   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1270   algorithm: "plot_throughput_speedup_analysis"
1271   output-file-type: ".html"
1272   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-l2-tsa-ndrdisc"
1273   data:
1274     "plot-throughput-speedup-analysis"
1275   filter: "'NIC_Intel-XL710' and '64B' and 'BASE' and 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1276   parameters:
1277   - "throughput"
1278   - "parent"
1279   - "tags"
1280   layout:
1281     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1282     layout:
1283       "plot-throughput-speedup-analysis"
1284
1285 # L2 - 10ge2p1x520 - PDR
1286 -
1287   type: "plot"
1288   title: "TSA: 64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1289   algorithm: "plot_throughput_speedup_analysis"
1290   output-file-type: ".html"
1291   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-l2-tsa-pdrdisc"
1292   data:
1293     "plot-throughput-speedup-analysis"
1294   filter: "'NIC_Intel-X520-DA2' and '64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'LXC' and not 'DOCKER'"
1295   parameters:
1296   - "throughput"
1297   - "parent"
1298   - "tags"
1299   layout:
1300     title: "64B-*-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1301     layout:
1302       "plot-throughput-speedup-analysis"
1303
1304 # IPv4 - 10ge2p1x520 - NDR
1305 -
1306   type: "plot"
1307   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1308   algorithm: "plot_throughput_speedup_analysis"
1309   output-file-type: ".html"
1310   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-ndrdisc"
1311   data:
1312     "plot-throughput-speedup-analysis"
1313   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1314   parameters:
1315   - "throughput"
1316   - "parent"
1317   - "tags"
1318   layout:
1319     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1320     layout:
1321       "plot-throughput-speedup-analysis"
1322
1323 # IPv4 - 40ge2p1xl710 - NDR
1324 -
1325   type: "plot"
1326   title: "TSA: 64B-*-ethip4-ip4(base|scale)*ndrdisc"
1327   algorithm: "plot_throughput_speedup_analysis"
1328   output-file-type: ".html"
1329   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-64B-ip4-tsa-ndrdisc"
1330   data:
1331     "plot-throughput-speedup-analysis"
1332   filter: "'NIC_Intel-XL710' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1333   parameters:
1334   - "throughput"
1335   - "parent"
1336   - "tags"
1337   layout:
1338     title: "64B-*-ethip4-ip4(base|scale)*ndrdisc"
1339     layout:
1340       "plot-throughput-speedup-analysis"
1341
1342 # IPv4 - 10ge2p1x520 - PDR
1343 -
1344   type: "plot"
1345   title: "TSA: 64B-*-ethip4-ip4(base|scale)*pdrdisc"
1346   algorithm: "plot_throughput_speedup_analysis"
1347   output-file-type: ".html"
1348   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-64B-ip4-tsa-pdrdisc"
1349   data:
1350     "plot-throughput-speedup-analysis"
1351   filter: "'NIC_Intel-X520-DA2' and '64B' and 'IP4FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST' and not 'FEATURE' and not 'DOT1Q' and not 'IPSEC'"
1352   parameters:
1353   - "throughput"
1354   - "parent"
1355   - "tags"
1356   layout:
1357     title: "64B-*-ethip4-ip4(base|scale)*pdrdisc"
1358     layout:
1359       "plot-throughput-speedup-analysis"
1360
1361 # IPv6 - 10ge2p1x520 - NDR
1362 -
1363   type: "plot"
1364   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1365   algorithm: "plot_throughput_speedup_analysis"
1366   output-file-type: ".html"
1367   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-ndrdisc"
1368   data:
1369     "plot-throughput-speedup-analysis"
1370   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1371   parameters:
1372   - "throughput"
1373   - "parent"
1374   - "tags"
1375   layout:
1376     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1377     layout:
1378       "plot-throughput-speedup-analysis"
1379
1380 # IPv6 - 40ge2p1xl710 - NDR
1381 -
1382   type: "plot"
1383   title: "TSA: 78B-*-ethip6-ip6(base|scale)*ndrdisc"
1384   algorithm: "plot_throughput_speedup_analysis"
1385   output-file-type: ".html"
1386   output-file: "{DIR[STATIC,VPP]}/40ge2p1xl710-78B-ip6-tsa-ndrdisc"
1387   data:
1388     "plot-throughput-speedup-analysis"
1389   filter: "'NIC_Intel-XL710' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'NDRDISC' and not 'VHOST'"
1390   parameters:
1391   - "throughput"
1392   - "parent"
1393   - "tags"
1394   layout:
1395     title: "78B-*-ethip6-ip6(base|scale)*ndrdisc"
1396     layout:
1397       "plot-throughput-speedup-analysis"
1398
1399 # IPv6 - 10ge2p1x520 - PDR
1400 -
1401   type: "plot"
1402   title: "TSA: 78B-*-ethip6-ip6(base|scale)*pdrdisc"
1403   algorithm: "plot_throughput_speedup_analysis"
1404   output-file-type: ".html"
1405   output-file: "{DIR[STATIC,VPP]}/10ge2p1x520-78B-ip6-tsa-pdrdisc"
1406   data:
1407     "plot-throughput-speedup-analysis"
1408   filter: "'NIC_Intel-X520-DA2' and '78B' and 'IP6FWD' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and not 'VHOST'"
1409   parameters:
1410   - "throughput"
1411   - "parent"
1412   - "tags"
1413   layout:
1414     title: "78B-*-ethip6-ip6(base|scale)*pdrdisc"
1415     layout:
1416       "plot-throughput-speedup-analysis"
1417
1418 # Plot packets per second
1419
1420 # VPP L2 sel1
1421 -
1422   type: "plot"
1423   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1424   algorithm: "plot_performance_box"
1425   output-file-type: ".html"
1426   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc"
1427   data:
1428     "plot-vpp-throughput-latency"
1429   # Keep this formatting, the filter is enclosed with " (quotation mark) and
1430   # each tag is enclosed with ' (apostrophe).
1431   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1432   parameters:
1433   - "throughput"
1434   - "parent"
1435   traces:
1436     hoverinfo: "x+y"
1437     boxpoints: "outliers"
1438     whiskerwidth: 0
1439   layout:
1440     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1441     layout:
1442       "plot-throughput"
1443
1444 -
1445   type: "plot"
1446   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1447   algorithm: "plot_performance_box"
1448   output-file-type: ".html"
1449   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc"
1450   data:
1451     "plot-vpp-throughput-latency"
1452   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1453   parameters:
1454   - "throughput"
1455   - "parent"
1456   traces:
1457     hoverinfo: "x+y"
1458     boxpoints: "outliers"
1459     whiskerwidth: 0
1460   layout:
1461     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1462     layout:
1463       "plot-throughput"
1464
1465 -
1466   type: "plot"
1467   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1468   algorithm: "plot_performance_box"
1469   output-file-type: ".html"
1470   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-pdrdisc"
1471   data:
1472     "plot-vpp-throughput-latency"
1473   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1474   parameters:
1475   - "throughput"
1476   - "parent"
1477   traces:
1478     hoverinfo: "x+y"
1479     boxpoints: "outliers"
1480     whiskerwidth: 0
1481   layout:
1482     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1483     layout:
1484       "plot-throughput"
1485
1486 -
1487   type: "plot"
1488   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1489   algorithm: "plot_performance_box"
1490   output-file-type: ".html"
1491   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-pdrdisc"
1492   data:
1493     "plot-vpp-throughput-latency"
1494   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1495   parameters:
1496   - "throughput"
1497   - "parent"
1498   traces:
1499     hoverinfo: "x+y"
1500     boxpoints: "outliers"
1501     whiskerwidth: 0
1502   layout:
1503     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1504     layout:
1505       "plot-throughput"
1506
1507 # VPP L2 sel2
1508 -
1509   type: "plot"
1510   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1511   algorithm: "plot_performance_box"
1512   output-file-type: ".html"
1513   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc"
1514   data:
1515     "plot-vpp-throughput-latency"
1516   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1517   parameters:
1518   - "throughput"
1519   - "parent"
1520   traces:
1521     hoverinfo: "x+y"
1522     boxpoints: "outliers"
1523     whiskerwidth: 0
1524   layout:
1525     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1526     layout:
1527       "plot-throughput"
1528
1529 -
1530   type: "plot"
1531   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1532   algorithm: "plot_performance_box"
1533   output-file-type: ".html"
1534   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc"
1535   data:
1536     "plot-vpp-throughput-latency"
1537   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1538   parameters:
1539   - "throughput"
1540   - "parent"
1541   traces:
1542     hoverinfo: "x+y"
1543     boxpoints: "outliers"
1544     whiskerwidth: 0
1545   layout:
1546     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
1547     layout:
1548       "plot-throughput"
1549
1550 -
1551   type: "plot"
1552   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1553   algorithm: "plot_performance_box"
1554   output-file-type: ".html"
1555   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-pdrdisc"
1556   data:
1557     "plot-vpp-throughput-latency"
1558   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1559   parameters:
1560   - "throughput"
1561   - "parent"
1562   traces:
1563     hoverinfo: "x+y"
1564     boxpoints: "outliers"
1565     whiskerwidth: 0
1566   layout:
1567     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1568     layout:
1569       "plot-throughput"
1570
1571 -
1572   type: "plot"
1573   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1574   algorithm: "plot_performance_box"
1575   output-file-type: ".html"
1576   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-pdrdisc"
1577   data:
1578     "plot-vpp-throughput-latency"
1579   filter: "'64B' and 'FEATURE' and ('ACL10' or 'ACL50') and '10k_FLOWS' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
1580   parameters:
1581   - "throughput"
1582   - "parent"
1583   traces:
1584     hoverinfo: "x+y"
1585     boxpoints: "outliers"
1586     whiskerwidth: 0
1587   layout:
1588     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
1589     layout:
1590       "plot-throughput"
1591
1592 # VPP IP4
1593 -
1594   type: "plot"
1595   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1596   algorithm: "plot_performance_box"
1597   output-file-type: ".html"
1598   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc"
1599   data:
1600     "plot-vpp-throughput-latency"
1601   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1602   parameters:
1603   - "throughput"
1604   - "parent"
1605   traces:
1606     hoverinfo: "x+y"
1607     boxpoints: "outliers"
1608     whiskerwidth: 0
1609   layout:
1610     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1611     layout:
1612       "plot-throughput"
1613
1614 -
1615   type: "plot"
1616   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1617   algorithm: "plot_performance_box"
1618   output-file-type: ".html"
1619   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc"
1620   data:
1621     "plot-vpp-throughput-latency"
1622   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1623   parameters:
1624   - "throughput"
1625   - "parent"
1626   traces:
1627     hoverinfo: "x+y"
1628     boxpoints: "outliers"
1629     whiskerwidth: 0
1630   layout:
1631     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
1632     layout:
1633       "plot-throughput"
1634
1635 -
1636   type: "plot"
1637   title: "VPP Performance 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1638   algorithm: "plot_performance_box"
1639   output-file-type: ".html"
1640   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-pdrdisc"
1641   data:
1642     "plot-vpp-throughput-latency"
1643   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1644   parameters:
1645   - "throughput"
1646   - "parent"
1647   traces:
1648     hoverinfo: "x+y"
1649     boxpoints: "outliers"
1650     whiskerwidth: 0
1651   layout:
1652     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1653     layout:
1654       "plot-throughput"
1655
1656 -
1657   type: "plot"
1658   title: "VPP Performance 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1659   algorithm: "plot_performance_box"
1660   output-file-type: ".html"
1661   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-pdrdisc"
1662   data:
1663     "plot-vpp-throughput-latency"
1664   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
1665   parameters:
1666   - "throughput"
1667   - "parent"
1668   traces:
1669     hoverinfo: "x+y"
1670     boxpoints: "outliers"
1671     whiskerwidth: 0
1672   layout:
1673     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*pdrdisc"
1674     layout:
1675       "plot-throughput"
1676
1677 # VPP IP6
1678 -
1679   type: "plot"
1680   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1681   algorithm: "plot_performance_box"
1682   output-file-type: ".html"
1683   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc"
1684   data:
1685     "plot-vpp-throughput-latency"
1686   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1687   parameters:
1688   - "throughput"
1689   - "parent"
1690   traces:
1691     hoverinfo: "x+y"
1692     boxpoints: "outliers"
1693     whiskerwidth: 0
1694   layout:
1695     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1696     layout:
1697       "plot-throughput"
1698
1699 -
1700   type: "plot"
1701   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1702   algorithm: "plot_performance_box"
1703   output-file-type: ".html"
1704   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc"
1705   data:
1706     "plot-vpp-throughput-latency"
1707   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1708   parameters:
1709   - "throughput"
1710   - "parent"
1711   traces:
1712     hoverinfo: "x+y"
1713     boxpoints: "outliers"
1714     whiskerwidth: 0
1715   layout:
1716     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
1717     layout:
1718       "plot-throughput"
1719
1720 -
1721   type: "plot"
1722   title: "VPP Performance 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1723   algorithm: "plot_performance_box"
1724   output-file-type: ".html"
1725   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-pdrdisc"
1726   data:
1727     "plot-vpp-throughput-latency"
1728   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1729   parameters:
1730   - "throughput"
1731   - "parent"
1732   traces:
1733     hoverinfo: "x+y"
1734     boxpoints: "outliers"
1735     whiskerwidth: 0
1736   layout:
1737     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1738     layout:
1739       "plot-throughput"
1740
1741 -
1742   type: "plot"
1743   title: "VPP Performance 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1744   algorithm: "plot_performance_box"
1745   output-file-type: ".html"
1746   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-pdrdisc"
1747   data:
1748     "plot-vpp-throughput-latency"
1749   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
1750   parameters:
1751   - "throughput"
1752   - "parent"
1753   traces:
1754     hoverinfo: "x+y"
1755     boxpoints: "outliers"
1756     whiskerwidth: 0
1757   layout:
1758     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*pdrdisc"
1759     layout:
1760       "plot-throughput"
1761
1762 # VPP IP4_overlay
1763 -
1764   type: "plot"
1765   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1766   algorithm: "plot_performance_box"
1767   output-file-type: ".html"
1768   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc"
1769   data:
1770     "plot-vpp-throughput-latency"
1771   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1772   parameters:
1773   - "throughput"
1774   - "parent"
1775   traces:
1776     hoverinfo: "x+y"
1777     boxpoints: "outliers"
1778     whiskerwidth: 0
1779   layout:
1780     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1781     layout:
1782       "plot-throughput"
1783
1784 -
1785   type: "plot"
1786   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1787   algorithm: "plot_performance_box"
1788   output-file-type: ".html"
1789   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc"
1790   data:
1791     "plot-vpp-throughput-latency"
1792   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1793   parameters:
1794   - "throughput"
1795   - "parent"
1796   traces:
1797     hoverinfo: "x+y"
1798     boxpoints: "outliers"
1799     whiskerwidth: 0
1800   layout:
1801     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
1802     layout:
1803       "plot-throughput"
1804
1805 -
1806   type: "plot"
1807   title: "VPP Performance 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1808   algorithm: "plot_performance_box"
1809   output-file-type: ".html"
1810   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-pdrdisc"
1811   data:
1812     "plot-vpp-throughput-latency"
1813   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1814   parameters:
1815   - "throughput"
1816   - "parent"
1817   traces:
1818     hoverinfo: "x+y"
1819     boxpoints: "outliers"
1820     whiskerwidth: 0
1821   layout:
1822     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1823     layout:
1824       "plot-throughput"
1825
1826 -
1827   type: "plot"
1828   title: "VPP Performance 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1829   algorithm: "plot_performance_box"
1830   output-file-type: ".html"
1831   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-pdrdisc"
1832   data:
1833     "plot-vpp-throughput-latency"
1834   filter: "'64B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
1835   parameters:
1836   - "throughput"
1837   - "parent"
1838   traces:
1839     hoverinfo: "x+y"
1840     boxpoints: "outliers"
1841     whiskerwidth: 0
1842   layout:
1843     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-pdrdisc"
1844     layout:
1845       "plot-throughput"
1846
1847 # VPP IP6_overlay
1848 -
1849   type: "plot"
1850   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1851   algorithm: "plot_performance_box"
1852   output-file-type: ".html"
1853   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc"
1854   data:
1855     "plot-vpp-throughput-latency"
1856   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1857   parameters:
1858   - "throughput"
1859   - "parent"
1860   traces:
1861     hoverinfo: "x+y"
1862     boxpoints: "outliers"
1863     whiskerwidth: 0
1864   layout:
1865     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1866     xaxis:
1867       autorange: True
1868       autotick: False
1869       fixedrange: False
1870       gridcolor: "rgb(238, 238, 238)"
1871       linecolor: "rgb(238, 238, 238)"
1872       linewidth: 1
1873       showgrid: True
1874       showline: True
1875       showticklabels: True
1876       tickcolor: "rgb(238, 238, 238)"
1877       tickmode: "linear"
1878       title: "Indexed Test Cases"
1879       zeroline: False
1880     yaxis:
1881       gridcolor: "rgb(238, 238, 238)'"
1882       hoverformat: ".4s"
1883       linecolor: "rgb(238, 238, 238)"
1884       linewidth: 1
1885       range: [2000000, 6000000]
1886       showgrid: True
1887       showline: True
1888       showticklabels: True
1889       tickcolor: "rgb(238, 238, 238)"
1890       title: "Packets Per Second [pps]"
1891       zeroline: False
1892     boxmode: "group"
1893     boxgroupgap: 0.5
1894     autosize: False
1895     margin:
1896       t: 50
1897       b: 20
1898       l: 50
1899       r: 20
1900     showlegend: True
1901     legend:
1902       orientation: "h"
1903     width: 700
1904     height: 1000
1905
1906 -
1907   type: "plot"
1908   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1909   algorithm: "plot_performance_box"
1910   output-file-type: ".html"
1911   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc"
1912   data:
1913     "plot-vpp-throughput-latency"
1914   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1915   parameters:
1916   - "throughput"
1917   - "parent"
1918   traces:
1919     hoverinfo: "x+y"
1920     boxpoints: "outliers"
1921     whiskerwidth: 0
1922   layout:
1923     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
1924     layout:
1925       "plot-throughput"
1926
1927 -
1928   type: "plot"
1929   title: "VPP Performance 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1930   algorithm: "plot_performance_box"
1931   output-file-type: ".html"
1932   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-pdrdisc"
1933   data:
1934     "plot-vpp-throughput-latency"
1935   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1936   parameters:
1937   - "throughput"
1938   - "parent"
1939   traces:
1940     hoverinfo: "x+y"
1941     boxpoints: "outliers"
1942     whiskerwidth: 0
1943   layout:
1944     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1945     layout:
1946       "plot-throughput"
1947
1948 -
1949   type: "plot"
1950   title: "VPP Performance 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1951   algorithm: "plot_performance_box"
1952   output-file-type: ".html"
1953   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-pdrdisc"
1954   data:
1955     "plot-vpp-throughput-latency"
1956   filter: "'78B' and 'ENCAP' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
1957   parameters:
1958   - "throughput"
1959   - "parent"
1960   traces:
1961     hoverinfo: "x+y"
1962     boxpoints: "outliers"
1963     whiskerwidth: 0
1964   layout:
1965     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-pdrdisc"
1966     xaxis:
1967       autorange: True
1968       autotick: False
1969       fixedrange: False
1970       gridcolor: "rgb(238, 238, 238)"
1971       linecolor: "rgb(238, 238, 238)"
1972       linewidth: 1
1973       showgrid: True
1974       showline: True
1975       showticklabels: True
1976       tickcolor: "rgb(238, 238, 238)"
1977       tickmode: "linear"
1978       title: "Indexed Test Cases"
1979       zeroline: False
1980     yaxis:
1981       gridcolor: "rgb(238, 238, 238)'"
1982       hoverformat: ".4s"
1983       linecolor: "rgb(238, 238, 238)"
1984       linewidth: 1
1985       range: [4000000, 12000000]
1986       showgrid: True
1987       showline: True
1988       showticklabels: True
1989       tickcolor: "rgb(238, 238, 238)"
1990       title: "Packets Per Second [pps]"
1991       zeroline: False
1992     boxmode: "group"
1993     boxgroupgap: 0.5
1994     autosize: False
1995     margin:
1996       t: 50
1997       b: 20
1998       l: 50
1999       r: 20
2000     showlegend: True
2001     legend:
2002       orientation: "h"
2003     width: 700
2004     height: 1000
2005
2006 # VPP VM VHOST
2007 -
2008   type: "plot"
2009   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2010   algorithm: "plot_performance_box"
2011   output-file-type: ".html"
2012   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc"
2013   data:
2014     "plot-vpp-throughput-latency"
2015   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2016   parameters:
2017   - "throughput"
2018   - "parent"
2019   traces:
2020     hoverinfo: "x+y"
2021     boxpoints: "outliers"
2022     whiskerwidth: 0
2023   layout:
2024     title: "64B-1t1c-.*vhost.*-ndrdisc"
2025     xaxis:
2026       autorange: True
2027       autotick: False
2028       fixedrange: False
2029       gridcolor: "rgb(238, 238, 238)"
2030       linecolor: "rgb(238, 238, 238)"
2031       linewidth: 1
2032       showgrid: True
2033       showline: True
2034       showticklabels: True
2035       tickcolor: "rgb(238, 238, 238)"
2036       tickmode: "linear"
2037       title: "Indexed Test Cases"
2038       zeroline: False
2039     yaxis:
2040       gridcolor: "rgb(238, 238, 238)'"
2041       hoverformat: ".4s"
2042       linecolor: "rgb(238, 238, 238)"
2043       linewidth: 1
2044       range: [0, 3500000]
2045       showgrid: True
2046       showline: True
2047       showticklabels: True
2048       tickcolor: "rgb(238, 238, 238)"
2049       title: "Packets Per Second [pps]"
2050       zeroline: False
2051     boxmode: "group"
2052     boxgroupgap: 0.5
2053     autosize: False
2054     margin:
2055       t: 50
2056       b: 20
2057       l: 50
2058       r: 20
2059     showlegend: True
2060     legend:
2061       orientation: "h"
2062     width: 700
2063     height: 1000
2064
2065 -
2066   type: "plot"
2067   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2068   algorithm: "plot_performance_box"
2069   output-file-type: ".html"
2070   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc"
2071   data:
2072     "plot-vpp-throughput-latency"
2073   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2074   parameters:
2075   - "throughput"
2076   - "parent"
2077   traces:
2078     hoverinfo: "x+y"
2079     boxpoints: "outliers"
2080     whiskerwidth: 0
2081   layout:
2082     title: "64B-2t2c-.*vhost.*-ndrdisc"
2083     layout:
2084       "plot-throughput"
2085
2086 -
2087   type: "plot"
2088   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2089   algorithm: "plot_performance_box"
2090   output-file-type: ".html"
2091   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-pdrdisc"
2092   data:
2093     "plot-vpp-throughput-latency"
2094   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2095   parameters:
2096   - "throughput"
2097   - "parent"
2098   traces:
2099     hoverinfo: "x+y"
2100     boxpoints: "outliers"
2101     whiskerwidth: 0
2102   layout:
2103     title: "64B-1t1c-.*vhost.*-pdrdisc"
2104     layout:
2105       "plot-throughput"
2106
2107 -
2108   type: "plot"
2109   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2110   algorithm: "plot_performance_box"
2111   output-file-type: ".html"
2112   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-pdrdisc"
2113   data:
2114     "plot-vpp-throughput-latency"
2115   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2116   parameters:
2117   - "throughput"
2118   - "parent"
2119   traces:
2120     hoverinfo: "x+y"
2121     boxpoints: "outliers"
2122     whiskerwidth: 0
2123   layout:
2124     title: "64B-2t2c-.*vhost.*-pdrdisc"
2125     layout:
2126       "plot-throughput"
2127
2128 # VPP VM VHOST SELECTION
2129 -
2130   type: "plot"
2131   title: "VPP Performance 64B-1t1c-.*vhost.*-ndrdisc"
2132   algorithm: "plot_performance_box"
2133   output-file-type: ".html"
2134   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc"
2135   data:
2136     "plot-vpp-throughput-latency"
2137   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2138   parameters:
2139   - "throughput"
2140   - "parent"
2141   traces:
2142     hoverinfo: "x+y"
2143     boxpoints: "outliers"
2144     whiskerwidth: 0
2145   layout:
2146     title: "64B-1t1c-.*vhost.*-ndrdisc"
2147     layout:
2148       "plot-throughput"
2149
2150 -
2151   type: "plot"
2152   title: "VPP Performance 64B-2t2c-.*vhost.*-ndrdisc"
2153   algorithm: "plot_performance_box"
2154   output-file-type: ".html"
2155   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc"
2156   data:
2157     "plot-vpp-throughput-latency"
2158   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2159   parameters:
2160   - "throughput"
2161   - "parent"
2162   traces:
2163     hoverinfo: "x+y"
2164     boxpoints: "outliers"
2165     whiskerwidth: 0
2166   layout:
2167     title: "64B-2t2c-.*vhost.*-ndrdisc"
2168     layout:
2169       "plot-throughput"
2170
2171 -
2172   type: "plot"
2173   title: "VPP Performance 64B-1t1c-.*vhost.*-pdrdisc"
2174   algorithm: "plot_performance_box"
2175   output-file-type: ".html"
2176   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-pdrdisc"
2177   data:
2178     "plot-vpp-throughput-latency"
2179   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2180   parameters:
2181   - "throughput"
2182   - "parent"
2183   traces:
2184     hoverinfo: "x+y"
2185     boxpoints: "outliers"
2186     whiskerwidth: 0
2187   layout:
2188     title: "64B-1t1c-.*vhost.*-pdrdisc"
2189     layout:
2190       "plot-throughput"
2191
2192 -
2193   type: "plot"
2194   title: "VPP Performance 64B-2t2c-.*vhost.*-pdrdisc"
2195   algorithm: "plot_performance_box"
2196   output-file-type: ".html"
2197   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-pdrdisc"
2198   data:
2199     "plot-vpp-throughput-latency"
2200   filter: "'64B' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2201   parameters:
2202   - "throughput"
2203   - "parent"
2204   traces:
2205     hoverinfo: "x+y"
2206     boxpoints: "outliers"
2207     whiskerwidth: 0
2208   layout:
2209     title: "64B-2t2c-.*vhost.*-pdrdisc"
2210     layout:
2211       "plot-throughput"
2212
2213 # VPP CRYPTO
2214 -
2215   type: "plot"
2216   title: "VPP Performance 64B-1t1c-.*ipsec.*-ndrdisc"
2217   algorithm: "plot_performance_box"
2218   output-file-type: ".html"
2219   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc"
2220   data:
2221     "plot-vpp-throughput-latency"
2222   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2223   parameters:
2224   - "throughput"
2225   - "parent"
2226   traces:
2227     hoverinfo: "x+y"
2228     boxpoints: "outliers"
2229     whiskerwidth: 0
2230   layout:
2231     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2232     layout:
2233       "plot-throughput"
2234
2235 -
2236   type: "plot"
2237   title: "VPP Performance 64B-2t2c-.*ipsec.*-ndrdisc"
2238   algorithm: "plot_performance_box"
2239   output-file-type: ".html"
2240   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc"
2241   data:
2242     "plot-vpp-throughput-latency"
2243   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2244   parameters:
2245   - "throughput"
2246   - "parent"
2247   traces:
2248     hoverinfo: "x+y"
2249     boxpoints: "outliers"
2250     whiskerwidth: 0
2251   layout:
2252     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2253     layout:
2254       "plot-throughput"
2255
2256 -
2257   type: "plot"
2258   title: "VPP Performance 64B-1t1c-.*ipsec.*-pdrdisc"
2259   algorithm: "plot_performance_box"
2260   output-file-type: ".html"
2261   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-pdrdisc"
2262   data:
2263     "plot-vpp-throughput-latency"
2264   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2265   parameters:
2266   - "throughput"
2267   - "parent"
2268   traces:
2269     hoverinfo: "x+y"
2270     boxpoints: "outliers"
2271     whiskerwidth: 0
2272   layout:
2273     title: "64B-1t1c-.*ipsec.*-pdrdisc"
2274     layout:
2275       "plot-throughput"
2276
2277 -
2278   type: "plot"
2279   title: "VPP Performance 64B-2t2c-.*ipsec.*-pdrdisc"
2280   algorithm: "plot_performance_box"
2281   output-file-type: ".html"
2282   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-pdrdisc"
2283   data:
2284     "plot-vpp-throughput-latency"
2285   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2286   parameters:
2287   - "throughput"
2288   - "parent"
2289   traces:
2290     hoverinfo: "x+y"
2291     boxpoints: "outliers"
2292     whiskerwidth: 0
2293   layout:
2294     title: "64B-2t2c-.*ipsec.*-pdrdisc"
2295     layout:
2296       "plot-throughput"
2297
2298 # DPDK
2299 -
2300   type: "plot"
2301   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2302   algorithm: "plot_performance_box"
2303   output-file-type: ".html"
2304   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc"
2305   data:
2306     "plot-dpdk-throughput-latency"
2307   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2308   parameters:
2309   - "throughput"
2310   - "parent"
2311   traces:
2312     hoverinfo: "x+y"
2313     boxpoints: "outliers"
2314     whiskerwidth: 0
2315   layout:
2316     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2317     layout:
2318       "plot-throughput"
2319
2320 -
2321   type: "plot"
2322   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2323   algorithm: "plot_performance_box"
2324   output-file-type: ".html"
2325   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc"
2326   data:
2327     "plot-dpdk-throughput-latency"
2328   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2329   parameters:
2330   - "throughput"
2331   - "parent"
2332   traces:
2333     hoverinfo: "x+y"
2334     boxpoints: "outliers"
2335     whiskerwidth: 0
2336   layout:
2337     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2338     layout:
2339       "plot-throughput"
2340
2341 -
2342   type: "plot"
2343   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2344   algorithm: "plot_performance_box"
2345   output-file-type: ".html"
2346   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc"
2347   data:
2348     "plot-dpdk-throughput-latency"
2349   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
2350   parameters:
2351   - "throughput"
2352   - "parent"
2353   traces:
2354     hoverinfo: "x+y"
2355     boxpoints: "outliers"
2356     whiskerwidth: 0
2357   layout:
2358     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
2359     xaxis:
2360       autorange: True
2361       autotick: False
2362       fixedrange: False
2363       gridcolor: "rgb(238, 238, 238)"
2364       linecolor: "rgb(238, 238, 238)"
2365       linewidth: 1
2366       showgrid: True
2367       showline: True
2368       showticklabels: True
2369       tickcolor: "rgb(238, 238, 238)"
2370       tickmode: "linear"
2371       title: "Indexed Test Cases"
2372       zeroline: False
2373     yaxis:
2374       gridcolor: "rgb(238, 238, 238)'"
2375       hoverformat: ".4s"
2376       linecolor: "rgb(238, 238, 238)"
2377       linewidth: 1
2378       range: [2000000, 12000000]
2379       showgrid: True
2380       showline: True
2381       showticklabels: True
2382       tickcolor: "rgb(238, 238, 238)"
2383       title: "Packets Per Second [pps]"
2384       zeroline: False
2385     boxmode: "group"
2386     boxgroupgap: 0.5
2387     autosize: False
2388     margin:
2389       t: 50
2390       b: 20
2391       l: 50
2392       r: 20
2393     showlegend: True
2394     legend:
2395       orientation: "h"
2396     width: 700
2397     height: 1000
2398
2399 -
2400   type: "plot"
2401   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2402   algorithm: "plot_performance_box"
2403   output-file-type: ".html"
2404   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc"
2405   data:
2406     "plot-dpdk-throughput-latency"
2407   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
2408   parameters:
2409   - "throughput"
2410   - "parent"
2411   traces:
2412     hoverinfo: "x+y"
2413     boxpoints: "outliers"
2414     whiskerwidth: 0
2415   layout:
2416     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
2417     xaxis:
2418       autorange: True
2419       autotick: False
2420       fixedrange: False
2421       gridcolor: "rgb(238, 238, 238)"
2422       linecolor: "rgb(238, 238, 238)"
2423       linewidth: 1
2424       showgrid: True
2425       showline: True
2426       showticklabels: True
2427       tickcolor: "rgb(238, 238, 238)"
2428       tickmode: "linear"
2429       title: "Indexed Test Cases"
2430       zeroline: False
2431     yaxis:
2432       gridcolor: "rgb(238, 238, 238)'"
2433       hoverformat: ".4s"
2434       linecolor: "rgb(238, 238, 238)"
2435       linewidth: 1
2436       range: [2000000, 12000000]
2437       showgrid: True
2438       showline: True
2439       showticklabels: True
2440       tickcolor: "rgb(238, 238, 238)"
2441       title: "Packets Per Second [pps]"
2442       zeroline: False
2443     boxmode: "group"
2444     boxgroupgap: 0.5
2445     autosize: False
2446     margin:
2447       t: 50
2448       b: 20
2449       l: 50
2450       r: 20
2451     showlegend: True
2452     legend:
2453       orientation: "h"
2454     width: 700
2455     height: 1000
2456
2457 -
2458   type: "plot"
2459   title: "DPDK Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2460   algorithm: "plot_performance_box"
2461   output-file-type: ".html"
2462   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-pdrdisc"
2463   data:
2464     "plot-dpdk-throughput-latency"
2465   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2466   parameters:
2467   - "throughput"
2468   - "parent"
2469   traces:
2470     hoverinfo: "x+y"
2471     boxpoints: "outliers"
2472     whiskerwidth: 0
2473   layout:
2474     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2475     layout:
2476       "plot-throughput"
2477
2478 -
2479   type: "plot"
2480   title: "DPDK Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2481   algorithm: "plot_performance_box"
2482   output-file-type: ".html"
2483   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-pdrdisc"
2484   data:
2485     "plot-dpdk-throughput-latency"
2486   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2487   parameters:
2488   - "throughput"
2489   - "parent"
2490   traces:
2491     hoverinfo: "x+y"
2492     boxpoints: "outliers"
2493     whiskerwidth: 0
2494   layout:
2495     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-pdrdisc"
2496     layout:
2497       "plot-throughput"
2498
2499 -
2500   type: "plot"
2501   title: "DPDK Performance 64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2502   algorithm: "plot_performance_box"
2503   output-file-type: ".html"
2504   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-pdrdisc"
2505   data:
2506     "plot-dpdk-throughput-latency"
2507   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'IP4FWD'"
2508   parameters:
2509   - "throughput"
2510   - "parent"
2511   traces:
2512     hoverinfo: "x+y"
2513     boxpoints: "outliers"
2514     whiskerwidth: 0
2515   layout:
2516     title: "64B-1t1c-ethip4-ip4base-l3fwd-pdrdisc"
2517     xaxis:
2518       autorange: True
2519       autotick: False
2520       fixedrange: False
2521       gridcolor: "rgb(238, 238, 238)"
2522       linecolor: "rgb(238, 238, 238)"
2523       linewidth: 1
2524       showgrid: True
2525       showline: True
2526       showticklabels: True
2527       tickcolor: "rgb(238, 238, 238)"
2528       tickmode: "linear"
2529       title: "Indexed Test Cases"
2530       zeroline: False
2531     yaxis:
2532       gridcolor: "rgb(238, 238, 238)'"
2533       hoverformat: ".4s"
2534       linecolor: "rgb(238, 238, 238)"
2535       linewidth: 1
2536       range: [20000000, 30000000]
2537       showgrid: True
2538       showline: True
2539       showticklabels: True
2540       tickcolor: "rgb(238, 238, 238)"
2541       title: "Packets Per Second [pps]"
2542       zeroline: False
2543     boxmode: "group"
2544     boxgroupgap: 0.5
2545     autosize: False
2546     margin:
2547       t: 50
2548       b: 20
2549       l: 50
2550       r: 20
2551     showlegend: True
2552     legend:
2553       orientation: "h"
2554     width: 700
2555     height: 1000
2556
2557 -
2558   type: "plot"
2559   title: "DPDK Performance 64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2560   algorithm: "plot_performance_box"
2561   output-file-type: ".html"
2562   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-pdrdisc"
2563   data:
2564     "plot-dpdk-throughput-latency"
2565   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'IP4FWD'"
2566   parameters:
2567   - "throughput"
2568   - "parent"
2569   traces:
2570     hoverinfo: "x+y"
2571     boxpoints: "outliers"
2572     whiskerwidth: 0
2573   layout:
2574     title: "64B-2t2c-ethip4-ip4base-l3fwd-pdrdisc"
2575     xaxis:
2576       autorange: True
2577       autotick: False
2578       fixedrange: False
2579       gridcolor: "rgb(238, 238, 238)"
2580       linecolor: "rgb(238, 238, 238)"
2581       linewidth: 1
2582       showgrid: True
2583       showline: True
2584       showticklabels: True
2585       tickcolor: "rgb(238, 238, 238)"
2586       tickmode: "linear"
2587       title: "Indexed Test Cases"
2588       zeroline: False
2589     yaxis:
2590       gridcolor: "rgb(238, 238, 238)'"
2591       hoverformat: ".4s"
2592       linecolor: "rgb(238, 238, 238)"
2593       linewidth: 1
2594       range: [20000000, 30000000]
2595       showgrid: True
2596       showline: True
2597       showticklabels: True
2598       tickcolor: "rgb(238, 238, 238)"
2599       title: "Packets Per Second [pps]"
2600       zeroline: False
2601     boxmode: "group"
2602     boxgroupgap: 0.5
2603     autosize: False
2604     margin:
2605       t: 50
2606       b: 20
2607       l: 50
2608       r: 20
2609     showlegend: True
2610     legend:
2611       orientation: "h"
2612     width: 700
2613     height: 1000
2614
2615 # Plot latency
2616
2617 # VPP L2 sel1
2618 -
2619   type: "plot"
2620   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2621   algorithm: "plot_latency_box"
2622   output-file-type: ".html"
2623   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel1-ndrdisc-lat50"
2624   data:
2625     "plot-vpp-throughput-latency"
2626   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2627   parameters:
2628   - "latency"
2629   - "parent"
2630   traces:
2631     boxmean: False
2632   layout:
2633     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2634     layout:
2635       "plot-latency"
2636
2637 -
2638   type: "plot"
2639   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2640   algorithm: "plot_latency_box"
2641   output-file-type: ".html"
2642   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel1-ndrdisc-lat50"
2643   data:
2644     "plot-vpp-throughput-latency"
2645   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2646   parameters:
2647   - "latency"
2648   - "parent"
2649   traces:
2650     boxmean: False
2651   layout:
2652     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2653     layout:
2654       "plot-latency"
2655
2656 # VPP L2 sel2
2657 -
2658   type: "plot"
2659   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2660   algorithm: "plot_latency_box"
2661   output-file-type: ".html"
2662   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-l2-sel2-ndrdisc-lat50"
2663   data:
2664     "plot-vpp-throughput-latency"
2665   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2666   parameters:
2667   - "latency"
2668   - "parent"
2669   traces:
2670     boxmean: False
2671   layout:
2672     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2673     layout:
2674       "plot-latency"
2675
2676 -
2677   type: "plot"
2678   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2679   algorithm: "plot_latency_box"
2680   output-file-type: ".html"
2681   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-l2-sel2-ndrdisc-lat50"
2682   data:
2683     "plot-vpp-throughput-latency"
2684   filter: "'64B' and ('FEATURE' and 'ACL50' and '10k_FLOWS') and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST' and not 'MEMIF'"
2685   parameters:
2686   - "latency"
2687   - "parent"
2688   traces:
2689     boxmean: False
2690   layout:
2691     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2692     layout:
2693       "plot-latency"
2694
2695 # VPP IP4
2696 -
2697   type: "plot"
2698   title: "VPP Latency 64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2699   algorithm: "plot_latency_box"
2700   output-file-type: ".html"
2701   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ip4-ndrdisc-lat50"
2702   data:
2703     "plot-vpp-throughput-latency"
2704   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2705   parameters:
2706   - "latency"
2707   - "parent"
2708   traces:
2709     boxmean: False
2710   layout:
2711     title: "64B-1t1c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2712     layout:
2713       "plot-latency"
2714
2715 -
2716   type: "plot"
2717   title: "VPP Latency 64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2718   algorithm: "plot_latency_box"
2719   output-file-type: ".html"
2720   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ip4-ndrdisc-lat50"
2721   data:
2722     "plot-vpp-throughput-latency"
2723   filter: "'64B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP4FWD' and not 'IPSEC' and not 'VHOST'"
2724   parameters:
2725   - "latency"
2726   - "parent"
2727   traces:
2728     boxmean: False
2729   layout:
2730     title: "64B-2t2c-ethip4-ip4[a-z0-9]+-[a-z-]*ndrdisc"
2731     layout:
2732       "plot-latency"
2733
2734 # VPP IP6
2735 -
2736   type: "plot"
2737   title: "VPP Latency 78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2738   algorithm: "plot_latency_box"
2739   output-file-type: ".html"
2740   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ip6-ndrdisc-lat50"
2741   data:
2742     "plot-vpp-throughput-latency"
2743   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '1T1C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2744   parameters:
2745   - "latency"
2746   - "parent"
2747   traces:
2748     boxmean: False
2749   layout:
2750     title: "78B-1t1c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2751     layout:
2752       "plot-latency"
2753
2754 -
2755   type: "plot"
2756   title: "VPP Latency 78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2757   algorithm: "plot_latency_box"
2758   output-file-type: ".html"
2759   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ip6-ndrdisc-lat50"
2760   data:
2761     "plot-vpp-throughput-latency"
2762   filter: "'78B' and ('BASE' or 'SCALE' or 'FEATURE') and 'NDRDISC' and '2T2C' and 'IP6FWD' and not 'IPSEC' and not 'VHOST'"
2763   parameters:
2764   - "latency"
2765   - "parent"
2766   traces:
2767     boxmean: False
2768   layout:
2769     title: "78B-2t2c-ethip6-ip6[a-z0-9]+-[a-z-]*ndrdisc"
2770     layout:
2771       "plot-latency"
2772
2773 # VPP IP4_overlay
2774 -
2775   type: "plot"
2776   title: "VPP Latency 64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2777   algorithm: "plot_latency_box"
2778   output-file-type: ".html"
2779   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ethip4-ndrdisc-lat50"
2780   data:
2781     "plot-vpp-throughput-latency"
2782   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2783   parameters:
2784   - "latency"
2785   - "parent"
2786   traces:
2787     boxmean: False
2788   layout:
2789     title: "64B-1t1c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2790     layout:
2791       "plot-latency"
2792
2793 -
2794   type: "plot"
2795   title: "VPP Latency 64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2796   algorithm: "plot_latency_box"
2797   output-file-type: ".html"
2798   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ethip4-ndrdisc-lat50"
2799   data:
2800     "plot-vpp-throughput-latency"
2801   filter: "'64B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST' and not 'IPSECHW'"
2802   parameters:
2803   - "latency"
2804   - "parent"
2805   traces:
2806     boxmean: False
2807   layout:
2808     title: "64B-2t2c-ethip4[a-z0-9]+-[a-z0-9]*-ndrdisc"
2809     layout:
2810       "plot-latency"
2811
2812 # VPP IP6_overlay
2813 -
2814   type: "plot"
2815   title: "VPP Latency 78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2816   algorithm: "plot_latency_box"
2817   output-file-type: ".html"
2818   output-file: "{DIR[STATIC,VPP]}/78B-1t1c-ethip6-ndrdisc-lat50"
2819   data:
2820     "plot-vpp-throughput-latency"
2821   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '1T1C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2822   parameters:
2823   - "latency"
2824   - "parent"
2825   traces:
2826     boxmean: False
2827   layout:
2828     title: "78B-1t1c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2829     layout:
2830       "plot-latency"
2831
2832 -
2833   type: "plot"
2834   title: "VPP Latency 78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2835   algorithm: "plot_latency_box"
2836   output-file-type: ".html"
2837   output-file: "{DIR[STATIC,VPP]}/78B-2t2c-ethip6-ndrdisc-lat50"
2838   data:
2839     "plot-vpp-throughput-latency"
2840   filter: "'78B' and 'ENCAP' and 'NDRDISC' and '2T2C' and ('VXLAN' or 'VXLANGPE' or 'LISP' or 'LISPGPE' or 'GRE') and not 'VHOST'"
2841   parameters:
2842   - "latency"
2843   - "parent"
2844   traces:
2845     boxmean: False
2846   layout:
2847     title: "78B-2t2c-ethip6[a-z0-9]+-[a-z0-9]*-ndrdisc"
2848     layout:
2849       "plot-latency"
2850
2851 # VPP VM VHOST
2852 -
2853   type: "plot"
2854   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2855   algorithm: "plot_latency_box"
2856   output-file-type: ".html"
2857   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel1-ndrdisc-lat50"
2858   data:
2859     "plot-vpp-throughput-latency"
2860   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2861   parameters:
2862   - "latency"
2863   - "parent"
2864   traces:
2865     boxmean: False
2866   layout:
2867     title: "64B-1t1c-.*vhost.*-ndrdisc"
2868     layout:
2869       "plot-latency"
2870
2871 -
2872   type: "plot"
2873   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2874   algorithm: "plot_latency_box"
2875   output-file-type: ".html"
2876   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel1-ndrdisc-lat50"
2877   data:
2878     "plot-vpp-throughput-latency"
2879   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD')"
2880   parameters:
2881   - "latency"
2882   - "parent"
2883   traces:
2884     boxmean: False
2885   layout:
2886     title: "64B-2t2c-.*vhost.*-ndrdisc"
2887     layout:
2888       "plot-latency"
2889
2890 # VPP VM VHOST selection
2891 -
2892   type: "plot"
2893   title: "VPP Latency 64B-1t1c-.*vhost.*-ndrdisc"
2894   algorithm: "plot_latency_box"
2895   output-file-type: ".html"
2896   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-vhost-sel2-ndrdisc-lat50"
2897   data:
2898     "plot-vpp-throughput-latency"
2899   filter: "'64B' and 'NDRDISC' and '1T1C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2900   parameters:
2901   - "latency"
2902   - "parent"
2903   traces:
2904     boxmean: False
2905   layout:
2906     title: "64B-1t1c-.*vhost.*-ndrdisc"
2907     layout:
2908       "plot-latency"
2909
2910 -
2911   type: "plot"
2912   title: "VPP Latency 64B-2t2c-.*vhost.*-ndrdisc"
2913   algorithm: "plot_latency_box"
2914   output-file-type: ".html"
2915   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-vhost-sel2-ndrdisc-lat50"
2916   data:
2917     "plot-vpp-throughput-latency"
2918   filter: "'64B' and 'NDRDISC' and '2T2C' and 'VHOST' and not 'VXLAN' and not 'IP4FWD' and not 'DOT1Q' and not '2VM'"
2919   parameters:
2920   - "latency"
2921   - "parent"
2922   traces:
2923     boxmean: False
2924   layout:
2925     title: "64B-2t2c-.*vhost.*-ndrdisc"
2926     layout:
2927       "plot-latency"
2928
2929 # VPP CRYPTO
2930 -
2931   type: "plot"
2932   title: "VPP Latency 64B-1t1c-.*ipsec.*-ndrdisc"
2933   algorithm: "plot_latency_box"
2934   output-file-type: ".html"
2935   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-ipsechw-ndrdisc-lat50"
2936   data:
2937     "plot-vpp-throughput-latency"
2938   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '1T1C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2939   parameters:
2940   - "latency"
2941   - "parent"
2942   traces:
2943     boxmean: False
2944   layout:
2945     title: "64B-1t1c-.*ipsec.*-ndrdisc"
2946     layout:
2947       "plot-latency"
2948
2949 -
2950   type: "plot"
2951   title: "VPP Latency 64B-2t2c-.*ipsec.*-ndrdisc"
2952   algorithm: "plot_latency_box"
2953   output-file-type: ".html"
2954   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-ipsechw-ndrdisc-lat50"
2955   data:
2956     "plot-vpp-throughput-latency"
2957   filter: "'64B' and not 'VHOST' and 'IP4FWD' and 'NDRDISC' and '2T2C' and 'IPSECHW' and ('IPSECTRAN' or 'IPSECTUN')"
2958   parameters:
2959   - "latency"
2960   - "parent"
2961   traces:
2962     boxmean: False
2963   layout:
2964     title: "64B-2t2c-.*ipsec.*-ndrdisc"
2965     layout:
2966       "plot-latency"
2967
2968 # DPDK
2969 -
2970   type: "plot"
2971   title: "DPDK Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2972   algorithm: "plot_latency_box"
2973   output-file-type: ".html"
2974   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-l2-ndrdisc-lat50"
2975   data:
2976     "plot-dpdk-throughput-latency"
2977   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2978   parameters:
2979   - "latency"
2980   - "parent"
2981   traces:
2982     boxmean: False
2983   layout:
2984     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2985     layout:
2986       "plot-latency"
2987
2988 -
2989   type: "plot"
2990   title: "DPDK Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
2991   algorithm: "plot_latency_box"
2992   output-file-type: ".html"
2993   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-l2-ndrdisc-lat50"
2994   data:
2995     "plot-dpdk-throughput-latency"
2996   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
2997   parameters:
2998   - "latency"
2999   - "parent"
3000   traces:
3001     boxmean: False
3002   layout:
3003     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-ndrdisc"
3004     layout:
3005       "plot-latency"
3006
3007 -
3008   type: "plot"
3009   title: "DPDK Latency 64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3010   algorithm: "plot_latency_box"
3011   output-file-type: ".html"
3012   output-file: "{DIR[STATIC,DPDK]}/64B-1t1c-ipv4-ndrdisc-lat50"
3013   data:
3014     "plot-dpdk-throughput-latency"
3015   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'IP4FWD'"
3016   parameters:
3017   - "latency"
3018   - "parent"
3019   traces:
3020     boxmean: False
3021   layout:
3022     title: "64B-1t1c-ethip4-ip4base-l3fwd-ndrdisc"
3023     layout:
3024       "plot-latency"
3025
3026 -
3027   type: "plot"
3028   title: "DPDK Latency 64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3029   algorithm: "plot_latency_box"
3030   output-file-type: ".html"
3031   output-file: "{DIR[STATIC,DPDK]}/64B-2t2c-ipv4-ndrdisc-lat50"
3032   data:
3033     "plot-dpdk-throughput-latency"
3034   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'IP4FWD'"
3035   parameters:
3036   - "latency"
3037   - "parent"
3038   traces:
3039     boxmean: False
3040   layout:
3041     title: "64B-2t2c-ethip4-ip4base-l3fwd-ndrdisc"
3042     layout:
3043       "plot-latency"
3044
3045 # Ligato - Throughput
3046
3047 # Container memif
3048 -
3049   type: "plot"
3050   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3051   algorithm: "plot_performance_box"
3052   output-file-type: ".html"
3053   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc"
3054   data:
3055     "plot-vpp-throughput-latency"
3056   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3057   parameters:
3058   - "throughput"
3059   - "parent"
3060   traces:
3061     hoverinfo: "x+y"
3062     boxpoints: "outliers"
3063     whiskerwidth: 0
3064   layout:
3065     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3066     xaxis:
3067       autorange: True
3068       autotick: False
3069       fixedrange: False
3070       gridcolor: "rgb(238, 238, 238)"
3071       linecolor: "rgb(238, 238, 238)"
3072       linewidth: 1
3073       showgrid: True
3074       showline: True
3075       showticklabels: True
3076       tickcolor: "rgb(238, 238, 238)"
3077       tickmode: "linear"
3078       title: "Indexed Test Cases"
3079       zeroline: False
3080     yaxis:
3081       gridcolor: "rgb(238, 238, 238)'"
3082       hoverformat: ".4s"
3083       linecolor: "rgb(238, 238, 238)"
3084       linewidth: 1
3085       range: [0, 4500000]
3086       showgrid: True
3087       showline: True
3088       showticklabels: True
3089       tickcolor: "rgb(238, 238, 238)"
3090       title: "Packets Per Second [pps]"
3091       zeroline: False
3092     boxmode: "group"
3093     boxgroupgap: 0.5
3094     autosize: False
3095     margin:
3096       t: 50
3097       b: 20
3098       l: 50
3099       r: 20
3100     showlegend: True
3101     legend:
3102       orientation: "h"
3103     width: 700
3104     height: 1000
3105
3106 -
3107   type: "plot"
3108   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3109   algorithm: "plot_performance_box"
3110   output-file-type: ".html"
3111   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc"
3112   data:
3113     "plot-vpp-throughput-latency"
3114   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3115   parameters:
3116   - "throughput"
3117   - "parent"
3118   traces:
3119     hoverinfo: "x+y"
3120     boxpoints: "outliers"
3121     whiskerwidth: 0
3122   layout:
3123     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3124     xaxis:
3125       autorange: True
3126       autotick: False
3127       fixedrange: False
3128       gridcolor: "rgb(238, 238, 238)"
3129       linecolor: "rgb(238, 238, 238)"
3130       linewidth: 1
3131       showgrid: True
3132       showline: True
3133       showticklabels: True
3134       tickcolor: "rgb(238, 238, 238)"
3135       tickmode: "linear"
3136       title: "Indexed Test Cases"
3137       zeroline: False
3138     yaxis:
3139       gridcolor: "rgb(238, 238, 238)'"
3140       hoverformat: ".4s"
3141       linecolor: "rgb(238, 238, 238)"
3142       linewidth: 1
3143       range: [0, 8000000]
3144       showgrid: True
3145       showline: True
3146       showticklabels: True
3147       tickcolor: "rgb(238, 238, 238)"
3148       title: "Packets Per Second [pps]"
3149       zeroline: False
3150     boxmode: "group"
3151     boxgroupgap: 0.5
3152     autosize: False
3153     margin:
3154       t: 50
3155       b: 20
3156       l: 50
3157       r: 20
3158     showlegend: True
3159     legend:
3160       orientation: "h"
3161     width: 700
3162     height: 1000
3163
3164 -
3165   type: "plot"
3166   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3167   algorithm: "plot_performance_box"
3168   output-file-type: ".html"
3169   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-pdrdisc"
3170   data:
3171     "plot-vpp-throughput-latency"
3172   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3173   parameters:
3174   - "throughput"
3175   - "parent"
3176   traces:
3177     hoverinfo: "x+y"
3178     boxpoints: "outliers"
3179     whiskerwidth: 0
3180   layout:
3181     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3182     xaxis:
3183       autorange: True
3184       autotick: False
3185       fixedrange: False
3186       gridcolor: "rgb(238, 238, 238)"
3187       linecolor: "rgb(238, 238, 238)"
3188       linewidth: 1
3189       showgrid: True
3190       showline: True
3191       showticklabels: True
3192       tickcolor: "rgb(238, 238, 238)"
3193       tickmode: "linear"
3194       title: "Indexed Test Cases"
3195       zeroline: False
3196     yaxis:
3197       gridcolor: "rgb(238, 238, 238)'"
3198       hoverformat: ".4s"
3199       linecolor: "rgb(238, 238, 238)"
3200       linewidth: 1
3201       range: [0, 4500000]
3202       showgrid: True
3203       showline: True
3204       showticklabels: True
3205       tickcolor: "rgb(238, 238, 238)"
3206       title: "Packets Per Second [pps]"
3207       zeroline: False
3208     boxmode: "group"
3209     boxgroupgap: 0.5
3210     autosize: False
3211     margin:
3212       t: 50
3213       b: 20
3214       l: 50
3215       r: 20
3216     showlegend: True
3217     legend:
3218       orientation: "h"
3219     width: 700
3220     height: 1000
3221
3222 -
3223   type: "plot"
3224   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3225   algorithm: "plot_performance_box"
3226   output-file-type: ".html"
3227   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-pdrdisc"
3228   data:
3229     "plot-vpp-throughput-latency"
3230   filter: "'64B' and 'BASE' and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3231   parameters:
3232   - "throughput"
3233   - "parent"
3234   traces:
3235     hoverinfo: "x+y"
3236     boxpoints: "outliers"
3237     whiskerwidth: 0
3238   layout:
3239     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3240     xaxis:
3241       autorange: True
3242       autotick: False
3243       fixedrange: False
3244       gridcolor: "rgb(238, 238, 238)"
3245       linecolor: "rgb(238, 238, 238)"
3246       linewidth: 1
3247       showgrid: True
3248       showline: True
3249       showticklabels: True
3250       tickcolor: "rgb(238, 238, 238)"
3251       tickmode: "linear"
3252       title: "Indexed Test Cases"
3253       zeroline: False
3254     yaxis:
3255       gridcolor: "rgb(238, 238, 238)'"
3256       hoverformat: ".4s"
3257       linecolor: "rgb(238, 238, 238)"
3258       linewidth: 1
3259       range: [0, 8000000]
3260       showgrid: True
3261       showline: True
3262       showticklabels: True
3263       tickcolor: "rgb(238, 238, 238)"
3264       title: "Packets Per Second [pps]"
3265       zeroline: False
3266     boxmode: "group"
3267     boxgroupgap: 0.5
3268     autosize: False
3269     margin:
3270       t: 50
3271       b: 20
3272       l: 50
3273       r: 20
3274     showlegend: True
3275     legend:
3276       orientation: "h"
3277     width: 700
3278     height: 1000
3279
3280 # Container orchestrated
3281 -
3282   type: "plot"
3283   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3284   algorithm: "plot_performance_box"
3285   output-file-type: ".html"
3286   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc"
3287   data:
3288     "plot-ligato-throughput-latency"
3289   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3290   parameters:
3291   - "throughput"
3292   - "parent"
3293   traces:
3294     hoverinfo: "x+y"
3295     boxpoints: "outliers"
3296     whiskerwidth: 0
3297   layout:
3298     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3299     layout:
3300       "plot-throughput"
3301
3302 -
3303   type: "plot"
3304   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3305   algorithm: "plot_performance_box"
3306   output-file-type: ".html"
3307   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc"
3308   data:
3309     "plot-ligato-throughput-latency"
3310   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3311   parameters:
3312   - "throughput"
3313   - "parent"
3314   traces:
3315     hoverinfo: "x+y"
3316     boxpoints: "outliers"
3317     whiskerwidth: 0
3318   layout:
3319     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3320     layout:
3321       "plot-throughput"
3322
3323 -
3324   type: "plot"
3325   title: "VPP Performance 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3326   algorithm: "plot_performance_box"
3327   output-file-type: ".html"
3328   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-pdrdisc"
3329   data:
3330     "plot-ligato-throughput-latency"
3331   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3332   parameters:
3333   - "throughput"
3334   - "parent"
3335   traces:
3336     hoverinfo: "x+y"
3337     boxpoints: "outliers"
3338     whiskerwidth: 0
3339   layout:
3340     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3341     layout:
3342       "plot-throughput"
3343
3344 -
3345   type: "plot"
3346   title: "VPP Performance 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3347   algorithm: "plot_performance_box"
3348   output-file-type: ".html"
3349   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-pdrdisc"
3350   data:
3351     "plot-ligato-throughput-latency"
3352   filter: "'64B' and ('BASE' or 'SCALE') and 'PDRDISC' and not 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3353   parameters:
3354   - "throughput"
3355   - "parent"
3356   traces:
3357     hoverinfo: "x+y"
3358     boxpoints: "outliers"
3359     whiskerwidth: 0
3360   layout:
3361     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-pdrdisc"
3362     layout:
3363       "plot-throughput"
3364
3365 # Ligato - Latency
3366
3367 # Container memif
3368 -
3369   type: "plot"
3370   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3371   algorithm: "plot_latency_box"
3372   output-file-type: ".html"
3373   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-memif-ndrdisc-lat50"
3374   data:
3375     "plot-vpp-throughput-latency"
3376   filter: "'64B' and 'BASE' and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3377   parameters:
3378   - "latency"
3379   - "parent"
3380   traces:
3381     boxmean: False
3382   layout:
3383     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3384     layout:
3385       "plot-latency"
3386
3387 -
3388   type: "plot"
3389   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3390   algorithm: "plot_latency_box"
3391   output-file-type: ".html"
3392   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-memif-ndrdisc-lat50"
3393   data:
3394     "plot-vpp-throughput-latency"
3395   filter: "'64B' and 'BASE' and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3396   parameters:
3397   - "latency"
3398   - "parent"
3399   traces:
3400     boxmean: False
3401   layout:
3402     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3403     layout:
3404       "plot-latency"
3405
3406 # Container orchestrated
3407 -
3408   type: "plot"
3409   title: "VPP Latency 64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3410   algorithm: "plot_latency_box"
3411   output-file-type: ".html"
3412   output-file: "{DIR[STATIC,VPP]}/64B-1t1c-container-orchestrated-ndrdisc-lat50"
3413   data:
3414     "plot-ligato-throughput-latency"
3415   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '1T1C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3416   parameters:
3417   - "latency"
3418   - "parent"
3419   traces:
3420     boxmean: False
3421   layout:
3422     title: "64B-1t1c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3423     layout:
3424       "plot-latency"
3425
3426 -
3427   type: "plot"
3428   title: "VPP Latency 64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3429   algorithm: "plot_latency_box"
3430   output-file-type: ".html"
3431   output-file: "{DIR[STATIC,VPP]}/64B-2t2c-container-orchestrated-ndrdisc-lat50"
3432   data:
3433     "plot-ligato-throughput-latency"
3434   filter: "'64B' and ('BASE' or 'SCALE') and 'NDRDISC' and '2T2C' and 'MEMIF' and ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD') and not 'VHOST'"
3435   parameters:
3436   - "latency"
3437   - "parent"
3438   traces:
3439     boxmean: False
3440   layout:
3441     title: "64B-2t2c-(eth|dot1q|dot1ad)-(l2xcbase|l2bdbasemaclrn)-memif-ndrdisc"
3442     layout:
3443       "plot-latency"

©2016 FD.io a Linux Foundation Collaborative Project. All Rights Reserved.
Linux Foundation is a registered trademark of The Linux Foundation. Linux is a registered trademark of Linus Torvalds.
Please see our privacy policy and terms of use.