85c140a0f1f85d2ad4f1ec8e339c901c585eb80f
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
37     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
38     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
39     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
40     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
41     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
42     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
43     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
44     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
45
46     # Detailed test configurations
47     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
48     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
49     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
50     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
51     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
52     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
53     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
54     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
55     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
56
57     # Detailed tests operational data
58     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
59     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
60     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
61     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
62
63     # .css patch file to fix tables generated by Sphinx
64     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
65     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
66
67   urls:
68     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
69     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
70     URL[NEXUS]: "https://docs.fd.io/csit"
71     DIR[NEXUS]: "report/_static/archive"
72
73   make-dirs:
74   # List the directories which are created while preparing the environment.
75   # All directories MUST be defined in "paths" section.
76   - "DIR[WORKING,DATA]"
77   - "DIR[STATIC,VPP]"
78   - "DIR[STATIC,DPDK]"
79   - "DIR[STATIC,ARCH]"
80   - "DIR[BUILD,LATEX]"
81   - "DIR[WORKING,SRC]"
82   - "DIR[WORKING,SRC,STATIC]"
83
84   remove-dirs:
85   # List the directories which are deleted while cleaning the environment.
86   # All directories MUST be defined in "paths" section.
87   #- "DIR[BUILD,HTML]"
88   - "DIR[WORKING,DATA]"
89
90   build-dirs:
91   # List the directories where the results (build) is stored.
92   # All directories MUST be defined in "paths" section.
93   - "DIR[BUILD,HTML]"
94   - "DIR[BUILD,LATEX]"
95
96 -
97   type: "configuration"
98
99   data-sets:
100
101     # VPP Performance
102     vpp-performance-changes:
103       csit-vpp-perf-1801-all:
104       - 124  # sel
105       - 127  # sel
106       - 128  # sel
107       - 141  # sel
108       - 142  # sel
109       - 143  # sel
110       - 145  # sel
111       - 146  # sel
112       - 162  # sel
113       - 163  # sel
114       - 167  # sel
115       - 172  # sel acl only
116       csit-vpp-perf-1804-all:
117       - 21  # sel
118       - 22  # sel
119       - 23  # sel
120       - 24  # sel
121       - 27  # sel
122       - 28  # sel
123       - 29  # sel
124       - 30  # sel
125       - 31  # sel
126       - 35  # sel
127       # TODO: Add Data sources
128       csit-vpp-perf-verify-1807-3n-hsw:
129       - 15  # NDRPDR sel
130       - 16  # NDRPDR sel
131       - 19  # NDRPDR sel
132       - 18  # NDRPDR sel
133       - 20  # NDRPDR sel
134     vpp-compare-testbeds:
135       # TODO: Add Data sources
136       csit-vpp-perf-verify-1807-3n-hsw:
137       - 15  # NDRPDR sel
138       - 16  # NDRPDR sel
139       - 19  # NDRPDR sel
140       - 18  # NDRPDR sel
141       - 20  # NDRPDR sel
142       csit-vpp-perf-verify-1807-3n-skx:
143       - 33  # NDRPDR sel
144       - 35  # NDRPDR sel
145       - 37  # NDRPDR sel
146       - 38  # NDRPDR sel
147       - 39  # NDRPDR sel
148       - 43  # NDRPDR sel
149       - 44  # NDRPDR sel
150       - 49  # NDRPDR sel
151       - 50  # NDRPDR sel
152       - 56  # NDRPDR sel
153
154     vpp-compare-testbeds-mrr:
155       # TODO: Add Data sources
156       csit-vpp-perf-verify-1807-3n-hsw:
157       - 9   # MRR sel
158       csit-vpp-perf-verify-1807-3n-skx:
159       - 28  # MRR sel
160       - 32  # MRR sel
161       - 36  # MRR sel
162       - 42  # MRR sel
163       - 47  # MRR sel
164       - 48  # MRR sel
165       - 51  # MRR sel
166       - 52  # MRR sel
167       - 53  # MRR sel
168       - 54  # MRR sel
169
170     vpp-performance-changes-mrr:
171       csit-vpp-perf-check-1801:
172       - 3
173       - 4
174       - 5
175       - 6
176       - 7
177       - 8
178       - 9
179       - 11
180       - 12
181       - 13
182       csit-vpp-perf-check-1804:
183       - 6   # mrr - sel
184       - 13  # mrr - sel
185       - 14  # mrr - sel
186       - 15  # mrr - sel
187       - 16  # mrr - sel
188       - 17  # mrr - sel
189       - 19  # mrr - sel
190       - 20  # mrr - sel
191       - 21  # mrr - sel
192       - 22  # mrr - sel
193       # TODO: Add Data sources
194       csit-vpp-perf-verify-1807-3n-hsw:
195       - 9   # MRR sel
196
197     vpp-perf-results-3n-hsw:
198       # TODO: Add Data sources
199       csit-vpp-perf-verify-1807-3n-hsw:
200       - 11  # NDRPDR full 1
201
202     vpp-perf-results-3n-skx:
203       csit-vpp-perf-verify-1807-3n-skx:
204       - 40  # NDRPDR full 1
205       - 41  # NDRPDR full 2
206
207     vpp-perf-results-2n-skx:
208       csit-vpp-perf-verify-1807-2n-skx:
209       - 32  # NDRPDR full
210
211     vpp-mrr-results-3n-hsw:
212       csit-vpp-perf-verify-1807-3n-hsw:
213       - 8   # MRR full
214
215     vpp-mrr-results-3n-skx:
216       # TODO: Replace with better results
217       csit-vpp-perf-verify-1807-3n-skx:
218       - 31  # MRR full
219
220     vpp-mrr-results-2n-skx:
221       csit-vpp-perf-verify-1807-2n-skx:
222       - 27  # MRR full
223
224     plot-throughput-speedup-analysis-3n-hsw:
225       # TODO: Add Data sources
226       csit-vpp-perf-verify-1807-3n-hsw:
227       - 15  # NDRPDR sel
228       - 16  # NDRPDR sel
229       - 19  # NDRPDR sel
230       - 18  # NDRPDR sel
231       - 20  # NDRPDR sel
232
233     plot-throughput-speedup-analysis-3n-skx:
234       csit-vpp-perf-verify-1807-3n-skx:
235       - 33  # NDRPDR sel
236       - 35  # NDRPDR sel
237       - 37  # NDRPDR sel
238       - 38  # NDRPDR sel
239       - 39  # NDRPDR sel
240       - 43  # NDRPDR sel
241       - 44  # NDRPDR sel
242       - 49  # NDRPDR sel
243       - 50  # NDRPDR sel
244       - 56  # NDRPDR sel
245
246     plot-throughput-speedup-analysis-2n-skx:
247       csit-vpp-perf-verify-1807-2n-skx:
248       - 26  # NDRPDR sel
249       - 28  # NDRPDR sel
250       - 29  # NDRPDR sel
251       - 30  # NDRPDR sel
252       - 34  # NDRPDR sel
253       - 35  # NDRPDR sel
254       - 36  # NDRPDR sel
255       - 39  # NDRPDR sel
256       - 40  # NDRPDR sel
257       - 42  # NDRPDR sel
258
259     plot-vpp-throughput-latency-3n-hsw:
260       # TODO: Add Data sources
261       csit-vpp-perf-verify-1807-3n-hsw:
262       - 15  # NDRPDR sel
263       - 16  # NDRPDR sel
264       - 19  # NDRPDR sel
265       - 18  # NDRPDR sel
266       - 20  # NDRPDR sel
267
268     plot-vpp-throughput-latency-3n-skx:
269       csit-vpp-perf-verify-1807-3n-skx:
270       - 33  # NDRPDR sel
271       - 35  # NDRPDR sel
272       - 37  # NDRPDR sel
273       - 38  # NDRPDR sel
274       - 39  # NDRPDR sel
275       - 43  # NDRPDR sel
276       - 44  # NDRPDR sel
277       - 49  # NDRPDR sel
278       - 50  # NDRPDR sel
279       - 56  # NDRPDR sel
280
281     plot-vpp-throughput-latency-2n-skx:
282       csit-vpp-perf-verify-1807-2n-skx:
283       - 26  # NDRPDR sel
284       - 28  # NDRPDR sel
285       - 29  # NDRPDR sel
286       - 30  # NDRPDR sel
287       - 34  # NDRPDR sel
288       - 35  # NDRPDR sel
289       - 36  # NDRPDR sel
290       - 39  # NDRPDR sel
291       - 40  # NDRPDR sel
292       - 42  # NDRPDR sel
293
294     plot-vpp-http-server-performance:
295       # TODO: Add Data sources
296       csit-vpp-perf-verify-1807-3n-hsw:
297       - 24  # WRK
298       - 25  # WRK
299       - 23  # WRK
300       - 26  # WRK
301       - 27  # WRK
302       - 29  # WRK
303
304     # VPP Functional
305     vpp-func-results-ubuntu:
306       csit-vpp-functional-1807-ubuntu1604-virl:
307       # TODO: Add Data sources
308       - "lastSuccessfulBuild"
309
310     vpp-func-results-centos:
311       csit-vpp-functional-1807-centos7-virl:
312       # TODO: Add Data sources
313       - "lastSuccessfulBuild"
314
315     # VPP Ligato
316     ligato-perf-results-3n-hsw:
317       # TODO: Replace with better results
318       csit-ligato-perf-1807-all:
319       - 3   # full ?
320
321     plot-ligato-throughput-speedup-analysis-3n-hsw:
322       # TODO: Add Data sources
323       csit-ligato-perf-1807-all:
324       - 4   # sel
325
326     plot-ligato-throughput-latency-3n-hsw:
327       # TODO: Add Data sources
328       csit-ligato-perf-1807-all:
329       - 4   # sel
330
331     # DPDK Performance
332     dpdk-performance-changes:
333       csit-dpdk-perf-1804-all:
334       - 4
335       - 5
336       - 6
337       - 7
338       - 8
339       - 9
340       - 10
341       - 11
342       - 12
343       - 13
344       csit-dpdk-perf-verify-1807-3n-hsw:
345       - 11
346       - 12  # full
347       - 14
348       - 15
349       - 16
350       - 17
351       - 20
352       - 21
353       - 22
354       - 23
355
356     dpdk-compare-testbeds:
357       csit-dpdk-perf-verify-1807-3n-skx:
358       - 1
359       - 2
360       - 3
361       - 6
362       - 7
363       - 8
364       - 9
365       - 10
366       - 11
367       - 12
368       csit-dpdk-perf-verify-1807-3n-hsw:
369       - 11
370       - 12  # full
371       - 14
372       - 15
373       - 16
374       - 17
375       - 20
376       - 21
377       - 22
378       - 23
379
380     dpdk-perf-results-3n-hsw:
381       csit-dpdk-perf-verify-1807-3n-hsw:
382       - 12
383
384     dpdk-perf-results-3n-skx:
385       csit-dpdk-perf-verify-1807-3n-skx:
386       - 12
387
388     dpdk-perf-results-2n-skx:
389       csit-dpdk-perf-verify-1807-2n-skx:
390       - 10
391
392     plot-dpdk-throughput-latency-3n-hsw:
393       csit-dpdk-perf-verify-1807-3n-hsw:
394       - 11
395       - 12  # full
396       - 14
397       - 15
398       - 16
399       - 17
400       - 20
401       - 21
402       - 22
403       - 23
404
405     plot-dpdk-throughput-latency-3n-skx:
406       csit-dpdk-perf-verify-1807-3n-skx:
407       - 1
408       - 2
409       - 3
410       - 6
411       - 7
412       - 8
413       - 9
414       - 10
415       - 11
416       - 12
417
418     plot-dpdk-throughput-latency-2n-skx:
419       csit-dpdk-perf-verify-1807-2n-skx:
420       - 1
421       - 2
422       - 3
423       - 4
424       - 5
425       - 6
426       - 7
427       - 8
428       - 9
429       - 10
430
431     # HoneyComb Functional
432     hc-func-results:
433       csit-hc2vpp-verify-func-1807-ubuntu1604:
434       # TODO: Add Data sources
435       - "lastSuccessfulBuild"
436
437     # NSH SFC Functional
438     nsh-func-results:
439       csit-nsh_sfc-verify-func-1807-ubuntu1604-virl:
440       - 2
441
442   plot-layouts:
443
444     plot-cps:
445       xaxis:
446         autorange: True
447         fixedrange: False
448         gridcolor: "rgb(238, 238, 238)"
449         linecolor: "rgb(238, 238, 238)"
450         linewidth: 1
451         showgrid: True
452         showline: True
453         showticklabels: True
454         tickcolor: "rgb(238, 238, 238)"
455         tickmode: "linear"
456         title: "Indexed Test Cases"
457         zeroline: False
458       yaxis:
459         gridcolor: "rgb(238, 238, 238)"
460         hoverformat: ".4s"
461         linecolor: "rgb(238, 238, 238)"
462         linewidth: 1
463         rangemode: "tozero"
464         showgrid: True
465         showline: True
466         showticklabels: True
467         tickcolor: "rgb(238, 238, 238)"
468         title: "Connections Per Second [cps]"
469         zeroline: False
470       boxmode: "group"
471       boxgroupgap: 0.5
472       autosize: False
473       margin:
474         t: 50
475         b: 20
476         l: 80
477         r: 20
478       showlegend: True
479       legend:
480         orientation: "h"
481       width: 700
482       height: 1000
483
484     plot-rps:
485       xaxis:
486         autorange: True
487         fixedrange: False
488         gridcolor: "rgb(238, 238, 238)"
489         linecolor: "rgb(238, 238, 238)"
490         linewidth: 1
491         showgrid: True
492         showline: True
493         showticklabels: True
494         tickcolor: "rgb(238, 238, 238)"
495         tickmode: "linear"
496         title: "Indexed Test Cases"
497         zeroline: False
498       yaxis:
499         gridcolor: "rgb(238, 238, 238)"
500         hoverformat: ".4s"
501         linecolor: "rgb(238, 238, 238)"
502         linewidth: 1
503         rangemode: "tozero"
504         showgrid: True
505         showline: True
506         showticklabels: True
507         tickcolor: "rgb(238, 238, 238)"
508         title: "Requests Per Second [rps]"
509         zeroline: False
510       boxmode: "group"
511       boxgroupgap: 0.5
512       autosize: False
513       margin:
514         t: 50
515         b: 20
516         l: 80
517         r: 20
518       showlegend: True
519       legend:
520         orientation: "h"
521       width: 700
522       height: 1000
523
524     plot-throughput:
525       xaxis:
526         autorange: True
527         fixedrange: False
528         gridcolor: "rgb(238, 238, 238)"
529         linecolor: "rgb(238, 238, 238)"
530         linewidth: 1
531         showgrid: True
532         showline: True
533         showticklabels: True
534         tickcolor: "rgb(238, 238, 238)"
535         tickmode: "linear"
536         title: "Indexed Test Cases"
537         zeroline: False
538       yaxis:
539         gridcolor: "rgb(238, 238, 238)"
540         hoverformat: ".4s"
541         tickformat: ".3s"
542         linecolor: "rgb(238, 238, 238)"
543         linewidth: 1
544         showgrid: True
545         showline: True
546         showticklabels: True
547         tickcolor: "rgb(238, 238, 238)"
548         title: "Packets Per Second [pps]"
549         zeroline: False
550       boxmode: "group"
551       boxgroupgap: 0.5
552       autosize: False
553       margin:
554         t: 50
555         b: 20
556         l: 80
557         r: 20
558       showlegend: True
559       legend:
560         orientation: "h"
561       width: 700
562       height: 1000
563
564     plot-latency:
565       xaxis:
566         autorange: True
567         fixedrange: False
568         gridcolor: "rgb(238, 238, 238)"
569         linecolor: "rgb(238, 238, 238)"
570         linewidth: 1
571         showgrid: True
572         showline: True
573         showticklabels: True
574         tickcolor: "rgb(238, 238, 238)"
575         tickmode: "linear"
576         title: "Indexed Test Cases"
577         zeroline: False
578       yaxis:
579         gridcolor: "rgb(238, 238, 238)"
580         hoverformat: ""
581         linecolor: "rgb(238, 238, 238)"
582         linewidth: 1
583         showgrid: True
584         showline: True
585         showticklabels: True
586         tickcolor: "rgb(238, 238, 238)"
587         title: "Latency min/avg/max [uSec]"
588         zeroline: False
589       boxmode: "group"
590       boxgroupgap: 0.5
591       autosize: False
592       margin:
593         t: 50
594         b: 20
595         l: 80
596         r: 20
597       showlegend: True
598       legend:
599         orientation: "h"
600       width: 700
601       height: 1000
602
603     plot-throughput-speedup-analysis:
604       xaxis:
605         autorange: True
606         fixedrange: False
607         gridcolor: "rgb(238, 238, 238)"
608         linecolor: "rgb(238, 238, 238)"
609         linewidth: 1
610         showgrid: True
611         showline: True
612         showticklabels: True
613         tickcolor: "rgb(238, 238, 238)"
614         tickmode: "linear"
615         tickangle: 270
616         zeroline: False
617       yaxis:
618         title: "Throughput speedup factor"
619         gridcolor: "rgb(238, 238, 238)"
620         hoverformat: ".4s"
621         linecolor: "rgb(238, 238, 238)"
622         linewidth: 1
623         showgrid: True
624         showline: True
625         showticklabels: True
626         tickcolor: "rgb(238, 238, 238)"
627         zeroline: False
628       legend:
629         orientation: "h"
630         xanchor: "center"
631         yanchor: "top"
632         x: 0.5
633         y: 1
634         bgcolor: "rgba(255, 255, 255, 0)"
635         bordercolor: "rgba(255, 255, 255, 0)"
636       barmode: "group"
637       bargap: 0.15
638       bargroupgap: 0.1
639       autosize: False
640       margin:
641           't': 50
642           'b': 300
643           'l': 50
644           'r': 20
645       showlegend: True
646       width: 700
647       height: 1000
648
649 -
650   type: "static"
651   src-path: "{DIR[RST]}"
652   dst-path: "{DIR[WORKING,SRC]}"
653
654 -
655   type: "input"
656   general:
657     file-name: "robot-plugin.zip"
658     file-format: ".zip"
659     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
660     extract: "robot-plugin/output.xml"
661
662   builds:
663
664     csit-vpp-perf-1801-all:
665     - 124  # sel
666     - 127  # sel
667     - 128  # sel
668     - 141  # sel
669     - 142  # sel
670     - 143  # sel
671     - 145  # sel
672     - 146  # sel
673     - 162  # sel
674     - 163  # sel
675     - 167  # sel
676     - 172  # sel acl only
677     csit-vpp-perf-1804-all:
678     - 21  # sel
679     - 22  # sel
680     - 23  # sel
681     - 24  # sel
682     - 27  # sel
683     - 28  # sel
684     - 29  # sel
685     - 30  # sel
686     - 31  # sel
687     - 35  # sel
688     # TODO: Add Data sources
689     csit-vpp-perf-verify-1807-3n-hsw:
690     - 8   # MRR full
691     - 9   # MRR sel
692     - 11  # NDRPDR full 1
693     - 15  # NDRPDR sel
694     - 16  # NDRPDR sel
695     - 19  # NDRPDR sel
696     - 18  # NDRPDR sel
697     - 20  # NDRPDR sel
698     - 24  # WRK
699     - 25  # WRK
700     - 23  # WRK
701     - 26  # WRK
702     - 27  # WRK
703     - 29  # WRK
704     csit-vpp-perf-verify-1807-3n-skx:
705     - 31  # MRR full
706     - 28  # MRR sel
707     - 32  # MRR sel
708     - 36  # MRR sel
709     - 42  # MRR sel
710     - 47  # MRR sel
711     - 48  # MRR sel
712     - 51  # MRR sel
713     - 52  # MRR sel
714     - 53  # MRR sel
715     - 54  # MRR sel
716     - 40  # NDRPDR full 1
717     - 41  # NDRPDR full 2
718     - 33  # NDRPDR sel
719     - 35  # NDRPDR sel
720     - 37  # NDRPDR sel
721     - 38  # NDRPDR sel
722     - 39  # NDRPDR sel
723     - 43  # NDRPDR sel
724     - 44  # NDRPDR sel
725     - 49  # NDRPDR sel
726     - 50  # NDRPDR sel
727     - 56  # NDRPDR sel
728     csit-vpp-perf-verify-1807-2n-skx:
729     - 27  # MRR full
730     - 31  # MRR sel
731     - 33  # MRR sel
732     - 37  # MRR sel
733     - 38  # MRR sel
734     - 41  # MRR sel
735     - 43  # MRR sel
736     - 44  # MRR sel
737     - 45  # MRR sel
738     - 46  # MRR sel
739     - 47  # MRR sel
740     - 32  # NDRPDR full
741     - 26  # NDRPDR sel
742     - 28  # NDRPDR sel
743     - 29  # NDRPDR sel
744     - 30  # NDRPDR sel
745     - 34  # NDRPDR sel
746     - 35  # NDRPDR sel
747     - 36  # NDRPDR sel
748     - 39  # NDRPDR sel
749     - 40  # NDRPDR sel
750     - 42  # NDRPDR sel
751     csit-vpp-perf-check-1801:
752     - 3   # mrr
753     - 4   # mrr
754     - 5   # mrr
755     - 6   # mrr
756     - 7   # mrr
757     - 8   # mrr
758     - 9   # mrr
759     - 11  # mrr
760     - 12  # mrr
761     - 13  # mrr
762     csit-vpp-perf-check-1804:
763     - 5   # mrr - full
764     - 6   # mrr - sel
765     - 13  # mrr - sel
766     - 14  # mrr - sel
767     - 15  # mrr - sel
768     - 16  # mrr - sel
769     - 17  # mrr - sel
770     - 19  # mrr - sel
771     - 20  # mrr - sel
772     - 21  # mrr - sel
773     - 22  # mrr - sel
774     csit-ligato-perf-1804-all:
775     - 4   # full
776     - 5   # sel
777     - 6   # sel
778     - 7   # sel
779     - 8   # sel
780     - 9   # sel
781     - 10  # sel
782     - 11  # sel
783     - 12  # sel
784     - 13  # sel
785     - 14  # sel
786     # TODO: Add Data sources
787     csit-ligato-perf-1807-all:
788     - 3   # full ?
789     - 4   # sel
790     csit-dpdk-perf-1804-all:
791     - 4
792     - 5
793     - 6
794     - 7
795     - 8
796     - 9
797     - 10
798     - 11
799     - 12
800     - 13
801     csit-dpdk-perf-verify-1807-3n-hsw:
802     - 11
803     - 12  # full
804     - 14
805     - 15
806     - 16
807     - 17
808     - 20
809     - 21
810     - 22
811     - 23
812     csit-dpdk-perf-verify-1807-3n-skx:
813     - 1
814     - 2
815     - 3
816     - 6
817     - 7
818     - 8
819     - 9
820     - 10
821     - 11
822     - 12
823     csit-dpdk-perf-verify-1807-2n-skx:
824     - 1
825     - 2
826     - 3
827     - 4
828     - 5
829     - 6
830     - 7
831     - 8
832     - 9
833     - 10
834     csit-vpp-functional-1807-ubuntu1604-virl:
835     # TODO: Add Data sources
836     - "lastSuccessfulBuild"
837     csit-vpp-functional-1807-centos7-virl:
838     # TODO: Add Data sources
839     - "lastSuccessfulBuild"
840     csit-nsh_sfc-verify-func-1807-ubuntu1604-virl:
841     - 2
842     csit-hc2vpp-verify-func-1807-ubuntu1604:
843     # TODO: Add Data sources
844     - "lastSuccessfulBuild"
845
846 -
847   type: "output"
848   output: "report"
849   format:
850     html:
851     - full
852     pdf:
853     - minimal
854
855 ################################################################################
856 ###                               T A B L E S                                ###
857 ################################################################################
858
859 ################################################################################
860 # VPP
861 -
862   type: "table"
863   title: "VPP Performance Changes 1t1c pdr"
864   algorithm: "table_performance_comparison"
865   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-pdr"
866   history:
867     -
868       title: "rls1801"
869       data:
870         csit-vpp-perf-1801-all:
871         - 124  # sel
872         - 127  # sel
873         - 128  # sel
874         - 141  # sel
875         - 142  # sel
876         - 143  # sel
877         - 145  # sel
878         - 146  # sel
879         - 162  # sel
880         - 163  # sel
881         - 167  # sel
882         - 172  # sel acl only
883   reference:
884     title: "rls1804"
885     data:
886       csit-vpp-perf-1804-all:
887       - 21  # sel
888       - 22  # sel
889       - 23  # sel
890       - 24  # sel
891       - 27  # sel
892       - 28  # sel
893       - 29  # sel
894       - 30  # sel
895       - 31  # sel
896       - 35  # sel
897   compare:
898     title: "rls1807"
899     data:
900       # TODO: Add Data sources
901       csit-vpp-perf-verify-1807-3n-hsw:
902       - 15  # NDRPDR sel
903       - 16  # NDRPDR sel
904       - 19  # NDRPDR sel
905       - 18  # NDRPDR sel
906       - 20  # NDRPDR sel
907   data: "vpp-performance-changes"
908   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
909   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
910   parameters:
911   - "name"
912   - "parent"
913   - "throughput"
914
915 -
916   type: "table"
917   title: "VPP Performance Changes 2t2c pdr"
918   algorithm: "table_performance_comparison"
919   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-pdr"
920   history:
921     -
922       title: "rls1801"
923       data:
924         csit-vpp-perf-1801-all:
925         - 124  # sel
926         - 127  # sel
927         - 128  # sel
928         - 141  # sel
929         - 142  # sel
930         - 143  # sel
931         - 145  # sel
932         - 146  # sel
933         - 162  # sel
934         - 163  # sel
935         - 167  # sel
936         - 172  # sel acl only
937   reference:
938     title: "rls1804"
939     data:
940       csit-vpp-perf-1804-all:
941       - 21  # sel
942       - 22  # sel
943       - 23  # sel
944       - 24  # sel
945       - 27  # sel
946       - 28  # sel
947       - 29  # sel
948       - 30  # sel
949       - 31  # sel
950       - 35  # sel
951   compare:
952     title: "rls1807"
953     data:
954       # TODO: Add Data sources
955       csit-vpp-perf-verify-1807-3n-hsw:
956       - 15  # NDRPDR sel
957       - 16  # NDRPDR sel
958       - 19  # NDRPDR sel
959       - 18  # NDRPDR sel
960       - 20  # NDRPDR sel
961   data: "vpp-performance-changes"
962   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
963   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
964   parameters:
965   - "name"
966   - "parent"
967   - "throughput"
968
969 -
970   type: "table"
971   title: "VPP Performance Changes 1t1c ndr"
972   algorithm: "table_performance_comparison"
973   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-ndr"
974   history:
975     -
976       title: "rls1801"
977       data:
978         csit-vpp-perf-1801-all:
979         - 124  # sel
980         - 127  # sel
981         - 128  # sel
982         - 141  # sel
983         - 142  # sel
984         - 143  # sel
985         - 145  # sel
986         - 146  # sel
987         - 162  # sel
988         - 163  # sel
989         - 167  # sel
990         - 172  # sel acl only
991   reference:
992     title: "rls1804"
993     data:
994       csit-vpp-perf-1804-all:
995       - 21  # sel
996       - 22  # sel
997       - 23  # sel
998       - 24  # sel
999       - 27  # sel
1000       - 28  # sel
1001       - 29  # sel
1002       - 30  # sel
1003       - 31  # sel
1004       - 35  # sel
1005   compare:
1006     title: "rls1807"
1007     data:
1008       # TODO: Add Data sources
1009       csit-vpp-perf-verify-1807-3n-hsw:
1010       - 15  # NDRPDR sel
1011       - 16  # NDRPDR sel
1012       - 19  # NDRPDR sel
1013       - 18  # NDRPDR sel
1014       - 20  # NDRPDR sel
1015   data: "vpp-performance-changes"
1016   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1017   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1018   parameters:
1019   - "name"
1020   - "parent"
1021   - "throughput"
1022
1023 -
1024   type: "table"
1025   title: "VPP Performance Changes 2t2c ndr"
1026   algorithm: "table_performance_comparison"
1027   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-ndr"
1028   history:
1029     -
1030       title: "rls1801"
1031       data:
1032         csit-vpp-perf-1801-all:
1033         - 124  # sel
1034         - 127  # sel
1035         - 128  # sel
1036         - 141  # sel
1037         - 142  # sel
1038         - 143  # sel
1039         - 145  # sel
1040         - 146  # sel
1041         - 162  # sel
1042         - 163  # sel
1043         - 167  # sel
1044         - 172  # sel acl only
1045   reference:
1046     title: "rls1804"
1047     data:
1048       csit-vpp-perf-1804-all:
1049       - 21  # sel
1050       - 22  # sel
1051       - 23  # sel
1052       - 24  # sel
1053       - 27  # sel
1054       - 28  # sel
1055       - 29  # sel
1056       - 30  # sel
1057       - 31  # sel
1058       - 35  # sel
1059   compare:
1060     title: "rls1807"
1061     data:
1062       # TODO: Add Data sources
1063       csit-vpp-perf-verify-1807-3n-hsw:
1064       - 15  # NDRPDR sel
1065       - 16  # NDRPDR sel
1066       - 19  # NDRPDR sel
1067       - 18  # NDRPDR sel
1068       - 20  # NDRPDR sel
1069   data: "vpp-performance-changes"
1070   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1071   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1072   parameters:
1073   - "name"
1074   - "parent"
1075   - "throughput"
1076
1077 -
1078   type: "table"
1079   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1080   algorithm: "table_performance_comparison"
1081   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1082   reference:
1083     title: "3-Node Hsw"
1084     data:
1085       # TODO: Add Data sources
1086       csit-vpp-perf-verify-1807-3n-hsw:
1087       - 15  # NDRPDR sel
1088       - 16  # NDRPDR sel
1089       - 19  # NDRPDR sel
1090       - 18  # NDRPDR sel
1091       - 20  # NDRPDR sel
1092   compare:
1093     title: "3-Node Skx"
1094     data:
1095       csit-vpp-perf-verify-1807-3n-skx:
1096       - 33  # NDRPDR sel
1097       - 35  # NDRPDR sel
1098       - 37  # NDRPDR sel
1099       - 38  # NDRPDR sel
1100       - 39  # NDRPDR sel
1101       - 43  # NDRPDR sel
1102       - 44  # NDRPDR sel
1103       - 49  # NDRPDR sel
1104       - 50  # NDRPDR sel
1105       - 56  # NDRPDR sel
1106   data: "vpp-compare-testbeds"
1107   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1108   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1109   parameters:
1110   - "name"
1111   - "parent"
1112   - "throughput"
1113
1114 -
1115   type: "table"
1116   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1117   algorithm: "table_performance_comparison"
1118   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1119   reference:
1120     title: "3-Node Hsw"
1121     data:
1122       # TODO: Add Data sources
1123       csit-vpp-perf-verify-1807-3n-hsw:
1124       - 15  # NDRPDR sel
1125       - 16  # NDRPDR sel
1126       - 19  # NDRPDR sel
1127       - 18  # NDRPDR sel
1128       - 20  # NDRPDR sel
1129   compare:
1130     title: "3-Node Skx"
1131     data:
1132       csit-vpp-perf-verify-1807-3n-skx:
1133       - 33  # NDRPDR sel
1134       - 35  # NDRPDR sel
1135       - 37  # NDRPDR sel
1136       - 38  # NDRPDR sel
1137       - 39  # NDRPDR sel
1138       - 43  # NDRPDR sel
1139       - 44  # NDRPDR sel
1140       - 49  # NDRPDR sel
1141       - 50  # NDRPDR sel
1142       - 56  # NDRPDR sel
1143   data: "vpp-compare-testbeds"
1144   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1145   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1146   parameters:
1147   - "name"
1148   - "parent"
1149   - "throughput"
1150
1151 -
1152   type: "table"
1153   title: "VPP Performance Changes - 1t1c MRR"
1154   algorithm: "table_performance_comparison"
1155   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-mrr"
1156   history:
1157     -
1158       title: "rls1801"
1159       data:
1160         csit-vpp-perf-check-1801:
1161         - 3
1162         - 4
1163         - 5
1164         - 6
1165         - 7
1166         - 8
1167         - 9
1168         - 11
1169         - 12
1170         - 13
1171   reference:
1172     title: "rls1804"
1173     data:
1174       csit-vpp-perf-check-1804:
1175       - 6   # mrr - sel
1176       - 13  # mrr - sel
1177       - 14  # mrr - sel
1178       - 15  # mrr - sel
1179       - 16  # mrr - sel
1180       - 17  # mrr - sel
1181       - 19  # mrr - sel
1182       - 20  # mrr - sel
1183       - 21  # mrr - sel
1184       - 22  # mrr - sel
1185   compare:
1186     title: "rls1807"
1187     data:
1188       # TODO: Add Data sources
1189       csit-vpp-perf-verify-1807-3n-hsw:
1190       - 9   # MRR sel
1191   data: "vpp-performance-changes-mrr"
1192   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1193   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1194   parameters:
1195   - "name"
1196   - "parent"
1197   - "result"
1198
1199 -
1200   type: "table"
1201   title: "VPP Performance Changes - 2t2c MRR"
1202   algorithm: "table_performance_comparison"
1203   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-mrr"
1204   history:
1205     -
1206       title: "rls1801"
1207       data:
1208         csit-vpp-perf-check-1801:
1209         - 3
1210         - 4
1211         - 5
1212         - 6
1213         - 7
1214         - 8
1215         - 9
1216         - 11
1217         - 12
1218         - 13
1219   reference:
1220     title: "rls1804"
1221     data:
1222       csit-vpp-perf-check-1804:
1223       - 6   # mrr - sel
1224       - 13  # mrr - sel
1225       - 14  # mrr - sel
1226       - 15  # mrr - sel
1227       - 16  # mrr - sel
1228       - 17  # mrr - sel
1229       - 19  # mrr - sel
1230       - 20  # mrr - sel
1231       - 21  # mrr - sel
1232       - 22  # mrr - sel
1233   compare:
1234     title: "rls1807"
1235     data:
1236       # TODO: Add Data sources
1237       csit-vpp-perf-verify-1807-3n-hsw:
1238       - 9   # MRR sel
1239   data: "vpp-performance-changes-mrr"
1240   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1241   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1242   parameters:
1243   - "name"
1244   - "parent"
1245   - "result"
1246
1247 -
1248   type: "table"
1249   title: "VPP Performance Changes - 4t4c MRR"
1250   algorithm: "table_performance_comparison"
1251   output-file: "{DIR[STATIC,VPP]}/performance-changes-4t4c-mrr"
1252   history:
1253     -
1254       title: "rls1801"
1255       data:
1256         csit-vpp-perf-check-1801:
1257         - 3
1258         - 4
1259         - 5
1260         - 6
1261         - 7
1262         - 8
1263         - 9
1264         - 11
1265         - 12
1266         - 13
1267   reference:
1268     title: "rls1804"
1269     data:
1270       csit-vpp-perf-check-1804:
1271       - 6   # mrr - sel
1272       - 13  # mrr - sel
1273       - 14  # mrr - sel
1274       - 15  # mrr - sel
1275       - 16  # mrr - sel
1276       - 17  # mrr - sel
1277       - 19  # mrr - sel
1278       - 20  # mrr - sel
1279       - 21  # mrr - sel
1280       - 22  # mrr - sel
1281   compare:
1282     title: "rls1807"
1283     data:
1284       # TODO: Add Data sources
1285       csit-vpp-perf-verify-1807-3n-hsw:
1286       - 9   # MRR sel
1287   data: "vpp-performance-changes-mrr"
1288   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1289   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1290   parameters:
1291   - "name"
1292   - "parent"
1293   - "result"
1294
1295 -
1296   type: "table"
1297   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
1298   algorithm: "table_performance_comparison"
1299   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
1300   reference:
1301     title: "3-Node Hsw"
1302     data:
1303       # TODO: Add Data sources
1304       csit-vpp-perf-verify-1807-3n-hsw:
1305       - 9   # MRR sel
1306   compare:
1307     title: "3-Node Skx"
1308     data:
1309       csit-vpp-perf-verify-1807-3n-skx:
1310       - 28  # MRR sel
1311       - 32  # MRR sel
1312       - 36  # MRR sel
1313       - 42  # MRR sel
1314       - 47  # MRR sel
1315       - 48  # MRR sel
1316       - 51  # MRR sel
1317       - 52  # MRR sel
1318       - 53  # MRR sel
1319       - 54  # MRR sel
1320   data: "vpp-compare-testbeds-mrr"
1321   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1322   filter: "'NIC_Intel-X710' and 'MRR'"
1323   parameters:
1324   - "name"
1325   - "parent"
1326   - "result"
1327
1328 -
1329   type: "table"
1330   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
1331   algorithm: "table_merged_details"
1332   output-file-ext: ".csv"
1333   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
1334   columns:
1335   -
1336     title: "Name"
1337     data: "data name"
1338   -
1339     title: "Status"
1340     data: "data msg"
1341   rows: "generated"
1342   data: "vpp-perf-results-3n-hsw"
1343   filter: "not 'NDRCHK' and not 'PDRCHK'"
1344   parameters:
1345   - "name"
1346   - "parent"
1347   - "doc"
1348   - "msg"
1349
1350 -
1351   type: "table"
1352   title: "Detailed Test Results - VPP Performance Results 3n-skx"
1353   algorithm: "table_merged_details"
1354   output-file-ext: ".csv"
1355   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
1356   columns:
1357   -
1358     title: "Name"
1359     data: "data name"
1360   -
1361     title: "Status"
1362     data: "data msg"
1363   rows: "generated"
1364   data: "vpp-perf-results-3n-skx"
1365   filter: "not 'NDRCHK' and not 'PDRCHK'"
1366   parameters:
1367   - "name"
1368   - "parent"
1369   - "doc"
1370   - "msg"
1371
1372 -
1373   type: "table"
1374   title: "Detailed Test Results - VPP Performance Results 2n-skx"
1375   algorithm: "table_merged_details"
1376   output-file-ext: ".csv"
1377   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
1378   columns:
1379   -
1380     title: "Name"
1381     data: "data name"
1382   -
1383     title: "Status"
1384     data: "data msg"
1385   rows: "generated"
1386   data: "vpp-perf-results-2n-skx"
1387   filter: "not 'NDRCHK' and not 'PDRCHK'"
1388   parameters:
1389   - "name"
1390   - "parent"
1391   - "doc"
1392   - "msg"
1393
1394 -
1395   type: "table"
1396   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
1397   algorithm: "table_merged_details"
1398   output-file-ext: ".csv"
1399   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
1400   columns:
1401   -
1402     title: "Name"
1403     data: "data name"
1404   -
1405     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1406     data: "data vat-history"
1407   rows: "generated"
1408   data: "vpp-perf-results-3n-hsw"
1409   filter: "not 'NDRCHK' and not 'PDRCHK'"
1410   parameters:
1411   - "parent"
1412   - "name"
1413   - "vat-history"
1414
1415 -
1416   type: "table"
1417   title: "Test configuration - VPP Performance Test Configs 3n-skx"
1418   algorithm: "table_merged_details"
1419   output-file-ext: ".csv"
1420   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
1421   columns:
1422   -
1423     title: "Name"
1424     data: "data name"
1425   -
1426     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1427     data: "data vat-history"
1428   rows: "generated"
1429   data: "vpp-perf-results-3n-skx"
1430   filter: "not 'NDRCHK' and not 'PDRCHK'"
1431   parameters:
1432   - "parent"
1433   - "name"
1434   - "vat-history"
1435
1436 -
1437   type: "table"
1438   title: "Test configuration - VPP Performance Test Configs 2n-skx"
1439   algorithm: "table_merged_details"
1440   output-file-ext: ".csv"
1441   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
1442   columns:
1443   -
1444     title: "Name"
1445     data: "data name"
1446   -
1447     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1448     data: "data vat-history"
1449   rows: "generated"
1450   data: "vpp-perf-results-2n-skx"
1451   filter: "not 'NDRCHK' and not 'PDRCHK'"
1452   parameters:
1453   - "parent"
1454   - "name"
1455   - "vat-history"
1456
1457 -
1458   type: "table"
1459   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
1460   algorithm: "table_merged_details"
1461   output-file-ext: ".csv"
1462   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
1463   columns:
1464   -
1465     title: "Name"
1466     data: "data name"
1467   -
1468     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1469     data: "data show-run"
1470   rows: "generated"
1471   data: "vpp-perf-results-3n-hsw"
1472   filter: "not 'NDRCHK' and not 'PDRCHK'"
1473   parameters:
1474   - "parent"
1475   - "name"
1476   - "show-run"
1477
1478 -
1479   type: "table"
1480   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
1481   algorithm: "table_merged_details"
1482   output-file-ext: ".csv"
1483   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
1484   columns:
1485   -
1486     title: "Name"
1487     data: "data name"
1488   -
1489     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1490     data: "data show-run"
1491   rows: "generated"
1492   data: "vpp-perf-results-3n-skx"
1493   filter: "not 'NDRCHK' and not 'PDRCHK'"
1494   parameters:
1495   - "parent"
1496   - "name"
1497   - "show-run"
1498
1499 -
1500   type: "table"
1501   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
1502   algorithm: "table_merged_details"
1503   output-file-ext: ".csv"
1504   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
1505   columns:
1506   -
1507     title: "Name"
1508     data: "data name"
1509   -
1510     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1511     data: "data show-run"
1512   rows: "generated"
1513   data: "vpp-perf-results-2n-skx"
1514   filter: "not 'NDRCHK' and not 'PDRCHK'"
1515   parameters:
1516   - "parent"
1517   - "name"
1518   - "show-run"
1519
1520 -
1521   type: "table"
1522   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
1523   algorithm: "table_details"
1524   output-file-ext: ".csv"
1525   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
1526   columns:
1527   -
1528     title: "Name"
1529     data: "data name"
1530   -
1531     title: "Status"
1532     data: "data msg"
1533   rows: "generated"
1534   data: "vpp-mrr-results-3n-hsw"
1535   filter: "'MRR'"
1536   parameters:
1537   - "name"
1538   - "parent"
1539   - "doc"
1540   - "msg"
1541
1542 -
1543   type: "table"
1544   title: "Detailed Test Results - VPP MRR Results 3n-skx"
1545   algorithm: "table_details"
1546   output-file-ext: ".csv"
1547   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
1548   columns:
1549   -
1550     title: "Name"
1551     data: "data name"
1552   -
1553     title: "Status"
1554     data: "data msg"
1555   rows: "generated"
1556   data: "vpp-mrr-results-3n-skx"
1557   filter: "'MRR'"
1558   parameters:
1559   - "name"
1560   - "parent"
1561   - "doc"
1562   - "msg"
1563
1564 -
1565   type: "table"
1566   title: "Detailed Test Results - VPP MRR Results 2n-skx"
1567   algorithm: "table_details"
1568   output-file-ext: ".csv"
1569   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
1570   columns:
1571   -
1572     title: "Name"
1573     data: "data name"
1574   -
1575     title: "Status"
1576     data: "data msg"
1577   rows: "generated"
1578   data: "vpp-mrr-results-2n-skx"
1579   filter: "'MRR'"
1580   parameters:
1581   - "name"
1582   - "parent"
1583   - "doc"
1584   - "msg"
1585
1586 -
1587   type: "table"
1588   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
1589   algorithm: "table_details"
1590   output-file-ext: ".csv"
1591   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
1592   columns:
1593   -
1594     title: "Name"
1595     data: "data name"
1596   -
1597     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1598     data: "data vat-history"
1599   rows: "generated"
1600   data: "vpp-mrr-results-3n-hsw"
1601   filter: "'MRR'"
1602   parameters:
1603   - "parent"
1604   - "name"
1605   - "vat-history"
1606
1607 -
1608   type: "table"
1609   title: "Test configuration - VPP MRR Test Configs 3n-skx"
1610   algorithm: "table_details"
1611   output-file-ext: ".csv"
1612   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
1613   columns:
1614   -
1615     title: "Name"
1616     data: "data name"
1617   -
1618     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1619     data: "data vat-history"
1620   rows: "generated"
1621   data: "vpp-mrr-results-3n-skx"
1622   filter: "'MRR'"
1623   parameters:
1624   - "parent"
1625   - "name"
1626   - "vat-history"
1627
1628 -
1629   type: "table"
1630   title: "Test configuration - VPP MRR Test Configs 2n-skx"
1631   algorithm: "table_details"
1632   output-file-ext: ".csv"
1633   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
1634   columns:
1635   -
1636     title: "Name"
1637     data: "data name"
1638   -
1639     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1640     data: "data vat-history"
1641   rows: "generated"
1642   data: "vpp-mrr-results-2n-skx"
1643   filter: "'MRR'"
1644   parameters:
1645   - "parent"
1646   - "name"
1647   - "vat-history"
1648
1649 -
1650   type: "table"
1651   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
1652   algorithm: "table_details"
1653   output-file-ext: ".csv"
1654   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
1655   columns:
1656   -
1657     title: "Name"
1658     data: "data name"
1659   -
1660     title: "Documentation"
1661     data: "data doc"
1662   -
1663     title: "Status"
1664     data: "data status"
1665   rows: "generated"
1666   data: "vpp-func-results-ubuntu"
1667   filter: "all"
1668   parameters:
1669   - "name"
1670   - "parent"
1671   - "doc"
1672   - "status"
1673
1674 -
1675   type: "table"
1676   title: "Detailed Test Results - VPP Functional Results - CentOS"
1677   algorithm: "table_details"
1678   output-file-ext: ".csv"
1679   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1680   columns:
1681   -
1682     title: "Name"
1683     data: "data name"
1684   -
1685     title: "Documentation"
1686     data: "data doc"
1687   -
1688     title: "Status"
1689     data: "data status"
1690   rows: "generated"
1691   data:
1692     "vpp-func-results-centos"
1693   filter: "all"
1694   parameters:
1695   - "name"
1696   - "parent"
1697   - "doc"
1698   - "status"
1699
1700 -
1701   type: "table"
1702   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
1703   algorithm: "table_details"
1704   output-file-ext: ".csv"
1705   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
1706   columns:
1707   -
1708     title: "Name"
1709     data: "data name"
1710   -
1711     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1712     data: "data vat-history"
1713   rows: "generated"
1714   data: "vpp-func-results-ubuntu"
1715   filter: "all"
1716   parameters:
1717   - "parent"
1718   - "name"
1719   - "vat-history"
1720
1721 -
1722   type: "table"
1723   title: "Test configuration - VPP Functional Test Configs - CentOS"
1724   algorithm: "table_details"
1725   output-file-ext: ".csv"
1726   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1727   columns:
1728   -
1729     title: "Name"
1730     data: "data name"
1731   -
1732     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1733     data: "data vat-history"
1734   rows: "generated"
1735   data: "vpp-func-results-centos"
1736   filter: "all"
1737   parameters:
1738   - "parent"
1739   - "name"
1740   - "vat-history"
1741
1742 -
1743   type: "table"
1744   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
1745   algorithm: "table_details"
1746   output-file-ext: ".csv"
1747   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
1748   columns:
1749   -
1750     title: "Name"
1751     data: "data name"
1752   -
1753     title: "Status"
1754     data: "data msg"
1755   rows: "generated"
1756   data: "ligato-perf-results-3n-hsw"
1757   filter: "all"
1758   parameters:
1759   - "name"
1760   - "parent"
1761   - "doc"
1762   - "msg"
1763
1764 ################################################################################
1765 # DPDK
1766 -
1767   type: "table"
1768   title: "DPDK Performance Changes 1t1c pdr"
1769   algorithm: "table_performance_comparison"
1770   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-pdr"
1771   reference:
1772     title: "rls1804"
1773     data:
1774       csit-dpdk-perf-1804-all:
1775       - 4
1776       - 5
1777       - 6
1778       - 7
1779       - 8
1780       - 9
1781       - 10
1782       - 11
1783       - 12
1784       - 13
1785   compare:
1786     title: "rls1807"
1787     data:
1788       csit-dpdk-perf-verify-1807-3n-hsw:
1789       - 11
1790       - 12  # full
1791       - 14
1792       - 15
1793       - 16
1794       - 17
1795       - 20
1796       - 21
1797       - 22
1798       - 23
1799   data: "dpdk-performance-changes"
1800   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1801   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1802   parameters:
1803   - "name"
1804   - "parent"
1805   - "throughput"
1806
1807 -
1808   type: "table"
1809   title: "DPDK Performance Changes 2t2c pdr"
1810   algorithm: "table_performance_comparison"
1811   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-pdr"
1812   reference:
1813     title: "rls1804"
1814     data:
1815       csit-dpdk-perf-1804-all:
1816       - 4
1817       - 5
1818       - 6
1819       - 7
1820       - 8
1821       - 9
1822       - 10
1823       - 11
1824       - 12
1825       - 13
1826   compare:
1827     title: "rls1807"
1828     data:
1829       csit-dpdk-perf-verify-1807-3n-hsw:
1830       - 11
1831       - 12  # full
1832       - 14
1833       - 15
1834       - 16
1835       - 17
1836       - 20
1837       - 21
1838       - 22
1839       - 23
1840   data: "dpdk-performance-changes"
1841   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1842   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1843   parameters:
1844   - "name"
1845   - "parent"
1846   - "throughput"
1847
1848 -
1849   type: "table"
1850   title: "DPDK Performance Changes 1t1c ndr"
1851   algorithm: "table_performance_comparison"
1852   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-ndr"
1853   reference:
1854     title: "rls1804"
1855     data:
1856       csit-dpdk-perf-1804-all:
1857       - 4
1858       - 5
1859       - 6
1860       - 7
1861       - 8
1862       - 9
1863       - 10
1864       - 11
1865       - 12
1866       - 13
1867   compare:
1868     title: "rls1807"
1869     data:
1870       csit-dpdk-perf-verify-1807-3n-hsw:
1871       - 11
1872       - 12  # full
1873       - 14
1874       - 15
1875       - 16
1876       - 17
1877       - 20
1878       - 21
1879       - 22
1880       - 23
1881   data: "dpdk-performance-changes"
1882   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1883   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1884   parameters:
1885   - "name"
1886   - "parent"
1887   - "throughput"
1888
1889 -
1890   type: "table"
1891   title: "DPDK Performance Changes 2t2c ndr"
1892   algorithm: "table_performance_comparison"
1893   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-ndr"
1894   reference:
1895     title: "rls1804"
1896     data:
1897       csit-dpdk-perf-1804-all:
1898       - 4
1899       - 5
1900       - 6
1901       - 7
1902       - 8
1903       - 9
1904       - 10
1905       - 11
1906       - 12
1907       - 13
1908   compare:
1909     title: "rls1807"
1910     data:
1911       csit-dpdk-perf-verify-1807-3n-hsw:
1912       - 11
1913       - 12  # full
1914       - 14
1915       - 15
1916       - 16
1917       - 17
1918       - 20
1919       - 21
1920       - 22
1921       - 23
1922   data: "dpdk-performance-changes"
1923   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1924   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1925   parameters:
1926   - "name"
1927   - "parent"
1928   - "throughput"
1929
1930 -
1931   type: "table"
1932   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1933   algorithm: "table_performance_comparison"
1934   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1935   reference:
1936     title: "3-Node Hsw"
1937     data:
1938       csit-dpdk-perf-verify-1807-3n-hsw:
1939       - 11
1940       - 12  # full
1941       - 14
1942       - 15
1943       - 16
1944       - 17
1945       - 20
1946       - 21
1947       - 22
1948       - 23
1949   compare:
1950     title: "3-Node Skx"
1951     data:
1952       csit-dpdk-perf-verify-1807-3n-skx:
1953       - 1
1954       - 2
1955       - 3
1956       - 6
1957       - 7
1958       - 8
1959       - 9
1960       - 10
1961       - 11
1962       - 12
1963   data: "dpdk-compare-testbeds"
1964   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1965   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1966   parameters:
1967   - "name"
1968   - "parent"
1969   - "throughput"
1970
1971 -
1972   type: "table"
1973   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1974   algorithm: "table_performance_comparison"
1975   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1976   reference:
1977     title: "3-Node Hsw"
1978     data:
1979       csit-dpdk-perf-verify-1807-3n-hsw:
1980       - 11
1981       - 12  # full
1982       - 14
1983       - 15
1984       - 16
1985       - 17
1986       - 20
1987       - 21
1988       - 22
1989       - 23
1990   compare:
1991     title: "3-Node Skx"
1992     data:
1993       csit-dpdk-perf-verify-1807-3n-skx:
1994       - 1
1995       - 2
1996       - 3
1997       - 6
1998       - 7
1999       - 8
2000       - 9
2001       - 10
2002       - 11
2003       - 12
2004   data: "dpdk-compare-testbeds"
2005   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2006   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2007   parameters:
2008   - "name"
2009   - "parent"
2010   - "throughput"
2011
2012 -
2013   type: "table"
2014   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
2015   algorithm: "table_performance_comparison"
2016   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
2017   reference:
2018     title: "3-Node Hsw"
2019     data:
2020       csit-dpdk-perf-verify-1807-3n-hsw:
2021       - 11
2022       - 12  # full
2023       - 14
2024       - 15
2025       - 16
2026       - 17
2027       - 20
2028       - 21
2029       - 22
2030       - 23
2031   compare:
2032     title: "3-Node Skx"
2033     data:
2034       csit-dpdk-perf-verify-1807-3n-skx:
2035       - 1
2036       - 2
2037       - 3
2038       - 6
2039       - 7
2040       - 8
2041       - 9
2042       - 10
2043       - 11
2044       - 12
2045   data: "dpdk-compare-testbeds"
2046   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2047   filter: "'NIC_Intel-X710' and MRR" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2048   parameters:
2049   - "name"
2050   - "parent"
2051   - "throughput"
2052
2053 -
2054   type: "table"
2055   title: "Detailed Test Results - DPDK Performance Results 3n-hsw"
2056   algorithm: "table_details"
2057   output-file-ext: ".csv"
2058   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
2059   columns:
2060   -
2061     title: "Name"
2062     data: "data name"
2063   -
2064     title: "Status"
2065     data: "data msg"
2066   rows: "generated"
2067   data: "dpdk-perf-results-3n-hsw"
2068   filter: "all"
2069   parameters:
2070   - "name"
2071   - "parent"
2072   - "msg"
2073
2074 -
2075   type: "table"
2076   title: "Detailed Test Results - DPDK Performance Results 3n-skx"
2077   algorithm: "table_details"
2078   output-file-ext: ".csv"
2079   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
2080   columns:
2081   -
2082     title: "Name"
2083     data: "data name"
2084   -
2085     title: "Status"
2086     data: "data msg"
2087   rows: "generated"
2088   data: "dpdk-perf-results-3n-skx"
2089   filter: "all"
2090   parameters:
2091   - "name"
2092   - "parent"
2093   - "msg"
2094
2095 -
2096   type: "table"
2097   title: "Detailed Test Results - DPDK Performance Results 2n-skx"
2098   algorithm: "table_details"
2099   output-file-ext: ".csv"
2100   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
2101   columns:
2102   -
2103     title: "Name"
2104     data: "data name"
2105   -
2106     title: "Status"
2107     data: "data msg"
2108   rows: "generated"
2109   data: "dpdk-perf-results-2n-skx"
2110   filter: "all"
2111   parameters:
2112   - "name"
2113   - "parent"
2114   - "msg"
2115
2116
2117 ################################################################################
2118 # HoneyComb
2119 -
2120   type: "table"
2121   title: "Detailed Test Results - Honeycomb Functional Results"
2122   algorithm: "table_details"
2123   output-file-ext: ".csv"
2124   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
2125   columns:
2126   -
2127     title: "Name"
2128     data: "data name"
2129   -
2130     title: "Documentation"
2131     data: "data doc"
2132   -
2133     title: "Status"
2134     data: "data status"
2135   rows: "generated"
2136   data:
2137     "hc-func-results"
2138   filter: "all"
2139   parameters:
2140   - "name"
2141   - "parent"
2142   - "doc"
2143   - "status"
2144
2145 ################################################################################
2146 # NSH SFC
2147 -
2148   type: "table"
2149   title: "Detailed Test Results - NSH SFC Functional Results"
2150   algorithm: "table_details"
2151   output-file-ext: ".csv"
2152   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
2153   columns:
2154   -
2155     title: "Name"
2156     data: "data name"
2157   -
2158     title: "Documentation"
2159     data: "data doc"
2160   -
2161     title: "Status"
2162     data: "data status"
2163   rows: "generated"
2164   data:
2165     "nsh-func-results"
2166   filter: "all"
2167   parameters:
2168   - "name"
2169   - "parent"
2170   - "doc"
2171   - "status"
2172
2173 ################################################################################
2174 ###                                F I L E S                                 ###
2175 ################################################################################
2176
2177 -
2178   type: "file"
2179   title: "VPP Performance Results 3n-hsw"
2180   algorithm: "file_test_results"
2181   output-file-ext: ".rst"
2182   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
2183   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2184   dir-tables: "{DIR[DTR,PERF,VPP,3N,HSW]}"
2185   data: "vpp-perf-results-3n-hsw"
2186   filter: "not 'NDRCHK' and not 'PDRCHK'"
2187   parameters:
2188   - "name"
2189   - "doc"
2190   - "level"
2191   - "parent"
2192   data-start-level: 3
2193
2194 -
2195   type: "file"
2196   title: "VPP Performance Results 3n-skx"
2197   algorithm: "file_test_results"
2198   output-file-ext: ".rst"
2199   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
2200   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2201   dir-tables: "{DIR[DTR,PERF,VPP,3N,SKX]}"
2202   data: "vpp-perf-results-3n-skx"
2203   filter: "not 'NDRCHK' and not 'PDRCHK'"
2204   parameters:
2205   - "name"
2206   - "doc"
2207   - "level"
2208   - "parent"
2209   data-start-level: 3
2210
2211 -
2212   type: "file"
2213   title: "VPP Performance Results 2n-skx"
2214   algorithm: "file_test_results"
2215   output-file-ext: ".rst"
2216   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
2217   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2218   dir-tables: "{DIR[DTR,PERF,VPP,2N,SKX]}"
2219   data: "vpp-perf-results-2n-skx"
2220   filter: "not 'NDRCHK' and not 'PDRCHK'"
2221   parameters:
2222   - "name"
2223   - "doc"
2224   - "level"
2225   - "parent"
2226   data-start-level: 3
2227
2228 -
2229   type: "file"
2230   title: "VPP Performance Configuration 3n-hsw"
2231   algorithm: "file_test_results"
2232   output-file-ext: ".rst"
2233   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_performance_configuration_3n_hsw"
2234   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2235   dir-tables: "{DIR[DTC,PERF,VPP,3N,HSW]}"
2236   data: "vpp-perf-results-3n-hsw"
2237   filter: "not 'NDRCHK' and not 'PDRCHK'"
2238   parameters:
2239   - "name"
2240   - "doc"
2241   - "level"
2242   - "parent"
2243   data-start-level: 3
2244
2245 -
2246   type: "file"
2247   title: "VPP Performance Configuration 3n-skx"
2248   algorithm: "file_test_results"
2249   output-file-ext: ".rst"
2250   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_performance_configuration_3n_skx"
2251   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2252   dir-tables: "{DIR[DTC,PERF,VPP,3N,SKX]}"
2253   data: "vpp-perf-results-3n-skx"
2254   filter: "not 'NDRCHK' and not 'PDRCHK'"
2255   parameters:
2256   - "name"
2257   - "doc"
2258   - "level"
2259   - "parent"
2260   data-start-level: 3
2261
2262 -
2263   type: "file"
2264   title: "VPP Performance Configuration 2n-skx"
2265   algorithm: "file_test_results"
2266   output-file-ext: ".rst"
2267   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_performance_configuration_2n_skx"
2268   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2269   dir-tables: "{DIR[DTC,PERF,VPP,2N,SKX]}"
2270   data: "vpp-perf-results-2n-skx"
2271   filter: "not 'NDRCHK' and not 'PDRCHK'"
2272   parameters:
2273   - "name"
2274   - "doc"
2275   - "level"
2276   - "parent"
2277   data-start-level: 3
2278
2279 -
2280   type: "file"
2281   title: "VPP Performance Operational Data 3n-hsw"
2282   algorithm: "file_test_results"
2283   output-file-ext: ".rst"
2284   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_performance_operational_data_3n_hsw"
2285   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2286   dir-tables: "{DIR[DTO,PERF,VPP,3N,HSW]}"
2287   data: "vpp-perf-results-3n-hsw"
2288   filter: "not 'NDRCHK' and not 'PDRCHK'"
2289   parameters:
2290   - "name"
2291   - "doc"
2292   - "level"
2293   - "parent"
2294   data-start-level: 3
2295
2296 -
2297   type: "file"
2298   title: "VPP Performance Operational Data 3n-skx"
2299   algorithm: "file_test_results"
2300   output-file-ext: ".rst"
2301   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_performance_operational_data_3n_skx"
2302   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2303   dir-tables: "{DIR[DTO,PERF,VPP,3N,SKX]}"
2304   data: "vpp-perf-results-3n-skx"
2305   filter: "not 'NDRCHK' and not 'PDRCHK'"
2306   parameters:
2307   - "name"
2308   - "doc"
2309   - "level"
2310   - "parent"
2311   data-start-level: 3
2312
2313 -
2314   type: "file"
2315   title: "VPP Performance Operational Data 2n-skx"
2316   algorithm: "file_test_results"
2317   output-file-ext: ".rst"
2318   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_performance_operational_data_2n_skx"
2319   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2320   dir-tables: "{DIR[DTO,PERF,VPP,2N,SKX]}"
2321   data: "vpp-perf-results-2n-skx"
2322   filter: "not 'NDRCHK' and not 'PDRCHK'"
2323   parameters:
2324   - "name"
2325   - "doc"
2326   - "level"
2327   - "parent"
2328   data-start-level: 3
2329
2330 -
2331   type: "file"
2332   title: "VPP MRR Results 3n-hsw"
2333   algorithm: "file_test_results"
2334   output-file-ext: ".rst"
2335   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
2336   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2337   dir-tables: "{DIR[DTR,MRR,VPP,3N,HSW]}"
2338   data: "vpp-mrr-results-3n-hsw"
2339   filter: "'MRR'"
2340   parameters:
2341   - "name"
2342   - "doc"
2343   - "level"
2344   - "parent"
2345   data-start-level: 3
2346
2347 -
2348   type: "file"
2349   title: "VPP MRR Results 3n-skx"
2350   algorithm: "file_test_results"
2351   output-file-ext: ".rst"
2352   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
2353   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2354   dir-tables: "{DIR[DTR,MRR,VPP,3N,SKX]}"
2355   data: "vpp-mrr-results-3n-skx"
2356   filter: "'MRR'"
2357   parameters:
2358   - "name"
2359   - "doc"
2360   - "level"
2361   - "parent"
2362   data-start-level: 3
2363
2364 -
2365   type: "file"
2366   title: "VPP MRR Results 2n-skx"
2367   algorithm: "file_test_results"
2368   output-file-ext: ".rst"
2369   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
2370   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2371   dir-tables: "{DIR[DTR,MRR,VPP,2N,SKX]}"
2372   data: "vpp-mrr-results-2n-skx"
2373   filter: "all"
2374   parameters:
2375   - "name"
2376   - "doc"
2377   - "level"
2378   - "parent"
2379   data-start-level: 3
2380
2381 -
2382   type: "file"
2383   title: "VPP MRR Configuration 3n-hsw"
2384   algorithm: "file_test_results"
2385   output-file-ext: ".rst"
2386   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_configuration_3n_hsw"
2387   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2388   dir-tables: "{DIR[DTC,MRR,VPP,3N,HSW]}"
2389   data: "vpp-mrr-results-3n-hsw"
2390   filter: "'MRR'"
2391   parameters:
2392   - "name"
2393   - "doc"
2394   - "level"
2395   - "parent"
2396   data-start-level: 3
2397
2398 -
2399   type: "file"
2400   title: "VPP MRR Configuration 3n-skx"
2401   algorithm: "file_test_results"
2402   output-file-ext: ".rst"
2403   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_configuration_3n_skx"
2404   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2405   dir-tables: "{DIR[DTC,MRR,VPP,3N,SKX]}"
2406   data: "vpp-mrr-results-3n-skx"
2407   filter: "'MRR'"
2408   parameters:
2409   - "name"
2410   - "doc"
2411   - "level"
2412   - "parent"
2413   data-start-level: 3
2414
2415 -
2416   type: "file"
2417   title: "VPP MRR Configuration 2n-skx"
2418   algorithm: "file_test_results"
2419   output-file-ext: ".rst"
2420   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_configuration_2n_skx"
2421   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2422   dir-tables: "{DIR[DTC,MRR,VPP,2N,SKX]}"
2423   data: "vpp-mrr-results-2n-skx"
2424   filter: "'MRR'"
2425   parameters:
2426   - "name"
2427   - "doc"
2428   - "level"
2429   - "parent"
2430   data-start-level: 3
2431
2432 -
2433   type: "file"
2434   title: "VPP Functional Results - Ubuntu"
2435   algorithm: "file_test_results"
2436   output-file-ext: ".rst"
2437   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
2438   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2439   dir-tables: "{DIR[DTR,FUNC,VPP,UBUNTU]}"
2440   data: "vpp-func-results-ubuntu"
2441   filter: "all"
2442   parameters:
2443   - "name"
2444   - "doc"
2445   - "level"
2446   - "parent"
2447   data-start-level: 4
2448
2449 -
2450   type: "file"
2451   title: "VPP Functional Results - CentOS"
2452   algorithm: "file_test_results"
2453   output-file-ext: ".rst"
2454   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
2455   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2456   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
2457   data:
2458     "vpp-func-results-centos"
2459   filter: "all"
2460   parameters:
2461   - "name"
2462   - "doc"
2463   - "level"
2464   - "parent"
2465   data-start-level: 4
2466
2467 -
2468   type: "file"
2469   title: "VPP Functional Configuration - Ubuntu"
2470   algorithm: "file_test_results"
2471   output-file-ext: ".rst"
2472   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
2473   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2474   dir-tables: "{DIR[DTC,FUNC,VPP,UBUNTU]}"
2475   data: "vpp-func-results-ubuntu"
2476   filter: "all"
2477   parameters:
2478   - "name"
2479   - "doc"
2480   - "level"
2481   - "parent"
2482   data-start-level: 4
2483
2484 -
2485   type: "file"
2486   title: "VPP Functional Configuration - CentOS"
2487   algorithm: "file_test_results"
2488   output-file-ext: ".rst"
2489   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2490   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2491   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
2492   data:
2493     "vpp-func-results-centos"
2494   filter: "all"
2495   parameters:
2496   - "name"
2497   - "doc"
2498   - "level"
2499   - "parent"
2500   data-start-level: 4
2501
2502 -
2503   type: "file"
2504   title: "Container Orchestrated Performance Results 3n-hsw"
2505   algorithm: "file_test_results"
2506   output-file-ext: ".rst"
2507   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2508   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2509   dir-tables: "{DIR[DTR,PERF,COT,3N,HSW]}"
2510   data: "ligato-perf-results-3n-hsw"
2511   filter: "all"
2512   parameters:
2513   - "name"
2514   - "doc"
2515   - "level"
2516   - "parent"
2517   data-start-level: 3
2518
2519 -
2520   type: "file"
2521   title: "DPDK Performance Results 3n-hsw"
2522   algorithm: "file_test_results"
2523   output-file-ext: ".rst"
2524   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
2525   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2526   dir-tables: "{DIR[DTR,PERF,DPDK,3N,HSW]}"
2527   data: "dpdk-perf-results-3n-hsw"
2528   filter: "all"
2529   parameters:
2530   - "name"
2531   - "doc"
2532   - "level"
2533   - "parent"
2534   data-start-level: 3
2535
2536 -
2537   type: "file"
2538   title: "DPDK Performance Results 3n-skx"
2539   algorithm: "file_test_results"
2540   output-file-ext: ".rst"
2541   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
2542   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2543   dir-tables: "{DIR[DTR,PERF,DPDK,3N,SKX]}"
2544   data: "dpdk-perf-results-3n-skx"
2545   filter: "all"
2546   parameters:
2547   - "name"
2548   - "doc"
2549   - "level"
2550   - "parent"
2551   data-start-level: 3
2552
2553 -
2554   type: "file"
2555   title: "DPDK Performance Results 2n-skx"
2556   algorithm: "file_test_results"
2557   output-file-ext: ".rst"
2558   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
2559   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2560   dir-tables: "{DIR[DTR,PERF,DPDK,2N,SKX]}"
2561   data: "dpdk-perf-results-2n-skx"
2562   filter: "all"
2563   parameters:
2564   - "name"
2565   - "doc"
2566   - "level"
2567   - "parent"
2568   data-start-level: 3
2569
2570 -
2571   type: "file"
2572   title: "Honeycomb Functional Results"
2573   algorithm: "file_test_results"
2574   output-file-ext: ".rst"
2575   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
2576   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2577   dir-tables: "{DIR[DTR,FUNC,HC]}"
2578   data:
2579     "hc-func-results"
2580   filter: "all"
2581   parameters:
2582   - "name"
2583   - "doc"
2584   - "level"
2585   - "parent"
2586   data-start-level: 3
2587
2588 -
2589   type: "file"
2590   title: "NSH SFC Functional Results"
2591   algorithm: "file_test_results"
2592   output-file-ext: ".rst"
2593   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
2594   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2595   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
2596   data:
2597     "nsh-func-results"
2598   filter: "all"
2599   parameters:
2600   - "name"
2601   - "doc"
2602   - "level"
2603   - "parent"
2604   data-start-level: 3
2605
2606 ################################################################################
2607 ###                                P L O T S                                 ###
2608 ################################################################################
2609
2610 ################################################################################
2611 # Plots VPP HTTP Server Performance
2612 -
2613   type: "plot"
2614   title: "VPP HTTP Server Performance"
2615   algorithm: "plot_http_server_performance_box"
2616   output-file-type: ".html"
2617   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
2618   data:
2619     "plot-vpp-http-server-performance"
2620   # Keep this formatting, the filter is enclosed with " (quotation mark) and
2621   # each tag is enclosed with ' (apostrophe).
2622   filter: "'HTTP' and 'TCP_CPS'"
2623   parameters:
2624   - "result"
2625   - "name"
2626   traces:
2627     hoverinfo: "x+y"
2628     boxpoints: "outliers"
2629     whiskerwidth: 0
2630   layout:
2631     title: "VPP HTTP Server Performance"
2632     layout:
2633       "plot-cps"
2634
2635 -
2636   type: "plot"
2637   title: "VPP HTTP Server Performance"
2638   algorithm: "plot_http_server_performance_box"
2639   output-file-type: ".html"
2640   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
2641   data:
2642     "plot-vpp-http-server-performance"
2643   filter: "'HTTP' and 'TCP_RPS'"
2644   parameters:
2645   - "result"
2646   - "name"
2647   traces:
2648     hoverinfo: "x+y"
2649     boxpoints: "outliers"
2650     whiskerwidth: 0
2651   layout:
2652     title: "VPP HTTP Server Performance"
2653     layout:
2654       "plot-rps"
2655
2656 ################################################################################
2657
2658 # Packet Throughput - VPP L2 3n-hsw-x520
2659 -
2660   type: "plot"
2661   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
2662   algorithm: "plot_performance_box"
2663   output-file-type: ".html"
2664   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
2665   data: "plot-vpp-throughput-latency-3n-hsw"
2666   filter: "'NIC_Intel-X520-DA2' and
2667            '64B' and
2668            ('BASE' or 'SCALE') and
2669            'NDRPDR' and
2670            '1T1C' and
2671            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2672            not 'VHOST' and
2673            not 'MEMIF'"
2674   parameters:
2675   - "throughput"
2676   - "parent"
2677   traces:
2678     hoverinfo: "x+y"
2679     boxpoints: "outliers"
2680     whiskerwidth: 0
2681   layout:
2682     title: ""  # No title
2683     layout: "plot-throughput"
2684
2685 -
2686   type: "plot"
2687   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
2688   algorithm: "plot_performance_box"
2689   output-file-type: ".html"
2690   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
2691   data: "plot-vpp-throughput-latency-3n-hsw"
2692   filter: "'NIC_Intel-X520-DA2' and
2693            '64B' and
2694            ('BASE' or 'SCALE') and
2695            'NDRPDR' and
2696            '1T1C' and
2697            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2698            not 'VHOST' and
2699            not 'MEMIF'"
2700   parameters:
2701   - "throughput"
2702   - "parent"
2703   traces:
2704     hoverinfo: "x+y"
2705     boxpoints: "outliers"
2706     whiskerwidth: 0
2707   layout:
2708     title: ""  # No title
2709     layout: "plot-throughput"
2710
2711 -
2712   type: "plot"
2713   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
2714   algorithm: "plot_performance_box"
2715   output-file-type: ".html"
2716   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
2717   data: "plot-vpp-throughput-latency-3n-hsw"
2718   filter: "'NIC_Intel-X520-DA2' and
2719            '64B' and
2720            ('BASE' or 'SCALE') and
2721            'NDRPDR' and
2722            '2T2C' and
2723            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2724            not 'VHOST' and
2725            not 'MEMIF'"
2726   parameters:
2727   - "throughput"
2728   - "parent"
2729   traces:
2730     hoverinfo: "x+y"
2731     boxpoints: "outliers"
2732     whiskerwidth: 0
2733   layout:
2734     title: ""  # No title
2735     layout: "plot-throughput"
2736
2737 -
2738   type: "plot"
2739   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
2740   algorithm: "plot_performance_box"
2741   output-file-type: ".html"
2742   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
2743   data: "plot-vpp-throughput-latency-3n-hsw"
2744   filter: "'NIC_Intel-X520-DA2' and
2745            '64B' and
2746            ('BASE' or 'SCALE') and
2747            'NDRPDR' and
2748            '2T2C' and
2749            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2750            not 'VHOST' and
2751            not 'MEMIF'"
2752   parameters:
2753   - "throughput"
2754   - "parent"
2755   traces:
2756     hoverinfo: "x+y"
2757     boxpoints: "outliers"
2758     whiskerwidth: 0
2759   layout:
2760     title: ""  # No title
2761     layout: "plot-throughput"
2762
2763 -
2764   type: "plot"
2765   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
2766   algorithm: "plot_performance_box"
2767   output-file-type: ".html"
2768   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
2769   data: "plot-vpp-throughput-latency-3n-hsw"
2770   filter: "'NIC_Intel-X520-DA2' and
2771            '64B' and
2772            'FEATURE' and
2773            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2774            'NDRPDR' and
2775            '1T1C' and
2776            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2777            not 'VHOST' and
2778            not 'MEMIF'"
2779   parameters:
2780   - "throughput"
2781   - "parent"
2782   traces:
2783     hoverinfo: "x+y"
2784     boxpoints: "outliers"
2785     whiskerwidth: 0
2786   layout:
2787     title: ""  # No title
2788     layout: "plot-throughput"
2789
2790 -
2791   type: "plot"
2792   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
2793   algorithm: "plot_performance_box"
2794   output-file-type: ".html"
2795   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
2796   data: "plot-vpp-throughput-latency-3n-hsw"
2797   filter: "'NIC_Intel-X520-DA2' and
2798            '64B' and
2799            'FEATURE' and
2800            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2801            'NDRPDR' and
2802            '1T1C' and
2803            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2804            not 'VHOST' and
2805            not 'MEMIF'"
2806   parameters:
2807   - "throughput"
2808   - "parent"
2809   traces:
2810     hoverinfo: "x+y"
2811     boxpoints: "outliers"
2812     whiskerwidth: 0
2813   layout:
2814     title: ""  # No title
2815     layout: "plot-throughput"
2816
2817 -
2818   type: "plot"
2819   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
2820   algorithm: "plot_performance_box"
2821   output-file-type: ".html"
2822   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
2823   data: "plot-vpp-throughput-latency-3n-hsw"
2824   filter: "'NIC_Intel-X520-DA2' and
2825            '64B' and
2826            'FEATURE' and
2827            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2828            'NDRPDR' and
2829            '2T2C' and
2830            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2831            not 'VHOST' and
2832            not 'MEMIF'"
2833   parameters:
2834   - "throughput"
2835   - "parent"
2836   traces:
2837     hoverinfo: "x+y"
2838     boxpoints: "outliers"
2839     whiskerwidth: 0
2840   layout:
2841     title: ""  # No title
2842     layout: "plot-throughput"
2843
2844 -
2845   type: "plot"
2846   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
2847   algorithm: "plot_performance_box"
2848   output-file-type: ".html"
2849   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
2850   data: "plot-vpp-throughput-latency-3n-hsw"
2851   filter: "'NIC_Intel-X520-DA2' and
2852            '64B' and
2853            'FEATURE' and
2854            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2855            'NDRPDR' and
2856            '2T2C' and
2857            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2858            not 'VHOST' and
2859            not 'MEMIF'"
2860   parameters:
2861   - "throughput"
2862   - "parent"
2863   traces:
2864     hoverinfo: "x+y"
2865     boxpoints: "outliers"
2866     whiskerwidth: 0
2867   layout:
2868     title: ""  # No title
2869     layout: "plot-throughput"
2870
2871 # Packet Throughput - VPP L2 3n-hsw-x710
2872 -
2873   type: "plot"
2874   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
2875   algorithm: "plot_performance_box"
2876   output-file-type: ".html"
2877   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
2878   data: "plot-vpp-throughput-latency-3n-hsw"
2879   filter: "'NIC_Intel-X710' and
2880            '64B' and
2881            ('BASE' or 'SCALE') and
2882            'NDRPDR' and
2883            '1T1C' and
2884            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2885            not 'VHOST' and
2886            not 'MEMIF'"
2887   parameters:
2888   - "throughput"
2889   - "parent"
2890   traces:
2891     hoverinfo: "x+y"
2892     boxpoints: "outliers"
2893     whiskerwidth: 0
2894   layout:
2895     title: ""  # No title
2896     layout: "plot-throughput"
2897
2898 -
2899   type: "plot"
2900   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
2901   algorithm: "plot_performance_box"
2902   output-file-type: ".html"
2903   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
2904   data: "plot-vpp-throughput-latency-3n-hsw"
2905   filter: "'NIC_Intel-X710' and
2906            '64B' and
2907            ('BASE' or 'SCALE') and
2908            'NDRPDR' and
2909            '1T1C' and
2910            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2911            not 'VHOST' and
2912            not 'MEMIF'"
2913   parameters:
2914   - "throughput"
2915   - "parent"
2916   traces:
2917     hoverinfo: "x+y"
2918     boxpoints: "outliers"
2919     whiskerwidth: 0
2920   layout:
2921     title: ""  # No title
2922     layout: "plot-throughput"
2923
2924 -
2925   type: "plot"
2926   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
2927   algorithm: "plot_performance_box"
2928   output-file-type: ".html"
2929   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
2930   data: "plot-vpp-throughput-latency-3n-hsw"
2931   filter: "'NIC_Intel-X710' and
2932            '64B' and
2933            ('BASE' or 'SCALE') and
2934            'NDRPDR' and
2935            '2T2C' and
2936            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2937            not 'VHOST' and
2938            not 'MEMIF'"
2939   parameters:
2940   - "throughput"
2941   - "parent"
2942   traces:
2943     hoverinfo: "x+y"
2944     boxpoints: "outliers"
2945     whiskerwidth: 0
2946   layout:
2947     title: ""  # No title
2948     layout: "plot-throughput"
2949
2950 -
2951   type: "plot"
2952   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
2953   algorithm: "plot_performance_box"
2954   output-file-type: ".html"
2955   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
2956   data: "plot-vpp-throughput-latency-3n-hsw"
2957   filter: "'NIC_Intel-X710' and
2958            '64B' and
2959            ('BASE' or 'SCALE') and
2960            'NDRPDR' and
2961            '2T2C' and
2962            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2963            not 'VHOST' and
2964            not 'MEMIF'"
2965   parameters:
2966   - "throughput"
2967   - "parent"
2968   traces:
2969     hoverinfo: "x+y"
2970     boxpoints: "outliers"
2971     whiskerwidth: 0
2972   layout:
2973     title: ""  # No title
2974     layout: "plot-throughput"
2975
2976 -
2977   type: "plot"
2978   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-features-ndr"
2979   algorithm: "plot_performance_box"
2980   output-file-type: ".html"
2981   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-features-ndr"
2982   data: "plot-vpp-throughput-latency-3n-hsw"
2983   filter: "'NIC_Intel-X710' and
2984            '64B' and
2985            'FEATURE' and
2986            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2987            'NDRPDR' and
2988            '1T1C' and
2989            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2990            not 'VHOST' and
2991            not 'MEMIF'"
2992   parameters:
2993   - "throughput"
2994   - "parent"
2995   traces:
2996     hoverinfo: "x+y"
2997     boxpoints: "outliers"
2998     whiskerwidth: 0
2999   layout:
3000     title: ""  # No title
3001     layout: "plot-throughput"
3002
3003 -
3004   type: "plot"
3005   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-features-pdr"
3006   algorithm: "plot_performance_box"
3007   output-file-type: ".html"
3008   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-features-pdr"
3009   data: "plot-vpp-throughput-latency-3n-hsw"
3010   filter: "'NIC_Intel-X710' and
3011            '64B' and
3012            'FEATURE' and
3013            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3014            'NDRPDR' and
3015            '1T1C' and
3016            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3017            not 'VHOST' and
3018            not 'MEMIF'"
3019   parameters:
3020   - "throughput"
3021   - "parent"
3022   traces:
3023     hoverinfo: "x+y"
3024     boxpoints: "outliers"
3025     whiskerwidth: 0
3026   layout:
3027     title: ""  # No title
3028     layout: "plot-throughput"
3029
3030 -
3031   type: "plot"
3032   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-features-ndr"
3033   algorithm: "plot_performance_box"
3034   output-file-type: ".html"
3035   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-features-ndr"
3036   data: "plot-vpp-throughput-latency-3n-hsw"
3037   filter: "'NIC_Intel-X710' and
3038            '64B' and
3039            'FEATURE' and
3040            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3041            'NDRPDR' and
3042            '2T2C' and
3043            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3044            not 'VHOST' and
3045            not 'MEMIF'"
3046   parameters:
3047   - "throughput"
3048   - "parent"
3049   traces:
3050     hoverinfo: "x+y"
3051     boxpoints: "outliers"
3052     whiskerwidth: 0
3053   layout:
3054     title: ""  # No title
3055     layout: "plot-throughput"
3056
3057 -
3058   type: "plot"
3059   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-features-pdr"
3060   algorithm: "plot_performance_box"
3061   output-file-type: ".html"
3062   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-features-pdr"
3063   data: "plot-vpp-throughput-latency-3n-hsw"
3064   filter: "'NIC_Intel-X710' and
3065            '64B' and
3066            'FEATURE' and
3067            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3068            'NDRPDR' and
3069            '2T2C' and
3070            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3071            not 'VHOST' and
3072            not 'MEMIF'"
3073   parameters:
3074   - "throughput"
3075   - "parent"
3076   traces:
3077     hoverinfo: "x+y"
3078     boxpoints: "outliers"
3079     whiskerwidth: 0
3080   layout:
3081     title: ""  # No title
3082     layout: "plot-throughput"
3083
3084 # Packet Throughput - VPP L2 3n-hsw-xl710
3085 -
3086   type: "plot"
3087   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3088   algorithm: "plot_performance_box"
3089   output-file-type: ".html"
3090   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3091   data: "plot-vpp-throughput-latency-3n-hsw"
3092   filter: "'NIC_Intel-XL710' and
3093            '64B' and
3094            ('BASE' or 'SCALE') and
3095            'NDRPDR' and
3096            '1T1C' and
3097            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3098            not 'VHOST' and
3099            not 'MEMIF'"
3100   parameters:
3101   - "throughput"
3102   - "parent"
3103   traces:
3104     hoverinfo: "x+y"
3105     boxpoints: "outliers"
3106     whiskerwidth: 0
3107   layout:
3108     title: ""  # No title
3109     layout: "plot-throughput"
3110
3111 -
3112   type: "plot"
3113   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3114   algorithm: "plot_performance_box"
3115   output-file-type: ".html"
3116   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3117   data: "plot-vpp-throughput-latency-3n-hsw"
3118   filter: "'NIC_Intel-XL710' and
3119            '64B' and
3120            ('BASE' or 'SCALE') and
3121            'NDRPDR' and
3122            '1T1C' and
3123            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3124            not 'VHOST' and
3125            not 'MEMIF'"
3126   parameters:
3127   - "throughput"
3128   - "parent"
3129   traces:
3130     hoverinfo: "x+y"
3131     boxpoints: "outliers"
3132     whiskerwidth: 0
3133   layout:
3134     title: ""  # No title
3135     layout: "plot-throughput"
3136
3137 -
3138   type: "plot"
3139   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3140   algorithm: "plot_performance_box"
3141   output-file-type: ".html"
3142   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3143   data: "plot-vpp-throughput-latency-3n-hsw"
3144   filter: "'NIC_Intel-XL710' and
3145            '64B' and
3146            ('BASE' or 'SCALE') and
3147            'NDRPDR' and
3148            '2T2C' and
3149            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3150            not 'VHOST' and
3151            not 'MEMIF'"
3152   parameters:
3153   - "throughput"
3154   - "parent"
3155   traces:
3156     hoverinfo: "x+y"
3157     boxpoints: "outliers"
3158     whiskerwidth: 0
3159   layout:
3160     title: ""  # No title
3161     layout: "plot-throughput"
3162
3163 -
3164   type: "plot"
3165   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
3166   algorithm: "plot_performance_box"
3167   output-file-type: ".html"
3168   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
3169   data: "plot-vpp-throughput-latency-3n-hsw"
3170   filter: "'NIC_Intel-XL710' and
3171            '64B' and
3172            ('BASE' or 'SCALE') and
3173            'NDRPDR' and
3174            '2T2C' and
3175            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3176            not 'VHOST' and
3177            not 'MEMIF'"
3178   parameters:
3179   - "throughput"
3180   - "parent"
3181   traces:
3182     hoverinfo: "x+y"
3183     boxpoints: "outliers"
3184     whiskerwidth: 0
3185   layout:
3186     title: ""  # No title
3187     layout: "plot-throughput"
3188
3189 # Packet Throughput - VPP L2 3n-skx-x710
3190 -
3191   type: "plot"
3192   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
3193   algorithm: "plot_performance_box"
3194   output-file-type: ".html"
3195   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
3196   data: "plot-vpp-throughput-latency-3n-skx"
3197   filter: "'NIC_Intel-X710' and
3198            '64B' and
3199            ('BASE' or 'SCALE') and
3200            'NDRPDR' and
3201            '2T1C' and
3202            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3203            not 'VHOST' and
3204            not 'MEMIF'"
3205   parameters:
3206   - "throughput"
3207   - "parent"
3208   traces:
3209     hoverinfo: "x+y"
3210     boxpoints: "outliers"
3211     whiskerwidth: 0
3212   layout:
3213     title: ""  # No title
3214     layout: "plot-throughput"
3215
3216 -
3217   type: "plot"
3218   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
3219   algorithm: "plot_performance_box"
3220   output-file-type: ".html"
3221   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
3222   data: "plot-vpp-throughput-latency-3n-skx"
3223   filter: "'NIC_Intel-X710' and
3224            '64B' and
3225            ('BASE' or 'SCALE') and
3226            'NDRPDR' and
3227            '2T1C' and
3228            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3229            not 'VHOST' and
3230            not 'MEMIF'"
3231   parameters:
3232   - "throughput"
3233   - "parent"
3234   traces:
3235     hoverinfo: "x+y"
3236     boxpoints: "outliers"
3237     whiskerwidth: 0
3238   layout:
3239     title: ""  # No title
3240     layout: "plot-throughput"
3241
3242 -
3243   type: "plot"
3244   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
3245   algorithm: "plot_performance_box"
3246   output-file-type: ".html"
3247   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
3248   data: "plot-vpp-throughput-latency-3n-skx"
3249   filter: "'NIC_Intel-X710' and
3250            '64B' and
3251            ('BASE' or 'SCALE') and
3252            'NDRPDR' and
3253            '4T2C' and
3254            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3255            not 'VHOST' and
3256            not 'MEMIF'"
3257   parameters:
3258   - "throughput"
3259   - "parent"
3260   traces:
3261     hoverinfo: "x+y"
3262     boxpoints: "outliers"
3263     whiskerwidth: 0
3264   layout:
3265     title: ""  # No title
3266     layout: "plot-throughput"
3267
3268 -
3269   type: "plot"
3270   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-base_and_scale-pdr"
3271   algorithm: "plot_performance_box"
3272   output-file-type: ".html"
3273   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-base_and_scale-pdr"
3274   data: "plot-vpp-throughput-latency-3n-skx"
3275   filter: "'NIC_Intel-X710' and
3276            '64B' and
3277            ('BASE' or 'SCALE') and
3278            'NDRPDR' and
3279            '4T2C' and
3280            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3281            not 'VHOST' and
3282            not 'MEMIF'"
3283   parameters:
3284   - "throughput"
3285   - "parent"
3286   traces:
3287     hoverinfo: "x+y"
3288     boxpoints: "outliers"
3289     whiskerwidth: 0
3290   layout:
3291     title: ""  # No title
3292     layout: "plot-throughput"
3293
3294 -
3295   type: "plot"
3296   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-features-ndr"
3297   algorithm: "plot_performance_box"
3298   output-file-type: ".html"
3299   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-features-ndr"
3300   data: "plot-vpp-throughput-latency-3n-skx"
3301   filter: "'NIC_Intel-X710' and
3302            '64B' and
3303            'FEATURE' and
3304            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3305            'NDRPDR' and
3306            '2T1C' and
3307            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3308            not 'VHOST' and
3309            not 'MEMIF'"
3310   parameters:
3311   - "throughput"
3312   - "parent"
3313   traces:
3314     hoverinfo: "x+y"
3315     boxpoints: "outliers"
3316     whiskerwidth: 0
3317   layout:
3318     title: ""  # No title
3319     layout: "plot-throughput"
3320
3321 -
3322   type: "plot"
3323   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-features-pdr"
3324   algorithm: "plot_performance_box"
3325   output-file-type: ".html"
3326   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-features-pdr"
3327   data: "plot-vpp-throughput-latency-3n-skx"
3328   filter: "'NIC_Intel-X710' and
3329            '64B' and
3330            'FEATURE' and
3331            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3332            'NDRPDR' and
3333            '2T1C' and
3334            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3335            not 'VHOST' and
3336            not 'MEMIF'"
3337   parameters:
3338   - "throughput"
3339   - "parent"
3340   traces:
3341     hoverinfo: "x+y"
3342     boxpoints: "outliers"
3343     whiskerwidth: 0
3344   layout:
3345     title: ""  # No title
3346     layout: "plot-throughput"
3347
3348 -
3349   type: "plot"
3350   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-features-ndr"
3351   algorithm: "plot_performance_box"
3352   output-file-type: ".html"
3353   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-features-ndr"
3354   data: "plot-vpp-throughput-latency-3n-skx"
3355   filter: "'NIC_Intel-X710' and
3356            '64B' and
3357            'FEATURE' and
3358            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3359            'NDRPDR' and
3360            '4T2C' and
3361            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3362            not 'VHOST' and
3363            not 'MEMIF'"
3364   parameters:
3365   - "throughput"
3366   - "parent"
3367   traces:
3368     hoverinfo: "x+y"
3369     boxpoints: "outliers"
3370     whiskerwidth: 0
3371   layout:
3372     title: ""  # No title
3373     layout: "plot-throughput"
3374
3375 -
3376   type: "plot"
3377   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-features-pdr"
3378   algorithm: "plot_performance_box"
3379   output-file-type: ".html"
3380   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-features-pdr"
3381   data: "plot-vpp-throughput-latency-3n-skx"
3382   filter: "'NIC_Intel-X710' and
3383            '64B' and
3384            'FEATURE' and
3385            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3386            'NDRPDR' and
3387            '4T2C' and
3388            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3389            not 'VHOST' and
3390            not 'MEMIF'"
3391   parameters:
3392   - "throughput"
3393   - "parent"
3394   traces:
3395     hoverinfo: "x+y"
3396     boxpoints: "outliers"
3397     whiskerwidth: 0
3398   layout:
3399     title: ""  # No title
3400     layout: "plot-throughput"
3401
3402 # Packet Throughput - VPP L2 3n-skx-xxv710
3403 -
3404   type: "plot"
3405   title: "VPP Throughput: l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-ndr"
3406   algorithm: "plot_performance_box"
3407   output-file-type: ".html"
3408   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-ndr"
3409   data: "plot-vpp-throughput-latency-3n-skx"
3410   filter: "'NIC_Intel-XXV710' and
3411            '64B' and
3412            ('BASE' or 'SCALE') and
3413            'NDRPDR' and
3414            '2T1C' and
3415            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3416            not 'VHOST' and
3417            not 'MEMIF'"
3418   parameters:
3419   - "throughput"
3420   - "parent"
3421   traces:
3422     hoverinfo: "x+y"
3423     boxpoints: "outliers"
3424     whiskerwidth: 0
3425   layout:
3426     title: ""  # No title
3427     layout: "plot-throughput"
3428
3429 -
3430   type: "plot"
3431   title: "VPP Throughput: l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-pdr"
3432   algorithm: "plot_performance_box"
3433   output-file-type: ".html"
3434   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-pdr"
3435   data: "plot-vpp-throughput-latency-3n-skx"
3436   filter: "'NIC_Intel-XXV710' and
3437            '64B' and
3438            ('BASE' or 'SCALE') and
3439            'NDRPDR' and
3440            '2T1C' and
3441            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3442            not 'VHOST' and
3443            not 'MEMIF'"
3444   parameters:
3445   - "throughput"
3446   - "parent"
3447   traces:
3448     hoverinfo: "x+y"
3449     boxpoints: "outliers"
3450     whiskerwidth: 0
3451   layout:
3452     title: ""  # No title
3453     layout: "plot-throughput"
3454
3455 -
3456   type: "plot"
3457   title: "VPP Throughput: l2sw-3n-skx-xxv710-64b-4t2c-base_and_scale-ndr"
3458   algorithm: "plot_performance_box"
3459   output-file-type: ".html"
3460   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-xxv710-64b-4t2c-base_and_scale-ndr"
3461   data: "plot-vpp-throughput-latency-3n-skx"
3462   filter: "'NIC_Intel-XXV710' and
3463            '64B' and
3464            ('BASE' or 'SCALE') and
3465            'NDRPDR' and
3466            '4T2C' and
3467            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3468            not 'VHOST' and
3469            not 'MEMIF'"
3470   parameters:
3471   - "throughput"
3472   - "parent"
3473   traces:
3474     hoverinfo: "x+y"
3475     boxpoints: "outliers"
3476     whiskerwidth: 0
3477   layout:
3478     title: ""  # No title
3479     layout: "plot-throughput"
3480
3481 -
3482   type: "plot"
3483   title: "VPP Throughput: l2sw-3n-skx-xxv710-64b-4t2c-base_and_scale-pdr"
3484   algorithm: "plot_performance_box"
3485   output-file-type: ".html"
3486   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-xxv710-64b-4t2c-base_and_scale-pdr"
3487   data: "plot-vpp-throughput-latency-3n-skx"
3488   filter: "'NIC_Intel-XXV710' and
3489            '64B' and
3490            ('BASE' or 'SCALE') and
3491            'NDRPDR' and
3492            '4T2C' and
3493            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3494            not 'VHOST' and
3495            not 'MEMIF'"
3496   parameters:
3497   - "throughput"
3498   - "parent"
3499   traces:
3500     hoverinfo: "x+y"
3501     boxpoints: "outliers"
3502     whiskerwidth: 0
3503   layout:
3504     title: ""  # No title
3505     layout: "plot-throughput"
3506
3507 # Packet Throughput - VPP L2 2n-skx-x710
3508 -
3509   type: "plot"
3510   title: "VPP Throughput: l2sw-2n-skx-x710-64b-2t1c-base_and_scale-ndr"
3511   algorithm: "plot_performance_box"
3512   output-file-type: ".html"
3513   output-file: "{DIR[STATIC,VPP]}/l2sw-2n-skx-x710-64b-2t1c-base_and_scale-ndr"
3514   data: "plot-vpp-throughput-latency-2n-skx"
3515   filter: "'NIC_Intel-X710' and
3516            '64B' and
3517            ('BASE' or 'SCALE') and
3518            'NDRPDR' and
3519            '2T1C' and
3520            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3521            not 'VHOST' and
3522            not 'MEMIF'"
3523   parameters:
3524   - "throughput"
3525   - "parent"
3526   traces:
3527     hoverinfo: "x+y"
3528     boxpoints: "outliers"
3529     whiskerwidth: 0
3530   layout:
3531     title: ""  # No title
3532     layout: "plot-throughput"
3533
3534 -
3535   type: "plot"
3536   title: "VPP Throughput: l2sw-2n-skx-x710-64b-2t1c-base_and_scale-pdr"
3537   algorithm: "plot_performance_box"
3538   output-file-type: ".html"
3539   output-file: "{DIR[STATIC,VPP]}/l2sw-2n-skx-x710-64b-2t1c-base_and_scale-pdr"
3540   data: "plot-vpp-throughput-latency-2n-skx"
3541   filter: "'NIC_Intel-X710' and
3542            '64B' and
3543            ('BASE' or 'SCALE') and
3544            'NDRPDR' and
3545            '2T1C' and
3546            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3547            not 'VHOST' and
3548            not 'MEMIF'"
3549   parameters:
3550   - "throughput"
3551   - "parent"
3552   traces:
3553     hoverinfo: "x+y"
3554     boxpoints: "outliers"
3555     whiskerwidth: 0
3556   layout:
3557     title: ""  # No title
3558     layout: "plot-throughput"
3559
3560 -
3561   type: "plot"
3562   title: "VPP Throughput: l2sw-2n-skx-x710-64b-4t2c-base_and_scale-ndr"
3563   algorithm: "plot_performance_box"
3564   output-file-type: ".html"
3565   output-file: "{DIR[STATIC,VPP]}/l2sw-2n-skx-x710-64b-4t2c-base_and_scale-ndr"
3566   data: "plot-vpp-throughput-latency-2n-skx"
3567   filter: "'NIC_Intel-X710' and
3568            '64B' and
3569            ('BASE' or 'SCALE') and
3570            'NDRPDR' and
3571            '4T2C' and
3572            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3573            not 'VHOST' and
3574            not 'MEMIF'"
3575   parameters:
3576   - "throughput"
3577   - "parent"
3578   traces:
3579     hoverinfo: "x+y"
3580     boxpoints: "outliers"
3581     whiskerwidth: 0
3582   layout:
3583     title: ""  # No title
3584     layout: "plot-throughput"
3585
3586 -
3587   type: "plot"
3588   title: "VPP Throughput: l2sw-2n-skx-x710-64b-4t2c-base_and_scale-pdr"
3589   algorithm: "plot_performance_box"
3590   output-file-type: ".html"
3591   output-file: "{DIR[STATIC,VPP]}/l2sw-2n-skx-x710-64b-4t2c-base_and_scale-pdr"
3592   data: "plot-vpp-throughput-latency-2n-skx"
3593   filter: "'NIC_Intel-X710' and
3594            '64B' and
3595            ('BASE' or 'SCALE') and
3596            'NDRPDR' and
3597            '4T2C' and
3598            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3599            not 'VHOST' and
3600            not 'MEMIF'"
3601   parameters:
3602   - "throughput"
3603   - "parent"
3604   traces:
3605     hoverinfo: "x+y"
3606     boxpoints: "outliers"
3607     whiskerwidth: 0
3608   layout:
3609     title: ""  # No title
3610     layout: "plot-throughput"
3611
3612 # Packet Throughput - VPP L2 2n-skx-xxv710
3613 -
3614   type: "plot"
3615   title: "VPP Throughput: l2sw-2n-skx-xxv710-64b-2t1c-base_and_scale-ndr"
3616   algorithm: "plot_performance_box"
3617   output-file-type: ".html"
3618   output-file: "{DIR[STATIC,VPP]}/l2sw-2n-skx-xxv710-64b-2t1c-base_and_scale-ndr"
3619   data: "plot-vpp-throughput-latency-2n-skx"
3620   filter: "'NIC_Intel-XXV710' and
3621            '64B' and
3622            ('BASE' or 'SCALE') and
3623            'NDRPDR' and
3624            '2T1C' and
3625            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3626            not 'VHOST' and
3627            not 'MEMIF'"
3628   parameters:
3629   - "throughput"
3630   - "parent"
3631   traces:
3632     hoverinfo: "x+y"
3633     boxpoints: "outliers"
3634     whiskerwidth: 0
3635   layout:
3636     title: ""  # No title
3637     layout: "plot-throughput"
3638
3639 -
3640   type: "plot"
3641   title: "VPP Throughput: l2sw-2n-skx-xxv710-64b-2t1c-base_and_scale-pdr"
3642   algorithm: "plot_performance_box"
3643   output-file-type: ".html"
3644   output-file: "{DIR[STATIC,VPP]}/l2sw-2n-skx-xxv710-64b-2t1c-base_and_scale-pdr"
3645   data: "plot-vpp-throughput-latency-2n-skx"
3646   filter: "'NIC_Intel-XXV710' and
3647            '64B' and
3648            ('BASE' or 'SCALE') and
3649            'NDRPDR' and
3650            '2T1C' and
3651            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3652            not 'VHOST' and
3653            not 'MEMIF'"
3654   parameters:
3655   - "throughput"
3656   - "parent"
3657   traces:
3658     hoverinfo: "x+y"
3659     boxpoints: "outliers"
3660     whiskerwidth: 0
3661   layout:
3662     title: ""  # No title
3663     layout: "plot-throughput"
3664
3665 -
3666   type: "plot"
3667   title: "VPP Throughput: l2sw-2n-skx-xxv710-64b-4t2c-base_and_scale-ndr"
3668   algorithm: "plot_performance_box"
3669   output-file-type: ".html"
3670   output-file: "{DIR[STATIC,VPP]}/l2sw-2n-skx-xxv710-64b-4t2c-base_and_scale-ndr"
3671   data: "plot-vpp-throughput-latency-2n-skx"
3672   filter: "'NIC_Intel-XXV710' and
3673            '64B' and
3674            ('BASE' or 'SCALE') and
3675            'NDRPDR' and
3676            '4T2C' and
3677            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3678            not 'VHOST' and
3679            not 'MEMIF'"
3680   parameters:
3681   - "throughput"
3682   - "parent"
3683   traces:
3684     hoverinfo: "x+y"
3685     boxpoints: "outliers"
3686     whiskerwidth: 0
3687   layout:
3688     title: ""  # No title
3689     layout: "plot-throughput"
3690
3691 -
3692   type: "plot"
3693   title: "VPP Throughput: l2sw-2n-skx-xxv710-64b-4t2c-base_and_scale-pdr"
3694   algorithm: "plot_performance_box"
3695   output-file-type: ".html"
3696   output-file: "{DIR[STATIC,VPP]}/l2sw-2n-skx-xxv710-64b-4t2c-base_and_scale-pdr"
3697   data: "plot-vpp-throughput-latency-2n-skx"
3698   filter: "'NIC_Intel-XXV710' and
3699            '64B' and
3700            ('BASE' or 'SCALE') and
3701            'NDRPDR' and
3702            '4T2C' and
3703            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3704            not 'VHOST' and
3705            not 'MEMIF'"
3706   parameters:
3707   - "throughput"
3708   - "parent"
3709   traces:
3710     hoverinfo: "x+y"
3711     boxpoints: "outliers"
3712     whiskerwidth: 0
3713   layout:
3714     title: ""  # No title
3715     layout: "plot-throughput"
3716
3717 ################################################################################
3718
3719 # Packet Throughput - VPP Container Memif 3n-hsw-x520
3720 -
3721   type: "plot"
3722   title: "VPP Throughput: memif-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3723   algorithm: "plot_performance_box"
3724   output-file-type: ".html"
3725   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3726   data: "plot-vpp-throughput-latency-3n-hsw"
3727   filter: "'NIC_Intel-X520-DA2' and
3728            '64B' and
3729            ('BASE' or 'SCALE') and
3730            'NDRPDR' and
3731            '1T1C' and
3732            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3733            not 'VHOST' and
3734            'MEMIF'"
3735   parameters:
3736   - "throughput"
3737   - "parent"
3738   traces:
3739     hoverinfo: "x+y"
3740     boxpoints: "outliers"
3741     whiskerwidth: 0
3742   layout:
3743     title: ""  # No title
3744     layout: "plot-throughput"
3745
3746 -
3747   type: "plot"
3748   title: "VPP Throughput: memif-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3749   algorithm: "plot_performance_box"
3750   output-file-type: ".html"
3751   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3752   data: "plot-vpp-throughput-latency-3n-hsw"
3753   filter: "'NIC_Intel-X520-DA2' and
3754            '64B' and
3755            ('BASE' or 'SCALE') and
3756            'NDRPDR' and
3757            '1T1C' and
3758            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3759            not 'VHOST' and
3760            'MEMIF'"
3761   parameters:
3762   - "throughput"
3763   - "parent"
3764   traces:
3765     hoverinfo: "x+y"
3766     boxpoints: "outliers"
3767     whiskerwidth: 0
3768   layout:
3769     title: ""  # No title
3770     layout: "plot-throughput"
3771
3772 -
3773   type: "plot"
3774   title: "VPP Throughput: memif-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3775   algorithm: "plot_performance_box"
3776   output-file-type: ".html"
3777   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3778   data: "plot-vpp-throughput-latency-3n-hsw"
3779   filter: "'NIC_Intel-X520-DA2' and
3780            '64B' and
3781            ('BASE' or 'SCALE') and
3782            'NDRPDR' and
3783            '2T2C' and
3784            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3785            not 'VHOST' and
3786            'MEMIF'"
3787   parameters:
3788   - "throughput"
3789   - "parent"
3790   traces:
3791     hoverinfo: "x+y"
3792     boxpoints: "outliers"
3793     whiskerwidth: 0
3794   layout:
3795     title: ""  # No title
3796     layout: "plot-throughput"
3797
3798 -
3799   type: "plot"
3800   title: "VPP Throughput: memif-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3801   algorithm: "plot_performance_box"
3802   output-file-type: ".html"
3803   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3804   data: "plot-vpp-throughput-latency-3n-hsw"
3805   filter: "'NIC_Intel-X520-DA2' and
3806            '64B' and
3807            ('BASE' or 'SCALE') and
3808            'NDRPDR' and
3809            '2T2C' and
3810            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3811            not 'VHOST' and
3812            'MEMIF'"
3813   parameters:
3814   - "throughput"
3815   - "parent"
3816   traces:
3817     hoverinfo: "x+y"
3818     boxpoints: "outliers"
3819     whiskerwidth: 0
3820   layout:
3821     title: ""  # No title
3822     layout: "plot-throughput"
3823
3824 # Packet Throughput - VPP Container Memif 3n-hsw-x710
3825 -
3826   type: "plot"
3827   title: "VPP Throughput: memif-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3828   algorithm: "plot_performance_box"
3829   output-file-type: ".html"
3830   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3831   data: "plot-vpp-throughput-latency-3n-hsw"
3832   filter: "'NIC_Intel-X710' and
3833            '64B' and
3834            ('BASE' or 'SCALE') and
3835            'NDRPDR' and
3836            '1T1C' and
3837            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3838            not 'VHOST' and
3839            'MEMIF'"
3840   parameters:
3841   - "throughput"
3842   - "parent"
3843   traces:
3844     hoverinfo: "x+y"
3845     boxpoints: "outliers"
3846     whiskerwidth: 0
3847   layout:
3848     title: ""  # No title
3849     layout: "plot-throughput"
3850
3851 -
3852   type: "plot"
3853   title: "VPP Throughput: memif-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
3854   algorithm: "plot_performance_box"
3855   output-file-type: ".html"
3856   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
3857   data: "plot-vpp-throughput-latency-3n-hsw"
3858   filter: "'NIC_Intel-X710' and
3859            '64B' and
3860            ('BASE' or 'SCALE') and
3861            'NDRPDR' and
3862            '1T1C' and
3863            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3864            not 'VHOST' and
3865            'MEMIF'"
3866   parameters:
3867   - "throughput"
3868   - "parent"
3869   traces:
3870     hoverinfo: "x+y"
3871     boxpoints: "outliers"
3872     whiskerwidth: 0
3873   layout:
3874     title: ""  # No title
3875     layout: "plot-throughput"
3876
3877 -
3878   type: "plot"
3879   title: "VPP Throughput: memif-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
3880   algorithm: "plot_performance_box"
3881   output-file-type: ".html"
3882   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
3883   data: "plot-vpp-throughput-latency-3n-hsw"
3884   filter: "'NIC_Intel-X710' and
3885            '64B' and
3886            ('BASE' or 'SCALE') and
3887            'NDRPDR' and
3888            '2T2C' and
3889            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3890            not 'VHOST' and
3891            'MEMIF'"
3892   parameters:
3893   - "throughput"
3894   - "parent"
3895   traces:
3896     hoverinfo: "x+y"
3897     boxpoints: "outliers"
3898     whiskerwidth: 0
3899   layout:
3900     title: ""  # No title
3901     layout: "plot-throughput"
3902
3903 -
3904   type: "plot"
3905   title: "VPP Throughput: memif-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
3906   algorithm: "plot_performance_box"
3907   output-file-type: ".html"
3908   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
3909   data: "plot-vpp-throughput-latency-3n-hsw"
3910   filter: "'NIC_Intel-X710' and
3911            '64B' and
3912            ('BASE' or 'SCALE') and
3913            'NDRPDR' and
3914            '2T2C' and
3915            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3916            not 'VHOST' and
3917            'MEMIF'"
3918   parameters:
3919   - "throughput"
3920   - "parent"
3921   traces:
3922     hoverinfo: "x+y"
3923     boxpoints: "outliers"
3924     whiskerwidth: 0
3925   layout:
3926     title: ""  # No title
3927     layout: "plot-throughput"
3928
3929 # Packet Throughput - VPP Container Memif 3n-hsw-xl710
3930 -
3931   type: "plot"
3932   title: "VPP Throughput: memif-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3933   algorithm: "plot_performance_box"
3934   output-file-type: ".html"
3935   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3936   data: "plot-vpp-throughput-latency-3n-hsw"
3937   filter: "'NIC_Intel-XL710' and
3938            '64B' and
3939            ('BASE' or 'SCALE') and
3940            'NDRPDR' and
3941            '1T1C' and
3942            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3943            not 'VHOST' and
3944            'MEMIF'"
3945   parameters:
3946   - "throughput"
3947   - "parent"
3948   traces:
3949     hoverinfo: "x+y"
3950     boxpoints: "outliers"
3951     whiskerwidth: 0
3952   layout:
3953     title: ""  # No title
3954     layout: "plot-throughput"
3955
3956 -
3957   type: "plot"
3958   title: "VPP Throughput: memif-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3959   algorithm: "plot_performance_box"
3960   output-file-type: ".html"
3961   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3962   data: "plot-vpp-throughput-latency-3n-hsw"
3963   filter: "'NIC_Intel-XL710' and
3964            '64B' and
3965            ('BASE' or 'SCALE') and
3966            'NDRPDR' and
3967            '1T1C' and
3968            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3969            not 'VHOST' and
3970            'MEMIF'"
3971   parameters:
3972   - "throughput"
3973   - "parent"
3974   traces:
3975     hoverinfo: "x+y"
3976     boxpoints: "outliers"
3977     whiskerwidth: 0
3978   layout:
3979     title: ""  # No title
3980     layout: "plot-throughput"
3981
3982 -
3983   type: "plot"
3984   title: "VPP Throughput: memif-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3985   algorithm: "plot_performance_box"
3986   output-file-type: ".html"
3987   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3988   data: "plot-vpp-throughput-latency-3n-hsw"
3989   filter: "'NIC_Intel-XL710' and
3990            '64B' and
3991            ('BASE' or 'SCALE') and
3992            'NDRPDR' and
3993            '2T2C' and
3994            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3995            not 'VHOST' and
3996            'MEMIF'"
3997   parameters:
3998   - "throughput"
3999   - "parent"
4000   traces:
4001     hoverinfo: "x+y"
4002     boxpoints: "outliers"
4003     whiskerwidth: 0
4004   layout:
4005     title: ""  # No title
4006     layout: "plot-throughput"
4007
4008 -
4009   type: "plot"
4010   title: "VPP Throughput: memif-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
4011   algorithm: "plot_performance_box"
4012   output-file-type: ".html"
4013   output-file: "{DIR[STATIC,VPP]}/memif-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
4014   data: "plot-vpp-throughput-latency-3n-hsw"
4015   filter: "'NIC_Intel-XL710' and
4016            '64B' and
4017            ('BASE' or 'SCALE') and
4018            'NDRPDR' and
4019            '2T2C' and
4020            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
4021            not 'VHOST' and
4022            'MEMIF'"
4023   parameters:
4024   - "throughput"
4025   - "parent"
4026   traces:
4027     hoverinfo: "x+y"
4028     boxpoints: "outliers"
4029     whiskerwidth: 0
4030   layout:
4031     title: ""  # No title
4032     layout: "plot-throughput"
4033
4034 # Packet Throughput - VPP Container Memif 3n-skx-x710
4035 -
4036   type: "plot"
4037   title: "VPP Throughput: memif-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
4038   algorithm: "plot_performance_box"
4039   output-file-type: ".html"
4040   output-file: "{DIR[STATIC,VPP]}/memif-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
4041   data: "plot-vpp-throughput-latency-3n-skx"
4042   filter: "'NIC_Intel-X710' and
4043            '64B' and
4044            ('BASE' or 'SCALE') and
4045            'NDRPDR' and
4046            '2T1C' and
4047            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
4048            not 'VHOST' and
4049            'MEMIF'"
4050   parameters:
4051   - "throughput"
4052   - "parent"
4053   traces:
4054     hoverinfo: "x+y"
4055     boxpoints: "outliers"
4056     whiskerwidth: 0
4057   layout:
4058     title: ""  # No title
4059     layout: "plot-throughput"
4060
4061 -
4062   type: "plot"
4063   title: "VPP Throughput: memif-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
4064   algorithm: "plot_performance_box"
4065   output-file-type: ".html"
4066   output-file: "{DIR[STATIC,VPP]}/memif-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
4067   data: "plot-vpp-throughput-latency-3n-skx"
4068   filter: "'NIC_Intel-X710' and
4069            '64B' and
4070            ('BASE' or 'SCALE') and
4071            'NDRPDR' and
4072            '2T1C' and
4073            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
4074            not 'VHOST' and
4075             'MEMIF'"
4076   parameters:
4077   - "throughput"
4078   - "parent"
4079   traces:
4080     hoverinfo: "x+y"
4081     boxpoints: "outliers"
4082     whiskerwidth: 0
4083   layout:
4084     title: ""  # No title
4085     layout: "plot-throughput"
4086
4087 -
4088   type: "plot"
4089   title: "VPP Throughput: memif-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
4090   algorithm: "plot_performance_box"
4091   output-file-type: ".html"
4092   output-file: "{DIR[STATIC,VPP]}/memif-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
4093   data: "plot-vpp-throughput-latency-3n-skx"
4094   filter: "'NIC_Intel-X710' and
4095            '64B' and
4096            ('BASE' or 'SCALE') and
4097            'NDRPDR' and
4098            '4T2C' and
4099            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
4100            not 'VHOST' and
4101            'MEMIF'"
4102   parameters:
4103   - "throughput"