CSIT-1229: Add DMM to report
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
37     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
38     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
39     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
40     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
41     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
42     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
43     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
44     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
45     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
46
47     # Detailed test configurations
48     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
49     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
50     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
51     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
52     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
53     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
54     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
55     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
56     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
57
58     # Detailed tests operational data
59     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
60     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
61     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
62     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
63
64     # .css patch file to fix tables generated by Sphinx
65     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
66     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
67
68   urls:
69     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
70     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
71     URL[NEXUS]: "https://docs.fd.io/csit"
72     DIR[NEXUS]: "report/_static/archive"
73
74   make-dirs:
75   # List the directories which are created while preparing the environment.
76   # All directories MUST be defined in "paths" section.
77   - "DIR[WORKING,DATA]"
78   - "DIR[STATIC,VPP]"
79   - "DIR[STATIC,DPDK]"
80   - "DIR[STATIC,ARCH]"
81   - "DIR[BUILD,LATEX]"
82   - "DIR[WORKING,SRC]"
83   - "DIR[WORKING,SRC,STATIC]"
84
85   remove-dirs:
86   # List the directories which are deleted while cleaning the environment.
87   # All directories MUST be defined in "paths" section.
88   #- "DIR[BUILD,HTML]"
89   - "DIR[WORKING,DATA]"
90
91   build-dirs:
92   # List the directories where the results (build) is stored.
93   # All directories MUST be defined in "paths" section.
94   - "DIR[BUILD,HTML]"
95   - "DIR[BUILD,LATEX]"
96
97 -
98   type: "configuration"
99
100   data-sets:
101
102     # VPP Performance
103     vpp-performance-changes:
104       csit-vpp-perf-1801-all:
105       - 124  # sel
106       - 127  # sel
107       - 128  # sel
108       - 141  # sel
109       - 142  # sel
110       - 143  # sel
111       - 145  # sel
112       - 146  # sel
113       - 162  # sel
114       - 163  # sel
115       - 167  # sel
116       - 172  # sel acl only
117       csit-vpp-perf-1804-all:
118       - 21  # sel
119       - 22  # sel
120       - 23  # sel
121       - 24  # sel
122       - 27  # sel
123       - 28  # sel
124       - 29  # sel
125       - 30  # sel
126       - 31  # sel
127       - 35  # sel
128       # TODO: Add Data sources
129       csit-vpp-perf-verify-1807-3n-hsw:
130       - 15  # NDRPDR sel
131       - 16  # NDRPDR sel
132       - 19  # NDRPDR sel
133       - 18  # NDRPDR sel
134       - 20  # NDRPDR sel
135
136     vpp-compare-testbeds:
137       # TODO: Add Data sources
138       csit-vpp-perf-verify-1807-3n-hsw:
139       - 15  # NDRPDR sel
140       - 16  # NDRPDR sel
141       - 19  # NDRPDR sel
142       - 18  # NDRPDR sel
143       - 20  # NDRPDR sel
144       csit-vpp-perf-verify-1807-3n-skx:
145       - 33  # NDRPDR sel
146       - 35  # NDRPDR sel
147       - 37  # NDRPDR sel
148       - 38  # NDRPDR sel
149       - 39  # NDRPDR sel
150       - 43  # NDRPDR sel
151       - 44  # NDRPDR sel
152       - 49  # NDRPDR sel
153       - 50  # NDRPDR sel
154       - 56  # NDRPDR sel
155
156     vpp-compare-testbeds-mrr:
157       # TODO: Add Data sources
158       csit-vpp-perf-verify-1807-3n-hsw:
159       - 9   # MRR sel
160       - 21  # MRR sel
161       - 31  # MRR sel
162       csit-vpp-perf-verify-1807-3n-skx:
163       - 28  # MRR sel
164       - 32  # MRR sel
165       - 36  # MRR sel
166       - 42  # MRR sel
167       - 47  # MRR sel
168       - 48  # MRR sel
169       - 51  # MRR sel
170       - 52  # MRR sel
171       - 53  # MRR sel
172       - 54  # MRR sel
173
174     vpp-performance-changes-mrr:
175       csit-vpp-perf-check-1801:
176       - 3
177       - 4
178       - 5
179       - 6
180       - 7
181       - 8
182       - 9
183       - 11
184       - 12
185       - 13
186       csit-vpp-perf-check-1804:
187       - 6   # mrr - sel
188       - 13  # mrr - sel
189       - 14  # mrr - sel
190       - 15  # mrr - sel
191       - 16  # mrr - sel
192       - 17  # mrr - sel
193       - 19  # mrr - sel
194       - 20  # mrr - sel
195       - 21  # mrr - sel
196       - 22  # mrr - sel
197       # TODO: Add Data sources
198       csit-vpp-perf-verify-1807-3n-hsw:
199       - 9   # MRR sel
200       - 21  # MRR sel
201       - 31  # MRR sel
202
203     vpp-perf-results-3n-hsw:
204       # TODO: Add Data sources
205       csit-vpp-perf-verify-1807-3n-hsw:
206       - 11  # NDRPDR full 1
207       - 22  # NDRPDR full 2
208
209     vpp-perf-results-3n-skx:
210       csit-vpp-perf-verify-1807-3n-skx:
211       - 40  # NDRPDR full 1
212       - 41  # NDRPDR full 2
213
214     vpp-perf-results-2n-skx:
215       csit-vpp-perf-verify-1807-2n-skx:
216       - 32  # NDRPDR full
217
218     vpp-mrr-results-3n-hsw:
219       csit-vpp-perf-verify-1807-3n-hsw:
220       - 8   # MRR full
221
222     vpp-mrr-results-3n-skx:
223       # TODO: Replace with better results
224       csit-vpp-perf-verify-1807-3n-skx:
225       - 31  # MRR full
226
227     vpp-mrr-results-2n-skx:
228       csit-vpp-perf-verify-1807-2n-skx:
229       - 27  # MRR full
230
231     plot-throughput-speedup-analysis-3n-hsw:
232       # TODO: Add Data sources
233       csit-vpp-perf-verify-1807-3n-hsw:
234       - 15  # NDRPDR sel
235       - 16  # NDRPDR sel
236       - 19  # NDRPDR sel
237       - 18  # NDRPDR sel
238       - 20  # NDRPDR sel
239
240     plot-throughput-speedup-analysis-3n-skx:
241       csit-vpp-perf-verify-1807-3n-skx:
242       - 33  # NDRPDR sel
243       - 35  # NDRPDR sel
244       - 37  # NDRPDR sel
245       - 38  # NDRPDR sel
246       - 39  # NDRPDR sel
247       - 43  # NDRPDR sel
248       - 44  # NDRPDR sel
249       - 49  # NDRPDR sel
250       - 50  # NDRPDR sel
251       - 56  # NDRPDR sel
252
253     plot-throughput-speedup-analysis-2n-skx:
254       csit-vpp-perf-verify-1807-2n-skx:
255       - 26  # NDRPDR sel
256       - 28  # NDRPDR sel
257       - 29  # NDRPDR sel
258       - 30  # NDRPDR sel
259       - 34  # NDRPDR sel
260       - 35  # NDRPDR sel
261       - 36  # NDRPDR sel
262       - 39  # NDRPDR sel
263       - 40  # NDRPDR sel
264       - 42  # NDRPDR sel
265
266     plot-vpp-throughput-latency-3n-hsw:
267       # TODO: Add Data sources
268       csit-vpp-perf-verify-1807-3n-hsw:
269       - 15  # NDRPDR sel
270       - 16  # NDRPDR sel
271       - 19  # NDRPDR sel
272       - 18  # NDRPDR sel
273       - 20  # NDRPDR sel
274
275     plot-vpp-throughput-latency-3n-skx:
276       csit-vpp-perf-verify-1807-3n-skx:
277       - 33  # NDRPDR sel
278       - 35  # NDRPDR sel
279       - 37  # NDRPDR sel
280       - 38  # NDRPDR sel
281       - 39  # NDRPDR sel
282       - 43  # NDRPDR sel
283       - 44  # NDRPDR sel
284       - 49  # NDRPDR sel
285       - 50  # NDRPDR sel
286       - 56  # NDRPDR sel
287
288     plot-vpp-throughput-latency-2n-skx:
289       csit-vpp-perf-verify-1807-2n-skx:
290       - 26  # NDRPDR sel
291       - 28  # NDRPDR sel
292       - 29  # NDRPDR sel
293       - 30  # NDRPDR sel
294       - 34  # NDRPDR sel
295       - 35  # NDRPDR sel
296       - 36  # NDRPDR sel
297       - 39  # NDRPDR sel
298       - 40  # NDRPDR sel
299       - 42  # NDRPDR sel
300
301     plot-vpp-http-server-performance:
302       csit-vpp-perf-verify-1807-3n-hsw:
303       - 24  # WRK
304       - 25  # WRK
305       - 23  # WRK
306       - 26  # WRK
307       - 27  # WRK
308       - 28  # WRK
309       - 29  # WRK
310       - 30  # WRK
311       - 32  # WRK
312       - 35  # WRK
313
314     # VPP Functional
315     vpp-func-results-ubuntu:
316       csit-vpp-functional-1807-ubuntu1604-virl:
317       # TODO: Use the build number
318       - "lastSuccessfulBuild"
319
320     vpp-func-results-centos:
321       csit-vpp-functional-1807-centos7-virl:
322       # TODO: Use the build number
323       - "lastSuccessfulBuild"
324
325     # VPP Ligato
326     ligato-perf-results-3n-hsw:
327       # TODO: Replace with better results
328       csit-ligato-perf-1807-all:
329       - 3   # full ?
330
331     plot-ligato-throughput-speedup-analysis-3n-hsw:
332       # TODO: Add Data sources
333       csit-ligato-perf-1807-all:
334       - 4   # sel
335
336     plot-ligato-throughput-latency-3n-hsw:
337       # TODO: Add Data sources
338       csit-ligato-perf-1807-all:
339       - 4   # sel
340
341     # DPDK Performance
342     dpdk-performance-changes:
343       csit-dpdk-perf-1804-all:
344       - 4
345       - 5
346       - 6
347       - 7
348       - 8
349       - 9
350       - 10
351       - 11
352       - 12
353       - 13
354       csit-dpdk-perf-verify-1807-3n-hsw:
355       - 11
356       - 12  # full
357       - 14
358       - 15
359       - 16
360       - 17
361       - 20
362       - 21
363       - 22
364       - 23
365
366     dpdk-compare-testbeds:
367       csit-dpdk-perf-verify-1807-3n-skx:
368       - 1
369       - 2
370       - 3
371       - 6
372       - 7
373       - 8
374       - 9
375       - 10
376       - 11
377       - 12
378       csit-dpdk-perf-verify-1807-3n-hsw:
379       - 11
380       - 12  # full
381       - 14
382       - 15
383       - 16
384       - 17
385       - 20
386       - 21
387       - 22
388       - 23
389
390     dpdk-perf-results-3n-hsw:
391       csit-dpdk-perf-verify-1807-3n-hsw:
392       - 12
393
394     dpdk-perf-results-3n-skx:
395       csit-dpdk-perf-verify-1807-3n-skx:
396       - 12
397
398     dpdk-perf-results-2n-skx:
399       csit-dpdk-perf-verify-1807-2n-skx:
400       - 10
401
402     plot-dpdk-throughput-latency-3n-hsw:
403       csit-dpdk-perf-verify-1807-3n-hsw:
404       - 11
405       - 12  # full
406       - 14
407       - 15
408       - 16
409       - 17
410       - 20
411       - 21
412       - 22
413       - 23
414
415     plot-dpdk-throughput-latency-3n-skx:
416       csit-dpdk-perf-verify-1807-3n-skx:
417       - 1
418       - 2
419       - 3
420       - 6
421       - 7
422       - 8
423       - 9
424       - 10
425       - 11
426       - 12
427
428     plot-dpdk-throughput-latency-2n-skx:
429       csit-dpdk-perf-verify-1807-2n-skx:
430       - 1
431       - 2
432       - 3
433       - 4
434       - 5
435       - 6
436       - 7
437       - 8
438       - 9
439       - 10
440
441     # HoneyComb Functional
442     hc-func-results:
443       csit-hc2vpp-verify-func-1807-ubuntu1604:
444       # TODO: Use the build number
445       - "lastSuccessfulBuild"
446
447     # NSH SFC Functional
448     nsh-func-results:
449       csit-nsh_sfc-verify-func-1807-ubuntu1604-virl:
450       - 2
451
452     # DMM Functional
453     dmm-func-results:
454       # TODO: Replace with 1807 job:
455       csit-dmm-functional-master-ubuntu1604-virl:
456       - 95
457
458   plot-layouts:
459
460     plot-cps:
461       xaxis:
462         autorange: True
463         fixedrange: False
464         gridcolor: "rgb(238, 238, 238)"
465         linecolor: "rgb(238, 238, 238)"
466         linewidth: 1
467         showgrid: True
468         showline: True
469         showticklabels: True
470         tickcolor: "rgb(238, 238, 238)"
471         tickmode: "linear"
472         title: "Indexed Test Cases"
473         zeroline: False
474       yaxis:
475         gridcolor: "rgb(238, 238, 238)"
476         hoverformat: ".4s"
477         linecolor: "rgb(238, 238, 238)"
478         linewidth: 1
479         rangemode: "tozero"
480         showgrid: True
481         showline: True
482         showticklabels: True
483         tickcolor: "rgb(238, 238, 238)"
484         title: "Connections Per Second [cps]"
485         zeroline: False
486       boxmode: "group"
487       boxgroupgap: 0.5
488       autosize: False
489       margin:
490         t: 50
491         b: 20
492         l: 80
493         r: 20
494       showlegend: True
495       legend:
496         orientation: "h"
497       width: 700
498       height: 1000
499
500     plot-rps:
501       xaxis:
502         autorange: True
503         fixedrange: False
504         gridcolor: "rgb(238, 238, 238)"
505         linecolor: "rgb(238, 238, 238)"
506         linewidth: 1
507         showgrid: True
508         showline: True
509         showticklabels: True
510         tickcolor: "rgb(238, 238, 238)"
511         tickmode: "linear"
512         title: "Indexed Test Cases"
513         zeroline: False
514       yaxis:
515         gridcolor: "rgb(238, 238, 238)"
516         hoverformat: ".4s"
517         linecolor: "rgb(238, 238, 238)"
518         linewidth: 1
519         rangemode: "tozero"
520         showgrid: True
521         showline: True
522         showticklabels: True
523         tickcolor: "rgb(238, 238, 238)"
524         title: "Requests Per Second [rps]"
525         zeroline: False
526       boxmode: "group"
527       boxgroupgap: 0.5
528       autosize: False
529       margin:
530         t: 50
531         b: 20
532         l: 80
533         r: 20
534       showlegend: True
535       legend:
536         orientation: "h"
537       width: 700
538       height: 1000
539
540     plot-throughput:
541       xaxis:
542         autorange: True
543         fixedrange: False
544         gridcolor: "rgb(238, 238, 238)"
545         linecolor: "rgb(238, 238, 238)"
546         linewidth: 1
547         showgrid: True
548         showline: True
549         showticklabels: True
550         tickcolor: "rgb(238, 238, 238)"
551         tickmode: "linear"
552         title: "Indexed Test Cases"
553         zeroline: False
554       yaxis:
555         gridcolor: "rgb(238, 238, 238)"
556         hoverformat: ".4s"
557         tickformat: ".3s"
558         linecolor: "rgb(238, 238, 238)"
559         linewidth: 1
560         showgrid: True
561         showline: True
562         showticklabels: True
563         tickcolor: "rgb(238, 238, 238)"
564         title: "Packets Per Second [pps]"
565         zeroline: False
566       boxmode: "group"
567       boxgroupgap: 0.5
568       autosize: False
569       margin:
570         t: 50
571         b: 20
572         l: 80
573         r: 20
574       showlegend: True
575       legend:
576         orientation: "h"
577       width: 700
578       height: 1000
579
580     plot-latency:
581       xaxis:
582         autorange: True
583         fixedrange: False
584         gridcolor: "rgb(238, 238, 238)"
585         linecolor: "rgb(238, 238, 238)"
586         linewidth: 1
587         showgrid: True
588         showline: True
589         showticklabels: True
590         tickcolor: "rgb(238, 238, 238)"
591         tickmode: "linear"
592         title: "Indexed Test Cases"
593         zeroline: False
594       yaxis:
595         gridcolor: "rgb(238, 238, 238)"
596         hoverformat: ""
597         linecolor: "rgb(238, 238, 238)"
598         linewidth: 1
599         showgrid: True
600         showline: True
601         showticklabels: True
602         tickcolor: "rgb(238, 238, 238)"
603         title: "Latency min/avg/max [uSec]"
604         zeroline: False
605       boxmode: "group"
606       boxgroupgap: 0.5
607       autosize: False
608       margin:
609         t: 50
610         b: 20
611         l: 80
612         r: 20
613       showlegend: True
614       legend:
615         orientation: "h"
616       width: 700
617       height: 1000
618
619     plot-throughput-speedup-analysis:
620       xaxis:
621         autorange: True
622         fixedrange: False
623         gridcolor: "rgb(238, 238, 238)"
624         linecolor: "rgb(238, 238, 238)"
625         linewidth: 1
626         showgrid: True
627         showline: True
628         showticklabels: True
629         tickcolor: "rgb(238, 238, 238)"
630         tickmode: "linear"
631         tickangle: 270
632         zeroline: False
633       yaxis:
634         title: "Throughput speedup factor"
635         gridcolor: "rgb(238, 238, 238)"
636         hoverformat: ".4s"
637         linecolor: "rgb(238, 238, 238)"
638         linewidth: 1
639         showgrid: True
640         showline: True
641         showticklabels: True
642         tickcolor: "rgb(238, 238, 238)"
643         zeroline: False
644       legend:
645         orientation: "h"
646         xanchor: "center"
647         yanchor: "top"
648         x: 0.5
649         y: 1
650         bgcolor: "rgba(255, 255, 255, 0)"
651         bordercolor: "rgba(255, 255, 255, 0)"
652       barmode: "group"
653       bargap: 0.15
654       bargroupgap: 0.1
655       autosize: False
656       margin:
657           't': 50
658           'b': 300
659           'l': 50
660           'r': 20
661       showlegend: True
662       width: 700
663       height: 1000
664
665 -
666   type: "static"
667   src-path: "{DIR[RST]}"
668   dst-path: "{DIR[WORKING,SRC]}"
669
670 -
671   type: "input"
672   general:
673     file-name: "robot-plugin.zip"
674     file-format: ".zip"
675     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
676     extract: "robot-plugin/output.xml"
677
678   builds:
679
680     csit-vpp-perf-1801-all:
681     - 124  # sel
682     - 127  # sel
683     - 128  # sel
684     - 141  # sel
685     - 142  # sel
686     - 143  # sel
687     - 145  # sel
688     - 146  # sel
689     - 162  # sel
690     - 163  # sel
691     - 167  # sel
692     - 172  # sel acl only
693     csit-vpp-perf-1804-all:
694     - 21  # sel
695     - 22  # sel
696     - 23  # sel
697     - 24  # sel
698     - 27  # sel
699     - 28  # sel
700     - 29  # sel
701     - 30  # sel
702     - 31  # sel
703     - 35  # sel
704     # TODO: Add Data sources
705     csit-vpp-perf-verify-1807-3n-hsw:
706     - 8   # MRR full
707     - 9   # MRR sel
708     - 21  # MRR sel
709     - 31  # MRR sel
710     - 11  # NDRPDR full 1
711     - 22  # NDRPDR full 2
712     - 15  # NDRPDR sel
713     - 16  # NDRPDR sel
714     - 19  # NDRPDR sel
715     - 18  # NDRPDR sel
716     - 20  # NDRPDR sel
717     - 24  # WRK
718     - 25  # WRK
719     - 23  # WRK
720     - 26  # WRK
721     - 27  # WRK
722     - 28  # WRK
723     - 29  # WRK
724     - 30  # WRK
725     - 32  # WRK
726     - 35  # WRK
727     csit-vpp-perf-verify-1807-3n-skx:
728     - 31  # MRR full
729     - 28  # MRR sel
730     - 32  # MRR sel
731     - 36  # MRR sel
732     - 42  # MRR sel
733     - 47  # MRR sel
734     - 48  # MRR sel
735     - 51  # MRR sel
736     - 52  # MRR sel
737     - 53  # MRR sel
738     - 54  # MRR sel
739     - 40  # NDRPDR full 1
740     - 41  # NDRPDR full 2
741     - 33  # NDRPDR sel
742     - 35  # NDRPDR sel
743     - 37  # NDRPDR sel
744     - 38  # NDRPDR sel
745     - 39  # NDRPDR sel
746     - 43  # NDRPDR sel
747     - 44  # NDRPDR sel
748     - 49  # NDRPDR sel
749     - 50  # NDRPDR sel
750     - 56  # NDRPDR sel
751     csit-vpp-perf-verify-1807-2n-skx:
752     - 27  # MRR full
753     - 31  # MRR sel
754     - 33  # MRR sel
755     - 37  # MRR sel
756     - 38  # MRR sel
757     - 41  # MRR sel
758     - 43  # MRR sel
759     - 44  # MRR sel
760     - 45  # MRR sel
761     - 46  # MRR sel
762     - 47  # MRR sel
763     - 32  # NDRPDR full
764     - 26  # NDRPDR sel
765     - 28  # NDRPDR sel
766     - 29  # NDRPDR sel
767     - 30  # NDRPDR sel
768     - 34  # NDRPDR sel
769     - 35  # NDRPDR sel
770     - 36  # NDRPDR sel
771     - 39  # NDRPDR sel
772     - 40  # NDRPDR sel
773     - 42  # NDRPDR sel
774     csit-vpp-perf-check-1801:
775     - 3   # mrr
776     - 4   # mrr
777     - 5   # mrr
778     - 6   # mrr
779     - 7   # mrr
780     - 8   # mrr
781     - 9   # mrr
782     - 11  # mrr
783     - 12  # mrr
784     - 13  # mrr
785     csit-vpp-perf-check-1804:
786     - 5   # mrr - full
787     - 6   # mrr - sel
788     - 13  # mrr - sel
789     - 14  # mrr - sel
790     - 15  # mrr - sel
791     - 16  # mrr - sel
792     - 17  # mrr - sel
793     - 19  # mrr - sel
794     - 20  # mrr - sel
795     - 21  # mrr - sel
796     - 22  # mrr - sel
797     csit-ligato-perf-1804-all:
798     - 4   # full
799     - 5   # sel
800     - 6   # sel
801     - 7   # sel
802     - 8   # sel
803     - 9   # sel
804     - 10  # sel
805     - 11  # sel
806     - 12  # sel
807     - 13  # sel
808     - 14  # sel
809     # TODO: Add Data sources
810     csit-ligato-perf-1807-all:
811     - 3   # full ?
812     - 4   # sel
813     csit-dpdk-perf-1804-all:
814     - 4
815     - 5
816     - 6
817     - 7
818     - 8
819     - 9
820     - 10
821     - 11
822     - 12
823     - 13
824     csit-dpdk-perf-verify-1807-3n-hsw:
825     - 11
826     - 12  # full
827     - 14
828     - 15
829     - 16
830     - 17
831     - 20
832     - 21
833     - 22
834     - 23
835     csit-dpdk-perf-verify-1807-3n-skx:
836     - 1
837     - 2
838     - 3
839     - 6
840     - 7
841     - 8
842     - 9
843     - 10
844     - 11
845     - 12
846     csit-dpdk-perf-verify-1807-2n-skx:
847     - 1
848     - 2
849     - 3
850     - 4
851     - 5
852     - 6
853     - 7
854     - 8
855     - 9
856     - 10
857     csit-vpp-functional-1807-ubuntu1604-virl:
858     # TODO: Use the build number
859     - "lastSuccessfulBuild"
860     csit-vpp-functional-1807-centos7-virl:
861     # TODO: Use the build number
862     - "lastSuccessfulBuild"
863     csit-nsh_sfc-verify-func-1807-ubuntu1604-virl:
864     - 2
865     # TODO: Replace with 1807 job:
866     csit-dmm-functional-master-ubuntu1604-virl:
867     - 95
868     csit-hc2vpp-verify-func-1807-ubuntu1604:
869     # TODO: Use the build number
870     - "lastSuccessfulBuild"
871
872 -
873   type: "output"
874   output: "report"
875   format:
876     html:
877     - full
878     pdf:
879     - minimal
880
881 ################################################################################
882 ###                               T A B L E S                                ###
883 ################################################################################
884
885 ################################################################################
886 # VPP
887 -
888   type: "table"
889   title: "VPP Performance Changes 1t1c pdr"
890   algorithm: "table_performance_comparison"
891   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-pdr"
892   history:
893     -
894       title: "rls1801"
895       data:
896         csit-vpp-perf-1801-all:
897         - 124  # sel
898         - 127  # sel
899         - 128  # sel
900         - 141  # sel
901         - 142  # sel
902         - 143  # sel
903         - 145  # sel
904         - 146  # sel
905         - 162  # sel
906         - 163  # sel
907         - 167  # sel
908         - 172  # sel acl only
909   reference:
910     title: "rls1804"
911     data:
912       csit-vpp-perf-1804-all:
913       - 21  # sel
914       - 22  # sel
915       - 23  # sel
916       - 24  # sel
917       - 27  # sel
918       - 28  # sel
919       - 29  # sel
920       - 30  # sel
921       - 31  # sel
922       - 35  # sel
923   compare:
924     title: "rls1807"
925     data:
926       # TODO: Add Data sources
927       csit-vpp-perf-verify-1807-3n-hsw:
928       - 15  # NDRPDR sel
929       - 16  # NDRPDR sel
930       - 19  # NDRPDR sel
931       - 18  # NDRPDR sel
932       - 20  # NDRPDR sel
933   data: "vpp-performance-changes"
934   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
935   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
936   parameters:
937   - "name"
938   - "parent"
939   - "throughput"
940
941 -
942   type: "table"
943   title: "VPP Performance Changes 2t2c pdr"
944   algorithm: "table_performance_comparison"
945   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-pdr"
946   history:
947     -
948       title: "rls1801"
949       data:
950         csit-vpp-perf-1801-all:
951         - 124  # sel
952         - 127  # sel
953         - 128  # sel
954         - 141  # sel
955         - 142  # sel
956         - 143  # sel
957         - 145  # sel
958         - 146  # sel
959         - 162  # sel
960         - 163  # sel
961         - 167  # sel
962         - 172  # sel acl only
963   reference:
964     title: "rls1804"
965     data:
966       csit-vpp-perf-1804-all:
967       - 21  # sel
968       - 22  # sel
969       - 23  # sel
970       - 24  # sel
971       - 27  # sel
972       - 28  # sel
973       - 29  # sel
974       - 30  # sel
975       - 31  # sel
976       - 35  # sel
977   compare:
978     title: "rls1807"
979     data:
980       # TODO: Add Data sources
981       csit-vpp-perf-verify-1807-3n-hsw:
982       - 15  # NDRPDR sel
983       - 16  # NDRPDR sel
984       - 19  # NDRPDR sel
985       - 18  # NDRPDR sel
986       - 20  # NDRPDR sel
987   data: "vpp-performance-changes"
988   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
989   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
990   parameters:
991   - "name"
992   - "parent"
993   - "throughput"
994
995 -
996   type: "table"
997   title: "VPP Performance Changes 1t1c ndr"
998   algorithm: "table_performance_comparison"
999   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-ndr"
1000   history:
1001     -
1002       title: "rls1801"
1003       data:
1004         csit-vpp-perf-1801-all:
1005         - 124  # sel
1006         - 127  # sel
1007         - 128  # sel
1008         - 141  # sel
1009         - 142  # sel
1010         - 143  # sel
1011         - 145  # sel
1012         - 146  # sel
1013         - 162  # sel
1014         - 163  # sel
1015         - 167  # sel
1016         - 172  # sel acl only
1017   reference:
1018     title: "rls1804"
1019     data:
1020       csit-vpp-perf-1804-all:
1021       - 21  # sel
1022       - 22  # sel
1023       - 23  # sel
1024       - 24  # sel
1025       - 27  # sel
1026       - 28  # sel
1027       - 29  # sel
1028       - 30  # sel
1029       - 31  # sel
1030       - 35  # sel
1031   compare:
1032     title: "rls1807"
1033     data:
1034       # TODO: Add Data sources
1035       csit-vpp-perf-verify-1807-3n-hsw:
1036       - 15  # NDRPDR sel
1037       - 16  # NDRPDR sel
1038       - 19  # NDRPDR sel
1039       - 18  # NDRPDR sel
1040       - 20  # NDRPDR sel
1041   data: "vpp-performance-changes"
1042   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1043   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1044   parameters:
1045   - "name"
1046   - "parent"
1047   - "throughput"
1048
1049 -
1050   type: "table"
1051   title: "VPP Performance Changes 2t2c ndr"
1052   algorithm: "table_performance_comparison"
1053   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-ndr"
1054   history:
1055     -
1056       title: "rls1801"
1057       data:
1058         csit-vpp-perf-1801-all:
1059         - 124  # sel
1060         - 127  # sel
1061         - 128  # sel
1062         - 141  # sel
1063         - 142  # sel
1064         - 143  # sel
1065         - 145  # sel
1066         - 146  # sel
1067         - 162  # sel
1068         - 163  # sel
1069         - 167  # sel
1070         - 172  # sel acl only
1071   reference:
1072     title: "rls1804"
1073     data:
1074       csit-vpp-perf-1804-all:
1075       - 21  # sel
1076       - 22  # sel
1077       - 23  # sel
1078       - 24  # sel
1079       - 27  # sel
1080       - 28  # sel
1081       - 29  # sel
1082       - 30  # sel
1083       - 31  # sel
1084       - 35  # sel
1085   compare:
1086     title: "rls1807"
1087     data:
1088       # TODO: Add Data sources
1089       csit-vpp-perf-verify-1807-3n-hsw:
1090       - 15  # NDRPDR sel
1091       - 16  # NDRPDR sel
1092       - 19  # NDRPDR sel
1093       - 18  # NDRPDR sel
1094       - 20  # NDRPDR sel
1095   data: "vpp-performance-changes"
1096   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1097   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1098   parameters:
1099   - "name"
1100   - "parent"
1101   - "throughput"
1102
1103 -
1104   type: "table"
1105   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1106   algorithm: "table_performance_comparison"
1107   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1108   reference:
1109     title: "3-Node Hsw"
1110     data:
1111       # TODO: Add Data sources
1112       csit-vpp-perf-verify-1807-3n-hsw:
1113       - 15  # NDRPDR sel
1114       - 16  # NDRPDR sel
1115       - 19  # NDRPDR sel
1116       - 18  # NDRPDR sel
1117       - 20  # NDRPDR sel
1118   compare:
1119     title: "3-Node Skx"
1120     data:
1121       csit-vpp-perf-verify-1807-3n-skx:
1122       - 33  # NDRPDR sel
1123       - 35  # NDRPDR sel
1124       - 37  # NDRPDR sel
1125       - 38  # NDRPDR sel
1126       - 39  # NDRPDR sel
1127       - 43  # NDRPDR sel
1128       - 44  # NDRPDR sel
1129       - 49  # NDRPDR sel
1130       - 50  # NDRPDR sel
1131       - 56  # NDRPDR sel
1132   data: "vpp-compare-testbeds"
1133   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1134   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1135   parameters:
1136   - "name"
1137   - "parent"
1138   - "throughput"
1139
1140 -
1141   type: "table"
1142   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1143   algorithm: "table_performance_comparison"
1144   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1145   reference:
1146     title: "3-Node Hsw"
1147     data:
1148       # TODO: Add Data sources
1149       csit-vpp-perf-verify-1807-3n-hsw:
1150       - 15  # NDRPDR sel
1151       - 16  # NDRPDR sel
1152       - 19  # NDRPDR sel
1153       - 18  # NDRPDR sel
1154       - 20  # NDRPDR sel
1155   compare:
1156     title: "3-Node Skx"
1157     data:
1158       csit-vpp-perf-verify-1807-3n-skx:
1159       - 33  # NDRPDR sel
1160       - 35  # NDRPDR sel
1161       - 37  # NDRPDR sel
1162       - 38  # NDRPDR sel
1163       - 39  # NDRPDR sel
1164       - 43  # NDRPDR sel
1165       - 44  # NDRPDR sel
1166       - 49  # NDRPDR sel
1167       - 50  # NDRPDR sel
1168       - 56  # NDRPDR sel
1169   data: "vpp-compare-testbeds"
1170   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1171   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1172   parameters:
1173   - "name"
1174   - "parent"
1175   - "throughput"
1176
1177 -
1178   type: "table"
1179   title: "VPP Performance Changes - 1t1c MRR"
1180   algorithm: "table_performance_comparison"
1181   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-mrr"
1182   history:
1183     -
1184       title: "rls1801"
1185       data:
1186         csit-vpp-perf-check-1801:
1187         - 3
1188         - 4
1189         - 5
1190         - 6
1191         - 7
1192         - 8
1193         - 9
1194         - 11
1195         - 12
1196         - 13
1197   reference:
1198     title: "rls1804"
1199     data:
1200       csit-vpp-perf-check-1804:
1201       - 6   # mrr - sel
1202       - 13  # mrr - sel
1203       - 14  # mrr - sel
1204       - 15  # mrr - sel
1205       - 16  # mrr - sel
1206       - 17  # mrr - sel
1207       - 19  # mrr - sel
1208       - 20  # mrr - sel
1209       - 21  # mrr - sel
1210       - 22  # mrr - sel
1211   compare:
1212     title: "rls1807"
1213     data:
1214       # TODO: Add Data sources
1215       csit-vpp-perf-verify-1807-3n-hsw:
1216       - 9   # MRR sel
1217       - 21  # MRR sel
1218       - 31  # MRR sel
1219   data: "vpp-performance-changes-mrr"
1220   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1221   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1222   parameters:
1223   - "name"
1224   - "parent"
1225   - "result"
1226
1227 -
1228   type: "table"
1229   title: "VPP Performance Changes - 2t2c MRR"
1230   algorithm: "table_performance_comparison"
1231   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-mrr"
1232   history:
1233     -
1234       title: "rls1801"
1235       data:
1236         csit-vpp-perf-check-1801:
1237         - 3
1238         - 4
1239         - 5
1240         - 6
1241         - 7
1242         - 8
1243         - 9
1244         - 11
1245         - 12
1246         - 13
1247   reference:
1248     title: "rls1804"
1249     data:
1250       csit-vpp-perf-check-1804:
1251       - 6   # mrr - sel
1252       - 13  # mrr - sel
1253       - 14  # mrr - sel
1254       - 15  # mrr - sel
1255       - 16  # mrr - sel
1256       - 17  # mrr - sel
1257       - 19  # mrr - sel
1258       - 20  # mrr - sel
1259       - 21  # mrr - sel
1260       - 22  # mrr - sel
1261   compare:
1262     title: "rls1807"
1263     data:
1264       # TODO: Add Data sources
1265       csit-vpp-perf-verify-1807-3n-hsw:
1266       - 9   # MRR sel
1267       - 21  # MRR sel
1268       - 31  # MRR sel
1269   data: "vpp-performance-changes-mrr"
1270   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1271   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1272   parameters:
1273   - "name"
1274   - "parent"
1275   - "result"
1276
1277 -
1278   type: "table"
1279   title: "VPP Performance Changes - 4t4c MRR"
1280   algorithm: "table_performance_comparison"
1281   output-file: "{DIR[STATIC,VPP]}/performance-changes-4t4c-mrr"
1282   history:
1283     -
1284       title: "rls1801"
1285       data:
1286         csit-vpp-perf-check-1801:
1287         - 3
1288         - 4
1289         - 5
1290         - 6
1291         - 7
1292         - 8
1293         - 9
1294         - 11
1295         - 12
1296         - 13
1297   reference:
1298     title: "rls1804"
1299     data:
1300       csit-vpp-perf-check-1804:
1301       - 6   # mrr - sel
1302       - 13  # mrr - sel
1303       - 14  # mrr - sel
1304       - 15  # mrr - sel
1305       - 16  # mrr - sel
1306       - 17  # mrr - sel
1307       - 19  # mrr - sel
1308       - 20  # mrr - sel
1309       - 21  # mrr - sel
1310       - 22  # mrr - sel
1311   compare:
1312     title: "rls1807"
1313     data:
1314       # TODO: Add Data sources
1315       csit-vpp-perf-verify-1807-3n-hsw:
1316       - 9   # MRR sel
1317       - 21  # MRR sel
1318       - 31  # MRR sel
1319   data: "vpp-performance-changes-mrr"
1320   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1321   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1322   parameters:
1323   - "name"
1324   - "parent"
1325   - "result"
1326
1327 -
1328   type: "table"
1329   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
1330   algorithm: "table_performance_comparison"
1331   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
1332   reference:
1333     title: "3-Node Hsw"
1334     data:
1335       # TODO: Add Data sources
1336       csit-vpp-perf-verify-1807-3n-hsw:
1337       - 9   # MRR sel
1338       - 21  # MRR sel
1339       - 31  # MRR sel
1340   compare:
1341     title: "3-Node Skx"
1342     data:
1343       csit-vpp-perf-verify-1807-3n-skx:
1344       - 28  # MRR sel
1345       - 32  # MRR sel
1346       - 36  # MRR sel
1347       - 42  # MRR sel
1348       - 47  # MRR sel
1349       - 48  # MRR sel
1350       - 51  # MRR sel
1351       - 52  # MRR sel
1352       - 53  # MRR sel
1353       - 54  # MRR sel
1354   data: "vpp-compare-testbeds-mrr"
1355   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1356   filter: "'NIC_Intel-X710' and 'MRR'"
1357   parameters:
1358   - "name"
1359   - "parent"
1360   - "result"
1361
1362 -
1363   type: "table"
1364   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
1365   algorithm: "table_merged_details"
1366   output-file-ext: ".csv"
1367   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
1368   columns:
1369   -
1370     title: "Name"
1371     data: "data name"
1372   -
1373     title: "Status"
1374     data: "data msg"
1375   rows: "generated"
1376   data: "vpp-perf-results-3n-hsw"
1377   filter: "not 'NDRCHK' and not 'PDRCHK'"
1378   parameters:
1379   - "name"
1380   - "parent"
1381   - "doc"
1382   - "msg"
1383
1384 -
1385   type: "table"
1386   title: "Detailed Test Results - VPP Performance Results 3n-skx"
1387   algorithm: "table_merged_details"
1388   output-file-ext: ".csv"
1389   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
1390   columns:
1391   -
1392     title: "Name"
1393     data: "data name"
1394   -
1395     title: "Status"
1396     data: "data msg"
1397   rows: "generated"
1398   data: "vpp-perf-results-3n-skx"
1399   filter: "not 'NDRCHK' and not 'PDRCHK'"
1400   parameters:
1401   - "name"
1402   - "parent"
1403   - "doc"
1404   - "msg"
1405
1406 -
1407   type: "table"
1408   title: "Detailed Test Results - VPP Performance Results 2n-skx"
1409   algorithm: "table_merged_details"
1410   output-file-ext: ".csv"
1411   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
1412   columns:
1413   -
1414     title: "Name"
1415     data: "data name"
1416   -
1417     title: "Status"
1418     data: "data msg"
1419   rows: "generated"
1420   data: "vpp-perf-results-2n-skx"
1421   filter: "not 'NDRCHK' and not 'PDRCHK'"
1422   parameters:
1423   - "name"
1424   - "parent"
1425   - "doc"
1426   - "msg"
1427
1428 -
1429   type: "table"
1430   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
1431   algorithm: "table_merged_details"
1432   output-file-ext: ".csv"
1433   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
1434   columns:
1435   -
1436     title: "Name"
1437     data: "data name"
1438   -
1439     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1440     data: "data vat-history"
1441   rows: "generated"
1442   data: "vpp-perf-results-3n-hsw"
1443   filter: "not 'NDRCHK' and not 'PDRCHK'"
1444   parameters:
1445   - "parent"
1446   - "name"
1447   - "vat-history"
1448
1449 -
1450   type: "table"
1451   title: "Test configuration - VPP Performance Test Configs 3n-skx"
1452   algorithm: "table_merged_details"
1453   output-file-ext: ".csv"
1454   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
1455   columns:
1456   -
1457     title: "Name"
1458     data: "data name"
1459   -
1460     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1461     data: "data vat-history"
1462   rows: "generated"
1463   data: "vpp-perf-results-3n-skx"
1464   filter: "not 'NDRCHK' and not 'PDRCHK'"
1465   parameters:
1466   - "parent"
1467   - "name"
1468   - "vat-history"
1469
1470 -
1471   type: "table"
1472   title: "Test configuration - VPP Performance Test Configs 2n-skx"
1473   algorithm: "table_merged_details"
1474   output-file-ext: ".csv"
1475   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
1476   columns:
1477   -
1478     title: "Name"
1479     data: "data name"
1480   -
1481     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1482     data: "data vat-history"
1483   rows: "generated"
1484   data: "vpp-perf-results-2n-skx"
1485   filter: "not 'NDRCHK' and not 'PDRCHK'"
1486   parameters:
1487   - "parent"
1488   - "name"
1489   - "vat-history"
1490
1491 -
1492   type: "table"
1493   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
1494   algorithm: "table_merged_details"
1495   output-file-ext: ".csv"
1496   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
1497   columns:
1498   -
1499     title: "Name"
1500     data: "data name"
1501   -
1502     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1503     data: "data show-run"
1504   rows: "generated"
1505   data: "vpp-perf-results-3n-hsw"
1506   filter: "not 'NDRCHK' and not 'PDRCHK'"
1507   parameters:
1508   - "parent"
1509   - "name"
1510   - "show-run"
1511
1512 -
1513   type: "table"
1514   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
1515   algorithm: "table_merged_details"
1516   output-file-ext: ".csv"
1517   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
1518   columns:
1519   -
1520     title: "Name"
1521     data: "data name"
1522   -
1523     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1524     data: "data show-run"
1525   rows: "generated"
1526   data: "vpp-perf-results-3n-skx"
1527   filter: "not 'NDRCHK' and not 'PDRCHK'"
1528   parameters:
1529   - "parent"
1530   - "name"
1531   - "show-run"
1532
1533 -
1534   type: "table"
1535   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
1536   algorithm: "table_merged_details"
1537   output-file-ext: ".csv"
1538   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
1539   columns:
1540   -
1541     title: "Name"
1542     data: "data name"
1543   -
1544     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1545     data: "data show-run"
1546   rows: "generated"
1547   data: "vpp-perf-results-2n-skx"
1548   filter: "not 'NDRCHK' and not 'PDRCHK'"
1549   parameters:
1550   - "parent"
1551   - "name"
1552   - "show-run"
1553
1554 -
1555   type: "table"
1556   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
1557   algorithm: "table_details"
1558   output-file-ext: ".csv"
1559   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
1560   columns:
1561   -
1562     title: "Name"
1563     data: "data name"
1564   -
1565     title: "Status"
1566     data: "data msg"
1567   rows: "generated"
1568   data: "vpp-mrr-results-3n-hsw"
1569   filter: "'MRR'"
1570   parameters:
1571   - "name"
1572   - "parent"
1573   - "doc"
1574   - "msg"
1575
1576 -
1577   type: "table"
1578   title: "Detailed Test Results - VPP MRR Results 3n-skx"
1579   algorithm: "table_details"
1580   output-file-ext: ".csv"
1581   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
1582   columns:
1583   -
1584     title: "Name"
1585     data: "data name"
1586   -
1587     title: "Status"
1588     data: "data msg"
1589   rows: "generated"
1590   data: "vpp-mrr-results-3n-skx"
1591   filter: "'MRR'"
1592   parameters:
1593   - "name"
1594   - "parent"
1595   - "doc"
1596   - "msg"
1597
1598 -
1599   type: "table"
1600   title: "Detailed Test Results - VPP MRR Results 2n-skx"
1601   algorithm: "table_details"
1602   output-file-ext: ".csv"
1603   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
1604   columns:
1605   -
1606     title: "Name"
1607     data: "data name"
1608   -
1609     title: "Status"
1610     data: "data msg"
1611   rows: "generated"
1612   data: "vpp-mrr-results-2n-skx"
1613   filter: "'MRR'"
1614   parameters:
1615   - "name"
1616   - "parent"
1617   - "doc"
1618   - "msg"
1619
1620 -
1621   type: "table"
1622   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
1623   algorithm: "table_details"
1624   output-file-ext: ".csv"
1625   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
1626   columns:
1627   -
1628     title: "Name"
1629     data: "data name"
1630   -
1631     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1632     data: "data vat-history"
1633   rows: "generated"
1634   data: "vpp-mrr-results-3n-hsw"
1635   filter: "'MRR'"
1636   parameters:
1637   - "parent"
1638   - "name"
1639   - "vat-history"
1640
1641 -
1642   type: "table"
1643   title: "Test configuration - VPP MRR Test Configs 3n-skx"
1644   algorithm: "table_details"
1645   output-file-ext: ".csv"
1646   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
1647   columns:
1648   -
1649     title: "Name"
1650     data: "data name"
1651   -
1652     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1653     data: "data vat-history"
1654   rows: "generated"
1655   data: "vpp-mrr-results-3n-skx"
1656   filter: "'MRR'"
1657   parameters:
1658   - "parent"
1659   - "name"
1660   - "vat-history"
1661
1662 -
1663   type: "table"
1664   title: "Test configuration - VPP MRR Test Configs 2n-skx"
1665   algorithm: "table_details"
1666   output-file-ext: ".csv"
1667   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
1668   columns:
1669   -
1670     title: "Name"
1671     data: "data name"
1672   -
1673     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1674     data: "data vat-history"
1675   rows: "generated"
1676   data: "vpp-mrr-results-2n-skx"
1677   filter: "'MRR'"
1678   parameters:
1679   - "parent"
1680   - "name"
1681   - "vat-history"
1682
1683 -
1684   type: "table"
1685   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
1686   algorithm: "table_details"
1687   output-file-ext: ".csv"
1688   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
1689   columns:
1690   -
1691     title: "Name"
1692     data: "data name"
1693   -
1694     title: "Documentation"
1695     data: "data doc"
1696   -
1697     title: "Status"
1698     data: "data status"
1699   rows: "generated"
1700   data: "vpp-func-results-ubuntu"
1701   filter: "all"
1702   parameters:
1703   - "name"
1704   - "parent"
1705   - "doc"
1706   - "status"
1707
1708 -
1709   type: "table"
1710   title: "Detailed Test Results - VPP Functional Results - CentOS"
1711   algorithm: "table_details"
1712   output-file-ext: ".csv"
1713   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1714   columns:
1715   -
1716     title: "Name"
1717     data: "data name"
1718   -
1719     title: "Documentation"
1720     data: "data doc"
1721   -
1722     title: "Status"
1723     data: "data status"
1724   rows: "generated"
1725   data:
1726     "vpp-func-results-centos"
1727   filter: "all"
1728   parameters:
1729   - "name"
1730   - "parent"
1731   - "doc"
1732   - "status"
1733
1734 -
1735   type: "table"
1736   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
1737   algorithm: "table_details"
1738   output-file-ext: ".csv"
1739   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
1740   columns:
1741   -
1742     title: "Name"
1743     data: "data name"
1744   -
1745     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1746     data: "data vat-history"
1747   rows: "generated"
1748   data: "vpp-func-results-ubuntu"
1749   filter: "all"
1750   parameters:
1751   - "parent"
1752   - "name"
1753   - "vat-history"
1754
1755 -
1756   type: "table"
1757   title: "Test configuration - VPP Functional Test Configs - CentOS"
1758   algorithm: "table_details"
1759   output-file-ext: ".csv"
1760   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
1761   columns:
1762   -
1763     title: "Name"
1764     data: "data name"
1765   -
1766     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1767     data: "data vat-history"
1768   rows: "generated"
1769   data: "vpp-func-results-centos"
1770   filter: "all"
1771   parameters:
1772   - "parent"
1773   - "name"
1774   - "vat-history"
1775
1776 -
1777   type: "table"
1778   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
1779   algorithm: "table_details"
1780   output-file-ext: ".csv"
1781   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
1782   columns:
1783   -
1784     title: "Name"
1785     data: "data name"
1786   -
1787     title: "Status"
1788     data: "data msg"
1789   rows: "generated"
1790   data: "ligato-perf-results-3n-hsw"
1791   filter: "all"
1792   parameters:
1793   - "name"
1794   - "parent"
1795   - "doc"
1796   - "msg"
1797
1798 ################################################################################
1799 # DPDK
1800 -
1801   type: "table"
1802   title: "DPDK Performance Changes 1t1c pdr"
1803   algorithm: "table_performance_comparison"
1804   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-pdr"
1805   reference:
1806     title: "rls1804"
1807     data:
1808       csit-dpdk-perf-1804-all:
1809       - 4
1810       - 5
1811       - 6
1812       - 7
1813       - 8
1814       - 9
1815       - 10
1816       - 11
1817       - 12
1818       - 13
1819   compare:
1820     title: "rls1807"
1821     data:
1822       csit-dpdk-perf-verify-1807-3n-hsw:
1823       - 11
1824       - 12  # full
1825       - 14
1826       - 15
1827       - 16
1828       - 17
1829       - 20
1830       - 21
1831       - 22
1832       - 23
1833   data: "dpdk-performance-changes"
1834   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1835   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1836   parameters:
1837   - "name"
1838   - "parent"
1839   - "throughput"
1840
1841 -
1842   type: "table"
1843   title: "DPDK Performance Changes 2t2c pdr"
1844   algorithm: "table_performance_comparison"
1845   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-pdr"
1846   reference:
1847     title: "rls1804"
1848     data:
1849       csit-dpdk-perf-1804-all:
1850       - 4
1851       - 5
1852       - 6
1853       - 7
1854       - 8
1855       - 9
1856       - 10
1857       - 11
1858       - 12
1859       - 13
1860   compare:
1861     title: "rls1807"
1862     data:
1863       csit-dpdk-perf-verify-1807-3n-hsw:
1864       - 11
1865       - 12  # full
1866       - 14
1867       - 15
1868       - 16
1869       - 17
1870       - 20
1871       - 21
1872       - 22
1873       - 23
1874   data: "dpdk-performance-changes"
1875   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1876   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1877   parameters:
1878   - "name"
1879   - "parent"
1880   - "throughput"
1881
1882 -
1883   type: "table"
1884   title: "DPDK Performance Changes 1t1c ndr"
1885   algorithm: "table_performance_comparison"
1886   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-ndr"
1887   reference:
1888     title: "rls1804"
1889     data:
1890       csit-dpdk-perf-1804-all:
1891       - 4
1892       - 5
1893       - 6
1894       - 7
1895       - 8
1896       - 9
1897       - 10
1898       - 11
1899       - 12
1900       - 13
1901   compare:
1902     title: "rls1807"
1903     data:
1904       csit-dpdk-perf-verify-1807-3n-hsw:
1905       - 11
1906       - 12  # full
1907       - 14
1908       - 15
1909       - 16
1910       - 17
1911       - 20
1912       - 21
1913       - 22
1914       - 23
1915   data: "dpdk-performance-changes"
1916   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1917   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1918   parameters:
1919   - "name"
1920   - "parent"
1921   - "throughput"
1922
1923 -
1924   type: "table"
1925   title: "DPDK Performance Changes 2t2c ndr"
1926   algorithm: "table_performance_comparison"
1927   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-ndr"
1928   reference:
1929     title: "rls1804"
1930     data:
1931       csit-dpdk-perf-1804-all:
1932       - 4
1933       - 5
1934       - 6
1935       - 7
1936       - 8
1937       - 9
1938       - 10
1939       - 11
1940       - 12
1941       - 13
1942   compare:
1943     title: "rls1807"
1944     data:
1945       csit-dpdk-perf-verify-1807-3n-hsw:
1946       - 11
1947       - 12  # full
1948       - 14
1949       - 15
1950       - 16
1951       - 17
1952       - 20
1953       - 21
1954       - 22
1955       - 23
1956   data: "dpdk-performance-changes"
1957   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1958   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1959   parameters:
1960   - "name"
1961   - "parent"
1962   - "throughput"
1963
1964 -
1965   type: "table"
1966   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1967   algorithm: "table_performance_comparison"
1968   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1969   reference:
1970     title: "3-Node Hsw"
1971     data:
1972       csit-dpdk-perf-verify-1807-3n-hsw:
1973       - 11
1974       - 12  # full
1975       - 14
1976       - 15
1977       - 16
1978       - 17
1979       - 20
1980       - 21
1981       - 22
1982       - 23
1983   compare:
1984     title: "3-Node Skx"
1985     data:
1986       csit-dpdk-perf-verify-1807-3n-skx:
1987       - 1
1988       - 2
1989       - 3
1990       - 6
1991       - 7
1992       - 8
1993       - 9
1994       - 10
1995       - 11
1996       - 12
1997   data: "dpdk-compare-testbeds"
1998   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1999   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2000   parameters:
2001   - "name"
2002   - "parent"
2003   - "throughput"
2004
2005 -
2006   type: "table"
2007   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
2008   algorithm: "table_performance_comparison"
2009   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
2010   reference:
2011     title: "3-Node Hsw"
2012     data:
2013       csit-dpdk-perf-verify-1807-3n-hsw:
2014       - 11
2015       - 12  # full
2016       - 14
2017       - 15
2018       - 16
2019       - 17
2020       - 20
2021       - 21
2022       - 22
2023       - 23
2024   compare:
2025     title: "3-Node Skx"
2026     data:
2027       csit-dpdk-perf-verify-1807-3n-skx:
2028       - 1
2029       - 2
2030       - 3
2031       - 6
2032       - 7
2033       - 8
2034       - 9
2035       - 10
2036       - 11
2037       - 12
2038   data: "dpdk-compare-testbeds"
2039   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2040   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2041   parameters:
2042   - "name"
2043   - "parent"
2044   - "throughput"
2045
2046 -
2047   type: "table"
2048   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
2049   algorithm: "table_performance_comparison"
2050   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
2051   reference:
2052     title: "3-Node Hsw"
2053     data:
2054       csit-dpdk-perf-verify-1807-3n-hsw:
2055       - 11
2056       - 12  # full
2057       - 14
2058       - 15
2059       - 16
2060       - 17
2061       - 20
2062       - 21
2063       - 22
2064       - 23
2065   compare:
2066     title: "3-Node Skx"
2067     data:
2068       csit-dpdk-perf-verify-1807-3n-skx:
2069       - 1
2070       - 2
2071       - 3
2072       - 6
2073       - 7
2074       - 8
2075       - 9
2076       - 10
2077       - 11
2078       - 12
2079   data: "dpdk-compare-testbeds"
2080   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2081   filter: "'NIC_Intel-X710' and MRR" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2082   parameters:
2083   - "name"
2084   - "parent"
2085   - "throughput"
2086
2087 -
2088   type: "table"
2089   title: "Detailed Test Results - DPDK Performance Results 3n-hsw"
2090   algorithm: "table_details"
2091   output-file-ext: ".csv"
2092   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
2093   columns:
2094   -
2095     title: "Name"
2096     data: "data name"
2097   -
2098     title: "Status"
2099     data: "data msg"
2100   rows: "generated"
2101   data: "dpdk-perf-results-3n-hsw"
2102   filter: "all"
2103   parameters:
2104   - "name"
2105   - "parent"
2106   - "msg"
2107
2108 -
2109   type: "table"
2110   title: "Detailed Test Results - DPDK Performance Results 3n-skx"
2111   algorithm: "table_details"
2112   output-file-ext: ".csv"
2113   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
2114   columns:
2115   -
2116     title: "Name"
2117     data: "data name"
2118   -
2119     title: "Status"
2120     data: "data msg"
2121   rows: "generated"
2122   data: "dpdk-perf-results-3n-skx"
2123   filter: "all"
2124   parameters:
2125   - "name"
2126   - "parent"
2127   - "msg"
2128
2129 -
2130   type: "table"
2131   title: "Detailed Test Results - DPDK Performance Results 2n-skx"
2132   algorithm: "table_details"
2133   output-file-ext: ".csv"
2134   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
2135   columns:
2136   -
2137     title: "Name"
2138     data: "data name"
2139   -
2140     title: "Status"
2141     data: "data msg"
2142   rows: "generated"
2143   data: "dpdk-perf-results-2n-skx"
2144   filter: "all"
2145   parameters:
2146   - "name"
2147   - "parent"
2148   - "msg"
2149
2150
2151 ################################################################################
2152 # HoneyComb
2153 -
2154   type: "table"
2155   title: "Detailed Test Results - Honeycomb Functional Results"
2156   algorithm: "table_details"
2157   output-file-ext: ".csv"
2158   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
2159   columns:
2160   -
2161     title: "Name"
2162     data: "data name"
2163   -
2164     title: "Documentation"
2165     data: "data doc"
2166   -
2167     title: "Status"
2168     data: "data status"
2169   rows: "generated"
2170   data:
2171     "hc-func-results"
2172   filter: "all"
2173   parameters:
2174   - "name"
2175   - "parent"
2176   - "doc"
2177   - "status"
2178
2179 ################################################################################
2180 # NSH SFC
2181 -
2182   type: "table"
2183   title: "Detailed Test Results - NSH SFC Functional Results"
2184   algorithm: "table_details"
2185   output-file-ext: ".csv"
2186   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
2187   columns:
2188   -
2189     title: "Name"
2190     data: "data name"
2191   -
2192     title: "Documentation"
2193     data: "data doc"
2194   -
2195     title: "Status"
2196     data: "data status"
2197   rows: "generated"
2198   data:
2199     "nsh-func-results"
2200   filter: "all"
2201   parameters:
2202   - "name"
2203   - "parent"
2204   - "doc"
2205   - "status"
2206
2207 ################################################################################
2208 # DMM
2209 -
2210   type: "table"
2211   title: "Detailed Test Results - DMM Functional Results"
2212   algorithm: "table_details"
2213   output-file-ext: ".csv"
2214   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
2215   columns:
2216   -
2217     title: "Name"
2218     data: "data name"
2219   -
2220     title: "Documentation"
2221     data: "data doc"
2222   -
2223     title: "Status"
2224     data: "data status"
2225   rows: "generated"
2226   data:
2227     "dmm-func-results"
2228   filter: "all"
2229   parameters:
2230   - "name"
2231   - "parent"
2232   - "doc"
2233   - "status"
2234
2235 ################################################################################
2236 ###                                F I L E S                                 ###
2237 ################################################################################
2238
2239 -
2240   type: "file"
2241   title: "VPP Performance Results 3n-hsw"
2242   algorithm: "file_test_results"
2243   output-file-ext: ".rst"
2244   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
2245   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2246   dir-tables: "{DIR[DTR,PERF,VPP,3N,HSW]}"
2247   data: "vpp-perf-results-3n-hsw"
2248   filter: "not 'NDRCHK' and not 'PDRCHK'"
2249   parameters:
2250   - "name"
2251   - "doc"
2252   - "level"
2253   - "parent"
2254   data-start-level: 3
2255
2256 -
2257   type: "file"
2258   title: "VPP Performance Results 3n-skx"
2259   algorithm: "file_test_results"
2260   output-file-ext: ".rst"
2261   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
2262   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2263   dir-tables: "{DIR[DTR,PERF,VPP,3N,SKX]}"
2264   data: "vpp-perf-results-3n-skx"
2265   filter: "not 'NDRCHK' and not 'PDRCHK'"
2266   parameters:
2267   - "name"
2268   - "doc"
2269   - "level"
2270   - "parent"
2271   data-start-level: 3
2272
2273 -
2274   type: "file"
2275   title: "VPP Performance Results 2n-skx"
2276   algorithm: "file_test_results"
2277   output-file-ext: ".rst"
2278   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
2279   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2280   dir-tables: "{DIR[DTR,PERF,VPP,2N,SKX]}"
2281   data: "vpp-perf-results-2n-skx"
2282   filter: "not 'NDRCHK' and not 'PDRCHK'"
2283   parameters:
2284   - "name"
2285   - "doc"
2286   - "level"
2287   - "parent"
2288   data-start-level: 3
2289
2290 -
2291   type: "file"
2292   title: "VPP Performance Configuration 3n-hsw"
2293   algorithm: "file_test_results"
2294   output-file-ext: ".rst"
2295   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_performance_configuration_3n_hsw"
2296   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2297   dir-tables: "{DIR[DTC,PERF,VPP,3N,HSW]}"
2298   data: "vpp-perf-results-3n-hsw"
2299   filter: "not 'NDRCHK' and not 'PDRCHK'"
2300   parameters:
2301   - "name"
2302   - "doc"
2303   - "level"
2304   - "parent"
2305   data-start-level: 3
2306
2307 -
2308   type: "file"
2309   title: "VPP Performance Configuration 3n-skx"
2310   algorithm: "file_test_results"
2311   output-file-ext: ".rst"
2312   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_performance_configuration_3n_skx"
2313   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2314   dir-tables: "{DIR[DTC,PERF,VPP,3N,SKX]}"
2315   data: "vpp-perf-results-3n-skx"
2316   filter: "not 'NDRCHK' and not 'PDRCHK'"
2317   parameters:
2318   - "name"
2319   - "doc"
2320   - "level"
2321   - "parent"
2322   data-start-level: 3
2323
2324 -
2325   type: "file"
2326   title: "VPP Performance Configuration 2n-skx"
2327   algorithm: "file_test_results"
2328   output-file-ext: ".rst"
2329   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_performance_configuration_2n_skx"
2330   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2331   dir-tables: "{DIR[DTC,PERF,VPP,2N,SKX]}"
2332   data: "vpp-perf-results-2n-skx"
2333   filter: "not 'NDRCHK' and not 'PDRCHK'"
2334   parameters:
2335   - "name"
2336   - "doc"
2337   - "level"
2338   - "parent"
2339   data-start-level: 3
2340
2341 -
2342   type: "file"
2343   title: "VPP Performance Operational Data 3n-hsw"
2344   algorithm: "file_test_results"
2345   output-file-ext: ".rst"
2346   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_performance_operational_data_3n_hsw"
2347   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2348   dir-tables: "{DIR[DTO,PERF,VPP,3N,HSW]}"
2349   data: "vpp-perf-results-3n-hsw"
2350   filter: "not 'NDRCHK' and not 'PDRCHK'"
2351   parameters:
2352   - "name"
2353   - "doc"
2354   - "level"
2355   - "parent"
2356   data-start-level: 3
2357
2358 -
2359   type: "file"
2360   title: "VPP Performance Operational Data 3n-skx"
2361   algorithm: "file_test_results"
2362   output-file-ext: ".rst"
2363   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_performance_operational_data_3n_skx"
2364   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2365   dir-tables: "{DIR[DTO,PERF,VPP,3N,SKX]}"
2366   data: "vpp-perf-results-3n-skx"
2367   filter: "not 'NDRCHK' and not 'PDRCHK'"
2368   parameters:
2369   - "name"
2370   - "doc"
2371   - "level"
2372   - "parent"
2373   data-start-level: 3
2374
2375 -
2376   type: "file"
2377   title: "VPP Performance Operational Data 2n-skx"
2378   algorithm: "file_test_results"
2379   output-file-ext: ".rst"
2380   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_performance_operational_data_2n_skx"
2381   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2382   dir-tables: "{DIR[DTO,PERF,VPP,2N,SKX]}"
2383   data: "vpp-perf-results-2n-skx"
2384   filter: "not 'NDRCHK' and not 'PDRCHK'"
2385   parameters:
2386   - "name"
2387   - "doc"
2388   - "level"
2389   - "parent"
2390   data-start-level: 3
2391
2392 -
2393   type: "file"
2394   title: "VPP MRR Results 3n-hsw"
2395   algorithm: "file_test_results"
2396   output-file-ext: ".rst"
2397   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
2398   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2399   dir-tables: "{DIR[DTR,MRR,VPP,3N,HSW]}"
2400   data: "vpp-mrr-results-3n-hsw"
2401   filter: "'MRR'"
2402   parameters:
2403   - "name"
2404   - "doc"
2405   - "level"
2406   - "parent"
2407   data-start-level: 3
2408
2409 -
2410   type: "file"
2411   title: "VPP MRR Results 3n-skx"
2412   algorithm: "file_test_results"
2413   output-file-ext: ".rst"
2414   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
2415   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2416   dir-tables: "{DIR[DTR,MRR,VPP,3N,SKX]}"
2417   data: "vpp-mrr-results-3n-skx"
2418   filter: "'MRR'"
2419   parameters:
2420   - "name"
2421   - "doc"
2422   - "level"
2423   - "parent"
2424   data-start-level: 3
2425
2426 -
2427   type: "file"
2428   title: "VPP MRR Results 2n-skx"
2429   algorithm: "file_test_results"
2430   output-file-ext: ".rst"
2431   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
2432   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2433   dir-tables: "{DIR[DTR,MRR,VPP,2N,SKX]}"
2434   data: "vpp-mrr-results-2n-skx"
2435   filter: "all"
2436   parameters:
2437   - "name"
2438   - "doc"
2439   - "level"
2440   - "parent"
2441   data-start-level: 3
2442
2443 -
2444   type: "file"
2445   title: "VPP MRR Configuration 3n-hsw"
2446   algorithm: "file_test_results"
2447   output-file-ext: ".rst"
2448   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_configuration_3n_hsw"
2449   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2450   dir-tables: "{DIR[DTC,MRR,VPP,3N,HSW]}"
2451   data: "vpp-mrr-results-3n-hsw"
2452   filter: "'MRR'"
2453   parameters:
2454   - "name"
2455   - "doc"
2456   - "level"
2457   - "parent"
2458   data-start-level: 3
2459
2460 -
2461   type: "file"
2462   title: "VPP MRR Configuration 3n-skx"
2463   algorithm: "file_test_results"
2464   output-file-ext: ".rst"
2465   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_configuration_3n_skx"
2466   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2467   dir-tables: "{DIR[DTC,MRR,VPP,3N,SKX]}"
2468   data: "vpp-mrr-results-3n-skx"
2469   filter: "'MRR'"
2470   parameters:
2471   - "name"
2472   - "doc"
2473   - "level"
2474   - "parent"
2475   data-start-level: 3
2476
2477 -
2478   type: "file"
2479   title: "VPP MRR Configuration 2n-skx"
2480   algorithm: "file_test_results"
2481   output-file-ext: ".rst"
2482   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_configuration_2n_skx"
2483   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2484   dir-tables: "{DIR[DTC,MRR,VPP,2N,SKX]}"
2485   data: "vpp-mrr-results-2n-skx"
2486   filter: "'MRR'"
2487   parameters:
2488   - "name"
2489   - "doc"
2490   - "level"
2491   - "parent"
2492   data-start-level: 3
2493
2494 -
2495   type: "file"
2496   title: "VPP Functional Results - Ubuntu"
2497   algorithm: "file_test_results"
2498   output-file-ext: ".rst"
2499   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
2500   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2501   dir-tables: "{DIR[DTR,FUNC,VPP,UBUNTU]}"
2502   data: "vpp-func-results-ubuntu"
2503   filter: "all"
2504   parameters:
2505   - "name"
2506   - "doc"
2507   - "level"
2508   - "parent"
2509   data-start-level: 4
2510
2511 -
2512   type: "file"
2513   title: "VPP Functional Results - CentOS"
2514   algorithm: "file_test_results"
2515   output-file-ext: ".rst"
2516   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
2517   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2518   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
2519   data:
2520     "vpp-func-results-centos"
2521   filter: "all"
2522   parameters:
2523   - "name"
2524   - "doc"
2525   - "level"
2526   - "parent"
2527   data-start-level: 4
2528
2529 -
2530   type: "file"
2531   title: "VPP Functional Configuration - Ubuntu"
2532   algorithm: "file_test_results"
2533   output-file-ext: ".rst"
2534   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
2535   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2536   dir-tables: "{DIR[DTC,FUNC,VPP,UBUNTU]}"
2537   data: "vpp-func-results-ubuntu"
2538   filter: "all"
2539   parameters:
2540   - "name"
2541   - "doc"
2542   - "level"
2543   - "parent"
2544   data-start-level: 4
2545
2546 -
2547   type: "file"
2548   title: "VPP Functional Configuration - CentOS"
2549   algorithm: "file_test_results"
2550   output-file-ext: ".rst"
2551   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2552   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2553   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
2554   data:
2555     "vpp-func-results-centos"
2556   filter: "all"
2557   parameters:
2558   - "name"
2559   - "doc"
2560   - "level"
2561   - "parent"
2562   data-start-level: 4
2563
2564 -
2565   type: "file"
2566   title: "Container Orchestrated Performance Results 3n-hsw"
2567   algorithm: "file_test_results"
2568   output-file-ext: ".rst"
2569   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2570   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2571   dir-tables: "{DIR[DTR,PERF,COT,3N,HSW]}"
2572   data: "ligato-perf-results-3n-hsw"
2573   filter: "all"
2574   parameters:
2575   - "name"
2576   - "doc"
2577   - "level"
2578   - "parent"
2579   data-start-level: 3
2580
2581 -
2582   type: "file"
2583   title: "DPDK Performance Results 3n-hsw"
2584   algorithm: "file_test_results"
2585   output-file-ext: ".rst"
2586   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
2587   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2588   dir-tables: "{DIR[DTR,PERF,DPDK,3N,HSW]}"
2589   data: "dpdk-perf-results-3n-hsw"
2590   filter: "all"
2591   parameters:
2592   - "name"
2593   - "doc"
2594   - "level"
2595   - "parent"
2596   data-start-level: 3
2597
2598 -
2599   type: "file"
2600   title: "DPDK Performance Results 3n-skx"
2601   algorithm: "file_test_results"
2602   output-file-ext: ".rst"
2603   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
2604   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2605   dir-tables: "{DIR[DTR,PERF,DPDK,3N,SKX]}"
2606   data: "dpdk-perf-results-3n-skx"
2607   filter: "all"
2608   parameters:
2609   - "name"
2610   - "doc"
2611   - "level"
2612   - "parent"
2613   data-start-level: 3
2614
2615 -
2616   type: "file"
2617   title: "DPDK Performance Results 2n-skx"
2618   algorithm: "file_test_results"
2619   output-file-ext: ".rst"
2620   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
2621   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2622   dir-tables: "{DIR[DTR,PERF,DPDK,2N,SKX]}"
2623   data: "dpdk-perf-results-2n-skx"
2624   filter: "all"
2625   parameters:
2626   - "name"
2627   - "doc"
2628   - "level"
2629   - "parent"
2630   data-start-level: 3
2631
2632 -
2633   type: "file"
2634   title: "Honeycomb Functional Results"
2635   algorithm: "file_test_results"
2636   output-file-ext: ".rst"
2637   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
2638   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2639   dir-tables: "{DIR[DTR,FUNC,HC]}"
2640   data:
2641     "hc-func-results"
2642   filter: "all"
2643   parameters:
2644   - "name"
2645   - "doc"
2646   - "level"
2647   - "parent"
2648   data-start-level: 3
2649
2650 -
2651   type: "file"
2652   title: "NSH SFC Functional Results"
2653   algorithm: "file_test_results"
2654   output-file-ext: ".rst"
2655   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
2656   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2657   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
2658   data:
2659     "nsh-func-results"
2660   filter: "all"
2661   parameters:
2662   - "name"
2663   - "doc"
2664   - "level"
2665   - "parent"
2666   data-start-level: 3
2667
2668 -
2669   type: "file"
2670   title: "DMM Functional Results"
2671   algorithm: "file_test_results"
2672   output-file-ext: ".rst"
2673   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
2674   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2675   dir-tables: "{DIR[DTR,FUNC,DMM]}"
2676   data:
2677     "dmm-func-results"
2678   filter: "all"
2679   parameters:
2680   - "name"
2681   - "doc"
2682   - "level"
2683   - "parent"
2684   data-start-level: 3
2685
2686 ################################################################################
2687 ###                                P L O T S                                 ###
2688 ################################################################################
2689
2690 ################################################################################
2691 # Plots VPP HTTP Server Performance
2692 -
2693   type: "plot"
2694   title: "VPP HTTP Server Performance"
2695   algorithm: "plot_http_server_performance_box"
2696   output-file-type: ".html"
2697   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
2698   data:
2699     "plot-vpp-http-server-performance"
2700   # Keep this formatting, the filter is enclosed with " (quotation mark) and
2701   # each tag is enclosed with ' (apostrophe).
2702   filter: "'HTTP' and 'TCP_CPS'"
2703   parameters:
2704   - "result"
2705   - "name"
2706   traces:
2707     hoverinfo: "x+y"
2708     boxpoints: "outliers"
2709     whiskerwidth: 0
2710   layout:
2711     title: "VPP HTTP Server Performance"
2712     layout:
2713       "plot-cps"
2714
2715 -
2716   type: "plot"
2717   title: "VPP HTTP Server Performance"
2718   algorithm: "plot_http_server_performance_box"
2719   output-file-type: ".html"
2720   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
2721   data:
2722     "plot-vpp-http-server-performance"
2723   filter: "'HTTP' and 'TCP_RPS'"
2724   parameters:
2725   - "result"
2726   - "name"
2727   traces:
2728     hoverinfo: "x+y"
2729     boxpoints: "outliers"
2730     whiskerwidth: 0
2731   layout:
2732     title: "VPP HTTP Server Performance"
2733     layout:
2734       "plot-rps"
2735
2736 ################################################################################
2737
2738 # Packet Throughput - VPP L2 3n-hsw-x520
2739 -
2740   type: "plot"
2741   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
2742   algorithm: "plot_performance_box"
2743   output-file-type: ".html"
2744   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
2745   data: "plot-vpp-throughput-latency-3n-hsw"
2746   filter: "'NIC_Intel-X520-DA2' and
2747            '64B' and
2748            ('BASE' or 'SCALE') and
2749            'NDRPDR' and
2750            '1T1C' and
2751            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2752            not 'VHOST' and
2753            not 'MEMIF'"
2754   parameters:
2755   - "throughput"
2756   - "parent"
2757   traces:
2758     hoverinfo: "x+y"
2759     boxpoints: "outliers"
2760     whiskerwidth: 0
2761   layout:
2762     title: ""  # No title
2763     layout: "plot-throughput"
2764
2765 -
2766   type: "plot"
2767   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
2768   algorithm: "plot_performance_box"
2769   output-file-type: ".html"
2770   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
2771   data: "plot-vpp-throughput-latency-3n-hsw"
2772   filter: "'NIC_Intel-X520-DA2' and
2773            '64B' and
2774            ('BASE' or 'SCALE') and
2775            'NDRPDR' and
2776            '1T1C' and
2777            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2778            not 'VHOST' and
2779            not 'MEMIF'"
2780   parameters:
2781   - "throughput"
2782   - "parent"
2783   traces:
2784     hoverinfo: "x+y"
2785     boxpoints: "outliers"
2786     whiskerwidth: 0
2787   layout:
2788     title: ""  # No title
2789     layout: "plot-throughput"
2790
2791 -
2792   type: "plot"
2793   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
2794   algorithm: "plot_performance_box"
2795   output-file-type: ".html"
2796   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
2797   data: "plot-vpp-throughput-latency-3n-hsw"
2798   filter: "'NIC_Intel-X520-DA2' and
2799            '64B' and
2800            ('BASE' or 'SCALE') and
2801            'NDRPDR' and
2802            '2T2C' and
2803            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2804            not 'VHOST' and
2805            not 'MEMIF'"
2806   parameters:
2807   - "throughput"
2808   - "parent"
2809   traces:
2810     hoverinfo: "x+y"
2811     boxpoints: "outliers"
2812     whiskerwidth: 0
2813   layout:
2814     title: ""  # No title
2815     layout: "plot-throughput"
2816
2817 -
2818   type: "plot"
2819   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
2820   algorithm: "plot_performance_box"
2821   output-file-type: ".html"
2822   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
2823   data: "plot-vpp-throughput-latency-3n-hsw"
2824   filter: "'NIC_Intel-X520-DA2' and
2825            '64B' and
2826            ('BASE' or 'SCALE') and
2827            'NDRPDR' and
2828            '2T2C' and
2829            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2830            not 'VHOST' and
2831            not 'MEMIF'"
2832   parameters:
2833   - "throughput"
2834   - "parent"
2835   traces:
2836     hoverinfo: "x+y"
2837     boxpoints: "outliers"
2838     whiskerwidth: 0
2839   layout:
2840     title: ""  # No title
2841     layout: "plot-throughput"
2842
2843 -
2844   type: "plot"
2845   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
2846   algorithm: "plot_performance_box"
2847   output-file-type: ".html"
2848   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
2849   data: "plot-vpp-throughput-latency-3n-hsw"
2850   filter: "'NIC_Intel-X520-DA2' and
2851            '64B' and
2852            'FEATURE' and
2853            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2854            'NDRPDR' and
2855            '1T1C' and
2856            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2857            not 'VHOST' and
2858            not 'MEMIF'"
2859   parameters:
2860   - "throughput"
2861   - "parent"
2862   traces:
2863     hoverinfo: "x+y"
2864     boxpoints: "outliers"
2865     whiskerwidth: 0
2866   layout:
2867     title: ""  # No title
2868     layout: "plot-throughput"
2869
2870 -
2871   type: "plot"
2872   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
2873   algorithm: "plot_performance_box"
2874   output-file-type: ".html"
2875   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
2876   data: "plot-vpp-throughput-latency-3n-hsw"
2877   filter: "'NIC_Intel-X520-DA2' and
2878            '64B' and
2879            'FEATURE' and
2880            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2881            'NDRPDR' and
2882            '1T1C' and
2883            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2884            not 'VHOST' and
2885            not 'MEMIF'"
2886   parameters:
2887   - "throughput"
2888   - "parent"
2889   traces:
2890     hoverinfo: "x+y"
2891     boxpoints: "outliers"
2892     whiskerwidth: 0
2893   layout:
2894     title: ""  # No title
2895     layout: "plot-throughput"
2896
2897 -
2898   type: "plot"
2899   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
2900   algorithm: "plot_performance_box"
2901   output-file-type: ".html"
2902   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
2903   data: "plot-vpp-throughput-latency-3n-hsw"
2904   filter: "'NIC_Intel-X520-DA2' and
2905            '64B' and
2906            'FEATURE' and
2907            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2908            'NDRPDR' and
2909            '2T2C' and
2910            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2911            not 'VHOST' and
2912            not 'MEMIF'"
2913   parameters:
2914   - "throughput"
2915   - "parent"
2916   traces:
2917     hoverinfo: "x+y"
2918     boxpoints: "outliers"
2919     whiskerwidth: 0
2920   layout:
2921     title: ""  # No title
2922     layout: "plot-throughput"
2923
2924 -
2925   type: "plot"
2926   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
2927   algorithm: "plot_performance_box"
2928   output-file-type: ".html"
2929   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
2930   data: "plot-vpp-throughput-latency-3n-hsw"
2931   filter: "'NIC_Intel-X520-DA2' and
2932            '64B' and
2933            'FEATURE' and
2934            ('ACL10' or 'ACL50') and '10k_FLOWS' and
2935            'NDRPDR' and
2936            '2T2C' and
2937            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2938            not 'VHOST' and
2939            not 'MEMIF'"
2940   parameters:
2941   - "throughput"
2942   - "parent"
2943   traces:
2944     hoverinfo: "x+y"
2945     boxpoints: "outliers"
2946     whiskerwidth: 0
2947   layout:
2948     title: ""  # No title
2949     layout: "plot-throughput"
2950
2951 # Packet Throughput - VPP L2 3n-hsw-x710
2952 -
2953   type: "plot"
2954   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
2955   algorithm: "plot_performance_box"
2956   output-file-type: ".html"
2957   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
2958   data: "plot-vpp-throughput-latency-3n-hsw"
2959   filter: "'NIC_Intel-X710' and
2960            '64B' and
2961            ('BASE' or 'SCALE') and
2962            'NDRPDR' and
2963            '1T1C' and
2964            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2965            not 'VHOST' and
2966            not 'MEMIF'"
2967   parameters:
2968   - "throughput"
2969   - "parent"
2970   traces:
2971     hoverinfo: "x+y"
2972     boxpoints: "outliers"
2973     whiskerwidth: 0
2974   layout:
2975     title: ""  # No title
2976     layout: "plot-throughput"
2977
2978 -
2979   type: "plot"
2980   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
2981   algorithm: "plot_performance_box"
2982   output-file-type: ".html"
2983   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
2984   data: "plot-vpp-throughput-latency-3n-hsw"
2985   filter: "'NIC_Intel-X710' and
2986            '64B' and
2987            ('BASE' or 'SCALE') and
2988            'NDRPDR' and
2989            '1T1C' and
2990            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
2991            not 'VHOST' and
2992            not 'MEMIF'"
2993   parameters:
2994   - "throughput"
2995   - "parent"
2996   traces:
2997     hoverinfo: "x+y"
2998     boxpoints: "outliers"
2999     whiskerwidth: 0
3000   layout:
3001     title: ""  # No title
3002     layout: "plot-throughput"
3003
3004 -
3005   type: "plot"
3006   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
3007   algorithm: "plot_performance_box"
3008   output-file-type: ".html"
3009   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
3010   data: "plot-vpp-throughput-latency-3n-hsw"
3011   filter: "'NIC_Intel-X710' and
3012            '64B' and
3013            ('BASE' or 'SCALE') and
3014            'NDRPDR' and
3015            '2T2C' and
3016            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3017            not 'VHOST' and
3018            not 'MEMIF'"
3019   parameters:
3020   - "throughput"
3021   - "parent"
3022   traces:
3023     hoverinfo: "x+y"
3024     boxpoints: "outliers"
3025     whiskerwidth: 0
3026   layout:
3027     title: ""  # No title
3028     layout: "plot-throughput"
3029
3030 -
3031   type: "plot"
3032   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
3033   algorithm: "plot_performance_box"
3034   output-file-type: ".html"
3035   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
3036   data: "plot-vpp-throughput-latency-3n-hsw"
3037   filter: "'NIC_Intel-X710' and
3038            '64B' and
3039            ('BASE' or 'SCALE') and
3040            'NDRPDR' and
3041            '2T2C' and
3042            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3043            not 'VHOST' and
3044            not 'MEMIF'"
3045   parameters:
3046   - "throughput"
3047   - "parent"
3048   traces:
3049     hoverinfo: "x+y"
3050     boxpoints: "outliers"
3051     whiskerwidth: 0
3052   layout:
3053     title: ""  # No title
3054     layout: "plot-throughput"
3055
3056 -
3057   type: "plot"
3058   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-features-ndr"
3059   algorithm: "plot_performance_box"
3060   output-file-type: ".html"
3061   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-features-ndr"
3062   data: "plot-vpp-throughput-latency-3n-hsw"
3063   filter: "'NIC_Intel-X710' and
3064            '64B' and
3065            'FEATURE' and
3066            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3067            'NDRPDR' and
3068            '1T1C' and
3069            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3070            not 'VHOST' and
3071            not 'MEMIF'"
3072   parameters:
3073   - "throughput"
3074   - "parent"
3075   traces:
3076     hoverinfo: "x+y"
3077     boxpoints: "outliers"
3078     whiskerwidth: 0
3079   layout:
3080     title: ""  # No title
3081     layout: "plot-throughput"
3082
3083 -
3084   type: "plot"
3085   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-features-pdr"
3086   algorithm: "plot_performance_box"
3087   output-file-type: ".html"
3088   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-features-pdr"
3089   data: "plot-vpp-throughput-latency-3n-hsw"
3090   filter: "'NIC_Intel-X710' and
3091            '64B' and
3092            'FEATURE' and
3093            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3094            'NDRPDR' and
3095            '1T1C' and
3096            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3097            not 'VHOST' and
3098            not 'MEMIF'"
3099   parameters:
3100   - "throughput"
3101   - "parent"
3102   traces:
3103     hoverinfo: "x+y"
3104     boxpoints: "outliers"
3105     whiskerwidth: 0
3106   layout:
3107     title: ""  # No title
3108     layout: "plot-throughput"
3109
3110 -
3111   type: "plot"
3112   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-features-ndr"
3113   algorithm: "plot_performance_box"
3114   output-file-type: ".html"
3115   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-features-ndr"
3116   data: "plot-vpp-throughput-latency-3n-hsw"
3117   filter: "'NIC_Intel-X710' and
3118            '64B' and
3119            'FEATURE' and
3120            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3121            'NDRPDR' and
3122            '2T2C' and
3123            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3124            not 'VHOST' and
3125            not 'MEMIF'"
3126   parameters:
3127   - "throughput"
3128   - "parent"
3129   traces:
3130     hoverinfo: "x+y"
3131     boxpoints: "outliers"
3132     whiskerwidth: 0
3133   layout:
3134     title: ""  # No title
3135     layout: "plot-throughput"
3136
3137 -
3138   type: "plot"
3139   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-features-pdr"
3140   algorithm: "plot_performance_box"
3141   output-file-type: ".html"
3142   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-features-pdr"
3143   data: "plot-vpp-throughput-latency-3n-hsw"
3144   filter: "'NIC_Intel-X710' and
3145            '64B' and
3146            'FEATURE' and
3147            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3148            'NDRPDR' and
3149            '2T2C' and
3150            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3151            not 'VHOST' and
3152            not 'MEMIF'"
3153   parameters:
3154   - "throughput"
3155   - "parent"
3156   traces:
3157     hoverinfo: "x+y"
3158     boxpoints: "outliers"
3159     whiskerwidth: 0
3160   layout:
3161     title: ""  # No title
3162     layout: "plot-throughput"
3163
3164 # Packet Throughput - VPP L2 3n-hsw-xl710
3165 -
3166   type: "plot"
3167   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3168   algorithm: "plot_performance_box"
3169   output-file-type: ".html"
3170   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3171   data: "plot-vpp-throughput-latency-3n-hsw"
3172   filter: "'NIC_Intel-XL710' and
3173            '64B' and
3174            ('BASE' or 'SCALE') and
3175            'NDRPDR' and
3176            '1T1C' and
3177            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3178            not 'VHOST' and
3179            not 'MEMIF'"
3180   parameters:
3181   - "throughput"
3182   - "parent"
3183   traces:
3184     hoverinfo: "x+y"
3185     boxpoints: "outliers"
3186     whiskerwidth: 0
3187   layout:
3188     title: ""  # No title
3189     layout: "plot-throughput"
3190
3191 -
3192   type: "plot"
3193   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3194   algorithm: "plot_performance_box"
3195   output-file-type: ".html"
3196   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3197   data: "plot-vpp-throughput-latency-3n-hsw"
3198   filter: "'NIC_Intel-XL710' and
3199            '64B' and
3200            ('BASE' or 'SCALE') and
3201            'NDRPDR' and
3202            '1T1C' and
3203            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3204            not 'VHOST' and
3205            not 'MEMIF'"
3206   parameters:
3207   - "throughput"
3208   - "parent"
3209   traces:
3210     hoverinfo: "x+y"
3211     boxpoints: "outliers"
3212     whiskerwidth: 0
3213   layout:
3214     title: ""  # No title
3215     layout: "plot-throughput"
3216
3217 -
3218   type: "plot"
3219   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3220   algorithm: "plot_performance_box"
3221   output-file-type: ".html"
3222   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3223   data: "plot-vpp-throughput-latency-3n-hsw"
3224   filter: "'NIC_Intel-XL710' and
3225            '64B' and
3226            ('BASE' or 'SCALE') and
3227            'NDRPDR' and
3228            '2T2C' and
3229            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3230            not 'VHOST' and
3231            not 'MEMIF'"
3232   parameters:
3233   - "throughput"
3234   - "parent"
3235   traces:
3236     hoverinfo: "x+y"
3237     boxpoints: "outliers"
3238     whiskerwidth: 0
3239   layout:
3240     title: ""  # No title
3241     layout: "plot-throughput"
3242
3243 -
3244   type: "plot"
3245   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
3246   algorithm: "plot_performance_box"
3247   output-file-type: ".html"
3248   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
3249   data: "plot-vpp-throughput-latency-3n-hsw"
3250   filter: "'NIC_Intel-XL710' and
3251            '64B' and
3252            ('BASE' or 'SCALE') and
3253            'NDRPDR' and
3254            '2T2C' and
3255            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3256            not 'VHOST' and
3257            not 'MEMIF'"
3258   parameters:
3259   - "throughput"
3260   - "parent"
3261   traces:
3262     hoverinfo: "x+y"
3263     boxpoints: "outliers"
3264     whiskerwidth: 0
3265   layout:
3266     title: ""  # No title
3267     layout: "plot-throughput"
3268
3269 # Packet Throughput - VPP L2 3n-skx-x710
3270 -
3271   type: "plot"
3272   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
3273   algorithm: "plot_performance_box"
3274   output-file-type: ".html"
3275   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
3276   data: "plot-vpp-throughput-latency-3n-skx"
3277   filter: "'NIC_Intel-X710' and
3278            '64B' and
3279            ('BASE' or 'SCALE') and
3280            'NDRPDR' and
3281            '2T1C' and
3282            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3283            not 'VHOST' and
3284            not 'MEMIF'"
3285   parameters:
3286   - "throughput"
3287   - "parent"
3288   traces:
3289     hoverinfo: "x+y"
3290     boxpoints: "outliers"
3291     whiskerwidth: 0
3292   layout:
3293     title: ""  # No title
3294     layout: "plot-throughput"
3295
3296 -
3297   type: "plot"
3298   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
3299   algorithm: "plot_performance_box"
3300   output-file-type: ".html"
3301   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
3302   data: "plot-vpp-throughput-latency-3n-skx"
3303   filter: "'NIC_Intel-X710' and
3304            '64B' and
3305            ('BASE' or 'SCALE') and
3306            'NDRPDR' and
3307            '2T1C' and
3308            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3309            not 'VHOST' and
3310            not 'MEMIF'"
3311   parameters:
3312   - "throughput"
3313   - "parent"
3314   traces:
3315     hoverinfo: "x+y"
3316     boxpoints: "outliers"
3317     whiskerwidth: 0
3318   layout:
3319     title: ""  # No title
3320     layout: "plot-throughput"
3321
3322 -
3323   type: "plot"
3324   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
3325   algorithm: "plot_performance_box"
3326   output-file-type: ".html"
3327   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
3328   data: "plot-vpp-throughput-latency-3n-skx"
3329   filter: "'NIC_Intel-X710' and
3330            '64B' and
3331            ('BASE' or 'SCALE') and
3332            'NDRPDR' and
3333            '4T2C' and
3334            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3335            not 'VHOST' and
3336            not 'MEMIF'"
3337   parameters:
3338   - "throughput"
3339   - "parent"
3340   traces:
3341     hoverinfo: "x+y"
3342     boxpoints: "outliers"
3343     whiskerwidth: 0
3344   layout:
3345     title: ""  # No title
3346     layout: "plot-throughput"
3347
3348 -
3349   type: "plot"
3350   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-base_and_scale-pdr"
3351   algorithm: "plot_performance_box"
3352   output-file-type: ".html"
3353   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-base_and_scale-pdr"
3354   data: "plot-vpp-throughput-latency-3n-skx"
3355   filter: "'NIC_Intel-X710' and
3356            '64B' and
3357            ('BASE' or 'SCALE') and
3358            'NDRPDR' and
3359            '4T2C' and
3360            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3361            not 'VHOST' and
3362            not 'MEMIF'"
3363   parameters:
3364   - "throughput"
3365   - "parent"
3366   traces:
3367     hoverinfo: "x+y"
3368     boxpoints: "outliers"
3369     whiskerwidth: 0
3370   layout:
3371     title: ""  # No title
3372     layout: "plot-throughput"
3373
3374 -
3375   type: "plot"
3376   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-features-ndr"
3377   algorithm: "plot_performance_box"
3378   output-file-type: ".html"
3379   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-features-ndr"
3380   data: "plot-vpp-throughput-latency-3n-skx"
3381   filter: "'NIC_Intel-X710' and
3382            '64B' and
3383            'FEATURE' and
3384            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3385            'NDRPDR' and
3386            '2T1C' and
3387            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3388            not 'VHOST' and
3389            not 'MEMIF'"
3390   parameters:
3391   - "throughput"
3392   - "parent"
3393   traces:
3394     hoverinfo: "x+y"
3395     boxpoints: "outliers"
3396     whiskerwidth: 0
3397   layout:
3398     title: ""  # No title
3399     layout: "plot-throughput"
3400
3401 -
3402   type: "plot"
3403   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-features-pdr"
3404   algorithm: "plot_performance_box"
3405   output-file-type: ".html"
3406   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-features-pdr"
3407   data: "plot-vpp-throughput-latency-3n-skx"
3408   filter: "'NIC_Intel-X710' and
3409            '64B' and
3410            'FEATURE' and
3411            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3412            'NDRPDR' and
3413            '2T1C' and
3414            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3415            not 'VHOST' and
3416            not 'MEMIF'"
3417   parameters:
3418   - "throughput"
3419   - "parent"
3420   traces:
3421     hoverinfo: "x+y"
3422     boxpoints: "outliers"
3423     whiskerwidth: 0
3424   layout:
3425     title: ""  # No title
3426     layout: "plot-throughput"
3427
3428 -
3429   type: "plot"
3430   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-features-ndr"
3431   algorithm: "plot_performance_box"
3432   output-file-type: ".html"
3433   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-features-ndr"
3434   data: "plot-vpp-throughput-latency-3n-skx"
3435   filter: "'NIC_Intel-X710' and
3436            '64B' and
3437            'FEATURE' and
3438            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3439            'NDRPDR' and
3440            '4T2C' and
3441            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3442            not 'VHOST' and
3443            not 'MEMIF'"
3444   parameters:
3445   - "throughput"
3446   - "parent"
3447   traces:
3448     hoverinfo: "x+y"
3449     boxpoints: "outliers"
3450     whiskerwidth: 0
3451   layout:
3452     title: ""  # No title
3453     layout: "plot-throughput"
3454
3455 -
3456   type: "plot"
3457   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-features-pdr"
3458   algorithm: "plot_performance_box"
3459   output-file-type: ".html"
3460   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-features-pdr"
3461   data: "plot-vpp-throughput-latency-3n-skx"
3462   filter: "'NIC_Intel-X710' and
3463            '64B' and
3464            'FEATURE' and
3465            ('ACL10' or 'ACL50') and '10k_FLOWS' and
3466            'NDRPDR' and
3467            '4T2C' and
3468            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3469            not 'VHOST' and
3470            not 'MEMIF'"
3471   parameters:
3472   - "throughput"
3473   - "parent"
3474   traces:
3475     hoverinfo: "x+y"
3476     boxpoints: "outliers"
3477     whiskerwidth: 0
3478   layout:
3479     title: ""  # No title
3480     layout: "plot-throughput"
3481
3482 # Packet Throughput - VPP L2 3n-skx-xxv710
3483 -
3484   type: "plot"
3485   title: "VPP Throughput: l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-ndr"
3486   algorithm: "plot_performance_box"
3487   output-file-type: ".html"
3488   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-xxv710-64b-2t1c-base_and_scale-ndr"
3489   data: "plot-vpp-throughput-latency-3n-skx"
3490   filter: "'NIC_Intel-XXV710' and
3491            '64B' and
3492            ('BASE' or 'SCALE') and
3493            'NDRPDR' and
3494            '2T1C' and
3495            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3496            not 'VHOST' and
3497            not 'MEMIF'"
3498   parameters:
3499   - "throughput"
3500   - "parent"
3501   traces:
3502     hoverinfo: "x+y"
3503     boxpoints: "outliers"
3504     whiskerwi