b9f438fb2dc3938a94bba23ebc133a5f5e8a16d0
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
37     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
38     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
39     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
40     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
41     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
42     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
43     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
44     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
45     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
51     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
52     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
53     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
54     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
55     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
56     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
57     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
58     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
59
60     # Detailed tests operational data
61     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
62     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
63     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
64     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
65
66     # .css patch file to fix tables generated by Sphinx
67     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
68     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
69
70   urls:
71     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
72     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
73     URL[NEXUS]: "https://docs.fd.io/csit"
74     DIR[NEXUS]: "report/_static/archive"
75
76   make-dirs:
77   # List the directories which are created while preparing the environment.
78   # All directories MUST be defined in "paths" section.
79   - "DIR[WORKING,DATA]"
80   - "DIR[STATIC,VPP]"
81   - "DIR[STATIC,DPDK]"
82   - "DIR[STATIC,ARCH]"
83   - "DIR[BUILD,LATEX]"
84   - "DIR[WORKING,SRC]"
85   - "DIR[WORKING,SRC,STATIC]"
86
87   remove-dirs:
88   # List the directories which are deleted while cleaning the environment.
89   # All directories MUST be defined in "paths" section.
90   #- "DIR[BUILD,HTML]"
91   - "DIR[WORKING,DATA]"
92
93   build-dirs:
94   # List the directories where the results (build) is stored.
95   # All directories MUST be defined in "paths" section.
96   - "DIR[BUILD,HTML]"
97   - "DIR[BUILD,LATEX]"
98
99 -
100   type: "configuration"
101
102   limits:
103     nic:
104       x520: 24460000
105       x710: 35800000
106       xxv710: 35800000
107       xl710: 35800000
108
109     link:
110       10ge: 14880952.38
111       25ge: 37202380.95
112       40ge: 59523809.52
113       100ge: 148809523.81
114
115     pci:
116       pci-g3-x8: 74404761.90
117       pci-g3-x16: 148809523.81
118
119   data-sets:
120
121     # VPP Performance
122     vpp-performance-changes:
123       csit-vpp-perf-1804-all:
124       - 21  # sel
125       - 22  # sel
126       - 23  # sel
127       - 24  # sel
128       - 27  # sel
129       - 28  # sel
130       - 29  # sel
131       - 30  # sel
132       - 31  # sel
133       - 35  # sel
134       csit-vpp-perf-verify-1807-3n-hsw:
135       - 11  # NDRPDR full 1
136       - 22  # NDRPDR full 2
137       - 45  # NDRPDR full 3
138       - 46  # NDRPDR full 4
139       - 15  # NDRPDR sel
140       - 16  # NDRPDR sel
141       - 19  # NDRPDR sel
142       - 18  # NDRPDR sel
143       - 20  # NDRPDR sel
144       - 38  # NDRPDR sel
145       - 40  # NDRPDR sel
146       - 44  # NDRPDR sel
147       - 47  # NDRPDR sel
148       csit-vpp-perf-verify-1810-3n-hsw:
149       # TODO: Add data
150       - 8   # NDRPDR sel
151       - 12  # NDRPDR sel
152       - 14  # NDRPDR sel
153       - 18  # NDRPDR sel
154       - 23  # NDRPDR sel
155       - 25  # NDRPDR sel
156       - 38  # NDRPDR sel
157       - 39  # NDRPDR sel
158       - 41  # NDRPDR sel
159
160     vpp-compare-testbeds:
161       csit-vpp-perf-verify-1810-3n-hsw:
162       # TODO: Add data
163       - 8   # NDRPDR sel
164       - 12  # NDRPDR sel
165       - 14  # NDRPDR sel
166       - 18  # NDRPDR sel
167       - 23  # NDRPDR sel
168       - 25  # NDRPDR sel
169       - 38  # NDRPDR sel
170       - 39  # NDRPDR sel
171       - 41  # NDRPDR sel
172       csit-vpp-perf-verify-1810-3n-skx:
173       - 24  # NDRPDR full
174       - 10  # NDRPDR sel
175       - 14  # NDRPDR sel
176       - 15  # NDRPDR sel
177       - 16  # NDRPDR sel
178       - 17  # NDRPDR sel
179       - 19  # NDRPDR sel
180       - 20  # NDRPDR sel
181       - 21  # NDRPDR sel
182       - 22  # NDRPDR sel
183       - 25  # NDRPDR sel
184
185     vpp-compare-testbeds-mrr:
186       csit-vpp-perf-verify-1810-3n-hsw:
187       - 9   # MRR sel
188       csit-vpp-perf-verify-1810-3n-skx:
189       - 9   # MRR sel
190       - 11  # MRR sel
191       - 12  # MRR sel
192       - 13  # MRR sel
193
194     vpp-performance-changes-mrr:
195       csit-vpp-perf-check-1804:
196       - 6   # mrr - sel
197       - 13  # mrr - sel
198       - 14  # mrr - sel
199       - 15  # mrr - sel
200       - 16  # mrr - sel
201       - 17  # mrr - sel
202       - 19  # mrr - sel
203       - 20  # mrr - sel
204       - 21  # mrr - sel
205       - 22  # mrr - sel
206       csit-vpp-perf-verify-1807-3n-hsw:
207       - 8   # MRR full
208       - 9   # MRR sel
209       - 21  # MRR sel
210       - 31  # MRR sel
211       - 33  # MRR sel
212       - 36  # MRR sel
213       - 41  # MRR sel
214       - 42  # MRR sel
215       - 48  # MRR sel
216       csit-vpp-perf-verify-1810-3n-hsw:
217       - 9   # MRR sel
218
219     vpp-perf-results-3n-hsw:
220       csit-vpp-perf-verify-1810-3n-hsw:
221       - 20  # NDRPDR full
222       - 21  # NDRPDR full
223       - 22  # NDRPDR full
224       - 27  # NDRPDR full
225
226     vpp-perf-results-3n-skx:
227       csit-vpp-perf-verify-1810-3n-skx:
228       - 23  # NDRPDR full
229       - 24  # NDRPDR full
230
231     vpp-perf-results-2n-skx:
232       csit-vpp-perf-verify-1810-2n-skx:
233       - 25  # NDRPDR full
234       - 26  # NDRPDR full
235
236     vpp-mrr-results-3n-hsw:
237       csit-vpp-perf-verify-1810-3n-hsw:
238       - 9   # MRR sel
239
240     vpp-mrr-results-3n-skx:
241       csit-vpp-perf-verify-1810-3n-skx:
242       - 9   # MRR sel
243
244     vpp-mrr-results-2n-skx:
245       csit-vpp-perf-verify-1810-2n-skx:
246       - 8   # MRR sel
247
248     plot-throughput-speedup-analysis-3n-hsw:
249       csit-vpp-perf-verify-1810-3n-hsw:
250       # TODO: Add data
251       - 8   # NDRPDR sel
252       - 12  # NDRPDR sel
253       - 14  # NDRPDR sel
254       - 18  # NDRPDR sel
255       - 23  # NDRPDR sel
256       - 25  # NDRPDR sel
257       - 38  # NDRPDR sel
258       - 39  # NDRPDR sel
259       - 41  # NDRPDR sel
260
261     plot-throughput-speedup-analysis-3n-skx:
262       csit-vpp-perf-verify-1810-3n-skx:
263       - 24  # NDRPDR full
264       - 10  # NDRPDR sel
265       - 14  # NDRPDR sel
266       - 15  # NDRPDR sel
267       - 16  # NDRPDR sel
268       - 17  # NDRPDR sel
269       - 19  # NDRPDR sel
270       - 20  # NDRPDR sel
271       - 21  # NDRPDR sel
272       - 22  # NDRPDR sel
273       - 25  # NDRPDR sel
274
275     plot-throughput-speedup-analysis-2n-skx:
276       csit-vpp-perf-verify-1810-2n-skx:
277       - 9   # NDRPDR sel
278       - 13  # NDRPDR sel
279       - 14  # NDRPDR sel
280       - 19  # NDRPDR sel
281       - 20  # NDRPDR sel
282       - 21  # NDRPDR sel
283       - 22  # NDRPDR sel
284       - 23  # NDRPDR sel
285       - 24  # NDRPDR sel
286       - 27  # NDRPDR sel
287
288     plot-vpp-throughput-latency-3n-hsw:
289       csit-vpp-perf-verify-1810-3n-hsw:
290       # TODO: Add data
291       - 8   # NDRPDR sel
292       - 12  # NDRPDR sel
293       - 14  # NDRPDR sel
294       - 18  # NDRPDR sel
295       - 23  # NDRPDR sel
296       - 25  # NDRPDR sel
297       - 38  # NDRPDR sel
298       - 39  # NDRPDR sel
299       - 41  # NDRPDR sel
300
301     plot-vpp-throughput-latency-3n-skx:
302       csit-vpp-perf-verify-1810-3n-skx:
303       - 24  # NDRPDR full
304       - 10  # NDRPDR sel
305       - 14  # NDRPDR sel
306       - 15  # NDRPDR sel
307       - 16  # NDRPDR sel
308       - 17  # NDRPDR sel
309       - 19  # NDRPDR sel
310       - 20  # NDRPDR sel
311       - 21  # NDRPDR sel
312       - 22  # NDRPDR sel
313       - 25  # NDRPDR sel
314
315     plot-vpp-throughput-latency-2n-skx:
316       csit-vpp-perf-verify-1810-2n-skx:
317       - 9   # NDRPDR sel
318       - 13  # NDRPDR sel
319       - 14  # NDRPDR sel
320       - 19  # NDRPDR sel
321       - 20  # NDRPDR sel
322       - 21  # NDRPDR sel
323       - 22  # NDRPDR sel
324       - 23  # NDRPDR sel
325       - 24  # NDRPDR sel
326       - 27  # NDRPDR sel
327
328     plot-vpp-http-server-performance:
329       csit-vpp-perf-verify-1810-3n-hsw:
330       - 28  # WRK
331       - 29  # WRK
332       - 30  # WRK
333       - 31  # WRK
334       - 32  # WRK
335       - 33  # WRK
336       - 34  # WRK
337       - 35  # WRK
338       - 36  # WRK
339       - 37  # WRK
340
341     # VPP Functional
342     vpp-func-results-ubuntu:
343       csit-vpp-functional-1810-ubuntu1604-virl:
344       - 44
345
346     vpp-func-results-centos:
347       csit-vpp-functional-1810-centos7-virl:
348       - 44
349
350     vpp-device-results-ubuntu:
351       csit-vpp-device-1810-ubuntu1804-1n-skx:
352       - 2
353
354     # VPP Ligato
355     ligato-perf-results-3n-hsw:
356       csit-ligato-perf-verify-1810-3n-hsw:
357       - 5   # full
358
359     plot-ligato-throughput-speedup-analysis-3n-hsw:
360       csit-ligato-perf-verify-1810-3n-hsw:
361       - 5   # full
362       - 6   # sel
363       - 8   # sel
364       - 9   # sel
365       - 11  # sel
366       - 12  # sel
367       - 13  # sel
368       - 14  # sel
369       - 16  # sel
370       - 17  # sel
371       - 18  # sel
372
373     plot-ligato-throughput-latency-3n-hsw:
374       csit-ligato-perf-verify-1810-3n-hsw:
375       - 5   # full
376       - 6   # sel
377       - 8   # sel
378       - 9   # sel
379       - 11  # sel
380       - 12  # sel
381       - 13  # sel
382       - 14  # sel
383       - 16  # sel
384       - 17  # sel
385       - 18  # sel
386
387     # DPDK Performance
388     dpdk-performance-changes:
389       csit-dpdk-perf-1804-all:
390       - 4
391       - 5
392       - 6
393       - 7
394       - 8
395       - 9
396       - 10
397       - 11
398       - 12
399       - 13
400       csit-dpdk-perf-verify-1807-3n-hsw:
401       - 11
402       - 12  # full
403       - 14
404       - 15
405       - 16
406       - 17
407       - 20
408       - 21
409       - 22
410       - 23
411       csit-dpdk-perf-verify-1810-3n-hsw:
412       - 1   # NDRPDR sel
413       - 2   # NDRPDR sel
414       - 3   # NDRPDR sel
415       - 4   # NDRPDR sel
416       - 5   # NDRPDR sel
417       - 6   # NDRPDR sel
418       - 7   # NDRPDR sel
419       - 8   # NDRPDR sel
420       - 9   # NDRPDR sel
421       - 10  # NDRPDR sel
422
423     dpdk-compare-testbeds:
424       csit-dpdk-perf-verify-1810-3n-skx:
425       - 3   # NDRPDR sel
426       - 4   # NDRPDR sel
427       - 6   # NDRPDR sel
428       - 7   # NDRPDR sel
429       - 8   # NDRPDR sel
430       - 9   # NDRPDR sel
431       - 10  # NDRPDR sel
432       - 11  # NDRPDR sel
433       - 12  # NDRPDR sel
434       - 13  # NDRPDR sel
435       csit-dpdk-perf-verify-1810-3n-hsw:
436       - 1   # NDRPDR sel
437       - 2   # NDRPDR sel
438       - 3   # NDRPDR sel
439       - 4   # NDRPDR sel
440       - 5   # NDRPDR sel
441       - 6   # NDRPDR sel
442       - 7   # NDRPDR sel
443       - 8   # NDRPDR sel
444       - 9   # NDRPDR sel
445       - 10  # NDRPDR sel
446
447     dpdk-perf-results-3n-hsw:
448       csit-dpdk-perf-verify-1810-3n-hsw:
449       - 1
450
451     dpdk-perf-results-3n-skx:
452       csit-dpdk-perf-verify-1810-3n-skx:
453       - 3   # NDRPDR sel
454
455     dpdk-perf-results-2n-skx:
456       csit-dpdk-perf-verify-1810-2n-skx:
457       - 3
458
459     plot-dpdk-throughput-latency-3n-hsw:
460       csit-dpdk-perf-verify-1810-3n-hsw:
461       - 1   # NDRPDR sel
462       - 2   # NDRPDR sel
463       - 3   # NDRPDR sel
464       - 4   # NDRPDR sel
465       - 5   # NDRPDR sel
466       - 6   # NDRPDR sel
467       - 7   # NDRPDR sel
468       - 8   # NDRPDR sel
469       - 9   # NDRPDR sel
470       - 10  # NDRPDR sel
471
472     plot-dpdk-throughput-latency-3n-skx:
473       csit-dpdk-perf-verify-1810-3n-skx:
474       - 3   # NDRPDR sel
475       - 4   # NDRPDR sel
476       - 6   # NDRPDR sel
477       - 7   # NDRPDR sel
478       - 8   # NDRPDR sel
479       - 9   # NDRPDR sel
480       - 10  # NDRPDR sel
481       - 11  # NDRPDR sel
482       - 12  # NDRPDR sel
483       - 13  # NDRPDR sel
484
485     plot-dpdk-throughput-latency-2n-skx:
486       csit-dpdk-perf-verify-1810-2n-skx:
487       - 3   # NDRPDR sel
488       - 4   # NDRPDR sel
489       - 5   # NDRPDR sel
490       - 7   # NDRPDR sel
491       - 8   # NDRPDR sel
492       - 9   # NDRPDR sel
493       - 10  # NDRPDR sel
494       - 11  # NDRPDR sel
495       - 12  # NDRPDR sel
496       - 13  # NDRPDR sel
497
498     # HoneyComb Functional
499     hc-func-results:
500       csit-hc2vpp-verify-func-1810-ubuntu1604:
501       - 1
502
503     # NSH SFC Functional
504     nsh-func-results:
505       csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
506       - 1
507
508     # DMM Functional
509     dmm-func-results:
510       csit-dmm-functional-1810-ubuntu1604-virl:
511       - 1
512
513   plot-layouts:
514
515     plot-cps:
516       titlefont:
517         size: 18
518       xaxis:
519         title: "<b>Test Cases [Index]</b>"
520         titlefont:
521           size: 16
522         autorange: True
523         fixedrange: False
524         gridcolor: "rgb(230, 230, 230)"
525         linecolor: "rgb(220, 220, 220)"
526         linewidth: 1
527         showgrid: True
528         showline: True
529         showticklabels: True
530         tickcolor: "rgb(220, 220, 220)"
531         tickmode: "linear"
532         tickfont:
533           size: 16
534         zeroline: False
535       yaxis:
536         title: "<b>Connections Per Second [cps]</b>"
537         titlefont:
538           size: 16
539         gridcolor: "rgb(230, 230, 230)"
540         hoverformat: ".4s"
541         linecolor: "rgb(220, 220, 220)"
542         linewidth: 1
543         rangemode: "tozero"
544         showgrid: True
545         showline: True
546         showticklabels: True
547         tickcolor: "rgb(220, 220, 220)"
548         tickformat: ".3s"
549         tickfont:
550           size: 16
551         zeroline: False
552       boxmode: "group"
553       boxgroupgap: 0.5
554       autosize: False
555       margin:
556         t: 50
557         b: 20
558         l: 80
559         r: 20
560       showlegend: True
561       legend:
562         orientation: "h"
563         font:
564           size: 16
565       width: 700
566       height: 800
567
568     plot-rps:
569       titlefont:
570         size: 18
571       xaxis:
572         title: "<b>Test Cases [Index]</b>"
573         titlefont:
574           size: 16
575         autorange: True
576         fixedrange: False
577         gridcolor: "rgb(230, 230, 230)"
578         linecolor: "rgb(220, 220, 220)"
579         linewidth: 1
580         showgrid: True
581         showline: True
582         showticklabels: True
583         tickcolor: "rgb(220, 220, 220)"
584         tickmode: "linear"
585         tickfont:
586           size: 16
587         zeroline: False
588       yaxis:
589         title: "<b>Requests Per Second [rps]</b>"
590         titlefont:
591           size: 16
592         gridcolor: "rgb(230, 230, 230)"
593         hoverformat: ".4s"
594         linecolor: "rgb(220, 220, 220)"
595         linewidth: 1
596         rangemode: "tozero"
597         showgrid: True
598         showline: True
599         showticklabels: True
600         tickcolor: "rgb(230, 230, 230)"
601         tickformat: ".3s"
602         tickfont:
603           size: 16
604         zeroline: False
605       boxmode: "group"
606       boxgroupgap: 0.5
607       autosize: False
608       margin:
609         t: 50
610         b: 20
611         l: 80
612         r: 20
613       showlegend: True
614       legend:
615         orientation: "h"
616         font:
617           size: 16
618       width: 700
619       height: 800
620
621     plot-throughput:
622       titlefont:
623         size: 18
624       xaxis:
625         title: "<b>Test Cases [Index]</b>"
626         titlefont:
627           size: 16
628         autorange: True
629         fixedrange: False
630         gridcolor: "rgb(230, 230, 230)"
631         linecolor: "rgb(220, 220, 220)"
632         linewidth: 1
633         showgrid: True
634         showline: True
635         showticklabels: True
636         tickcolor: "rgb(220, 220, 220)"
637         tickmode: "linear"
638         tickfont:
639           size: 16
640         zeroline: False
641       yaxis:
642         title: "<b>Packet Throughput [Mpps]</b>"
643         titlefont:
644           size: 16
645         gridcolor: "rgb(230, 230, 230)"
646         hoverformat: ".4s"
647         tickformat: ".3s"
648         linecolor: "rgb(220, 220, 220)"
649         linewidth: 1
650         showgrid: True
651         showline: True
652         showticklabels: True
653         tickcolor: "rgb(220, 220, 220)"
654         tickfont:
655           size: 16
656         zeroline: False
657         range: [0,50]
658       boxmode: "group"
659       boxgroupgap: 0.5
660       autosize: False
661       margin:
662         t: 50
663         b: 20
664         l: 80
665         r: 20
666       showlegend: True
667       legend:
668         orientation: "h"
669         font:
670           size: 16
671       width: 700
672       height: 850
673
674     plot-throughput-speedup-analysis:
675       titlefont:
676         size: 18
677       xaxis:
678         title: "<b>Number of Cores [Qty]</b>"
679         titlefont:
680           size: 16
681         autorange: True
682         fixedrange: False
683         gridcolor: "rgb(230, 230, 230)"
684         linecolor: "rgb(220, 220, 220)"
685         linewidth: 1
686         showgrid: True
687         showline: True
688         showticklabels: True
689         tickcolor: "rgb(238, 238, 238)"
690         tickmode: "linear"
691         tickfont:
692           size: 16
693         zeroline: False
694       yaxis:
695         title: "<b>Packet Throughput [Mpps]</b>"
696         titlefont:
697           size: 16
698         type: "linear"
699         gridcolor: "rgb(230, 230, 230)"
700         hoverformat: ".4s"
701         linecolor: "rgb(220, 220, 220)"
702         linewidth: 1
703         showgrid: True
704         showline: True
705         showticklabels: True
706         tickcolor: "rgb(220, 220, 220)"
707         tickformat: ".4s"
708         tickfont:
709           size: 16
710         zeroline: True
711         rangemode: "tozero"
712         # range: [0,100]
713       legend:
714         orientation: "h"
715         font:
716           size: 16
717         xanchor: "left"
718         yanchor: "top"
719         x: 0
720         y: -0.2
721         bgcolor: "rgba(255, 255, 255, 0)"
722         bordercolor: "rgba(255, 255, 255, 0)"
723         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
724       autosize: False
725       margin:
726           't': 50
727           'b': 150
728           'l': 85
729           'r': 10
730       showlegend: True
731       width: 700
732       height: 700
733       hoverlabel:
734         namelength: -1
735       annotations: [
736         {
737           text: "_ _          __          ...",
738           align: "left",
739           showarrow: False,
740           xref: "paper",
741           yref: "paper",
742           xanchor: "left",
743           yanchor: "top",
744           x: 0,
745           y: -0.13,
746           font: {
747             family: "Consolas, Courier New",
748             size: 15
749           },
750         },
751         {
752           text: "    Perfect     Measured     Limit",
753           align: "left",
754           showarrow: False,
755           xref: "paper",
756           yref: "paper",
757           xanchor: "left",
758           yanchor: "top",
759           x: 0,
760           y: -0.15,
761           font: {
762             family: "Consolas, Courier New",
763             size: 15
764           },
765         },
766       ]
767
768     plot-latency:
769       titlefont:
770         size: 18
771       xaxis:
772         title: "<b>Direction</b>"
773         titlefont:
774           size: 16
775         autorange: True
776         fixedrange: False
777         gridcolor: "rgb(230, 230, 230)"
778         linecolor: "rgb(220, 220, 220)"
779         linewidth: 1
780         showgrid: True
781         showline: True
782         showticklabels: False
783         tickcolor: "rgb(220, 220, 220)"
784         tickmode: "linear"
785         tickfont:
786           size: 16
787         zeroline: False
788       yaxis:
789         title: "<b>Packet Latency [uSec]</b>"
790         titlefont:
791           size: 16
792         type: "linear"
793         gridcolor: "rgb(230, 230, 230)"
794         hoverformat: ".4s"
795         linecolor: "rgb(220, 220, 220)"
796         linewidth: 1
797         showgrid: True
798         showline: True
799         showticklabels: True
800         tickcolor: "rgb(220, 220, 220)"
801         tickformat: ".4s"
802         tickfont:
803           size: 16
804         zeroline: True
805         rangemode: "tozero"
806       legend:
807         orientation: "h"
808         font:
809           size: 16
810         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
811       autosize: False
812       margin:
813           't': 50
814           'b': 150
815           'l': 80
816           'r': 10
817       showlegend: True
818       width: 700
819       height: 700
820       hoverlabel:
821         namelength: -1
822
823 -
824   type: "static"
825   src-path: "{DIR[RST]}"
826   dst-path: "{DIR[WORKING,SRC]}"
827
828 -
829   type: "input"
830   general:
831     file-name: "robot-plugin.zip"
832     file-format: ".zip"
833     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
834     extract: "robot-plugin/output.xml"
835
836   builds:
837
838     csit-vpp-perf-1804-all:
839     - 21  # sel
840     - 22  # sel
841     - 23  # sel
842     - 24  # sel
843     - 27  # sel
844     - 28  # sel
845     - 29  # sel
846     - 30  # sel
847     - 31  # sel
848     - 35  # sel
849     csit-vpp-perf-verify-1807-3n-hsw:
850     - 8   # MRR full
851     - 9   # MRR sel
852     - 21  # MRR sel
853     - 31  # MRR sel
854     - 33  # MRR sel
855     - 36  # MRR sel
856     - 41  # MRR sel
857     - 42  # MRR sel
858     - 48  # MRR sel
859     - 11  # NDRPDR full 1
860     - 22  # NDRPDR full 2
861     - 45  # NDRPDR full 3
862     - 46  # NDRPDR full 4
863     - 15  # NDRPDR sel
864     - 16  # NDRPDR sel
865     - 19  # NDRPDR sel
866     - 18  # NDRPDR sel
867     - 20  # NDRPDR sel
868     - 38  # NDRPDR sel
869     - 40  # NDRPDR sel
870     - 44  # NDRPDR sel
871     - 47  # NDRPDR sel
872     - 24  # WRK
873     - 25  # WRK
874     - 23  # WRK
875     - 26  # WRK
876     - 27  # WRK
877     - 28  # WRK
878     - 29  # WRK
879     - 30  # WRK
880     - 32  # WRK
881     - 35  # WRK
882     # TODO: Add data:
883     csit-vpp-perf-verify-1810-3n-hsw:
884     - 9   # MRR sel
885     - 20  # NDRPDR full
886     - 21  # NDRPDR full
887     - 22  # NDRPDR full
888     - 27  # NDRPDR full
889     - 8   # NDRPDR sel
890     - 12  # NDRPDR sel
891     - 14  # NDRPDR sel
892     - 18  # NDRPDR sel
893     - 23  # NDRPDR sel
894     - 25  # NDRPDR sel
895     - 38  # NDRPDR sel
896     - 39  # NDRPDR sel
897     - 41  # NDRPDR sel
898     - 28  # WRK
899     - 29  # WRK
900     - 30  # WRK
901     - 31  # WRK
902     - 32  # WRK
903     - 33  # WRK
904     - 34  # WRK
905     - 35  # WRK
906     - 36  # WRK
907     - 37  # WRK
908     csit-vpp-perf-verify-1807-3n-skx:
909     - 31  # MRR full
910     - 28  # MRR sel
911     - 32  # MRR sel
912     - 36  # MRR sel
913     - 42  # MRR sel
914     - 47  # MRR sel
915     - 48  # MRR sel
916     - 51  # MRR sel
917     - 52  # MRR sel
918     - 53  # MRR sel
919     - 54  # MRR sel
920     - 40  # NDRPDR full 1
921     - 41  # NDRPDR full 2
922     - 33  # NDRPDR sel
923     - 35  # NDRPDR sel
924     - 37  # NDRPDR sel
925     - 38  # NDRPDR sel
926     - 39  # NDRPDR sel
927     - 43  # NDRPDR sel
928     - 44  # NDRPDR sel
929     - 49  # NDRPDR sel
930     - 50  # NDRPDR sel
931     - 56  # NDRPDR sel
932     csit-vpp-perf-verify-1810-3n-skx:
933     - 9   # MRR sel
934     - 11  # MRR sel
935     - 12  # MRR sel
936     - 13  # MRR sel
937     - 23  # NDRPDR full
938     - 24  # NDRPDR full
939     - 10  # NDRPDR sel
940     - 14  # NDRPDR sel
941     - 15  # NDRPDR sel
942     - 16  # NDRPDR sel
943     - 17  # NDRPDR sel
944     - 19  # NDRPDR sel
945     - 20  # NDRPDR sel
946     - 21  # NDRPDR sel
947     - 22  # NDRPDR sel
948     - 25  # NDRPDR sel
949     csit-vpp-perf-verify-1807-2n-skx:
950     - 27  # MRR full
951     - 31  # MRR sel
952     - 33  # MRR sel
953     - 37  # MRR sel
954     - 38  # MRR sel
955     - 41  # MRR sel
956     - 43  # MRR sel
957     - 44  # MRR sel
958     - 45  # MRR sel
959     - 46  # MRR sel
960     - 47  # MRR sel
961     - 32  # NDRPDR full
962     - 26  # NDRPDR sel
963     - 28  # NDRPDR sel
964     - 29  # NDRPDR sel
965     - 30  # NDRPDR sel
966     - 34  # NDRPDR sel
967     - 35  # NDRPDR sel
968     - 36  # NDRPDR sel
969     - 39  # NDRPDR sel
970     - 40  # NDRPDR sel
971     - 42  # NDRPDR sel
972     csit-vpp-perf-verify-1810-2n-skx:
973     - 8   # MRR sel
974     - 10  # MRR sel
975     - 11  # MRR sel
976     - 12  # MRR sel
977     - 25  # NDRPDR full
978     - 26  # NDRPDR full
979     - 9   # NDRPDR sel
980     - 13  # NDRPDR sel
981     - 14  # NDRPDR sel
982     - 19  # NDRPDR sel
983     - 20  # NDRPDR sel
984     - 21  # NDRPDR sel
985     - 22  # NDRPDR sel
986     - 23  # NDRPDR sel
987     - 24  # NDRPDR sel
988     - 27  # NDRPDR sel
989     csit-vpp-perf-check-1804:
990     - 5   # mrr - full
991     - 6   # mrr - sel
992     - 13  # mrr - sel
993     - 14  # mrr - sel
994     - 15  # mrr - sel
995     - 16  # mrr - sel
996     - 17  # mrr - sel
997     - 19  # mrr - sel
998     - 20  # mrr - sel
999     - 21  # mrr - sel
1000     - 22  # mrr - sel
1001     csit-ligato-perf-verify-1810-3n-hsw:
1002     - 5   # full
1003     - 6   # sel
1004     - 8   # sel
1005     - 9   # sel
1006     - 11  # sel
1007     - 12  # sel
1008     - 13  # sel
1009     - 14  # sel
1010     - 16  # sel
1011     - 17  # sel
1012     - 18  # sel
1013     csit-dpdk-perf-1804-all:
1014     - 4
1015     - 5
1016     - 6
1017     - 7
1018     - 8
1019     - 9
1020     - 10
1021     - 11
1022     - 12
1023     - 13
1024     csit-dpdk-perf-verify-1807-3n-hsw:
1025     - 11
1026     - 12  # full
1027     - 14
1028     - 15
1029     - 16
1030     - 17
1031     - 20
1032     - 21
1033     - 22
1034     - 23
1035     csit-dpdk-perf-verify-1810-3n-hsw:
1036     - 1   # NDRPDR sel
1037     - 2   # NDRPDR sel
1038     - 3   # NDRPDR sel
1039     - 4   # NDRPDR sel
1040     - 5   # NDRPDR sel
1041     - 6   # NDRPDR sel
1042     - 7   # NDRPDR sel
1043     - 8   # NDRPDR sel
1044     - 9   # NDRPDR sel
1045     - 10  # NDRPDR sel
1046     csit-dpdk-perf-verify-1807-3n-skx:
1047     - 1
1048     - 2
1049     - 3
1050     - 6
1051     - 7
1052     - 8
1053     - 9
1054     - 10
1055     - 11
1056     - 12
1057     csit-dpdk-perf-verify-1810-3n-skx:
1058     - 3   # NDRPDR sel
1059     - 4   # NDRPDR sel
1060     - 6   # NDRPDR sel
1061     - 7   # NDRPDR sel
1062     - 8   # NDRPDR sel
1063     - 9   # NDRPDR sel
1064     - 10  # NDRPDR sel
1065     - 11  # NDRPDR sel
1066     - 12  # NDRPDR sel
1067     - 13  # NDRPDR sel
1068     csit-dpdk-perf-verify-1810-2n-skx:
1069     - 3   # NDRPDR sel
1070     - 4   # NDRPDR sel
1071     - 5   # NDRPDR sel
1072     - 7   # NDRPDR sel
1073     - 8   # NDRPDR sel
1074     - 9   # NDRPDR sel
1075     - 10  # NDRPDR sel
1076     - 11  # NDRPDR sel
1077     - 12  # NDRPDR sel
1078     - 13  # NDRPDR sel
1079
1080     csit-vpp-functional-1810-ubuntu1604-virl:
1081     - 44
1082     csit-vpp-functional-1810-centos7-virl:
1083     - 44
1084     csit-vpp-device-1810-ubuntu1804-1n-skx:
1085     - 2
1086     csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
1087     - 1
1088     csit-dmm-functional-1810-ubuntu1604-virl:
1089     - 1
1090     csit-hc2vpp-verify-func-1810-ubuntu1604:
1091     - 1
1092
1093 -
1094   type: "output"
1095   output: "report"
1096   format:
1097     html:
1098     - full
1099     pdf:
1100     - minimal
1101
1102 ################################################################################
1103 ###                               T A B L E S                                ###
1104 ################################################################################
1105
1106 ################################################################################
1107 # VPP
1108
1109 # VPP Performance Changes 1t1c pdr
1110 -
1111   type: "table"
1112   title: "VPP Performance Changes 1t1c pdr"
1113   algorithm: "table_performance_comparison"
1114   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-pdr"
1115   history:
1116     -
1117       title: "rls1804"
1118       data:
1119         csit-vpp-perf-1804-all:
1120         - 21  # sel
1121         - 22  # sel
1122         - 23  # sel
1123         - 24  # sel
1124         - 27  # sel
1125         - 28  # sel
1126         - 29  # sel
1127         - 30  # sel
1128         - 31  # sel
1129         - 35  # sel
1130   reference:
1131     title: "rls1807"
1132     data:
1133       csit-vpp-perf-verify-1807-3n-hsw:
1134       - 11  # NDRPDR full 1
1135       - 22  # NDRPDR full 2
1136       - 45  # NDRPDR full 3
1137       - 46  # NDRPDR full 4
1138       - 15  # NDRPDR sel
1139       - 16  # NDRPDR sel
1140       - 19  # NDRPDR sel
1141       - 18  # NDRPDR sel
1142       - 20  # NDRPDR sel
1143       - 38  # NDRPDR sel
1144       - 40  # NDRPDR sel
1145       - 44  # NDRPDR sel
1146       - 47  # NDRPDR sel
1147   compare:
1148     title: "rls1810"
1149     data:
1150       csit-vpp-perf-verify-1810-3n-hsw:
1151       - 8   # NDRPDR sel
1152       - 12  # NDRPDR sel
1153       - 14  # NDRPDR sel
1154       - 18  # NDRPDR sel
1155       - 23  # NDRPDR sel
1156       - 25  # NDRPDR sel
1157       - 38  # NDRPDR sel
1158       - 39  # NDRPDR sel
1159       - 41  # NDRPDR sel
1160   data: "vpp-performance-changes"
1161   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1162   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1163   parameters:
1164   - "name"
1165   - "parent"
1166   - "throughput"
1167
1168 # VPP Performance Changes 2t2c pdr
1169 -
1170   type: "table"
1171   title: "VPP Performance Changes 2t2c pdr"
1172   algorithm: "table_performance_comparison"
1173   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-pdr"
1174   history:
1175     -
1176       title: "rls1804"
1177       data:
1178         csit-vpp-perf-1804-all:
1179         - 21  # sel
1180         - 22  # sel
1181         - 23  # sel
1182         - 24  # sel
1183         - 27  # sel
1184         - 28  # sel
1185         - 29  # sel
1186         - 30  # sel
1187         - 31  # sel
1188         - 35  # sel
1189   reference:
1190     title: "rls1807"
1191     data:
1192       csit-vpp-perf-verify-1807-3n-hsw:
1193       - 11  # NDRPDR full 1
1194       - 22  # NDRPDR full 2
1195       - 45  # NDRPDR full 3
1196       - 46  # NDRPDR full 4
1197       - 15  # NDRPDR sel
1198       - 16  # NDRPDR sel
1199       - 19  # NDRPDR sel
1200       - 18  # NDRPDR sel
1201       - 20  # NDRPDR sel
1202       - 38  # NDRPDR sel
1203       - 40  # NDRPDR sel
1204       - 44  # NDRPDR sel
1205       - 47  # NDRPDR sel
1206   compare:
1207     title: "rls1810"
1208     data:
1209       csit-vpp-perf-verify-1810-3n-hsw:
1210       - 8   # NDRPDR sel
1211       - 12  # NDRPDR sel
1212       - 14  # NDRPDR sel
1213       - 18  # NDRPDR sel
1214       - 23  # NDRPDR sel
1215       - 25  # NDRPDR sel
1216       - 38  # NDRPDR sel
1217       - 39  # NDRPDR sel
1218       - 41  # NDRPDR sel
1219   data: "vpp-performance-changes"
1220   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1221   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1222   parameters:
1223   - "name"
1224   - "parent"
1225   - "throughput"
1226
1227 # VPP Performance Changes 1t1c ndr
1228 -
1229   type: "table"
1230   title: "VPP Performance Changes 1t1c ndr"
1231   algorithm: "table_performance_comparison"
1232   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-ndr"
1233   history:
1234     -
1235       title: "rls1804"
1236       data:
1237         csit-vpp-perf-1804-all:
1238         - 21  # sel
1239         - 22  # sel
1240         - 23  # sel
1241         - 24  # sel
1242         - 27  # sel
1243         - 28  # sel
1244         - 29  # sel
1245         - 30  # sel
1246         - 31  # sel
1247         - 35  # sel
1248   reference:
1249     title: "rls1807"
1250     data:
1251       csit-vpp-perf-verify-1807-3n-hsw:
1252       - 11  # NDRPDR full 1
1253       - 22  # NDRPDR full 2
1254       - 45  # NDRPDR full 3
1255       - 46  # NDRPDR full 4
1256       - 15  # NDRPDR sel
1257       - 16  # NDRPDR sel
1258       - 19  # NDRPDR sel
1259       - 18  # NDRPDR sel
1260       - 20  # NDRPDR sel
1261       - 38  # NDRPDR sel
1262       - 40  # NDRPDR sel
1263       - 44  # NDRPDR sel
1264       - 47  # NDRPDR sel
1265   compare:
1266     title: "rls1810"
1267     data:
1268       csit-vpp-perf-verify-1810-3n-hsw:
1269       - 8   # NDRPDR sel
1270       - 12  # NDRPDR sel
1271       - 14  # NDRPDR sel
1272       - 18  # NDRPDR sel
1273       - 23  # NDRPDR sel
1274       - 25  # NDRPDR sel
1275       - 38  # NDRPDR sel
1276       - 39  # NDRPDR sel
1277       - 41  # NDRPDR sel
1278   data: "vpp-performance-changes"
1279   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1280   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1281   parameters:
1282   - "name"
1283   - "parent"
1284   - "throughput"
1285
1286 # VPP Performance Changes 2t2c ndr
1287 -
1288   type: "table"
1289   title: "VPP Performance Changes 2t2c ndr"
1290   algorithm: "table_performance_comparison"
1291   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-ndr"
1292   history:
1293     -
1294       title: "rls1804"
1295       data:
1296         csit-vpp-perf-1804-all:
1297         - 21  # sel
1298         - 22  # sel
1299         - 23  # sel
1300         - 24  # sel
1301         - 27  # sel
1302         - 28  # sel
1303         - 29  # sel
1304         - 30  # sel
1305         - 31  # sel
1306         - 35  # sel
1307   reference:
1308     title: "rls1807"
1309     data:
1310       csit-vpp-perf-verify-1807-3n-hsw:
1311       - 11  # NDRPDR full 1
1312       - 22  # NDRPDR full 2
1313       - 45  # NDRPDR full 3
1314       - 46  # NDRPDR full 4
1315       - 15  # NDRPDR sel
1316       - 16  # NDRPDR sel
1317       - 19  # NDRPDR sel
1318       - 18  # NDRPDR sel
1319       - 20  # NDRPDR sel
1320       - 38  # NDRPDR sel
1321       - 40  # NDRPDR sel
1322       - 44  # NDRPDR sel
1323       - 47  # NDRPDR sel
1324   compare:
1325     title: "rls1810"
1326     data:
1327       csit-vpp-perf-verify-1810-3n-hsw:
1328       - 8   # NDRPDR sel
1329       - 12  # NDRPDR sel
1330       - 14  # NDRPDR sel
1331       - 18  # NDRPDR sel
1332       - 23  # NDRPDR sel
1333       - 25  # NDRPDR sel
1334       - 38  # NDRPDR sel
1335       - 39  # NDRPDR sel
1336       - 41  # NDRPDR sel
1337   data: "vpp-performance-changes"
1338   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1339   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1340   parameters:
1341   - "name"
1342   - "parent"
1343   - "throughput"
1344
1345 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr
1346 -
1347   type: "table"
1348   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1349   algorithm: "table_performance_comparison"
1350   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1351   reference:
1352     title: "3-Node Hsw"
1353     data:
1354       csit-vpp-perf-verify-1810-3n-hsw:
1355       - 8   # NDRPDR sel
1356       - 12  # NDRPDR sel
1357       - 14  # NDRPDR sel
1358       - 18  # NDRPDR sel
1359       - 23  # NDRPDR sel
1360       - 25  # NDRPDR sel
1361       - 38  # NDRPDR sel
1362       - 39  # NDRPDR sel
1363       - 41  # NDRPDR sel
1364   compare:
1365     title: "3-Node Skx"
1366     data:
1367       csit-vpp-perf-verify-1810-3n-skx:
1368       - 10  # NDRPDR sel
1369       - 14  # NDRPDR sel
1370       - 15  # NDRPDR sel
1371       - 16  # NDRPDR sel
1372       - 17  # NDRPDR sel
1373       - 19  # NDRPDR sel
1374       - 20  # NDRPDR sel
1375       - 21  # NDRPDR sel
1376       - 22  # NDRPDR sel
1377       - 25  # NDRPDR sel
1378   data: "vpp-compare-testbeds"
1379   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1380   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1381   parameters:
1382   - "name"
1383   - "parent"
1384   - "throughput"
1385
1386 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr
1387 -
1388   type: "table"
1389   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1390   algorithm: "table_performance_comparison"
1391   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1392   reference:
1393     title: "3-Node Hsw"
1394     data:
1395       csit-vpp-perf-verify-1810-3n-hsw:
1396       - 8   # NDRPDR sel
1397       - 12  # NDRPDR sel
1398       - 14  # NDRPDR sel
1399       - 18  # NDRPDR sel
1400       - 23  # NDRPDR sel
1401       - 25  # NDRPDR sel
1402       - 38  # NDRPDR sel
1403       - 39  # NDRPDR sel
1404       - 41  # NDRPDR sel
1405   compare:
1406     title: "3-Node Skx"
1407     data:
1408       csit-vpp-perf-verify-1810-3n-skx:
1409       - 10  # NDRPDR sel
1410       - 14  # NDRPDR sel
1411       - 15  # NDRPDR sel
1412       - 16  # NDRPDR sel
1413       - 17  # NDRPDR sel
1414       - 19  # NDRPDR sel
1415       - 20  # NDRPDR sel
1416       - 21  # NDRPDR sel
1417       - 22  # NDRPDR sel
1418       - 25  # NDRPDR sel
1419   data: "vpp-compare-testbeds"
1420   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1421   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1422   parameters:
1423   - "name"
1424   - "parent"
1425   - "throughput"
1426
1427 # VPP Performance Changes - 1t1c MRR
1428 -
1429   type: "table"
1430   title: "VPP Performance Changes - 1t1c MRR"
1431   algorithm: "table_performance_comparison"
1432   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-mrr"
1433   history:
1434     -
1435       title: "rls1804"
1436       data:
1437         csit-vpp-perf-check-1804:
1438         - 6   # mrr - sel
1439         - 13  # mrr - sel
1440         - 14  # mrr - sel
1441         - 15  # mrr - sel
1442         - 16  # mrr - sel
1443         - 17  # mrr - sel
1444         - 19  # mrr - sel
1445         - 20  # mrr - sel
1446         - 21  # mrr - sel
1447         - 22  # mrr - sel
1448   reference:
1449     title: "rls1807"
1450     data:
1451       csit-vpp-perf-verify-1807-3n-hsw:
1452       - 8   # MRR full
1453       - 9   # MRR sel
1454       - 21  # MRR sel
1455       - 31  # MRR sel
1456       - 33  # MRR sel
1457       - 36  # MRR sel
1458       - 41  # MRR sel
1459       - 42  # MRR sel
1460       - 48  # MRR sel
1461   compare:
1462     title: "rls1810"
1463     data:
1464       csit-vpp-perf-verify-1810-3n-hsw:
1465       - 9   # MRR sel
1466   data: "vpp-performance-changes-mrr"
1467   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1468   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1469   parameters:
1470   - "name"
1471   - "parent"
1472   - "result"
1473
1474 # VPP Performance Changes - 2t2c MRR
1475 -
1476   type: "table"
1477   title: "VPP Performance Changes - 2t2c MRR"
1478   algorithm: "table_performance_comparison"
1479   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-mrr"
1480   history:
1481     -
1482       title: "rls1804"
1483       data:
1484         csit-vpp-perf-check-1804:
1485         - 6   # mrr - sel
1486         - 13  # mrr - sel
1487         - 14  # mrr - sel
1488         - 15  # mrr - sel
1489         - 16  # mrr - sel
1490         - 17  # mrr - sel
1491         - 19  # mrr - sel
1492         - 20  # mrr - sel
1493         - 21  # mrr - sel
1494         - 22  # mrr - sel
1495   reference:
1496     title: "rls1807"
1497     data:
1498       csit-vpp-perf-verify-1807-3n-hsw:
1499       - 8   # MRR full
1500       - 9   # MRR sel
1501       - 21  # MRR sel
1502       - 31  # MRR sel
1503       - 33  # MRR sel
1504       - 36  # MRR sel
1505       - 41  # MRR sel
1506       - 42  # MRR sel
1507       - 48  # MRR sel
1508   compare:
1509     title: "rls1810"
1510     data:
1511       csit-vpp-perf-verify-1810-3n-hsw:
1512       - 9   # MRR sel
1513   data: "vpp-performance-changes-mrr"
1514   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1515   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1516   parameters:
1517   - "name"
1518   - "parent"
1519   - "result"
1520
1521 # VPP Performance Changes - 4t4c MRR
1522 -
1523   type: "table"
1524   title: "VPP Performance Changes - 4t4c MRR"
1525   algorithm: "table_performance_comparison"
1526   output-file: "{DIR[STATIC,VPP]}/performance-changes-4t4c-mrr"
1527   history:
1528     -
1529       title: "rls1804"
1530       data:
1531         csit-vpp-perf-check-1804:
1532         - 6   # mrr - sel
1533         - 13  # mrr - sel
1534         - 14  # mrr - sel
1535         - 15  # mrr - sel
1536         - 16  # mrr - sel
1537         - 17  # mrr - sel
1538         - 19  # mrr - sel
1539         - 20  # mrr - sel
1540         - 21  # mrr - sel
1541         - 22  # mrr - sel
1542   reference:
1543     title: "rls1807"
1544     data:
1545       csit-vpp-perf-verify-1807-3n-hsw:
1546       - 8   # MRR full
1547       - 9   # MRR sel
1548       - 21  # MRR sel
1549       - 31  # MRR sel
1550       - 33  # MRR sel
1551       - 36  # MRR sel
1552       - 41  # MRR sel
1553       - 42  # MRR sel
1554       - 48  # MRR sel
1555   compare:
1556     title: "rls1810"
1557     data:
1558       csit-vpp-perf-verify-1810-3n-hsw:
1559       - 9   # MRR sel
1560   data: "vpp-performance-changes-mrr"
1561   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1562   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1563   parameters:
1564   - "name"
1565   - "parent"
1566   - "result"
1567
1568 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr
1569 -
1570   type: "table"
1571   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
1572   algorithm: "table_performance_comparison"
1573   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
1574   reference:
1575     title: "3-Node Hsw"
1576     data:
1577       csit-vpp-perf-verify-1810-3n-hsw:
1578       - 9   # MRR sel
1579   compare:
1580     title: "3-Node Skx"
1581     data:
1582       csit-vpp-perf-verify-1810-3n-skx:
1583       - 9   # MRR sel
1584       - 11  # MRR sel
1585       - 12  # MRR sel
1586       - 13  # MRR sel
1587   data: "vpp-compare-testbeds-mrr"
1588   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1589   filter: "'NIC_Intel-X710' and 'MRR'"
1590   parameters:
1591   - "name"
1592   - "parent"
1593   - "result"
1594
1595 # Detailed Test Results - VPP Performance Results 3n-hsw
1596 -
1597   type: "table"
1598   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
1599   algorithm: "table_merged_details"
1600   output-file-ext: ".csv"
1601   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
1602   columns:
1603   -
1604     title: "Name"
1605     data: "data name"
1606   -
1607     title: "Status"
1608     data: "data msg"
1609   rows: "generated"
1610   data: "vpp-perf-results-3n-hsw"
1611   filter: "not 'NDRCHK' and not 'PDRCHK'"
1612   parameters:
1613   - "name"
1614   - "parent"
1615   - "msg"
1616
1617 # Detailed Test Results - VPP Performance Results 3n-skx
1618 -
1619   type: "table"
1620   title: "Detailed Test Results - VPP Performance Results 3n-skx"
1621   algorithm: "table_merged_details"
1622   output-file-ext: ".csv"
1623   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
1624   columns:
1625   -
1626     title: "Name"
1627     data: "data name"
1628   -
1629     title: "Status"
1630     data: "data msg"
1631   rows: "generated"
1632   data: "vpp-perf-results-3n-skx"
1633   filter: "not 'NDRCHK' and not 'PDRCHK'"
1634   parameters:
1635   - "name"
1636   - "parent"
1637   - "msg"
1638
1639 # Detailed Test Results - VPP Performance Results 2n-skx
1640 -
1641   type: "table"
1642   title: "Detailed Test Results - VPP Performance Results 2n-skx"
1643   algorithm: "table_merged_details"
1644   output-file-ext: ".csv"
1645   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
1646   columns:
1647   -
1648     title: "Name"
1649     data: "data name"
1650   -
1651     title: "Status"
1652     data: "data msg"
1653   rows: "generated"
1654   data: "vpp-perf-results-2n-skx"
1655   filter: "not 'NDRCHK' and not 'PDRCHK'"
1656   parameters:
1657   - "name"
1658   - "parent"
1659   - "msg"
1660
1661 # Test configuration - VPP Performance Test Configs 3n-hsw
1662 -
1663   type: "table"
1664   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
1665   algorithm: "table_merged_details"
1666   output-file-ext: ".csv"
1667   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
1668   columns:
1669   -
1670     title: "Name"
1671     data: "data name"
1672   -
1673     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1674     data: "data vat-history"
1675   rows: "generated"
1676   data: "vpp-perf-results-3n-hsw"
1677   filter: "not 'NDRCHK' and not 'PDRCHK'"
1678   parameters:
1679   - "parent"
1680   - "name"
1681   - "vat-history"
1682
1683 # Test configuration - VPP Performance Test Configs 3n-skx
1684 -
1685   type: "table"
1686   title: "Test configuration - VPP Performance Test Configs 3n-skx"
1687   algorithm: "table_merged_details"
1688   output-file-ext: ".csv"
1689   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
1690   columns:
1691   -
1692     title: "Name"
1693     data: "data name"
1694   -
1695     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1696     data: "data vat-history"
1697   rows: "generated"
1698   data: "vpp-perf-results-3n-skx"
1699   filter: "not 'NDRCHK' and not 'PDRCHK'"
1700   parameters:
1701   - "parent"
1702   - "name"
1703   - "vat-history"
1704
1705 # Test configuration - VPP Performance Test Configs 2n-skx
1706 -
1707   type: "table"
1708   title: "Test configuration - VPP Performance Test Configs 2n-skx"
1709   algorithm: "table_merged_details"
1710   output-file-ext: ".csv"
1711   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
1712   columns:
1713   -
1714     title: "Name"
1715     data: "data name"
1716   -
1717     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1718     data: "data vat-history"
1719   rows: "generated"
1720   data: "vpp-perf-results-2n-skx"
1721   filter: "not 'NDRCHK' and not 'PDRCHK'"
1722   parameters:
1723   - "parent"
1724   - "name"
1725   - "vat-history"
1726
1727 # Test Operational Data - VPP Performance Operational Data 3n-hsw
1728 -
1729   type: "table"
1730   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
1731   algorithm: "table_merged_details"
1732   output-file-ext: ".csv"
1733   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
1734   columns:
1735   -
1736     title: "Name"
1737     data: "data name"
1738   -
1739     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1740     data: "data show-run"
1741   rows: "generated"
1742   data: "vpp-perf-results-3n-hsw"
1743   filter: "not 'NDRCHK' and not 'PDRCHK'"
1744   parameters:
1745   - "parent"
1746   - "name"
1747   - "show-run"
1748
1749 # Test Operational Data - VPP Performance Operational Data 3n-skx
1750 -
1751   type: "table"
1752   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
1753   algorithm: "table_merged_details"
1754   output-file-ext: ".csv"
1755   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
1756   columns:
1757   -
1758     title: "Name"
1759     data: "data name"
1760   -
1761     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1762     data: "data show-run"
1763   rows: "generated"
1764   data: "vpp-perf-results-3n-skx"
1765   filter: "not 'NDRCHK' and not 'PDRCHK'"
1766   parameters:
1767   - "parent"
1768   - "name"
1769   - "show-run"
1770
1771 # Test Operational Data - VPP Performance Operational Data 2n-skx
1772 -
1773   type: "table"
1774   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
1775   algorithm: "table_merged_details"
1776   output-file-ext: ".csv"
1777   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
1778   columns:
1779   -
1780     title: "Name"
1781     data: "data name"
1782   -
1783     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1784     data: "data show-run"
1785   rows: "generated"
1786   data: "vpp-perf-results-2n-skx"
1787   filter: "not 'NDRCHK' and not 'PDRCHK'"
1788   parameters:
1789   - "parent"
1790   - "name"
1791   - "show-run"
1792
1793 # Detailed Test Results - VPP MRR Results 3n-hsw
1794 -
1795   type: "table"
1796   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
1797   algorithm: "table_details"
1798   output-file-ext: ".csv"
1799   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
1800   columns:
1801   -
1802     title: "Name"
1803     data: "data name"
1804   -
1805     title: "Status"
1806     data: "data msg"
1807   rows: "generated"
1808   data: "vpp-mrr-results-3n-hsw"
1809   filter: "'MRR'"
1810   parameters:
1811   - "name"
1812   - "parent"
1813   - "msg"
1814
1815 # Detailed Test Results - VPP MRR Results 3n-skx
1816 -
1817   type: "table"
1818   title: "Detailed Test Results - VPP MRR Results 3n-skx"
1819   algorithm: "table_details"
1820   output-file-ext: ".csv"
1821   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
1822   columns:
1823   -
1824     title: "Name"
1825     data: "data name"
1826   -
1827     title: "Status"
1828     data: "data msg"
1829   rows: "generated"
1830   data: "vpp-mrr-results-3n-skx"
1831   filter: "'MRR'"
1832   parameters:
1833   - "name"
1834   - "parent"
1835   - "msg"
1836
1837 # Detailed Test Results - VPP MRR Results 2n-skx
1838 -
1839   type: "table"
1840   title: "Detailed Test Results - VPP MRR Results 2n-skx"
1841   algorithm: "table_details"
1842   output-file-ext: ".csv"
1843   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
1844   columns:
1845   -
1846     title: "Name"
1847     data: "data name"
1848   -
1849     title: "Status"
1850     data: "data msg"
1851   rows: "generated"
1852   data: "vpp-mrr-results-2n-skx"
1853   filter: "'MRR'"
1854   parameters:
1855   - "name"
1856   - "parent"
1857   - "msg"
1858
1859 # Test configuration - VPP MRR Test Configs 3n-hsw
1860 -
1861   type: "table"
1862   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
1863   algorithm: "table_details"
1864   output-file-ext: ".csv"
1865   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
1866   columns:
1867   -
1868     title: "Name"
1869     data: "data name"
1870   -
1871     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1872     data: "data vat-history"
1873   rows: "generated"
1874   data: "vpp-mrr-results-3n-hsw"
1875   filter: "'MRR'"
1876   parameters:
1877   - "parent"
1878   - "name"
1879   - "vat-history"
1880
1881 # Test configuration - VPP MRR Test Configs 3n-skx
1882 -
1883   type: "table"
1884   title: "Test configuration - VPP MRR Test Configs 3n-skx"
1885   algorithm: "table_details"
1886   output-file-ext: ".csv"
1887   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
1888   columns:
1889   -
1890     title: "Name"
1891     data: "data name"
1892   -
1893     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1894     data: "data vat-history"
1895   rows: "generated"
1896   data: "vpp-mrr-results-3n-skx"
1897   filter: "'MRR'"
1898   parameters:
1899   - "parent"
1900   - "name"
1901   - "vat-history"
1902
1903 # Test configuration - VPP MRR Test Configs 2n-skx
1904 -
1905   type: "table"
1906   title: "Test configuration - VPP MRR Test Configs 2n-skx"
1907   algorithm: "table_details"
1908   output-file-ext: ".csv"
1909   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
1910   columns:
1911   -
1912     title: "Name"
1913     data: "data name"
1914   -
1915     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1916     data: "data vat-history"
1917   rows: "generated"
1918   data: "vpp-mrr-results-2n-skx"
1919   filter: "'MRR'"
1920   parameters:
1921   - "parent"
1922   - "name"
1923   - "vat-history"
1924
1925 # Detailed Test Results - VPP Functional Results - Ubuntu
1926 -
1927   type: "table"
1928   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
1929   algorithm: "table_details"
1930   output-file-ext: ".csv"
1931   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
1932   columns:
1933   -
1934     title: "Name"
1935     data: "data name"
1936   -
1937     title: "Documentation"
1938     data: "data doc"
1939   -
1940     title: "Status"
1941     data: "data status"
1942   rows: "generated"
1943   data: "vpp-func-results-ubuntu"
1944   filter: "all"
1945   parameters:
1946   - "name"
1947   - "parent"
1948   - "doc"
1949   - "status"
1950
1951 # Detailed Test Results - VPP Functional Results - CentOS
1952 -
1953   type: "table"
1954   title: "Detailed Test Results - VPP Functional Results - CentOS"
1955   algorithm: "table_details"
1956   output-file-ext: ".csv"
1957   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1958   columns:
1959   -
1960     title: "Name"
1961     data: "data name"
1962   -
1963     title: "Documentation"
1964     data: "data doc"
1965   -
1966     title: "Status"
1967     data: "data status"
1968   rows: "generated"
1969   data:
1970     "vpp-func-results-centos"
1971   filter: "all"
1972   parameters:
1973   - "name"
1974   - "parent"
1975   - "doc"
1976   - "status"
1977
1978 # Test configuration - VPP Functional Test Configs - Ubuntu
1979 -
1980   type: "table"
1981   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
1982   algorithm: "table_details"
1983   output-file-ext: ".csv"
1984   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
1985   columns:
1986   -
1987     title: "Name"
1988     data: "data name"
1989   -
1990     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1991     data: "data vat-history"
1992   rows: "generated"
1993   data: "vpp-func-results-ubuntu"
1994   filter: "all"
1995   parameters:
1996   - "parent"
1997   - "name"
1998   - "vat-history"
1999
2000 # Test configuration - VPP Functional Test Configs - CentOS
2001 -
2002   type: "table"
2003   title: "Test configuration - VPP Functional Test Configs - CentOS"
2004   algorithm: "table_details"
2005   output-file-ext: ".csv"
2006   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2007   columns:
2008   -
2009     title: "Name"
2010     data: "data name"
2011   -
2012     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2013     data: "data vat-history"
2014   rows: "generated"
2015   data: "vpp-func-results-centos"
2016   filter: "all"
2017   parameters:
2018   - "parent"
2019   - "name"
2020   - "vat-history"
2021
2022 # Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw
2023 -
2024   type: "table"
2025   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
2026   algorithm: "table_details"
2027   output-file-ext: ".csv"
2028   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2029   columns:
2030   -
2031     title: "Name"
2032     data: "data name"
2033   -
2034     title: "Status"
2035     data: "data msg"
2036   rows: "generated"
2037   data: "ligato-perf-results-3n-hsw"
2038   filter: "all"
2039   parameters:
2040   - "name"
2041   - "parent"
2042   - "msg"
2043
2044 # Detailed Test Results - VPP Device Results - Ubuntu
2045 -
2046   type: "table"
2047   title: "Detailed Test Results - VPP Device Results - Ubuntu"
2048   algorithm: "table_details"
2049   output-file-ext: ".csv"
2050   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
2051   columns:
2052   -
2053     title: "Name"
2054     data: "data name"
2055   -
2056     title: "Documentation"
2057     data: "data doc"
2058   -
2059     title: "Status"
2060     data: "data status"
2061   rows: "generated"
2062   data: "vpp-device-results-ubuntu"
2063   filter: "all"
2064   parameters:
2065   - "name"
2066   - "parent"
2067   - "doc"
2068   - "status"
2069
2070 # Test configuration - VPP Device Test Configs - Ubuntu
2071 -
2072   type: "table"
2073   title: "Test configuration - VPP Device Test Configs - Ubuntu"
2074   algorithm: "table_details"
2075   output-file-ext: ".csv"
2076   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
2077   columns:
2078   -
2079     title: "Name"
2080     data: "data name"
2081   -
2082     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2083     data: "data vat-history"
2084   rows: "generated"
2085   data: "vpp-device-results-ubuntu"
2086   filter: "all"
2087   parameters:
2088   - "parent"
2089   - "name"
2090   - "vat-history"
2091
2092 ################################################################################
2093
2094 # DPDK Performance Changes 1t1c pdr
2095 -
2096   type: "table"
2097   title: "DPDK Performance Changes 1t1c pdr"
2098   algorithm: "table_performance_comparison"
2099   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-pdr"
2100   history:
2101     -
2102       title: "rls1804"
2103       data:
2104         csit-dpdk-perf-1804-all:
2105         - 4
2106         - 5
2107         - 6
2108         - 7
2109         - 8
2110         - 9
2111         - 10
2112         - 11
2113         - 12
2114         - 13
2115   reference:
2116     title: "rls1807"
2117     data:
2118       csit-dpdk-perf-verify-1807-3n-hsw:
2119       - 11
2120       - 12  # full
2121       - 14
2122       - 15
2123       - 16
2124       - 17
2125       - 20
2126       - 21
2127       - 22
2128       - 23
2129   compare:
2130     title: "rls1810"
2131     data:
2132       csit-dpdk-perf-verify-1810-3n-hsw:
2133       - 1   # NDRPDR sel
2134       - 2   # NDRPDR sel
2135       - 3   # NDRPDR sel
2136       - 4   # NDRPDR sel
2137       - 5   # NDRPDR sel
2138       - 6   # NDRPDR sel
2139       - 7   # NDRPDR sel
2140       - 8   # NDRPDR sel
2141       - 9   # NDRPDR sel
2142       - 10  # NDRPDR sel
2143   data: "dpdk-performance-changes"
2144   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2145   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2146   parameters:
2147   - "name"
2148   - "parent"
2149   - "throughput"
2150
2151 # DPDK Performance Changes 2t2c pdr
2152 -
2153   type: "table"
2154   title: "DPDK Performance Changes 2t2c pdr"
2155   algorithm: "table_performance_comparison"
2156   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-pdr"
2157   history:
2158     -
2159       title: "rls1804"
2160       data:
2161         csit-dpdk-perf-1804-all:
2162         - 4
2163         - 5
2164         - 6
2165         - 7
2166         - 8
2167         - 9
2168         - 10
2169         - 11
2170         - 12
2171         - 13
2172   reference:
2173     title: "rls1807"
2174     data:
2175       csit-dpdk-perf-verify-1807-3n-hsw:
2176       - 11
2177       - 12  # full
2178       - 14
2179       - 15
2180       - 16
2181       - 17
2182       - 20
2183       - 21
2184       - 22
2185       - 23
2186   compare:
2187     title: "rls1810"
2188     data:
2189       csit-dpdk-perf-verify-1810-3n-hsw:
2190       - 1   # NDRPDR sel
2191       - 2   # NDRPDR sel
2192       - 3   # NDRPDR sel
2193       - 4   # NDRPDR sel
2194       - 5   # NDRPDR sel
2195       - 6   # NDRPDR sel
2196       - 7   # NDRPDR sel
2197       - 8   # NDRPDR sel
2198       - 9   # NDRPDR sel
2199       - 10  # NDRPDR sel
2200   data: "dpdk-performance-changes"
2201   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2202   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2203   parameters:
2204   - "name"
2205   - "parent"
2206   - "throughput"
2207
2208 # DPDK Performance Changes 1t1c ndr
2209 -
2210   type: "table"
2211   title: "DPDK Performance Changes 1t1c ndr"
2212   algorithm: "table_performance_comparison"
2213   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-ndr"
2214   history:
2215     -
2216       title: "rls1804"
2217       data:
2218         csit-dpdk-perf-1804-all:
2219         - 4
2220         - 5
2221         - 6
2222         - 7
2223         - 8
2224         - 9
2225         - 10
2226         - 11
2227         - 12
2228         - 13
2229   reference:
2230     title: "rls1807"
2231     data:
2232       csit-dpdk-perf-verify-1807-3n-hsw:
2233       - 11
2234       - 12  # full
2235       - 14
2236       - 15
2237       - 16
2238       - 17
2239       - 20
2240       - 21
2241       - 22
2242       - 23
2243   compare:
2244     title: "rls1810"
2245     data:
2246       csit-dpdk-perf-verify-1810-3n-hsw:
2247       - 1   # NDRPDR sel
2248       - 2   # NDRPDR sel
2249       - 3   # NDRPDR sel
2250       - 4   # NDRPDR sel
2251       - 5   # NDRPDR sel
2252       - 6   # NDRPDR sel
2253       - 7   # NDRPDR sel
2254       - 8   # NDRPDR sel
2255       - 9   # NDRPDR sel
2256       - 10  # NDRPDR sel
2257   data: "dpdk-performance-changes"
2258   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2259   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2260   parameters:
2261   - "name"
2262   - "parent"
2263   - "throughput"
2264
2265 # DPDK Performance Changes 2t2c ndr
2266 -
2267   type: "table"
2268   title: "DPDK Performance Changes 2t2c ndr"
2269   algorithm: "table_performance_comparison"
2270   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-ndr"
2271   history:
2272     -
2273       title: "rls1804"
2274       data:
2275         csit-dpdk-perf-1804-all:
2276         - 4
2277         - 5
2278         - 6
2279         - 7
2280         - 8
2281         - 9
2282         - 10
2283         - 11
2284         - 12
2285         - 13
2286   reference:
2287     title: "rls1807"
2288     data:
2289       csit-dpdk-perf-verify-1807-3n-hsw:
2290       - 11
2291       - 12  # full
2292       - 14
2293       - 15
2294       - 16
2295       - 17
2296       - 20
2297       - 21
2298       - 22
2299       - 23
2300   compare:
2301     title: "rls1810"
2302     data:
2303       csit-dpdk-perf-verify-1810-3n-hsw:
2304       - 1   # NDRPDR sel
2305       - 2   # NDRPDR sel
2306       - 3   # NDRPDR sel
2307       - 4   # NDRPDR sel
2308       - 5   # NDRPDR sel
2309       - 6   # NDRPDR sel
2310       - 7   # NDRPDR sel
2311       - 8   # NDRPDR sel
2312       - 9   # NDRPDR sel
2313       - 10  # NDRPDR sel
2314   data: "dpdk-performance-changes"
2315   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2316   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2317   parameters:
2318   - "name"
2319   - "parent"
2320   - "throughput"
2321
2322 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr
2323 -
2324   type: "table"
2325   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
2326   algorithm: "table_performance_comparison"
2327   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
2328   reference:
2329     title: "3-Node Hsw"
2330     data:
2331       csit-dpdk-perf-verify-1810-3n-hsw:
2332       - 1   # NDRPDR sel
2333       - 2   # NDRPDR sel
2334       - 3   # NDRPDR sel
2335       - 4   # NDRPDR sel
2336       - 5   # NDRPDR sel
2337       - 6   # NDRPDR sel
2338       - 7   # NDRPDR sel
2339       - 8   # NDRPDR sel
2340       - 9   # NDRPDR sel
2341       - 10  # NDRPDR sel
2342   compare:
2343     title: "3-Node Skx"
2344     data:
2345       csit-dpdk-perf-verify-1810-3n-skx:
2346       - 3   # NDRPDR sel
2347       - 4   # NDRPDR sel
2348       - 6   # NDRPDR sel
2349       - 7   # NDRPDR sel
2350       - 8   # NDRPDR sel
2351       - 9   # NDRPDR sel
2352       - 10  # NDRPDR sel
2353       - 11  # NDRPDR sel
2354       - 12  # NDRPDR sel
2355       - 13  # NDRPDR sel
2356   data: "dpdk-compare-testbeds"
2357   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2358   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2359   parameters:
2360   - "name"
2361   - "parent"
2362   - "throughput"
2363
2364 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr
2365 -
2366   type: "table"
2367   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
2368   algorithm: "table_performance_comparison"
2369   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
2370   reference:
2371     title: "3-Node Hsw"
2372     data:
2373       csit-dpdk-perf-verify-1810-3n-hsw:
2374       - 1   # NDRPDR sel
2375       - 2   # NDRPDR sel
2376       - 3   # NDRPDR sel
2377       - 4   # NDRPDR sel
2378       - 5   # NDRPDR sel
2379       - 6   # NDRPDR sel
2380       - 7   # NDRPDR sel
2381       - 8   # NDRPDR sel
2382       - 9   # NDRPDR sel
2383       - 10  # NDRPDR sel
2384   compare:
2385     title: "3-Node Skx"
2386     data:
2387       csit-dpdk-perf-verify-1810-3n-skx:
2388       - 3   # NDRPDR sel
2389       - 4   # NDRPDR sel
2390       - 6   # NDRPDR sel
2391       - 7   # NDRPDR sel
2392       - 8   # NDRPDR sel
2393       - 9   # NDRPDR sel
2394       - 10  # NDRPDR sel
2395       - 11  # NDRPDR sel
2396       - 12  # NDRPDR sel
2397       - 13  # NDRPDR sel
2398   data: "dpdk-compare-testbeds"
2399   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2400   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2401   parameters:
2402   - "name"
2403   - "parent"
2404   - "throughput"
2405
2406 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr
2407 # NOTE: Not used in 18.10
2408 #-
2409 #  type: "table"
2410 #  title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
2411 #  algorithm: "table_performance_comparison"
2412 #  output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
2413 #  reference:
2414 #    title: "3-Node Hsw"
2415 #    data:
2416 #      csit-dpdk-perf-verify-1807-3n-hsw:
2417 #      - 11
2418 #      - 12  # full
2419 #      - 14
2420 #      - 15
2421 #      - 16
2422 #      - 17
2423 #      - 20
2424 #      - 21
2425 #      - 22
2426 #      - 23
2427 #  compare:
2428 #    title: "3-Node Skx"
2429 #    data:
2430 #      csit-dpdk-perf-verify-1807-3n-skx:
2431 #      - 1
2432 #      - 2
2433 #      - 3
2434 #      - 6
2435 #      - 7
2436 #      - 8
2437 #      - 9
2438 #      - 10
2439 #      - 11
2440 #      - 12
2441 #  data: "dpdk-compare-testbeds"
2442 #  include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2443 #  filter: "'NIC_Intel-X710' and MRR" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2444 #  parameters:
2445 #  - "name"
2446 #  - "parent"
2447 #  - "result"
2448
2449 # Detailed Test Results - DPDK Performance Results 3n-hsw
2450 -
2451   type: "table"
2452   title: "Detailed Test Results - DPDK Performance Results 3n-hsw"
2453   algorithm: "table_details"
2454   output-file-ext: ".csv"
2455   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
2456   columns:
2457   -
2458     title: "Name"
2459     data: "data name"
2460   -
2461     title: "Status"
2462     data: "data msg"
2463   rows: "generated"
2464   data: "dpdk-perf-results-3n-hsw"
2465   filter: "all"
2466   parameters:
2467   - "name"
2468   - "parent"
2469   - "msg"
2470
2471 # Detailed Test Results - DPDK Performance Results 3n-skx
2472 -
2473   type: "table"
2474   title: "Detailed Test Results - DPDK Performance Results 3n-skx"
2475   algorithm: "table_details"
2476   output-file-ext: ".csv"
2477   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
2478   columns:
2479   -
2480     title: "Name"
2481     data: "data name"
2482   -
2483     title: "Status"
2484     data: "data msg"
2485   rows: "generated"
2486   data: "dpdk-perf-results-3n-skx"
2487   filter: "all"
2488   parameters:
2489   - "name"
2490   - "parent"
2491   - "msg"
2492
2493 # Detailed Test Results - DPDK Performance Results 2n-skx
2494 -
2495   type: "table"
2496   title: "Detailed Test Results - DPDK Performance Results 2n-skx"
2497   algorithm: "table_details"
2498   output-file-ext: ".csv"
2499   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
2500   columns:
2501   -
2502     title: "Name"
2503     data: "data name"
2504   -
2505     title: "Status"
2506     data: "data msg"
2507   rows: "generated"
2508   data: "dpdk-perf-results-2n-skx"
2509   filter: "all"
2510   parameters:
2511   - "name"
2512   - "parent"
2513   - "msg"
2514
2515 ################################################################################
2516 # HoneyComb
2517 -
2518   type: "table"
2519   title: "Detailed Test Results - Honeycomb Functional Results"
2520   algorithm: "table_details"
2521   output-file-ext: ".csv"
2522   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
2523   columns:
2524   -
2525     title: "Name"
2526     data: "data name"
2527   -
2528     title: "Documentation"
2529     data: "data doc"
2530   -
2531     title: "Status"
2532     data: "data status"
2533   rows: "generated"
2534   data:
2535     "hc-func-results"
2536   filter: "all"
2537   parameters:
2538   - "name"
2539   - "parent"
2540   - "doc"
2541   - "status"
2542
2543 ################################################################################
2544 # NSH SFC
2545 -
2546   type: "table"
2547   title: "Detailed Test Results - NSH SFC Functional Results"
2548   algorithm: "table_details"
2549   output-file-ext: ".csv"
2550   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
2551   columns:
2552   -
2553     title: "Name"
2554     data: "data name"
2555   -
2556     title: "Documentation"
2557     data: "data doc"
2558   -
2559     title: "Status"
2560     data: "data status"
2561   rows: "generated"
2562   data:
2563     "nsh-func-results"
2564   filter: "all"
2565   parameters:
2566   - "name"
2567   - "parent"
2568   - "doc"
2569   - "status"
2570
2571 ################################################################################
2572 # DMM
2573 -
2574   type: "table"
2575   title: "Detailed Test Results - DMM Functional Results"
2576   algorithm: "table_details"
2577   output-file-ext: ".csv"
2578   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
2579   columns:
2580   -
2581     title: "Name"
2582     data: "data name"
2583   -
2584     title: "Documentation"
2585     data: "data doc"
2586   -
2587     title: "Status"
2588     data: "data status"
2589   rows: "generated"
2590   data:
2591     "dmm-func-results"
2592   filter: "all"
2593   parameters:
2594   - "name"
2595   - "parent"
2596   - "doc"
2597   - "status"
2598
2599 ################################################################################
2600 ###                                F I L E S                                 ###
2601 ################################################################################
2602
2603 # VPP Performance Results 3n-hsw
2604 -
2605   type: "file"
2606   title: "VPP Performance Results 3n-hsw"
2607   algorithm: "file_test_results"
2608   output-file-ext: ".rst"
2609   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
2610   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2611   dir-tables: "{DIR[DTR,PERF,VPP,3N,HSW]}"
2612   data: "vpp-perf-results-3n-hsw"
2613   filter: "not 'NDRCHK' and not 'PDRCHK'"
2614   parameters:
2615   - "name"
2616   - "doc"
2617   - "level"
2618   - "parent"
2619   data-start-level: 3
2620
2621 # VPP Performance Results 3n-skx
2622 -
2623   type: "file"
2624   title: "VPP Performance Results 3n-skx"
2625   algorithm: "file_test_results"
2626   output-file-ext: ".rst"
2627   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
2628   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2629   dir-tables: "{DIR[DTR,PERF,VPP,3N,SKX]}"
2630   data: "vpp-perf-results-3n-skx"
2631   filter: "not 'NDRCHK' and not 'PDRCHK'"
2632   parameters:
2633   - "name"
2634   - "doc"
2635   - "level"
2636   - "parent"
2637   data-start-level: 3
2638
2639 # VPP Performance Results 2n-skx
2640 -
2641   type: "file"
2642   title: "VPP Performance Results 2n-skx"
2643   algorithm: "file_test_results"
2644   output-file-ext: ".rst"
2645   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
2646   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2647   dir-tables: "{DIR[DTR,PERF,VPP,2N,SKX]}"
2648   data: "vpp-perf-results-2n-skx"
2649   filter: "not 'NDRCHK' and not 'PDRCHK'"
2650   parameters:
2651   - "name"
2652   - "doc"
2653   - "level"
2654   - "parent"
2655   data-start-level: 3
2656
2657 # VPP Performance Configuration 3n-hsw
2658 -
2659   type: "file"
2660   title: "VPP Performance Configuration 3n-hsw"
2661   algorithm: "file_test_results"
2662   output-file-ext: ".rst"
2663   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_performance_configuration_3n_hsw"
2664   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2665   dir-tables: "{DIR[DTC,PERF,VPP,3N,HSW]}"
2666   data: "vpp-perf-results-3n-hsw"
2667   filter: "not 'NDRCHK' and not 'PDRCHK'"
2668   parameters:
2669   - "name"
2670   - "doc"
2671   - "level"
2672   - "parent"
2673   data-start-level: 3
2674
2675 # VPP Performance Configuration 3n-skx
2676 -
2677   type: "file"
2678   title: "VPP Performance Configuration 3n-skx"
2679   algorithm: "file_test_results"
2680   output-file-ext: ".rst"
2681   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_performance_configuration_3n_skx"
2682   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2683   dir-tables: "{DIR[DTC,PERF,VPP,3N,SKX]}"
2684   data: "vpp-perf-results-3n-skx"
2685   filter: "not 'NDRCHK' and not 'PDRCHK'"
2686   parameters:
2687   - "name"
2688   - "doc"
2689   - "level"
2690   - "parent"
2691   data-start-level: 3
2692
2693 # VPP Performance Configuration 2n-skx
2694 -
2695   type: "file"
2696   title: "VPP Performance Configuration 2n-skx"
2697   algorithm: "file_test_results"
2698   output-file-ext: ".rst"
2699   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_performance_configuration_2n_skx"
2700   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2701   dir-tables: "{DIR[DTC,PERF,VPP,2N,SKX]}"
2702   data: "vpp-perf-results-2n-skx"
2703   filter: "not 'NDRCHK' and not 'PDRCHK'"
2704   parameters:
2705   - "name"
2706   - "doc"
2707   - "level"
2708   - "parent"
2709   data-start-level: 3
2710
2711 # VPP Performance Operational Data 3n-hsw
2712 -
2713   type: "file"
2714   title: "VPP Performance Operational Data 3n-hsw"
2715   algorithm: "file_test_results"
2716   output-file-ext: ".rst"
2717   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_performance_operational_data_3n_hsw"
2718   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2719   dir-tables: "{DIR[DTO,PERF,VPP,3N,HSW]}"
2720   data: "vpp-perf-results-3n-hsw"
2721   filter: "not 'NDRCHK' and not 'PDRCHK'"
2722   parameters:
2723   - "name"
2724   - "doc"
2725   - "level"
2726   - "parent"
2727   data-start-level: 3
2728
2729 # VPP Performance Operational Data 3n-skx
2730 -
2731   type: "file"
2732   title: "VPP Performance Operational Data 3n-skx"
2733   algorithm: "file_test_results"
2734   output-file-ext: ".rst"
2735   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_performance_operational_data_3n_skx"
2736   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2737   dir-tables: "{DIR[DTO,PERF,VPP,3N,SKX]}"
2738   data: "vpp-perf-results-3n-skx"
2739   filter: "not 'NDRCHK' and not 'PDRCHK'"
2740   parameters:
2741   - "name"
2742   - "doc"
2743   - "level"
2744   - "parent"
2745   data-start-level: 3
2746
2747 # VPP Performance Operational Data 2n-skx
2748 -
2749   type: "file"
2750   title: "VPP Performance Operational Data 2n-skx"
2751   algorithm: "file_test_results"
2752   output-file-ext: ".rst"
2753   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_performance_operational_data_2n_skx"
2754   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2755   dir-tables: "{DIR[DTO,PERF,VPP,2N,SKX]}"
2756   data: "vpp-perf-results-2n-skx"
2757   filter: "not 'NDRCHK' and not 'PDRCHK'"
2758   parameters:
2759   - "name"
2760   - "doc"
2761   - "level"
2762   - "parent"
2763   data-start-level: 3
2764
2765 # VPP MRR Results 3n-hsw
2766 -
2767   type: "file"
2768   title: "VPP MRR Results 3n-hsw"
2769   algorithm: "file_test_results"
2770   output-file-ext: ".rst"
2771   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
2772   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2773   dir-tables: "{DIR[DTR,MRR,VPP,3N,HSW]}"
2774   data: "vpp-mrr-results-3n-hsw"
2775   filter: "'MRR'"
2776   parameters:
2777   - "name"
2778   - "doc"
2779   - "level"
2780   - "parent"
2781   data-start-level: 3
2782
2783 # VPP MRR Results 3n-skx
2784 -
2785   type: "file"
2786   title: "VPP MRR Results 3n-skx"
2787   algorithm: "file_test_results"
2788   output-file-ext: ".rst"
2789   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
2790   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2791   dir-tables: "{DIR[DTR,MRR,VPP,3N,SKX]}"
2792   data: "vpp-mrr-results-3n-skx"
2793   filter: "'MRR'"
2794   parameters:
2795   - "name"
2796   - "doc"
2797   - "level"
2798   - "parent"
2799   data-start-level: 3
2800
2801 # VPP MRR Results 2n-skx
2802 -
2803   type: "file"
2804   title: "VPP MRR Results 2n-skx"
2805   algorithm: "file_test_results"
2806   output-file-ext: ".rst"
2807   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
2808   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2809   dir-tables: "{DIR[DTR,MRR,VPP,2N,SKX]}"
2810   data: "vpp-mrr-results-2n-skx"
2811   filter: "all"
2812   parameters:
2813   - "name"
2814   - "doc"
2815   - "level"
2816   - "parent"
2817   data-start-level: 3
2818
2819 # VPP MRR Configuration 3n-hsw
2820 -
2821   type: "file"
2822   title: "VPP MRR Configuration 3n-hsw"
2823   algorithm: "file_test_results"
2824   output-file-ext: ".rst"
2825   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_configuration_3n_hsw"
2826   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2827   dir-tables: "{DIR[DTC,MRR,VPP,3N,HSW]}"
2828   data: "vpp-mrr-results-3n-hsw"
2829   filter: "'MRR'"
2830   parameters:
2831   - "name"
2832   - "doc"
2833   - "level"
2834   - "parent"
2835   data-start-level: 3
2836
2837 # VPP MRR Configuration 3n-skx
2838 -
2839   type: "file"
2840   title: "VPP MRR Configuration 3n-skx"
2841   algorithm: "file_test_results"
2842   output-file-ext: ".rst"
2843   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_configuration_3n_skx"
2844   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2845   dir-tables: "{DIR[DTC,MRR,VPP,3N,SKX]}"
2846   data: "vpp-mrr-results-3n-skx"
2847   filter: "'MRR'"
2848   parameters:
2849   - "name"
2850   - "doc"
2851   - "level"
2852   - "parent"
2853   data-start-level: 3
2854
2855 # VPP MRR Configuration 2n-skx
2856 -
2857   type: "file"
2858   title: "VPP MRR Configuration 2n-skx"
2859   algorithm: "file_test_results"
2860   output-file-ext: ".rst"
2861   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_configuration_2n_skx"
2862   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2863   dir-tables: "{DIR[DTC,MRR,VPP,2N,SKX]}"
2864   data: "vpp-mrr-results-2n-skx"
2865   filter: "'MRR'"
2866   parameters:
2867   - "name"
2868   - "doc"
2869   - "level"
2870   - "parent"
2871   data-start-level: 3
2872
2873 # VPP Functional Results - Ubuntu
2874 -
2875   type: "file"
2876   title: "VPP Functional Results - Ubuntu"
2877   algorithm: "file_test_results"
2878   output-file-ext: ".rst"
2879   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
2880   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2881   dir-tables: "{DIR[DTR,FUNC,VPP,UBUNTU]}"
2882   data: "vpp-func-results-ubuntu"
2883   filter: "all"
2884   parameters:
2885   - "name"
2886   - "doc"
2887   - "level"
2888   - "parent"
2889   data-start-level: 3
2890
2891 # VPP Functional Results - CentOS
2892 -
2893   type: "file"
2894   title: "VPP Functional Results - CentOS"
2895   algorithm: "file_test_results"
2896   output-file-ext: ".rst"
2897   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
2898   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2899   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
2900   data:
2901     "vpp-func-results-centos"
2902   filter: "all"
2903   parameters:
2904   - "name"
2905   - "doc"
2906   - "level"
2907   - "parent"
2908   data-start-level: 3
2909
2910 # VPP Functional Configuration - Ubuntu
2911 -
2912   type: "file"
2913   title: "VPP Functional Configuration - Ubuntu"
2914   algorithm: "file_test_results"
2915   output-file-ext: ".rst"
2916   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
2917   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2918   dir-tables: "{DIR[DTC,FUNC,VPP,UBUNTU]}"
2919   data: "vpp-func-results-ubuntu"
2920   filter: "all"
2921   parameters:
2922   - "name"
2923   - "doc"
2924   - "level"
2925   - "parent"
2926   data-start-level: 3
2927
2928 # VPP Functional Configuration - CentOS
2929 -
2930   type: "file"
2931   title: "VPP Functional Configuration - CentOS"
2932   algorithm: "file_test_results"
2933   output-file-ext: ".rst"
2934   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2935   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2936   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
2937   data:
2938     "vpp-func-results-centos"
2939   filter: "all"
2940   parameters:
2941   - "name"
2942   - "doc"
2943   - "level"
2944   - "parent"
2945   data-start-level: 3
2946
2947 # VPP Device Results - Ubuntu
2948 -
2949   type: "file"
2950   title: "VPP Device Results - Ubuntu"
2951   algorithm: "file_test_results"
2952   output-file-ext: ".rst"
2953   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
2954   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2955   dir-tables: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}"
2956   data: "vpp-device-results-ubuntu"
2957   filter: "all"
2958   parameters:
2959   - "name"
2960   - "doc"
2961   - "level"
2962   - "parent"
2963   data-start-level: 2
2964
2965 # VPP Device Configuration - Ubuntu
2966 -
2967   type: "file"
2968   title: "VPP Device Configuration - Ubuntu"
2969   algorithm: "file_test_results"
2970   output-file-ext: ".rst"
2971   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
2972   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2973   dir-tables: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}"
2974   data: "vpp-device-results-ubuntu"
2975   filter: "all"
2976   parameters:
2977   - "name"
2978   - "doc"
2979   - "level"
2980   - "parent"
2981   data-start-level: 2
2982
2983 # Container Orchestrated Performance Results 3n-hsw
2984 -
2985   type: "file"
2986   title: "Container Orchestrated Performance Results 3n-hsw"
2987   algorithm: "file_test_results"
2988   output-file-ext: ".rst"
2989   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2990   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2991   dir-tables: "{DIR[DTR,PERF,COT,3N,HSW]}"
2992   data: "ligato-perf-results-3n-hsw"
2993   filter: "all"
2994   parameters:
2995   - "name"
2996   - "doc"
2997   - "level"
2998   - "parent"
2999   data-start-level: 3
3000
3001 # DPDK Performance Results 3n-hsw
3002 -
3003   type: "file"
3004   title: "DPDK Performance Results 3n-hsw"
3005   algorithm: "file_test_results"
3006   output-file-ext: ".rst"
3007   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
3008   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3009   dir-tables: "{DIR[DTR,PERF,DPDK,3N,HSW]}"
3010   data: "dpdk-perf-results-3n-hsw"
3011   filter: "all"
3012   parameters:
3013   - "name"
3014   - "doc"
3015   - "level"
3016   - "parent"
3017   data-start-level: 3
3018
3019 # DPDK Performance Results 3n-skx
3020 -
3021   type: "file"
3022   title: "DPDK Performance Results 3n-skx"
3023   algorithm: "file_test_results"
3024   output-file-ext: ".rst"
3025   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
3026   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3027   dir-tables: "{DIR[DTR,PERF,DPDK,3N,SKX]}"
3028   data: "dpdk-perf-results-3n-skx"
3029   filter: "all"
3030   parameters:
3031   - "name"
3032   - "doc"
3033   - "level"
3034   - "parent"
3035   data-start-level: 3
3036
3037 # DPDK Performance Results 2n-skx
3038 -
3039   type: "file"
3040   title: "DPDK Performance Results 2n-skx"
3041   algorithm: "file_test_results"
3042   output-file-ext: ".rst"
3043   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
3044   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3045   dir-tables: "{DIR[DTR,PERF,DPDK,2N,SKX]}"
3046   data: "dpdk-perf-results-2n-skx"
3047   filter: "all"
3048   parameters:
3049   - "name"
3050   - "doc"
3051   - "level"
3052   - "parent"
3053   data-start-level: 3
3054
3055 # Honeycomb Functional Results
3056 -
3057   type: "file"
3058   title: "Honeycomb Functional Results"
3059   algorithm: "file_test_results"
3060   output-file-ext: ".rst"
3061   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
3062   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3063   dir-tables: "{DIR[DTR,FUNC,HC]}"
3064   data:
3065     "hc-func-results"
3066   filter: "all"
3067   parameters:
3068   - "name"
3069   - "doc"
3070   - "level"
3071   - "parent"
3072   data-start-level: 3
3073
3074 # NSH SFC Functional Results
3075 -
3076   type: "file"
3077   title: "NSH SFC Functional Results"
3078   algorithm: "file_test_results"
3079   output-file-ext: ".rst"
3080   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
3081   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3082   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
3083   data:
3084     "nsh-func-results"
3085   filter: "all"
3086   parameters:
3087   - "name"
3088   - "doc"
3089   - "level"
3090   - "parent"
3091   data-start-level: 3
3092
3093 # DMM Functional Results
3094 -
3095   type: "file"
3096   title: "DMM Functional Results"
3097   algorithm: "file_test_results"
3098   output-file-ext: ".rst"
3099   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
3100   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3101   dir-tables: "{DIR[DTR,FUNC,DMM]}"
3102   data:
3103     "dmm-func-results"
3104   filter: "all"
3105   parameters:
3106   - "name"
3107   - "doc"
3108   - "level"
3109   - "parent"
3110   data-start-level: 3
3111
3112 ################################################################################
3113 ###                                P L O T S                                 ###
3114 ################################################################################
3115
3116 ################################################################################
3117 # Plots VPP HTTP Server Performance
3118 -
3119   type: "plot"
3120   title: "VPP HTTP Server Performance"
3121   algorithm: "plot_http_server_performance_box"
3122   output-file-type: ".html"
3123   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
3124   data:
3125     "plot-vpp-http-server-performance"
3126   # Keep this formatting, the filter is enclosed with " (quotation mark) and
3127   # each tag is enclosed with ' (apostrophe).
3128   filter: "'HTTP' and 'TCP_CPS'"
3129   parameters:
3130   - "result"
3131   - "name"
3132   traces:
3133     hoverinfo: "x+y"
3134     boxpoints: "outliers"
3135     whiskerwidth: 0
3136   layout:
3137     title: "VPP HTTP Server Performance"
3138     layout:
3139       "plot-cps"
3140
3141 -
3142   type: "plot"
3143   title: "VPP HTTP Server Performance"
3144   algorithm: "plot_http_server_performance_box"
3145   output-file-type: ".html"
3146   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
3147   data:
3148     "plot-vpp-http-server-performance"
3149   filter: "'HTTP' and 'TCP_RPS'"
3150   parameters:
3151   - "result"
3152   - "name"
3153   traces:
3154     hoverinfo: "x+y"
3155     boxpoints: "outliers"
3156     whiskerwidth: 0
3157   layout:
3158     title: "VPP HTTP Server Performance"
3159     layout:
3160       "plot-rps"
3161
3162 ################################################################################
3163
3164 # Packet Throughput - VPP L2 3n-hsw-x520 base and scale
3165 -
3166   type: "plot"
3167   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3168   algorithm: "plot_performance_box"
3169   output-file-type: ".html"
3170   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3171   data: "plot-vpp-throughput-latency-3n-hsw"
3172   filter: "'NIC_Intel-X520-DA2' and
3173            '64B' and
3174            ('BASE' or 'SCALE') and
3175            'NDRPDR' and
3176            'ETH' and
3177            '1T1C' and
3178            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3179            not 'VHOST' and
3180            not 'MEMIF'"
3181   parameters:
3182   - "throughput"
3183   - "parent"
3184   - "tags"
3185   sort:
3186   - "L2PATCH"
3187   - "L2XCBASE"
3188   - "BASE"
3189   - "FIB_10K"
3190   - "FIB_100K"
3191   - "FIB_1M"
3192   traces:
3193     hoverinfo: "x+y"
3194     boxpoints: "outliers"
3195     whiskerwidth: 0
3196   layout:
3197     title: "l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3198     layout: "plot-throughput"
3199
3200 -
3201   type: "plot"
3202   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3203   algorithm: "plot_performance_box"
3204   output-file-type: ".html"
3205   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3206   data: "plot-vpp-throughput-latency-3n-hsw"
3207   filter: "'NIC_Intel-X520-DA2' and
3208            '64B' and
3209            ('BASE' or 'SCALE') and
3210            'NDRPDR' and
3211            'ETH' and
3212            '1T1C' and
3213            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3214            not 'VHOST' and
3215            not 'MEMIF'"
3216   parameters:
3217   - "throughput"
3218   - "parent"
3219   - "tags"
3220   sort:
3221   - "L2PATCH"
3222   - "L2XCBASE"
3223   - "BASE"
3224   - "FIB_10K"
3225   - "FIB_100K"
3226   - "FIB_1M"
3227   traces:
3228     hoverinfo: "x+y"
3229     boxpoints: "outliers"
3230     whiskerwidth: 0
3231   layout:
3232     title: "l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3233     layout: "plot-throughput"
3234
3235 -
3236   type: "plot"
3237   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3238   algorithm: "plot_performance_box"
3239   output-file-type: ".html"
3240   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3241   data: "plot-vpp-throughput-latency-3n-hsw"
3242   filter: "'NIC_Intel-X520-DA2' and
3243            '64B' and
3244            ('BASE' or 'SCALE') and
3245            'NDRPDR' and
3246            'ETH' and
3247            '2T2C' and
3248            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3249            not 'VHOST' and
3250            not 'MEMIF'"
3251   parameters:
3252   - "throughput"
3253   - "parent"
3254   - "tags"
3255   sort:
3256   - "L2PATCH"
3257   - "L2XCBASE"
3258   - "BASE"
3259   - "FIB_10K"
3260   - "FIB_100K"
3261   - "FIB_1M"
3262   traces:
3263     hoverinfo: "x+y"
3264     boxpoints: "outliers"
3265     whiskerwidth: 0
3266   layout:
3267     title: "l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3268     layout: "plot-throughput"
3269
3270 -
3271   type: "plot"
3272   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3273   algorithm: "plot_performance_box"
3274   output-file-type: ".html"
3275   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3276   data: "plot-vpp-throughput-latency-3n-hsw"
3277   filter: "'NIC_Intel-X520-DA2' and
3278            '64B' and
3279            ('BASE' or 'SCALE') and
3280            'NDRPDR' and
3281            'ETH' and
3282            '2T2C' and
3283            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3284            not 'VHOST' and
3285            not 'MEMIF'"
3286   parameters:
3287   - "throughput"
3288   - "parent"
3289   - "tags"
3290   sort:
3291   - "L2PATCH"
3292   - "L2XCBASE"
3293   - "BASE"
3294   - "FIB_10K"
3295   - "FIB_100K"
3296   - "FIB_1M"
3297   traces:
3298     hoverinfo: "x+y"
3299     boxpoints: "outliers"
3300     whiskerwidth: 0
3301   layout:
3302     title: "l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3303     layout: "plot-throughput"
3304
3305 # Packet Throughput - VPP L2 3n-hsw-x520 features
3306 -
3307   type: "plot"
3308   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
3309   algorithm: "plot_performance_box"
3310   output-file-type: ".html"
3311   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
3312   data: "plot-vpp-throughput-latency-3n-hsw"
3313   filter: "'NIC_Intel-X520-DA2' and
3314            '64B' and
3315            'NDRPDR' and
3316            '1T1C' and
3317            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3318            not 'ACL' and
3319            not 'VHOST' and
3320            not 'MEMIF'"
3321   parameters:
3322   - "throughput"
3323   - "parent"
3324   - "tags"
3325   sort:
3326   - "L2XCBASE"    # l2xcbase
3327   - "L2BDBASE"    # l2bdbase
3328   - "L2XCFWD"     # dot1q-l2xcbase
3329   - "L2BDMACLRN"  # dot1q-l2bdbase
3330   traces:
3331     hoverinfo: "x+y"
3332     boxpoints: "outliers"
3333     whiskerwidth: 0
3334   layout:
3335     title: "l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
3336     layout: "plot-throughput"
3337
3338 -
3339   type: "plot"
3340   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
3341   algorithm: "plot_performance_box"
3342   output-file-type: ".html"
3343   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
3344   data: "plot-vpp-throughput-latency-3n-hsw"
3345   filter: "'NIC_Intel-X520-DA2' and
3346            '64B' and
3347            'NDRPDR' and
3348            '1T1C' and
3349            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3350            not 'ACL' and
3351            not 'VHOST' and
3352            not 'MEMIF'"
3353   parameters:
3354   - "throughput"
3355   - "parent"
3356   - "tags"
3357   sort:
3358   - "L2XCBASE"    # l2xcbase
3359   - "L2BDBASE"    # l2bdbase
3360   - "L2XCFWD"     # dot1q-l2xcbase
3361   - "L2BDMACLRN"  # dot1q-l2bdbase
3362   traces:
3363     hoverinfo: "x+y"
3364     boxpoints: "outliers"
3365     whiskerwidth: 0
3366   layout:
3367     title: "l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
3368     layout: "plot-throughput"
3369
3370 -
3371   type: "plot"
3372   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
3373   algorithm: "plot_performance_box"
3374   output-file-type: ".html"
3375   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
3376   data: "plot-vpp-throughput-latency-3n-hsw"
3377   filter: "'NIC_Intel-X520-DA2' and
3378            '64B' and
3379            'NDRPDR' and
3380            '2T2C' and
3381            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3382            not 'ACL' and
3383            not 'VHOST' and
3384            not 'MEMIF'"
3385   parameters:
3386   - "throughput"
3387   - "parent"
3388   - "tags"
3389   sort:
3390   - "L2XCBASE"    # l2xcbase
3391   - "L2BDBASE"    # l2bdbase
3392   - "L2XCFWD"     # dot1q-l2xcbase
3393   - "L2BDMACLRN"  # dot1q-l2bdbase
3394   traces:
3395     hoverinfo: "x+y"
3396     boxpoints: "outliers"
3397     whiskerwidth: 0
3398   layout:
3399     title: "l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
3400     layout: "plot-throughput"
3401
3402 -
3403   type: "plot"
3404   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
3405   algorithm: "plot_performance_box"
3406   output-file-type: ".html"
3407   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
3408   data: "plot-vpp-throughput-latency-3n-hsw"
3409   filter: "'NIC_Intel-X520-DA2' and
3410            '64B' and
3411            'NDRPDR' and
3412            '2T2C' and
3413            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3414            not 'ACL' and
3415            not 'VHOST' and
3416            not 'MEMIF'"
3417   parameters:
3418   - "throughput"
3419   - "parent"
3420   - "tags"
3421   sort:
3422   - "L2XCBASE"    # l2xcbase
3423   - "L2BDBASE"    # l2bdbase
3424   - "L2XCFWD"     # dot1q-l2xcbase
3425   - "L2BDMACLRN"  # dot1q-l2bdbase
3426   traces:
3427     hoverinfo: "x+y"
3428     boxpoints: "outliers"
3429     whiskerwidth: 0
3430   layout:
3431     title: "l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
3432     layout: "plot-throughput"
3433
3434 # Packet Throughput - VPP L2 3n-hsw-x710 base and scale
3435 -
3436   type: "plot"
3437   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3438   algorithm: "plot_performance_box"
3439   output-file-type: ".html"
3440   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3441   data: "plot-vpp-throughput-latency-3n-hsw"
3442   filter: "'NIC_Intel-X710' and
3443            '64B' and
3444            ('BASE' or 'SCALE') and
3445            'NDRPDR' and
3446            'ETH' and
3447            '1T1C' and
3448            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3449            not 'VHOST' and
3450            not 'MEMIF'"
3451   parameters:
3452   - "throughput"
3453   - "parent"
3454   - "tags"
3455   sort:
3456   - "L2PATCH"
3457   - "L2XCBASE"
3458   - "BASE"
3459   - "FIB_10K"
3460   - "FIB_100K"
3461   - "FIB_1M"
3462   traces:
3463     hoverinfo: "x+y"
3464     boxpoints: "outliers"
3465     whiskerwidth: 0
3466   layout:
3467     title: "l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3468     layout: "plot-throughput"
3469
3470 -
3471   type: "plot"
3472   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
3473   algorithm: "plot_performance_box"
3474   output-file-type: ".html"
3475   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
3476   data: "plot-vpp-throughput-latency-3n-hsw"
3477   filter: "'NIC_Intel-X710' and
3478            '64B' and
3479            ('BASE' or 'SCALE') and
3480            'NDRPDR' and
3481            'ETH' and
3482            '1T1C' and
3483            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3484            not 'VHOST' and
3485            not 'MEMIF'"
3486   parameters:
3487   - "throughput"
3488   - "parent"
3489   - "tags"
3490   sort:
3491   - "L2PATCH"
3492   - "L2XCBASE"
3493   - "BASE"
3494   - "FIB_10K"
3495   - "FIB_100K"
3496   - "FIB_1M"
3497   traces:
3498     hoverinfo: "x+y"
3499     boxpoints: "outliers"
3500     whiskerwidth: 0
3501   layout:
3502     title: "l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
3503     layout: "plot-throughput"
3504
3505 -
3506   type: "plot"
3507   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
3508   algorithm: "plot_performance_box"
3509   output-file-type: ".html"
3510   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
3511   data: "plot-vpp-throughput-latency-3n-hsw"
3512   filter: "'NIC_Intel-X710' and
3513            '64B' and
3514            ('BASE' or 'SCALE') and
3515            'NDRPDR' and
3516            'ETH' and
3517            '2T2C' and
3518            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3519            not 'VHOST' and
3520            not 'MEMIF'"
3521   parameters:
3522   - "throughput"
3523   - "parent"
3524   - "tags"
3525   sort:
3526   - "L2PATCH"
3527   - "L2XCBASE"
3528   - "BASE"
3529   - "FIB_10K"
3530   - "FIB_100K"
3531   - "FIB_1M"
3532   traces:
3533     hoverinfo: "x+y"
3534     boxpoints: "outliers"
3535     whiskerwidth: 0
3536   layout:
3537     title: "l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-ndr"
3538     layout: "plot-throughput"
3539
3540 -
3541   type: "plot"
3542   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
3543   algorithm: "plot_performance_box"
3544   output-file-type: ".html"
3545   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
3546   data: "plot-vpp-throughput-latency-3n-hsw"
3547   filter: "'NIC_Intel-X710' and
3548            '64B' and
3549            ('BASE' or 'SCALE') and
3550            'NDRPDR' and
3551            'ETH' and
3552            '2T2C' and
3553            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3554            not 'VHOST' and
3555            not 'MEMIF'"
3556   parameters:
3557   - "throughput"
3558   - "parent"
3559   - "tags"
3560   sort:
3561   - "L2PATCH"
3562   - "L2XCBASE"
3563   - "BASE"
3564   - "FIB_10K"
3565   - "FIB_100K"
3566   - "FIB_1M"
3567   traces:
3568     hoverinfo: "x+y"
3569     boxpoints: "outliers"
3570     whiskerwidth: 0
3571   layout:
3572     title: "l2sw-3n-hsw-x710-64b-2t2c-base_and_scale-pdr"
3573     layout: "plot-throughput"
3574
3575 # Packet Throughput - VPP L2 3n-hsw-x710 features
3576 -
3577   type: "plot"
3578   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-features-ndr"
3579   algorithm: "plot_performance_box"
3580   output-file-type: ".html"
3581   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-features-ndr"
3582   data: "plot-vpp-throughput-latency-3n-hsw"
3583   filter: "'NIC_Intel-X710' and
3584            '64B' and
3585            'NDRPDR' and
3586            '1T1C' and
3587            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3588            not 'ACL' and
3589            not 'VHOST' and
3590            not 'MEMIF'"
3591   parameters:
3592   - "throughput"
3593   - "parent"
3594   - "tags"
3595   sort:
3596   - "L2XCBASE"    # l2xcbase
3597   - "L2BDBASE"    # l2bdbase
3598   - "L2XCFWD"     # dot1q-l2xcbase
3599   - "L2BDMACLRN"  # dot1q-l2bdbase
3600   traces:
3601     hoverinfo: "x+y"
3602     boxpoints: "outliers"
3603     whiskerwidth: 0
3604   layout:
3605     title: "l2sw-3n-hsw-x710-64b-1t1c-features-ndr"
3606     layout: "plot-throughput"
3607
3608 -
3609   type: "plot"
3610   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-features-pdr"
3611   algorithm: "plot_performance_box"
3612   output-file-type: ".html"
3613   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-features-pdr"
3614   data: "plot-vpp-throughput-latency-3n-hsw"
3615   filter: "'NIC_Intel-X710' and
3616            '64B' and
3617            'NDRPDR' and
3618            '1T1C' and
3619            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3620            not 'ACL' and
3621            not 'VHOST' and
3622            not 'MEMIF'"
3623   parameters:
3624   - "throughput"
3625   - "parent"
3626   - "tags"
3627   sort:
3628   - "L2XCBASE"    # l2xcbase
3629   - "L2BDBASE"    # l2bdbase
3630   - "L2XCFWD"     # dot1q-l2xcbase
3631   - "L2BDMACLRN"  # dot1q-l2bdbase
3632   traces:
3633     hoverinfo: "x+y"
3634     boxpoints: "outliers"
3635     whiskerwidth: 0
3636   layout:
3637     title: "l2sw-3n-hsw-x710-64b-1t1c-features-pdr"
3638     layout: "plot-throughput"
3639
3640 -
3641   type: "plot"
3642   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-features-ndr"
3643   algorithm: "plot_performance_box"
3644   output-file-type: ".html"
3645   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-features-ndr"
3646   data: "plot-vpp-throughput-latency-3n-hsw"
3647   filter: "'NIC_Intel-X710' and
3648            '64B' and
3649            'NDRPDR' and
3650            '2T2C' and
3651            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3652            not 'ACL' and
3653            not 'VHOST' and
3654            not 'MEMIF'"
3655   parameters:
3656   - "throughput"
3657   - "parent"
3658   - "tags"
3659   sort:
3660   - "L2XCBASE"    # l2xcbase
3661   - "L2BDBASE"    # l2bdbase
3662   - "L2XCFWD"     # dot1q-l2xcbase
3663   - "L2BDMACLRN"  # dot1q-l2bdbase
3664   traces:
3665     hoverinfo: "x+y"
3666     boxpoints: "outliers"
3667     whiskerwidth: 0
3668   layout:
3669     title: "l2sw-3n-hsw-x710-64b-2t2c-features-ndr"
3670     layout: "plot-throughput"
3671
3672 -
3673   type: "plot"
3674   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-2t2c-features-pdr"
3675   algorithm: "plot_performance_box"
3676   output-file-type: ".html"
3677   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-2t2c-features-pdr"
3678   data: "plot-vpp-throughput-latency-3n-hsw"
3679   filter: "'NIC_Intel-X710' and
3680            '64B' and
3681            'NDRPDR' and
3682            '2T2C' and
3683            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3684            not 'ACL' and
3685            not 'VHOST' and
3686            not 'MEMIF'"
3687   parameters:
3688   - "throughput"
3689   - "parent"
3690   - "tags"
3691   sort:
3692   - "L2XCBASE"    # l2xcbase
3693   - "L2BDBASE"    # l2bdbase
3694   - "L2XCFWD"     # dot1q-l2xcbase
3695   - "L2BDMACLRN"  # dot1q-l2bdbase
3696   traces:
3697     hoverinfo: "x+y"
3698     boxpoints: "outliers"
3699     whiskerwidth: 0
3700   layout:
3701     title: "l2sw-3n-hsw-x710-64b-2t2c-features-pdr"
3702     layout: "plot-throughput"
3703
3704 # Packet Throughput - VPP L2 3n-hsw-xl710 base and scale
3705 -
3706   type: "plot"
3707   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3708   algorithm: "plot_performance_box"
3709   output-file-type: ".html"
3710   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3711   data: "plot-vpp-throughput-latency-3n-hsw"
3712   filter: "'NIC_Intel-XL710' and
3713            '64B' and
3714            ('BASE' or 'SCALE') and
3715            'NDRPDR' and
3716            'ETH' and
3717            '1T1C' and
3718            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3719            not 'VHOST' and
3720            not 'MEMIF'"
3721   parameters:
3722   - "throughput"
3723   - "parent"
3724   - "tags"
3725   sort:
3726   - "L2PATCH"
3727   - "L2XCBASE"
3728   - "BASE"
3729   - "FIB_10K"
3730   - "FIB_100K"
3731   - "FIB_1M"
3732   traces:
3733     hoverinfo: "x+y"
3734     boxpoints: "outliers"
3735     whiskerwidth: 0
3736   layout:
3737     title: "l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-ndr"
3738     layout: "plot-throughput"
3739
3740 -
3741   type: "plot"
3742   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3743   algorithm: "plot_performance_box"
3744   output-file-type: ".html"
3745   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3746   data: "plot-vpp-throughput-latency-3n-hsw"
3747   filter: "'NIC_Intel-XL710' and
3748            '64B' and
3749            ('BASE' or 'SCALE') and
3750            'NDRPDR' and
3751            'ETH' and
3752            '1T1C' and
3753            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3754            not 'VHOST' and
3755            not 'MEMIF'"
3756   parameters:
3757   - "throughput"
3758   - "parent"
3759   - "tags"
3760   sort:
3761   - "L2PATCH"
3762   - "L2XCBASE"
3763   - "BASE"
3764   - "FIB_10K"
3765   - "FIB_100K"
3766   - "FIB_1M"
3767   traces:
3768     hoverinfo: "x+y"
3769     boxpoints: "outliers"
3770     whiskerwidth: 0
3771   layout:
3772     title: "l2sw-3n-hsw-xl710-64b-1t1c-base_and_scale-pdr"
3773     layout: "plot-throughput"
3774
3775 -
3776   type: "plot"
3777   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3778   algorithm: "plot_performance_box"
3779   output-file-type: ".html"
3780   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3781   data: "plot-vpp-throughput-latency-3n-hsw"
3782   filter: "'NIC_Intel-XL710' and
3783            '64B' and
3784            ('BASE' or 'SCALE') and
3785            'NDRPDR' and
3786            'ETH' and
3787            '2T2C' and
3788            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3789            not 'VHOST' and
3790            not 'MEMIF'"
3791   parameters:
3792   - "throughput"
3793   - "parent"
3794   - "tags"
3795   sort:
3796   - "L2PATCH"
3797   - "L2XCBASE"
3798   - "BASE"
3799   - "FIB_10K"
3800   - "FIB_100K"
3801   - "FIB_1M"
3802   traces:
3803     hoverinfo: "x+y"
3804     boxpoints: "outliers"
3805     whiskerwidth: 0
3806   layout:
3807     title: "l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-ndr"
3808     layout: "plot-throughput"
3809
3810 -
3811   type: "plot"
3812   title: "VPP Throughput: l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
3813   algorithm: "plot_performance_box"
3814   output-file-type: ".html"
3815   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
3816   data: "plot-vpp-throughput-latency-3n-hsw"
3817   filter: "'NIC_Intel-XL710' and
3818            '64B' and
3819            ('BASE' or 'SCALE') and
3820            'NDRPDR' and
3821            'ETH' and
3822            '2T2C' and
3823            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3824            not 'VHOST' and
3825            not 'MEMIF'"
3826   parameters:
3827   - "throughput"
3828   - "parent"
3829   - "tags"
3830   sort:
3831   - "L2PATCH"
3832   - "L2XCBASE"
3833   - "BASE"
3834   - "FIB_10K"
3835   - "FIB_100K"
3836   - "FIB_1M"
3837   traces:
3838     hoverinfo: "x+y"
3839     boxpoints: "outliers"
3840     whiskerwidth: 0
3841   layout:
3842     title: "l2sw-3n-hsw-xl710-64b-2t2c-base_and_scale-pdr"
3843     layout: "plot-throughput"
3844
3845 # Packet Throughput - VPP L2 3n-skx-x710 base and scale
3846 -
3847   type: "plot"
3848   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
3849   algorithm: "plot_performance_box"
3850   output-file-type: ".html"
3851   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
3852   data: "plot-vpp-throughput-latency-3n-skx"
3853   filter: "'NIC_Intel-X710' and
3854            '64B' and
3855            ('BASE' or 'SCALE') and
3856            'NDRPDR' and
3857            'ETH' and
3858            '2T1C' and
3859            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3860            not 'VHOST' and
3861            not 'MEMIF'"
3862   parameters:
3863   - "throughput"
3864   - "parent"
3865   - "tags"
3866   sort:
3867   - "L2PATCH"
3868   - "L2XCBASE"
3869   - "BASE"
3870   - "FIB_10K"
3871   - "FIB_100K"
3872   - "FIB_1M"
3873   traces:
3874     hoverinfo: "x+y"
3875     boxpoints: "outliers"
3876     whiskerwidth: 0
3877   layout:
3878     title: "l2sw-3n-skx-x710-64b-2t1c-base_and_scale-ndr"
3879     layout: "plot-throughput"
3880
3881 -
3882   type: "plot"
3883   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
3884   algorithm: "plot_performance_box"
3885   output-file-type: ".html"
3886   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
3887   data: "plot-vpp-throughput-latency-3n-skx"
3888   filter: "'NIC_Intel-X710' and
3889            '64B' and
3890            ('BASE' or 'SCALE') and
3891            'NDRPDR' and
3892            'ETH' and
3893            '2T1C' and
3894            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3895            not 'VHOST' and
3896            not 'MEMIF'"
3897   parameters:
3898   - "throughput"
3899   - "parent"
3900   - "tags"
3901   sort:
3902   - "L2PATCH"
3903   - "L2XCBASE"
3904   - "BASE"
3905   - "FIB_10K"
3906   - "FIB_100K"
3907   - "FIB_1M"
3908   traces:
3909     hoverinfo: "x+y"
3910     boxpoints: "outliers"
3911     whiskerwidth: 0
3912   layout:
3913     title: "l2sw-3n-skx-x710-64b-2t1c-base_and_scale-pdr"
3914     layout: "plot-throughput"
3915
3916 -
3917   type: "plot"
3918   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
3919   algorithm: "plot_performance_box"
3920   output-file-type: ".html"
3921   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
3922   data: "plot-vpp-throughput-latency-3n-skx"
3923   filter: "'NIC_Intel-X710' and
3924            '64B' and
3925            ('BASE' or 'SCALE') and
3926            'NDRPDR' and
3927            'ETH' and
3928            '4T2C' and
3929            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3930            not 'VHOST' and
3931            not 'MEMIF'"
3932   parameters:
3933   - "throughput"
3934   - "parent"
3935   - "tags"
3936   sort:
3937   - "L2PATCH"
3938   - "L2XCBASE"
3939   - "BASE"
3940   - "FIB_10K"
3941   - "FIB_100K"
3942   - "FIB_1M"
3943   traces:
3944     hoverinfo: "x+y"
3945     boxpoints: "outliers"
3946     whiskerwidth: 0
3947   layout:
3948     title: "l2sw-3n-skx-x710-64b-4t2c-base_and_scale-ndr"
3949     layout: "plot-throughput"
3950
3951 -
3952   type: "plot"
3953   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-base_and_scale-pdr"
3954   algorithm: "plot_performance_box"
3955   output-file-type: ".html"
3956   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-base_and_scale-pdr"
3957   data: "plot-vpp-throughput-latency-3n-skx"
3958   filter: "'NIC_Intel-X710' and
3959            '64B' and
3960            ('BASE' or 'SCALE') and
3961            'NDRPDR' and
3962            'ETH' and
3963            '4T2C' and
3964            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3965            not 'VHOST' and
3966            not 'MEMIF'"
3967   parameters:
3968   - "throughput"
3969   - "parent"
3970   - "tags"
3971   sort:
3972   - "L2PATCH"
3973   - "L2XCBASE"
3974   - "BASE"
3975   - "FIB_10K"
3976   - "FIB_100K"
3977   - "FIB_1M"
3978   traces:
3979     hoverinfo: "x+y"
3980     boxpoints: "outliers"
3981     whiskerwidth: 0
3982   layout:
3983     title: "l2sw-3n-skx-x710-64b-4t2c-base_and_scale-pdr"
3984     layout: "plot-throughput"
3985
3986 # Packet Throughput - VPP L2 3n-skx-x710 features
3987 -
3988   type: "plot"
3989   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-features-ndr"
3990   algorithm: "plot_performance_box"
3991   output-file-type: ".html"
3992   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-features-ndr"
3993   data: "plot-vpp-throughput-latency-3n-skx"
3994   filter: "'NIC_Intel-X710' and
3995            '64B' and
3996            'NDRPDR' and
3997            '2T1C' and
3998            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3999            not 'ACL' and
4000            not 'VHOST' and
4001            not 'MEMIF'"
4002   parameters:
4003   - "throughput"
4004   - "parent"
4005   - "tags"
4006   sort:
4007   - "L2XCBASE"    # l2xcbase
4008   - "L2BDBASE"    # l2bdbase
4009   - "L2XCFWD"     # dot1q-l2xcbase
4010   - "L2BDMACLRN"  # dot1q-l2bdbase
4011   traces:
4012     hoverinfo: "x+y"
4013     boxpoints: "outliers"
4014     whiskerwidth: 0
4015   layout:
4016     title: "l2sw-3n-skx-x710-64b-2t1c-features-ndr"
4017     layout: "plot-throughput"
4018
4019 -
4020   type: "plot"
4021   title: "VPP Throughput: l2sw-3n-skx-x710-64b-2t1c-features-pdr"
4022   algorithm: "plot_performance_box"
4023   output-file-type: ".html"
4024   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-2t1c-features-pdr"
4025   data: "plot-vpp-throughput-latency-3n-skx"
4026   filter: "'NIC_Intel-X710' and
4027            '64B' and
4028            'NDRPDR' and
4029            '2T1C' and
4030            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
4031            not 'ACL' and
4032            not 'VHOST' and
4033            not 'MEMIF'"
4034   parameters:
4035   - "throughput"
4036   - "parent"
4037   - "tags"
4038   sort:
4039   - "L2XCBASE"    # l2xcbase
4040   - "L2BDBASE"    # l2bdbase
4041   - "L2XCFWD"     # dot1q-l2xcbase
4042   - "L2BDMACLRN"  # dot1q-l2bdbase
4043   traces:
4044     hoverinfo: "x+y"
4045     boxpoints: "outliers"
4046     whiskerwidth: 0
4047   layout:
4048     title: "l2sw-3n-skx-x710-64b-2t1c-features-pdr"
4049     layout: "plot-throughput"
4050
4051 -
4052   type: "plot"
4053   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-features-ndr"
4054   algorithm: "plot_performance_box"
4055   output-file-type: ".html"
4056   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-features-ndr"
4057   data: "plot-vpp-throughput-latency-3n-skx"
4058   filter: "'NIC_Intel-X710' and
4059            '64B' and
4060            'NDRPDR' and
4061            '4T2C' and
4062            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
4063            not 'ACL' and
4064            not 'VHOST' and
4065            not 'MEMIF'"
4066   parameters:
4067   - "throughput"
4068   - "parent"
4069   - "tags"
4070   sort:
4071   - "L2XCBASE"    # l2xcbase
4072   - "L2BDBASE"    # l2bdbase
4073   - "L2XCFWD"     # dot1q-l2xcbase
4074   - "L2BDMACLRN"  # dot1q-l2bdbase
4075   traces:
4076     hoverinfo: "x+y"
4077     boxpoints: "outliers"
4078     whiskerwidth: 0
4079   layout:
4080     title: "l2sw-3n-skx-x710-64b-4t2c-features-ndr"
4081     layout: "plot-throughput"
4082
4083 -
4084   type: "plot"
4085   title: "VPP Throughput: l2sw-3n-skx-x710-64b-4t2c-features-pdr"
4086   algorithm: "plot_performance_box"
4087   output-file-type: ".html"
4088   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-skx-x710-64b-4t2c-features-pdr"