CSIT-1350: Add new data to 1810 report
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
37     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
38     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
39     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
40     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
41     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
42     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
43     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
44     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
45     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
51     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
52     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
53     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
54     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
55     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
56     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
57     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
58     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
59
60     # Detailed tests operational data
61     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
62     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
63     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
64     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
65
66     # .css patch file to fix tables generated by Sphinx
67     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
68     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
69
70   urls:
71     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
72     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
73     URL[NEXUS]: "https://docs.fd.io/csit"
74     DIR[NEXUS]: "report/_static/archive"
75
76   make-dirs:
77   # List the directories which are created while preparing the environment.
78   # All directories MUST be defined in "paths" section.
79   - "DIR[WORKING,DATA]"
80   - "DIR[STATIC,VPP]"
81   - "DIR[STATIC,DPDK]"
82   - "DIR[STATIC,ARCH]"
83   - "DIR[BUILD,LATEX]"
84   - "DIR[WORKING,SRC]"
85   - "DIR[WORKING,SRC,STATIC]"
86
87   remove-dirs:
88   # List the directories which are deleted while cleaning the environment.
89   # All directories MUST be defined in "paths" section.
90   #- "DIR[BUILD,HTML]"
91   - "DIR[WORKING,DATA]"
92
93   build-dirs:
94   # List the directories where the results (build) is stored.
95   # All directories MUST be defined in "paths" section.
96   - "DIR[BUILD,HTML]"
97   - "DIR[BUILD,LATEX]"
98
99 -
100   type: "configuration"
101
102   limits:
103     nic:
104       x520: 24460000
105       x710: 35800000
106       xxv710: 35800000
107       xl710: 35800000
108
109     link:
110       10ge: 14880952.38
111       25ge: 37202380.95
112       40ge: 59523809.52
113       100ge: 148809523.81
114
115     pci:
116       pci-g3-x8: 74404761.90
117       pci-g3-x16: 148809523.81
118
119   data-sets:
120
121     # VPP Performance
122     vpp-performance-changes:
123       csit-vpp-perf-1804-all:
124       - 21  # sel
125       - 22  # sel
126       - 23  # sel
127       - 24  # sel
128       - 27  # sel
129       - 28  # sel
130       - 29  # sel
131       - 30  # sel
132       - 31  # sel
133       - 35  # sel
134       csit-vpp-perf-verify-1807-3n-hsw:
135       - 11  # NDRPDR full 1
136       - 22  # NDRPDR full 2
137       - 45  # NDRPDR full 3
138       - 46  # NDRPDR full 4
139       - 15  # NDRPDR sel
140       - 16  # NDRPDR sel
141       - 19  # NDRPDR sel
142       - 18  # NDRPDR sel
143       - 20  # NDRPDR sel
144       - 38  # NDRPDR sel
145       - 40  # NDRPDR sel
146       - 44  # NDRPDR sel
147       - 47  # NDRPDR sel
148       csit-vpp-perf-verify-1810-3n-hsw:
149       - 8   # NDRPDR sel
150       - 12  # NDRPDR sel
151       - 14  # NDRPDR sel
152       - 18  # NDRPDR sel
153       - 23  # NDRPDR sel
154       - 25  # NDRPDR sel
155       - 38  # NDRPDR sel
156       - 39  # NDRPDR sel
157       - 41  # NDRPDR sel
158       - 42  # NDRPDR sel
159
160     vpp-compare-testbeds:
161       csit-vpp-perf-verify-1810-3n-hsw:
162       - 8   # NDRPDR sel
163       - 12  # NDRPDR sel
164       - 14  # NDRPDR sel
165       - 18  # NDRPDR sel
166       - 23  # NDRPDR sel
167       - 25  # NDRPDR sel
168       - 38  # NDRPDR sel
169       - 39  # NDRPDR sel
170       - 41  # NDRPDR sel
171       - 42  # NDRPDR sel
172       csit-vpp-perf-verify-1810-3n-skx:
173       - 24  # NDRPDR full
174       - 10  # NDRPDR sel
175       - 14  # NDRPDR sel
176       - 15  # NDRPDR sel
177       - 16  # NDRPDR sel
178       - 17  # NDRPDR sel
179       - 19  # NDRPDR sel
180       - 20  # NDRPDR sel
181       - 21  # NDRPDR sel
182       - 22  # NDRPDR sel
183       - 25  # NDRPDR sel
184
185     vpp-compare-testbeds-mrr:
186       csit-vpp-perf-verify-1810-3n-hsw:
187       - 9   # MRR sel
188       csit-vpp-perf-verify-1810-3n-skx:
189       - 9   # MRR sel
190       - 11  # MRR sel
191       - 12  # MRR sel
192       - 13  # MRR sel
193
194     vpp-performance-changes-mrr:
195       csit-vpp-perf-check-1804:
196       - 6   # mrr - sel
197       - 13  # mrr - sel
198       - 14  # mrr - sel
199       - 15  # mrr - sel
200       - 16  # mrr - sel
201       - 17  # mrr - sel
202       - 19  # mrr - sel
203       - 20  # mrr - sel
204       - 21  # mrr - sel
205       - 22  # mrr - sel
206       csit-vpp-perf-verify-1807-3n-hsw:
207       - 8   # MRR full
208       - 9   # MRR sel
209       - 21  # MRR sel
210       - 31  # MRR sel
211       - 33  # MRR sel
212       - 36  # MRR sel
213       - 41  # MRR sel
214       - 42  # MRR sel
215       - 48  # MRR sel
216       csit-vpp-perf-verify-1810-3n-hsw:
217       - 9   # MRR sel
218
219     vpp-perf-results-3n-hsw:
220       csit-vpp-perf-verify-1810-3n-hsw:
221       - 20  # NDRPDR full
222       - 21  # NDRPDR full
223       - 22  # NDRPDR full
224       - 27  # NDRPDR full
225
226     vpp-perf-results-3n-skx:
227       csit-vpp-perf-verify-1810-3n-skx:
228       - 23  # NDRPDR full
229       - 24  # NDRPDR full
230
231     vpp-perf-results-2n-skx:
232       csit-vpp-perf-verify-1810-2n-skx:
233       - 25  # NDRPDR full
234       - 26  # NDRPDR full
235
236     vpp-mrr-results-3n-hsw:
237       csit-vpp-perf-verify-1810-3n-hsw:
238       - 9   # MRR sel
239
240     vpp-mrr-results-3n-skx:
241       csit-vpp-perf-verify-1810-3n-skx:
242       - 9   # MRR sel
243
244     vpp-mrr-results-2n-skx:
245       csit-vpp-perf-verify-1810-2n-skx:
246       - 8   # MRR sel
247
248     plot-throughput-speedup-analysis-3n-hsw:
249       csit-vpp-perf-verify-1810-3n-hsw:
250       - 8   # NDRPDR sel
251       - 12  # NDRPDR sel
252       - 14  # NDRPDR sel
253       - 18  # NDRPDR sel
254       - 23  # NDRPDR sel
255       - 25  # NDRPDR sel
256       - 38  # NDRPDR sel
257       - 39  # NDRPDR sel
258       - 41  # NDRPDR sel
259       - 42  # NDRPDR sel
260
261     plot-throughput-speedup-analysis-3n-skx:
262       csit-vpp-perf-verify-1810-3n-skx:
263       - 24  # NDRPDR full
264       - 10  # NDRPDR sel
265       - 14  # NDRPDR sel
266       - 15  # NDRPDR sel
267       - 16  # NDRPDR sel
268       - 17  # NDRPDR sel
269       - 19  # NDRPDR sel
270       - 20  # NDRPDR sel
271       - 21  # NDRPDR sel
272       - 22  # NDRPDR sel
273       - 25  # NDRPDR sel
274
275     plot-throughput-speedup-analysis-2n-skx:
276       csit-vpp-perf-verify-1810-2n-skx:
277       - 9   # NDRPDR sel
278       - 13  # NDRPDR sel
279       - 14  # NDRPDR sel
280       - 19  # NDRPDR sel
281       - 20  # NDRPDR sel
282       - 21  # NDRPDR sel
283       - 22  # NDRPDR sel
284       - 23  # NDRPDR sel
285       - 24  # NDRPDR sel
286       - 27  # NDRPDR sel
287
288     plot-vpp-throughput-latency-3n-hsw:
289       csit-vpp-perf-verify-1810-3n-hsw:
290       - 8   # NDRPDR sel
291       - 12  # NDRPDR sel
292       - 14  # NDRPDR sel
293       - 18  # NDRPDR sel
294       - 23  # NDRPDR sel
295       - 25  # NDRPDR sel
296       - 38  # NDRPDR sel
297       - 39  # NDRPDR sel
298       - 41  # NDRPDR sel
299       - 42  # NDRPDR sel
300
301     plot-vpp-throughput-latency-3n-skx:
302       csit-vpp-perf-verify-1810-3n-skx:
303       - 24  # NDRPDR full
304       - 10  # NDRPDR sel
305       - 14  # NDRPDR sel
306       - 15  # NDRPDR sel
307       - 16  # NDRPDR sel
308       - 17  # NDRPDR sel
309       - 19  # NDRPDR sel
310       - 20  # NDRPDR sel
311       - 21  # NDRPDR sel
312       - 22  # NDRPDR sel
313       - 25  # NDRPDR sel
314
315     plot-vpp-throughput-latency-2n-skx:
316       csit-vpp-perf-verify-1810-2n-skx:
317       - 9   # NDRPDR sel
318       - 13  # NDRPDR sel
319       - 14  # NDRPDR sel
320       - 19  # NDRPDR sel
321       - 20  # NDRPDR sel
322       - 21  # NDRPDR sel
323       - 22  # NDRPDR sel
324       - 23  # NDRPDR sel
325       - 24  # NDRPDR sel
326       - 27  # NDRPDR sel
327
328     plot-vpp-http-server-performance:
329       csit-vpp-perf-verify-1810-3n-hsw:
330       - 28  # WRK
331       - 29  # WRK
332       - 30  # WRK
333       - 31  # WRK
334       - 32  # WRK
335       - 33  # WRK
336       - 34  # WRK
337       - 35  # WRK
338       - 36  # WRK
339       - 37  # WRK
340
341     # VPP Functional
342     vpp-func-results-ubuntu:
343       csit-vpp-functional-1810-ubuntu1604-virl:
344       - 44
345
346     vpp-func-results-centos:
347       csit-vpp-functional-1810-centos7-virl:
348       - 44
349
350     vpp-device-results-ubuntu:
351       csit-vpp-device-1810-ubuntu1804-1n-skx:
352       - 2
353
354     # VPP Ligato
355     ligato-perf-results-3n-hsw:
356       csit-ligato-perf-verify-1810-3n-hsw:
357       - 5   # full
358
359     plot-ligato-throughput-speedup-analysis-3n-hsw:
360       csit-ligato-perf-verify-1810-3n-hsw:
361       - 5   # full
362       - 6   # sel
363       - 8   # sel
364       - 9   # sel
365       - 11  # sel
366       - 12  # sel
367       - 13  # sel
368       - 14  # sel
369       - 16  # sel
370       - 17  # sel
371       - 18  # sel
372
373     plot-ligato-throughput-latency-3n-hsw:
374       csit-ligato-perf-verify-1810-3n-hsw:
375       - 5   # full
376       - 6   # sel
377       - 8   # sel
378       - 9   # sel
379       - 11  # sel
380       - 12  # sel
381       - 13  # sel
382       - 14  # sel
383       - 16  # sel
384       - 17  # sel
385       - 18  # sel
386
387     # DPDK Performance
388     dpdk-performance-changes:
389       csit-dpdk-perf-1804-all:
390       - 4
391       - 5
392       - 6
393       - 7
394       - 8
395       - 9
396       - 10
397       - 11
398       - 12
399       - 13
400       csit-dpdk-perf-verify-1807-3n-hsw:
401       - 11
402       - 12  # full
403       - 14
404       - 15
405       - 16
406       - 17
407       - 20
408       - 21
409       - 22
410       - 23
411       csit-dpdk-perf-verify-1810-3n-hsw:
412       - 1   # NDRPDR sel
413       - 2   # NDRPDR sel
414       - 3   # NDRPDR sel
415       - 4   # NDRPDR sel
416       - 5   # NDRPDR sel
417       - 6   # NDRPDR sel
418       - 7   # NDRPDR sel
419       - 8   # NDRPDR sel
420       - 9   # NDRPDR sel
421       - 10  # NDRPDR sel
422
423     dpdk-compare-testbeds:
424       csit-dpdk-perf-verify-1810-3n-skx:
425       - 3   # NDRPDR sel
426       - 4   # NDRPDR sel
427       - 6   # NDRPDR sel
428       - 7   # NDRPDR sel
429       - 8   # NDRPDR sel
430       - 9   # NDRPDR sel
431       - 10  # NDRPDR sel
432       - 11  # NDRPDR sel
433       - 12  # NDRPDR sel
434       - 13  # NDRPDR sel
435       csit-dpdk-perf-verify-1810-3n-hsw:
436       - 1   # NDRPDR sel
437       - 2   # NDRPDR sel
438       - 3   # NDRPDR sel
439       - 4   # NDRPDR sel
440       - 5   # NDRPDR sel
441       - 6   # NDRPDR sel
442       - 7   # NDRPDR sel
443       - 8   # NDRPDR sel
444       - 9   # NDRPDR sel
445       - 10  # NDRPDR sel
446
447     dpdk-perf-results-3n-hsw:
448       csit-dpdk-perf-verify-1810-3n-hsw:
449       - 1
450
451     dpdk-perf-results-3n-skx:
452       csit-dpdk-perf-verify-1810-3n-skx:
453       - 3   # NDRPDR sel
454
455     dpdk-perf-results-2n-skx:
456       csit-dpdk-perf-verify-1810-2n-skx:
457       - 3
458
459     plot-dpdk-throughput-latency-3n-hsw:
460       csit-dpdk-perf-verify-1810-3n-hsw:
461       - 1   # NDRPDR sel
462       - 2   # NDRPDR sel
463       - 3   # NDRPDR sel
464       - 4   # NDRPDR sel
465       - 5   # NDRPDR sel
466       - 6   # NDRPDR sel
467       - 7   # NDRPDR sel
468       - 8   # NDRPDR sel
469       - 9   # NDRPDR sel
470       - 10  # NDRPDR sel
471
472     plot-dpdk-throughput-latency-3n-skx:
473       csit-dpdk-perf-verify-1810-3n-skx:
474       - 3   # NDRPDR sel
475       - 4   # NDRPDR sel
476       - 6   # NDRPDR sel
477       - 7   # NDRPDR sel
478       - 8   # NDRPDR sel
479       - 9   # NDRPDR sel
480       - 10  # NDRPDR sel
481       - 11  # NDRPDR sel
482       - 12  # NDRPDR sel
483       - 13  # NDRPDR sel
484
485     plot-dpdk-throughput-latency-2n-skx:
486       csit-dpdk-perf-verify-1810-2n-skx:
487       - 3   # NDRPDR sel
488       - 4   # NDRPDR sel
489       - 5   # NDRPDR sel
490       - 7   # NDRPDR sel
491       - 8   # NDRPDR sel
492       - 9   # NDRPDR sel
493       - 10  # NDRPDR sel
494       - 11  # NDRPDR sel
495       - 12  # NDRPDR sel
496       - 13  # NDRPDR sel
497
498     # HoneyComb Functional
499     hc-func-results:
500       csit-hc2vpp-verify-func-1810-ubuntu1604:
501       - 1
502
503     # NSH SFC Functional
504     nsh-func-results:
505       csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
506       - 1
507
508     # DMM Functional
509     dmm-func-results:
510       csit-dmm-functional-1810-ubuntu1604-virl:
511       - 1
512
513   plot-layouts:
514
515     plot-cps:
516       titlefont:
517         size: 18
518       xaxis:
519         title: "<b>Test Cases [Index]</b>"
520         titlefont:
521           size: 16
522         autorange: True
523         fixedrange: False
524         gridcolor: "rgb(230, 230, 230)"
525         linecolor: "rgb(220, 220, 220)"
526         linewidth: 1
527         showgrid: True
528         showline: True
529         showticklabels: True
530         tickcolor: "rgb(220, 220, 220)"
531         tickmode: "linear"
532         tickfont:
533           size: 16
534         zeroline: False
535       yaxis:
536         title: "<b>Connections Per Second [cps]</b>"
537         titlefont:
538           size: 16
539         gridcolor: "rgb(230, 230, 230)"
540         hoverformat: ".4s"
541         linecolor: "rgb(220, 220, 220)"
542         linewidth: 1
543         rangemode: "tozero"
544         showgrid: True
545         showline: True
546         showticklabels: True
547         tickcolor: "rgb(220, 220, 220)"
548         tickformat: ".3s"
549         tickfont:
550           size: 16
551         zeroline: False
552       boxmode: "group"
553       boxgroupgap: 0.5
554       autosize: False
555       margin:
556         t: 50
557         b: 20
558         l: 80
559         r: 20
560       showlegend: True
561       legend:
562         orientation: "h"
563         font:
564           size: 16
565       width: 700
566       height: 800
567
568     plot-rps:
569       titlefont:
570         size: 18
571       xaxis:
572         title: "<b>Test Cases [Index]</b>"
573         titlefont:
574           size: 16
575         autorange: True
576         fixedrange: False
577         gridcolor: "rgb(230, 230, 230)"
578         linecolor: "rgb(220, 220, 220)"
579         linewidth: 1
580         showgrid: True
581         showline: True
582         showticklabels: True
583         tickcolor: "rgb(220, 220, 220)"
584         tickmode: "linear"
585         tickfont:
586           size: 16
587         zeroline: False
588       yaxis:
589         title: "<b>Requests Per Second [rps]</b>"
590         titlefont:
591           size: 16
592         gridcolor: "rgb(230, 230, 230)"
593         hoverformat: ".4s"
594         linecolor: "rgb(220, 220, 220)"
595         linewidth: 1
596         rangemode: "tozero"
597         showgrid: True
598         showline: True
599         showticklabels: True
600         tickcolor: "rgb(230, 230, 230)"
601         tickformat: ".3s"
602         tickfont:
603           size: 16
604         zeroline: False
605       boxmode: "group"
606       boxgroupgap: 0.5
607       autosize: False
608       margin:
609         t: 50
610         b: 20
611         l: 80
612         r: 20
613       showlegend: True
614       legend:
615         orientation: "h"
616         font:
617           size: 16
618       width: 700
619       height: 800
620
621     plot-throughput:
622       titlefont:
623         size: 18
624       xaxis:
625         title: "<b>Test Cases [Index]</b>"
626         titlefont:
627           size: 16
628         autorange: True
629         fixedrange: False
630         gridcolor: "rgb(230, 230, 230)"
631         linecolor: "rgb(220, 220, 220)"
632         linewidth: 1
633         showgrid: True
634         showline: True
635         showticklabels: True
636         tickcolor: "rgb(220, 220, 220)"
637         tickmode: "linear"
638         tickfont:
639           size: 16
640         zeroline: False
641       yaxis:
642         title: "<b>Packet Throughput [Mpps]</b>"
643         titlefont:
644           size: 16
645         gridcolor: "rgb(230, 230, 230)"
646         hoverformat: ".4s"
647         tickformat: ".3s"
648         linecolor: "rgb(220, 220, 220)"
649         linewidth: 1
650         showgrid: True
651         showline: True
652         showticklabels: True
653         tickcolor: "rgb(220, 220, 220)"
654         tickfont:
655           size: 16
656         zeroline: False
657         range: [0,50]
658       boxmode: "group"
659       boxgroupgap: 0.5
660       autosize: False
661       margin:
662         t: 50
663         b: 20
664         l: 80
665         r: 20
666       showlegend: True
667       legend:
668         orientation: "h"
669         font:
670           size: 16
671       width: 700
672       # height: 850
673
674     plot-throughput-speedup-analysis:
675       titlefont:
676         size: 18
677       xaxis:
678         title: "<b>Number of Cores [Qty]</b>"
679         titlefont:
680           size: 16
681         autorange: True
682         fixedrange: False
683         gridcolor: "rgb(230, 230, 230)"
684         linecolor: "rgb(220, 220, 220)"
685         linewidth: 1
686         showgrid: True
687         showline: True
688         showticklabels: True
689         tickcolor: "rgb(238, 238, 238)"
690         tickmode: "linear"
691         tickfont:
692           size: 16
693         zeroline: False
694       yaxis:
695         title: "<b>Packet Throughput [Mpps]</b>"
696         titlefont:
697           size: 16
698         type: "linear"
699         gridcolor: "rgb(230, 230, 230)"
700         hoverformat: ".4s"
701         linecolor: "rgb(220, 220, 220)"
702         linewidth: 1
703         showgrid: True
704         showline: True
705         showticklabels: True
706         tickcolor: "rgb(220, 220, 220)"
707         tickformat: ".4s"
708         tickfont:
709           size: 16
710         zeroline: True
711         rangemode: "tozero"
712         # range: [0,100]
713       legend:
714         orientation: "h"
715         font:
716           size: 16
717         xanchor: "left"
718         yanchor: "top"
719         x: 0
720         y: -0.2
721         bgcolor: "rgba(255, 255, 255, 0)"
722         bordercolor: "rgba(255, 255, 255, 0)"
723         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
724       autosize: False
725       margin:
726           't': 50
727           'b': 150
728           'l': 85
729           'r': 10
730       showlegend: True
731       width: 700
732       height: 700
733       hoverlabel:
734         namelength: -1
735       annotations: [
736         {
737           text: "_ _          __          ...",
738           align: "left",
739           showarrow: False,
740           xref: "paper",
741           yref: "paper",
742           xanchor: "left",
743           yanchor: "top",
744           x: 0,
745           y: -0.13,
746           font: {
747             family: "Consolas, Courier New",
748             size: 15
749           },
750         },
751         {
752           text: "    Perfect     Measured     Limit",
753           align: "left",
754           showarrow: False,
755           xref: "paper",
756           yref: "paper",
757           xanchor: "left",
758           yanchor: "top",
759           x: 0,
760           y: -0.15,
761           font: {
762             family: "Consolas, Courier New",
763             size: 15
764           },
765         },
766       ]
767
768     plot-latency:
769       titlefont:
770         size: 18
771       xaxis:
772         title: "<b>Direction</b>"
773         titlefont:
774           size: 16
775         autorange: True
776         fixedrange: False
777         gridcolor: "rgb(230, 230, 230)"
778         linecolor: "rgb(220, 220, 220)"
779         linewidth: 1
780         showgrid: True
781         showline: True
782         showticklabels: False
783         tickcolor: "rgb(220, 220, 220)"
784         tickmode: "linear"
785         tickfont:
786           size: 16
787         zeroline: False
788       yaxis:
789         title: "<b>Packet Latency [uSec]</b>"
790         titlefont:
791           size: 16
792         type: "linear"
793         gridcolor: "rgb(230, 230, 230)"
794         hoverformat: ".4s"
795         linecolor: "rgb(220, 220, 220)"
796         linewidth: 1
797         showgrid: True
798         showline: True
799         showticklabels: True
800         tickcolor: "rgb(220, 220, 220)"
801         tickformat: ".4s"
802         tickfont:
803           size: 16
804         zeroline: True
805         rangemode: "tozero"
806       legend:
807         orientation: "h"
808         font:
809           size: 16
810         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
811       autosize: False
812       margin:
813           't': 50
814           'b': 150
815           'l': 80
816           'r': 10
817       showlegend: True
818       width: 700
819       height: 700
820       hoverlabel:
821         namelength: -1
822
823 -
824   type: "static"
825   src-path: "{DIR[RST]}"
826   dst-path: "{DIR[WORKING,SRC]}"
827
828 -
829   type: "input"
830   general:
831     file-name: "robot-plugin.zip"
832     file-format: ".zip"
833     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
834     extract: "robot-plugin/output.xml"
835
836   builds:
837
838     csit-vpp-perf-1804-all:
839     - 21  # sel
840     - 22  # sel
841     - 23  # sel
842     - 24  # sel
843     - 27  # sel
844     - 28  # sel
845     - 29  # sel
846     - 30  # sel
847     - 31  # sel
848     - 35  # sel
849     csit-vpp-perf-verify-1807-3n-hsw:
850     - 8   # MRR full
851     - 9   # MRR sel
852     - 21  # MRR sel
853     - 31  # MRR sel
854     - 33  # MRR sel
855     - 36  # MRR sel
856     - 41  # MRR sel
857     - 42  # MRR sel
858     - 48  # MRR sel
859     - 11  # NDRPDR full 1
860     - 22  # NDRPDR full 2
861     - 45  # NDRPDR full 3
862     - 46  # NDRPDR full 4
863     - 15  # NDRPDR sel
864     - 16  # NDRPDR sel
865     - 19  # NDRPDR sel
866     - 18  # NDRPDR sel
867     - 20  # NDRPDR sel
868     - 38  # NDRPDR sel
869     - 40  # NDRPDR sel
870     - 44  # NDRPDR sel
871     - 47  # NDRPDR sel
872     - 24  # WRK
873     - 25  # WRK
874     - 23  # WRK
875     - 26  # WRK
876     - 27  # WRK
877     - 28  # WRK
878     - 29  # WRK
879     - 30  # WRK
880     - 32  # WRK
881     - 35  # WRK
882     csit-vpp-perf-verify-1810-3n-hsw:
883     - 9   # MRR sel
884     - 20  # NDRPDR full
885     - 21  # NDRPDR full
886     - 22  # NDRPDR full
887     - 27  # NDRPDR full
888     - 8   # NDRPDR sel
889     - 12  # NDRPDR sel
890     - 14  # NDRPDR sel
891     - 18  # NDRPDR sel
892     - 23  # NDRPDR sel
893     - 25  # NDRPDR sel
894     - 38  # NDRPDR sel
895     - 39  # NDRPDR sel
896     - 41  # NDRPDR sel
897     - 42  # NDRPDR sel
898     - 28  # WRK
899     - 29  # WRK
900     - 30  # WRK
901     - 31  # WRK
902     - 32  # WRK
903     - 33  # WRK
904     - 34  # WRK
905     - 35  # WRK
906     - 36  # WRK
907     - 37  # WRK
908     csit-vpp-perf-verify-1807-3n-skx:
909     - 31  # MRR full
910     - 28  # MRR sel
911     - 32  # MRR sel
912     - 36  # MRR sel
913     - 42  # MRR sel
914     - 47  # MRR sel
915     - 48  # MRR sel
916     - 51  # MRR sel
917     - 52  # MRR sel
918     - 53  # MRR sel
919     - 54  # MRR sel
920     - 40  # NDRPDR full 1
921     - 41  # NDRPDR full 2
922     - 33  # NDRPDR sel
923     - 35  # NDRPDR sel
924     - 37  # NDRPDR sel
925     - 38  # NDRPDR sel
926     - 39  # NDRPDR sel
927     - 43  # NDRPDR sel
928     - 44  # NDRPDR sel
929     - 49  # NDRPDR sel
930     - 50  # NDRPDR sel
931     - 56  # NDRPDR sel
932     csit-vpp-perf-verify-1810-3n-skx:
933     - 9   # MRR sel
934     - 11  # MRR sel
935     - 12  # MRR sel
936     - 13  # MRR sel
937     - 23  # NDRPDR full
938     - 24  # NDRPDR full
939     - 10  # NDRPDR sel
940     - 14  # NDRPDR sel
941     - 15  # NDRPDR sel
942     - 16  # NDRPDR sel
943     - 17  # NDRPDR sel
944     - 19  # NDRPDR sel
945     - 20  # NDRPDR sel
946     - 21  # NDRPDR sel
947     - 22  # NDRPDR sel
948     - 25  # NDRPDR sel
949     csit-vpp-perf-verify-1807-2n-skx:
950     - 27  # MRR full
951     - 31  # MRR sel
952     - 33  # MRR sel
953     - 37  # MRR sel
954     - 38  # MRR sel
955     - 41  # MRR sel
956     - 43  # MRR sel
957     - 44  # MRR sel
958     - 45  # MRR sel
959     - 46  # MRR sel
960     - 47  # MRR sel
961     - 32  # NDRPDR full
962     - 26  # NDRPDR sel
963     - 28  # NDRPDR sel
964     - 29  # NDRPDR sel
965     - 30  # NDRPDR sel
966     - 34  # NDRPDR sel
967     - 35  # NDRPDR sel
968     - 36  # NDRPDR sel
969     - 39  # NDRPDR sel
970     - 40  # NDRPDR sel
971     - 42  # NDRPDR sel
972     csit-vpp-perf-verify-1810-2n-skx:
973     - 8   # MRR sel
974     - 10  # MRR sel
975     - 11  # MRR sel
976     - 12  # MRR sel
977     - 25  # NDRPDR full
978     - 26  # NDRPDR full
979     - 9   # NDRPDR sel
980     - 13  # NDRPDR sel
981     - 14  # NDRPDR sel
982     - 19  # NDRPDR sel
983     - 20  # NDRPDR sel
984     - 21  # NDRPDR sel
985     - 22  # NDRPDR sel
986     - 23  # NDRPDR sel
987     - 24  # NDRPDR sel
988     - 27  # NDRPDR sel
989     csit-vpp-perf-check-1804:
990     - 5   # mrr - full
991     - 6   # mrr - sel
992     - 13  # mrr - sel
993     - 14  # mrr - sel
994     - 15  # mrr - sel
995     - 16  # mrr - sel
996     - 17  # mrr - sel
997     - 19  # mrr - sel
998     - 20  # mrr - sel
999     - 21  # mrr - sel
1000     - 22  # mrr - sel
1001     csit-ligato-perf-verify-1810-3n-hsw:
1002     - 5   # full
1003     - 6   # sel
1004     - 8   # sel
1005     - 9   # sel
1006     - 11  # sel
1007     - 12  # sel
1008     - 13  # sel
1009     - 14  # sel
1010     - 16  # sel
1011     - 17  # sel
1012     - 18  # sel
1013     csit-dpdk-perf-1804-all:
1014     - 4
1015     - 5
1016     - 6
1017     - 7
1018     - 8
1019     - 9
1020     - 10
1021     - 11
1022     - 12
1023     - 13
1024     csit-dpdk-perf-verify-1807-3n-hsw:
1025     - 11
1026     - 12  # full
1027     - 14
1028     - 15
1029     - 16
1030     - 17
1031     - 20
1032     - 21
1033     - 22
1034     - 23
1035     csit-dpdk-perf-verify-1810-3n-hsw:
1036     - 1   # NDRPDR sel
1037     - 2   # NDRPDR sel
1038     - 3   # NDRPDR sel
1039     - 4   # NDRPDR sel
1040     - 5   # NDRPDR sel
1041     - 6   # NDRPDR sel
1042     - 7   # NDRPDR sel
1043     - 8   # NDRPDR sel
1044     - 9   # NDRPDR sel
1045     - 10  # NDRPDR sel
1046     csit-dpdk-perf-verify-1807-3n-skx:
1047     - 1
1048     - 2
1049     - 3
1050     - 6
1051     - 7
1052     - 8
1053     - 9
1054     - 10
1055     - 11
1056     - 12
1057     csit-dpdk-perf-verify-1810-3n-skx:
1058     - 3   # NDRPDR sel
1059     - 4   # NDRPDR sel
1060     - 6   # NDRPDR sel
1061     - 7   # NDRPDR sel
1062     - 8   # NDRPDR sel
1063     - 9   # NDRPDR sel
1064     - 10  # NDRPDR sel
1065     - 11  # NDRPDR sel
1066     - 12  # NDRPDR sel
1067     - 13  # NDRPDR sel
1068     csit-dpdk-perf-verify-1810-2n-skx:
1069     - 3   # NDRPDR sel
1070     - 4   # NDRPDR sel
1071     - 5   # NDRPDR sel
1072     - 7   # NDRPDR sel
1073     - 8   # NDRPDR sel
1074     - 9   # NDRPDR sel
1075     - 10  # NDRPDR sel
1076     - 11  # NDRPDR sel
1077     - 12  # NDRPDR sel
1078     - 13  # NDRPDR sel
1079
1080     csit-vpp-functional-1810-ubuntu1604-virl:
1081     - 44
1082     csit-vpp-functional-1810-centos7-virl:
1083     - 44
1084     csit-vpp-device-1810-ubuntu1804-1n-skx:
1085     - 2
1086     csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
1087     - 1
1088     csit-dmm-functional-1810-ubuntu1604-virl:
1089     - 1
1090     csit-hc2vpp-verify-func-1810-ubuntu1604:
1091     - 1
1092
1093 -
1094   type: "output"
1095   output: "report"
1096   format:
1097     html:
1098     - full
1099     pdf:
1100     - minimal
1101
1102 ################################################################################
1103 ###                               T A B L E S                                ###
1104 ################################################################################
1105
1106 ################################################################################
1107 # VPP
1108
1109 # VPP Performance Changes 1t1c pdr
1110 -
1111   type: "table"
1112   title: "VPP Performance Changes 1t1c pdr"
1113   algorithm: "table_performance_comparison"
1114   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-pdr"
1115   history:
1116     -
1117       title: "rls1804"
1118       data:
1119         csit-vpp-perf-1804-all:
1120         - 21  # sel
1121         - 22  # sel
1122         - 23  # sel
1123         - 24  # sel
1124         - 27  # sel
1125         - 28  # sel
1126         - 29  # sel
1127         - 30  # sel
1128         - 31  # sel
1129         - 35  # sel
1130   reference:
1131     title: "rls1807"
1132     data:
1133       csit-vpp-perf-verify-1807-3n-hsw:
1134       - 11  # NDRPDR full 1
1135       - 22  # NDRPDR full 2
1136       - 45  # NDRPDR full 3
1137       - 46  # NDRPDR full 4
1138       - 15  # NDRPDR sel
1139       - 16  # NDRPDR sel
1140       - 19  # NDRPDR sel
1141       - 18  # NDRPDR sel
1142       - 20  # NDRPDR sel
1143       - 38  # NDRPDR sel
1144       - 40  # NDRPDR sel
1145       - 44  # NDRPDR sel
1146       - 47  # NDRPDR sel
1147   compare:
1148     title: "rls1810"
1149     data:
1150       csit-vpp-perf-verify-1810-3n-hsw:
1151       - 8   # NDRPDR sel
1152       - 12  # NDRPDR sel
1153       - 14  # NDRPDR sel
1154       - 18  # NDRPDR sel
1155       - 23  # NDRPDR sel
1156       - 25  # NDRPDR sel
1157       - 38  # NDRPDR sel
1158       - 39  # NDRPDR sel
1159       - 41  # NDRPDR sel
1160       - 42  # NDRPDR sel
1161   data: "vpp-performance-changes"
1162   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1163   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1164   parameters:
1165   - "name"
1166   - "parent"
1167   - "throughput"
1168
1169 # VPP Performance Changes 2t2c pdr
1170 -
1171   type: "table"
1172   title: "VPP Performance Changes 2t2c pdr"
1173   algorithm: "table_performance_comparison"
1174   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-pdr"
1175   history:
1176     -
1177       title: "rls1804"
1178       data:
1179         csit-vpp-perf-1804-all:
1180         - 21  # sel
1181         - 22  # sel
1182         - 23  # sel
1183         - 24  # sel
1184         - 27  # sel
1185         - 28  # sel
1186         - 29  # sel
1187         - 30  # sel
1188         - 31  # sel
1189         - 35  # sel
1190   reference:
1191     title: "rls1807"
1192     data:
1193       csit-vpp-perf-verify-1807-3n-hsw:
1194       - 11  # NDRPDR full 1
1195       - 22  # NDRPDR full 2
1196       - 45  # NDRPDR full 3
1197       - 46  # NDRPDR full 4
1198       - 15  # NDRPDR sel
1199       - 16  # NDRPDR sel
1200       - 19  # NDRPDR sel
1201       - 18  # NDRPDR sel
1202       - 20  # NDRPDR sel
1203       - 38  # NDRPDR sel
1204       - 40  # NDRPDR sel
1205       - 44  # NDRPDR sel
1206       - 47  # NDRPDR sel
1207   compare:
1208     title: "rls1810"
1209     data:
1210       csit-vpp-perf-verify-1810-3n-hsw:
1211       - 8   # NDRPDR sel
1212       - 12  # NDRPDR sel
1213       - 14  # NDRPDR sel
1214       - 18  # NDRPDR sel
1215       - 23  # NDRPDR sel
1216       - 25  # NDRPDR sel
1217       - 38  # NDRPDR sel
1218       - 39  # NDRPDR sel
1219       - 41  # NDRPDR sel
1220       - 42  # NDRPDR sel
1221   data: "vpp-performance-changes"
1222   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1223   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1224   parameters:
1225   - "name"
1226   - "parent"
1227   - "throughput"
1228
1229 # VPP Performance Changes 1t1c ndr
1230 -
1231   type: "table"
1232   title: "VPP Performance Changes 1t1c ndr"
1233   algorithm: "table_performance_comparison"
1234   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-ndr"
1235   history:
1236     -
1237       title: "rls1804"
1238       data:
1239         csit-vpp-perf-1804-all:
1240         - 21  # sel
1241         - 22  # sel
1242         - 23  # sel
1243         - 24  # sel
1244         - 27  # sel
1245         - 28  # sel
1246         - 29  # sel
1247         - 30  # sel
1248         - 31  # sel
1249         - 35  # sel
1250   reference:
1251     title: "rls1807"
1252     data:
1253       csit-vpp-perf-verify-1807-3n-hsw:
1254       - 11  # NDRPDR full 1
1255       - 22  # NDRPDR full 2
1256       - 45  # NDRPDR full 3
1257       - 46  # NDRPDR full 4
1258       - 15  # NDRPDR sel
1259       - 16  # NDRPDR sel
1260       - 19  # NDRPDR sel
1261       - 18  # NDRPDR sel
1262       - 20  # NDRPDR sel
1263       - 38  # NDRPDR sel
1264       - 40  # NDRPDR sel
1265       - 44  # NDRPDR sel
1266       - 47  # NDRPDR sel
1267   compare:
1268     title: "rls1810"
1269     data:
1270       csit-vpp-perf-verify-1810-3n-hsw:
1271       - 8   # NDRPDR sel
1272       - 12  # NDRPDR sel
1273       - 14  # NDRPDR sel
1274       - 18  # NDRPDR sel
1275       - 23  # NDRPDR sel
1276       - 25  # NDRPDR sel
1277       - 38  # NDRPDR sel
1278       - 39  # NDRPDR sel
1279       - 41  # NDRPDR sel
1280       - 42  # NDRPDR sel
1281   data: "vpp-performance-changes"
1282   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1283   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1284   parameters:
1285   - "name"
1286   - "parent"
1287   - "throughput"
1288
1289 # VPP Performance Changes 2t2c ndr
1290 -
1291   type: "table"
1292   title: "VPP Performance Changes 2t2c ndr"
1293   algorithm: "table_performance_comparison"
1294   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-ndr"
1295   history:
1296     -
1297       title: "rls1804"
1298       data:
1299         csit-vpp-perf-1804-all:
1300         - 21  # sel
1301         - 22  # sel
1302         - 23  # sel
1303         - 24  # sel
1304         - 27  # sel
1305         - 28  # sel
1306         - 29  # sel
1307         - 30  # sel
1308         - 31  # sel
1309         - 35  # sel
1310   reference:
1311     title: "rls1807"
1312     data:
1313       csit-vpp-perf-verify-1807-3n-hsw:
1314       - 11  # NDRPDR full 1
1315       - 22  # NDRPDR full 2
1316       - 45  # NDRPDR full 3
1317       - 46  # NDRPDR full 4
1318       - 15  # NDRPDR sel
1319       - 16  # NDRPDR sel
1320       - 19  # NDRPDR sel
1321       - 18  # NDRPDR sel
1322       - 20  # NDRPDR sel
1323       - 38  # NDRPDR sel
1324       - 40  # NDRPDR sel
1325       - 44  # NDRPDR sel
1326       - 47  # NDRPDR sel
1327   compare:
1328     title: "rls1810"
1329     data:
1330       csit-vpp-perf-verify-1810-3n-hsw:
1331       - 8   # NDRPDR sel
1332       - 12  # NDRPDR sel
1333       - 14  # NDRPDR sel
1334       - 18  # NDRPDR sel
1335       - 23  # NDRPDR sel
1336       - 25  # NDRPDR sel
1337       - 38  # NDRPDR sel
1338       - 39  # NDRPDR sel
1339       - 41  # NDRPDR sel
1340       - 42  # NDRPDR sel
1341   data: "vpp-performance-changes"
1342   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1343   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1344   parameters:
1345   - "name"
1346   - "parent"
1347   - "throughput"
1348
1349 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr
1350 -
1351   type: "table"
1352   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1353   algorithm: "table_performance_comparison"
1354   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1355   reference:
1356     title: "3-Node Hsw"
1357     data:
1358       csit-vpp-perf-verify-1810-3n-hsw:
1359       - 8   # NDRPDR sel
1360       - 12  # NDRPDR sel
1361       - 14  # NDRPDR sel
1362       - 18  # NDRPDR sel
1363       - 23  # NDRPDR sel
1364       - 25  # NDRPDR sel
1365       - 38  # NDRPDR sel
1366       - 39  # NDRPDR sel
1367       - 41  # NDRPDR sel
1368       - 42  # NDRPDR sel
1369   compare:
1370     title: "3-Node Skx"
1371     data:
1372       csit-vpp-perf-verify-1810-3n-skx:
1373       - 10  # NDRPDR sel
1374       - 14  # NDRPDR sel
1375       - 15  # NDRPDR sel
1376       - 16  # NDRPDR sel
1377       - 17  # NDRPDR sel
1378       - 19  # NDRPDR sel
1379       - 20  # NDRPDR sel
1380       - 21  # NDRPDR sel
1381       - 22  # NDRPDR sel
1382       - 25  # NDRPDR sel
1383   data: "vpp-compare-testbeds"
1384   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1385   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1386   parameters:
1387   - "name"
1388   - "parent"
1389   - "throughput"
1390
1391 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr
1392 -
1393   type: "table"
1394   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1395   algorithm: "table_performance_comparison"
1396   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1397   reference:
1398     title: "3-Node Hsw"
1399     data:
1400       csit-vpp-perf-verify-1810-3n-hsw:
1401       - 8   # NDRPDR sel
1402       - 12  # NDRPDR sel
1403       - 14  # NDRPDR sel
1404       - 18  # NDRPDR sel
1405       - 23  # NDRPDR sel
1406       - 25  # NDRPDR sel
1407       - 38  # NDRPDR sel
1408       - 39  # NDRPDR sel
1409       - 41  # NDRPDR sel
1410       - 42  # NDRPDR sel
1411   compare:
1412     title: "3-Node Skx"
1413     data:
1414       csit-vpp-perf-verify-1810-3n-skx:
1415       - 10  # NDRPDR sel
1416       - 14  # NDRPDR sel
1417       - 15  # NDRPDR sel
1418       - 16  # NDRPDR sel
1419       - 17  # NDRPDR sel
1420       - 19  # NDRPDR sel
1421       - 20  # NDRPDR sel
1422       - 21  # NDRPDR sel
1423       - 22  # NDRPDR sel
1424       - 25  # NDRPDR sel
1425   data: "vpp-compare-testbeds"
1426   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1427   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1428   parameters:
1429   - "name"
1430   - "parent"
1431   - "throughput"
1432
1433 # VPP Performance Changes - 1t1c MRR
1434 -
1435   type: "table"
1436   title: "VPP Performance Changes - 1t1c MRR"
1437   algorithm: "table_performance_comparison"
1438   output-file: "{DIR[STATIC,VPP]}/performance-changes-1t1c-mrr"
1439   history:
1440     -
1441       title: "rls1804"
1442       data:
1443         csit-vpp-perf-check-1804:
1444         - 6   # mrr - sel
1445         - 13  # mrr - sel
1446         - 14  # mrr - sel
1447         - 15  # mrr - sel
1448         - 16  # mrr - sel
1449         - 17  # mrr - sel
1450         - 19  # mrr - sel
1451         - 20  # mrr - sel
1452         - 21  # mrr - sel
1453         - 22  # mrr - sel
1454   reference:
1455     title: "rls1807"
1456     data:
1457       csit-vpp-perf-verify-1807-3n-hsw:
1458       - 8   # MRR full
1459       - 9   # MRR sel
1460       - 21  # MRR sel
1461       - 31  # MRR sel
1462       - 33  # MRR sel
1463       - 36  # MRR sel
1464       - 41  # MRR sel
1465       - 42  # MRR sel
1466       - 48  # MRR sel
1467   compare:
1468     title: "rls1810"
1469     data:
1470       csit-vpp-perf-verify-1810-3n-hsw:
1471       - 9   # MRR sel
1472   data: "vpp-performance-changes-mrr"
1473   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1474   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1475   parameters:
1476   - "name"
1477   - "parent"
1478   - "result"
1479
1480 # VPP Performance Changes - 2t2c MRR
1481 -
1482   type: "table"
1483   title: "VPP Performance Changes - 2t2c MRR"
1484   algorithm: "table_performance_comparison"
1485   output-file: "{DIR[STATIC,VPP]}/performance-changes-2t2c-mrr"
1486   history:
1487     -
1488       title: "rls1804"
1489       data:
1490         csit-vpp-perf-check-1804:
1491         - 6   # mrr - sel
1492         - 13  # mrr - sel
1493         - 14  # mrr - sel
1494         - 15  # mrr - sel
1495         - 16  # mrr - sel
1496         - 17  # mrr - sel
1497         - 19  # mrr - sel
1498         - 20  # mrr - sel
1499         - 21  # mrr - sel
1500         - 22  # mrr - sel
1501   reference:
1502     title: "rls1807"
1503     data:
1504       csit-vpp-perf-verify-1807-3n-hsw:
1505       - 8   # MRR full
1506       - 9   # MRR sel
1507       - 21  # MRR sel
1508       - 31  # MRR sel
1509       - 33  # MRR sel
1510       - 36  # MRR sel
1511       - 41  # MRR sel
1512       - 42  # MRR sel
1513       - 48  # MRR sel
1514   compare:
1515     title: "rls1810"
1516     data:
1517       csit-vpp-perf-verify-1810-3n-hsw:
1518       - 9   # MRR sel
1519   data: "vpp-performance-changes-mrr"
1520   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1521   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1522   parameters:
1523   - "name"
1524   - "parent"
1525   - "result"
1526
1527 # VPP Performance Changes - 4t4c MRR
1528 -
1529   type: "table"
1530   title: "VPP Performance Changes - 4t4c MRR"
1531   algorithm: "table_performance_comparison"
1532   output-file: "{DIR[STATIC,VPP]}/performance-changes-4t4c-mrr"
1533   history:
1534     -
1535       title: "rls1804"
1536       data:
1537         csit-vpp-perf-check-1804:
1538         - 6   # mrr - sel
1539         - 13  # mrr - sel
1540         - 14  # mrr - sel
1541         - 15  # mrr - sel
1542         - 16  # mrr - sel
1543         - 17  # mrr - sel
1544         - 19  # mrr - sel
1545         - 20  # mrr - sel
1546         - 21  # mrr - sel
1547         - 22  # mrr - sel
1548   reference:
1549     title: "rls1807"
1550     data:
1551       csit-vpp-perf-verify-1807-3n-hsw:
1552       - 8   # MRR full
1553       - 9   # MRR sel
1554       - 21  # MRR sel
1555       - 31  # MRR sel
1556       - 33  # MRR sel
1557       - 36  # MRR sel
1558       - 41  # MRR sel
1559       - 42  # MRR sel
1560       - 48  # MRR sel
1561   compare:
1562     title: "rls1810"
1563     data:
1564       csit-vpp-perf-verify-1810-3n-hsw:
1565       - 9   # MRR sel
1566   data: "vpp-performance-changes-mrr"
1567   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1568   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1569   parameters:
1570   - "name"
1571   - "parent"
1572   - "result"
1573
1574 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr
1575 -
1576   type: "table"
1577   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
1578   algorithm: "table_performance_comparison"
1579   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
1580   reference:
1581     title: "3-Node Hsw"
1582     data:
1583       csit-vpp-perf-verify-1810-3n-hsw:
1584       - 9   # MRR sel
1585   compare:
1586     title: "3-Node Skx"
1587     data:
1588       csit-vpp-perf-verify-1810-3n-skx:
1589       - 9   # MRR sel
1590       - 11  # MRR sel
1591       - 12  # MRR sel
1592       - 13  # MRR sel
1593   data: "vpp-compare-testbeds-mrr"
1594   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1595   filter: "'NIC_Intel-X710' and 'MRR'"
1596   parameters:
1597   - "name"
1598   - "parent"
1599   - "result"
1600
1601 # Detailed Test Results - VPP Performance Results 3n-hsw
1602 -
1603   type: "table"
1604   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
1605   algorithm: "table_merged_details"
1606   output-file-ext: ".csv"
1607   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
1608   columns:
1609   -
1610     title: "Name"
1611     data: "data name"
1612   -
1613     title: "Status"
1614     data: "data msg"
1615   rows: "generated"
1616   data: "vpp-perf-results-3n-hsw"
1617   filter: "not 'NDRCHK' and not 'PDRCHK'"
1618   parameters:
1619   - "name"
1620   - "parent"
1621   - "msg"
1622
1623 # Detailed Test Results - VPP Performance Results 3n-skx
1624 -
1625   type: "table"
1626   title: "Detailed Test Results - VPP Performance Results 3n-skx"
1627   algorithm: "table_merged_details"
1628   output-file-ext: ".csv"
1629   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
1630   columns:
1631   -
1632     title: "Name"
1633     data: "data name"
1634   -
1635     title: "Status"
1636     data: "data msg"
1637   rows: "generated"
1638   data: "vpp-perf-results-3n-skx"
1639   filter: "not 'NDRCHK' and not 'PDRCHK'"
1640   parameters:
1641   - "name"
1642   - "parent"
1643   - "msg"
1644
1645 # Detailed Test Results - VPP Performance Results 2n-skx
1646 -
1647   type: "table"
1648   title: "Detailed Test Results - VPP Performance Results 2n-skx"
1649   algorithm: "table_merged_details"
1650   output-file-ext: ".csv"
1651   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
1652   columns:
1653   -
1654     title: "Name"
1655     data: "data name"
1656   -
1657     title: "Status"
1658     data: "data msg"
1659   rows: "generated"
1660   data: "vpp-perf-results-2n-skx"
1661   filter: "not 'NDRCHK' and not 'PDRCHK'"
1662   parameters:
1663   - "name"
1664   - "parent"
1665   - "msg"
1666
1667 # Test configuration - VPP Performance Test Configs 3n-hsw
1668 -
1669   type: "table"
1670   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
1671   algorithm: "table_merged_details"
1672   output-file-ext: ".csv"
1673   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
1674   columns:
1675   -
1676     title: "Name"
1677     data: "data name"
1678   -
1679     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1680     data: "data vat-history"
1681   rows: "generated"
1682   data: "vpp-perf-results-3n-hsw"
1683   filter: "not 'NDRCHK' and not 'PDRCHK'"
1684   parameters:
1685   - "parent"
1686   - "name"
1687   - "vat-history"
1688
1689 # Test configuration - VPP Performance Test Configs 3n-skx
1690 -
1691   type: "table"
1692   title: "Test configuration - VPP Performance Test Configs 3n-skx"
1693   algorithm: "table_merged_details"
1694   output-file-ext: ".csv"
1695   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
1696   columns:
1697   -
1698     title: "Name"
1699     data: "data name"
1700   -
1701     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1702     data: "data vat-history"
1703   rows: "generated"
1704   data: "vpp-perf-results-3n-skx"
1705   filter: "not 'NDRCHK' and not 'PDRCHK'"
1706   parameters:
1707   - "parent"
1708   - "name"
1709   - "vat-history"
1710
1711 # Test configuration - VPP Performance Test Configs 2n-skx
1712 -
1713   type: "table"
1714   title: "Test configuration - VPP Performance Test Configs 2n-skx"
1715   algorithm: "table_merged_details"
1716   output-file-ext: ".csv"
1717   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
1718   columns:
1719   -
1720     title: "Name"
1721     data: "data name"
1722   -
1723     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1724     data: "data vat-history"
1725   rows: "generated"
1726   data: "vpp-perf-results-2n-skx"
1727   filter: "not 'NDRCHK' and not 'PDRCHK'"
1728   parameters:
1729   - "parent"
1730   - "name"
1731   - "vat-history"
1732
1733 # Test Operational Data - VPP Performance Operational Data 3n-hsw
1734 -
1735   type: "table"
1736   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
1737   algorithm: "table_merged_details"
1738   output-file-ext: ".csv"
1739   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
1740   columns:
1741   -
1742     title: "Name"
1743     data: "data name"
1744   -
1745     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1746     data: "data show-run"
1747   rows: "generated"
1748   data: "vpp-perf-results-3n-hsw"
1749   filter: "not 'NDRCHK' and not 'PDRCHK'"
1750   parameters:
1751   - "parent"
1752   - "name"
1753   - "show-run"
1754
1755 # Test Operational Data - VPP Performance Operational Data 3n-skx
1756 -
1757   type: "table"
1758   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
1759   algorithm: "table_merged_details"
1760   output-file-ext: ".csv"
1761   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
1762   columns:
1763   -
1764     title: "Name"
1765     data: "data name"
1766   -
1767     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1768     data: "data show-run"
1769   rows: "generated"
1770   data: "vpp-perf-results-3n-skx"
1771   filter: "not 'NDRCHK' and not 'PDRCHK'"
1772   parameters:
1773   - "parent"
1774   - "name"
1775   - "show-run"
1776
1777 # Test Operational Data - VPP Performance Operational Data 2n-skx
1778 -
1779   type: "table"
1780   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
1781   algorithm: "table_merged_details"
1782   output-file-ext: ".csv"
1783   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
1784   columns:
1785   -
1786     title: "Name"
1787     data: "data name"
1788   -
1789     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
1790     data: "data show-run"
1791   rows: "generated"
1792   data: "vpp-perf-results-2n-skx"
1793   filter: "not 'NDRCHK' and not 'PDRCHK'"
1794   parameters:
1795   - "parent"
1796   - "name"
1797   - "show-run"
1798
1799 # Detailed Test Results - VPP MRR Results 3n-hsw
1800 -
1801   type: "table"
1802   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
1803   algorithm: "table_details"
1804   output-file-ext: ".csv"
1805   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
1806   columns:
1807   -
1808     title: "Name"
1809     data: "data name"
1810   -
1811     title: "Status"
1812     data: "data msg"
1813   rows: "generated"
1814   data: "vpp-mrr-results-3n-hsw"
1815   filter: "'MRR'"
1816   parameters:
1817   - "name"
1818   - "parent"
1819   - "msg"
1820
1821 # Detailed Test Results - VPP MRR Results 3n-skx
1822 -
1823   type: "table"
1824   title: "Detailed Test Results - VPP MRR Results 3n-skx"
1825   algorithm: "table_details"
1826   output-file-ext: ".csv"
1827   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
1828   columns:
1829   -
1830     title: "Name"
1831     data: "data name"
1832   -
1833     title: "Status"
1834     data: "data msg"
1835   rows: "generated"
1836   data: "vpp-mrr-results-3n-skx"
1837   filter: "'MRR'"
1838   parameters:
1839   - "name"
1840   - "parent"
1841   - "msg"
1842
1843 # Detailed Test Results - VPP MRR Results 2n-skx
1844 -
1845   type: "table"
1846   title: "Detailed Test Results - VPP MRR Results 2n-skx"
1847   algorithm: "table_details"
1848   output-file-ext: ".csv"
1849   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
1850   columns:
1851   -
1852     title: "Name"
1853     data: "data name"
1854   -
1855     title: "Status"
1856     data: "data msg"
1857   rows: "generated"
1858   data: "vpp-mrr-results-2n-skx"
1859   filter: "'MRR'"
1860   parameters:
1861   - "name"
1862   - "parent"
1863   - "msg"
1864
1865 # Test configuration - VPP MRR Test Configs 3n-hsw
1866 -
1867   type: "table"
1868   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
1869   algorithm: "table_details"
1870   output-file-ext: ".csv"
1871   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
1872   columns:
1873   -
1874     title: "Name"
1875     data: "data name"
1876   -
1877     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1878     data: "data vat-history"
1879   rows: "generated"
1880   data: "vpp-mrr-results-3n-hsw"
1881   filter: "'MRR'"
1882   parameters:
1883   - "parent"
1884   - "name"
1885   - "vat-history"
1886
1887 # Test configuration - VPP MRR Test Configs 3n-skx
1888 -
1889   type: "table"
1890   title: "Test configuration - VPP MRR Test Configs 3n-skx"
1891   algorithm: "table_details"
1892   output-file-ext: ".csv"
1893   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
1894   columns:
1895   -
1896     title: "Name"
1897     data: "data name"
1898   -
1899     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1900     data: "data vat-history"
1901   rows: "generated"
1902   data: "vpp-mrr-results-3n-skx"
1903   filter: "'MRR'"
1904   parameters:
1905   - "parent"
1906   - "name"
1907   - "vat-history"
1908
1909 # Test configuration - VPP MRR Test Configs 2n-skx
1910 -
1911   type: "table"
1912   title: "Test configuration - VPP MRR Test Configs 2n-skx"
1913   algorithm: "table_details"
1914   output-file-ext: ".csv"
1915   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
1916   columns:
1917   -
1918     title: "Name"
1919     data: "data name"
1920   -
1921     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1922     data: "data vat-history"
1923   rows: "generated"
1924   data: "vpp-mrr-results-2n-skx"
1925   filter: "'MRR'"
1926   parameters:
1927   - "parent"
1928   - "name"
1929   - "vat-history"
1930
1931 # Detailed Test Results - VPP Functional Results - Ubuntu
1932 -
1933   type: "table"
1934   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
1935   algorithm: "table_details"
1936   output-file-ext: ".csv"
1937   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
1938   columns:
1939   -
1940     title: "Name"
1941     data: "data name"
1942   -
1943     title: "Documentation"
1944     data: "data doc"
1945   -
1946     title: "Status"
1947     data: "data status"
1948   rows: "generated"
1949   data: "vpp-func-results-ubuntu"
1950   filter: "all"
1951   parameters:
1952   - "name"
1953   - "parent"
1954   - "doc"
1955   - "status"
1956
1957 # Detailed Test Results - VPP Functional Results - CentOS
1958 -
1959   type: "table"
1960   title: "Detailed Test Results - VPP Functional Results - CentOS"
1961   algorithm: "table_details"
1962   output-file-ext: ".csv"
1963   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
1964   columns:
1965   -
1966     title: "Name"
1967     data: "data name"
1968   -
1969     title: "Documentation"
1970     data: "data doc"
1971   -
1972     title: "Status"
1973     data: "data status"
1974   rows: "generated"
1975   data:
1976     "vpp-func-results-centos"
1977   filter: "all"
1978   parameters:
1979   - "name"
1980   - "parent"
1981   - "doc"
1982   - "status"
1983
1984 # Test configuration - VPP Functional Test Configs - Ubuntu
1985 -
1986   type: "table"
1987   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
1988   algorithm: "table_details"
1989   output-file-ext: ".csv"
1990   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
1991   columns:
1992   -
1993     title: "Name"
1994     data: "data name"
1995   -
1996     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
1997     data: "data vat-history"
1998   rows: "generated"
1999   data: "vpp-func-results-ubuntu"
2000   filter: "all"
2001   parameters:
2002   - "parent"
2003   - "name"
2004   - "vat-history"
2005
2006 # Test configuration - VPP Functional Test Configs - CentOS
2007 -
2008   type: "table"
2009   title: "Test configuration - VPP Functional Test Configs - CentOS"
2010   algorithm: "table_details"
2011   output-file-ext: ".csv"
2012   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2013   columns:
2014   -
2015     title: "Name"
2016     data: "data name"
2017   -
2018     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2019     data: "data vat-history"
2020   rows: "generated"
2021   data: "vpp-func-results-centos"
2022   filter: "all"
2023   parameters:
2024   - "parent"
2025   - "name"
2026   - "vat-history"
2027
2028 # Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw
2029 -
2030   type: "table"
2031   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
2032   algorithm: "table_details"
2033   output-file-ext: ".csv"
2034   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2035   columns:
2036   -
2037     title: "Name"
2038     data: "data name"
2039   -
2040     title: "Status"
2041     data: "data msg"
2042   rows: "generated"
2043   data: "ligato-perf-results-3n-hsw"
2044   filter: "all"
2045   parameters:
2046   - "name"
2047   - "parent"
2048   - "msg"
2049
2050 # Detailed Test Results - VPP Device Results - Ubuntu
2051 -
2052   type: "table"
2053   title: "Detailed Test Results - VPP Device Results - Ubuntu"
2054   algorithm: "table_details"
2055   output-file-ext: ".csv"
2056   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
2057   columns:
2058   -
2059     title: "Name"
2060     data: "data name"
2061   -
2062     title: "Documentation"
2063     data: "data doc"
2064   -
2065     title: "Status"
2066     data: "data status"
2067   rows: "generated"
2068   data: "vpp-device-results-ubuntu"
2069   filter: "all"
2070   parameters:
2071   - "name"
2072   - "parent"
2073   - "doc"
2074   - "status"
2075
2076 # Test configuration - VPP Device Test Configs - Ubuntu
2077 -
2078   type: "table"
2079   title: "Test configuration - VPP Device Test Configs - Ubuntu"
2080   algorithm: "table_details"
2081   output-file-ext: ".csv"
2082   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
2083   columns:
2084   -
2085     title: "Name"
2086     data: "data name"
2087   -
2088     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2089     data: "data vat-history"
2090   rows: "generated"
2091   data: "vpp-device-results-ubuntu"
2092   filter: "all"
2093   parameters:
2094   - "parent"
2095   - "name"
2096   - "vat-history"
2097
2098 ################################################################################
2099
2100 # DPDK Performance Changes 1t1c pdr
2101 -
2102   type: "table"
2103   title: "DPDK Performance Changes 1t1c pdr"
2104   algorithm: "table_performance_comparison"
2105   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-pdr"
2106   history:
2107     -
2108       title: "rls1804"
2109       data:
2110         csit-dpdk-perf-1804-all:
2111         - 4
2112         - 5
2113         - 6
2114         - 7
2115         - 8
2116         - 9
2117         - 10
2118         - 11
2119         - 12
2120         - 13
2121   reference:
2122     title: "rls1807"
2123     data:
2124       csit-dpdk-perf-verify-1807-3n-hsw:
2125       - 11
2126       - 12  # full
2127       - 14
2128       - 15
2129       - 16
2130       - 17
2131       - 20
2132       - 21
2133       - 22
2134       - 23
2135   compare:
2136     title: "rls1810"
2137     data:
2138       csit-dpdk-perf-verify-1810-3n-hsw:
2139       - 1   # NDRPDR sel
2140       - 2   # NDRPDR sel
2141       - 3   # NDRPDR sel
2142       - 4   # NDRPDR sel
2143       - 5   # NDRPDR sel
2144       - 6   # NDRPDR sel
2145       - 7   # NDRPDR sel
2146       - 8   # NDRPDR sel
2147       - 9   # NDRPDR sel
2148       - 10  # NDRPDR sel
2149   data: "dpdk-performance-changes"
2150   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2151   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2152   parameters:
2153   - "name"
2154   - "parent"
2155   - "throughput"
2156
2157 # DPDK Performance Changes 2t2c pdr
2158 -
2159   type: "table"
2160   title: "DPDK Performance Changes 2t2c pdr"
2161   algorithm: "table_performance_comparison"
2162   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-pdr"
2163   history:
2164     -
2165       title: "rls1804"
2166       data:
2167         csit-dpdk-perf-1804-all:
2168         - 4
2169         - 5
2170         - 6
2171         - 7
2172         - 8
2173         - 9
2174         - 10
2175         - 11
2176         - 12
2177         - 13
2178   reference:
2179     title: "rls1807"
2180     data:
2181       csit-dpdk-perf-verify-1807-3n-hsw:
2182       - 11
2183       - 12  # full
2184       - 14
2185       - 15
2186       - 16
2187       - 17
2188       - 20
2189       - 21
2190       - 22
2191       - 23
2192   compare:
2193     title: "rls1810"
2194     data:
2195       csit-dpdk-perf-verify-1810-3n-hsw:
2196       - 1   # NDRPDR sel
2197       - 2   # NDRPDR sel
2198       - 3   # NDRPDR sel
2199       - 4   # NDRPDR sel
2200       - 5   # NDRPDR sel
2201       - 6   # NDRPDR sel
2202       - 7   # NDRPDR sel
2203       - 8   # NDRPDR sel
2204       - 9   # NDRPDR sel
2205       - 10  # NDRPDR sel
2206   data: "dpdk-performance-changes"
2207   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2208   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2209   parameters:
2210   - "name"
2211   - "parent"
2212   - "throughput"
2213
2214 # DPDK Performance Changes 1t1c ndr
2215 -
2216   type: "table"
2217   title: "DPDK Performance Changes 1t1c ndr"
2218   algorithm: "table_performance_comparison"
2219   output-file: "{DIR[STATIC,DPDK]}/performance-changes-1t1c-ndr"
2220   history:
2221     -
2222       title: "rls1804"
2223       data:
2224         csit-dpdk-perf-1804-all:
2225         - 4
2226         - 5
2227         - 6
2228         - 7
2229         - 8
2230         - 9
2231         - 10
2232         - 11
2233         - 12
2234         - 13
2235   reference:
2236     title: "rls1807"
2237     data:
2238       csit-dpdk-perf-verify-1807-3n-hsw:
2239       - 11
2240       - 12  # full
2241       - 14
2242       - 15
2243       - 16
2244       - 17
2245       - 20
2246       - 21
2247       - 22
2248       - 23
2249   compare:
2250     title: "rls1810"
2251     data:
2252       csit-dpdk-perf-verify-1810-3n-hsw:
2253       - 1   # NDRPDR sel
2254       - 2   # NDRPDR sel
2255       - 3   # NDRPDR sel
2256       - 4   # NDRPDR sel
2257       - 5   # NDRPDR sel
2258       - 6   # NDRPDR sel
2259       - 7   # NDRPDR sel
2260       - 8   # NDRPDR sel
2261       - 9   # NDRPDR sel
2262       - 10  # NDRPDR sel
2263   data: "dpdk-performance-changes"
2264   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2265   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2266   parameters:
2267   - "name"
2268   - "parent"
2269   - "throughput"
2270
2271 # DPDK Performance Changes 2t2c ndr
2272 -
2273   type: "table"
2274   title: "DPDK Performance Changes 2t2c ndr"
2275   algorithm: "table_performance_comparison"
2276   output-file: "{DIR[STATIC,DPDK]}/performance-changes-2t2c-ndr"
2277   history:
2278     -
2279       title: "rls1804"
2280       data:
2281         csit-dpdk-perf-1804-all:
2282         - 4
2283         - 5
2284         - 6
2285         - 7
2286         - 8
2287         - 9
2288         - 10
2289         - 11
2290         - 12
2291         - 13
2292   reference:
2293     title: "rls1807"
2294     data:
2295       csit-dpdk-perf-verify-1807-3n-hsw:
2296       - 11
2297       - 12  # full
2298       - 14
2299       - 15
2300       - 16
2301       - 17
2302       - 20
2303       - 21
2304       - 22
2305       - 23
2306   compare:
2307     title: "rls1810"
2308     data:
2309       csit-dpdk-perf-verify-1810-3n-hsw:
2310       - 1   # NDRPDR sel
2311       - 2   # NDRPDR sel
2312       - 3   # NDRPDR sel
2313       - 4   # NDRPDR sel
2314       - 5   # NDRPDR sel
2315       - 6   # NDRPDR sel
2316       - 7   # NDRPDR sel
2317       - 8   # NDRPDR sel
2318       - 9   # NDRPDR sel
2319       - 10  # NDRPDR sel
2320   data: "dpdk-performance-changes"
2321   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2322   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2323   parameters:
2324   - "name"
2325   - "parent"
2326   - "throughput"
2327
2328 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr
2329 -
2330   type: "table"
2331   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
2332   algorithm: "table_performance_comparison"
2333   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
2334   reference:
2335     title: "3-Node Hsw"
2336     data:
2337       csit-dpdk-perf-verify-1810-3n-hsw:
2338       - 1   # NDRPDR sel
2339       - 2   # NDRPDR sel
2340       - 3   # NDRPDR sel
2341       - 4   # NDRPDR sel
2342       - 5   # NDRPDR sel
2343       - 6   # NDRPDR sel
2344       - 7   # NDRPDR sel
2345       - 8   # NDRPDR sel
2346       - 9   # NDRPDR sel
2347       - 10  # NDRPDR sel
2348   compare:
2349     title: "3-Node Skx"
2350     data:
2351       csit-dpdk-perf-verify-1810-3n-skx:
2352       - 3   # NDRPDR sel
2353       - 4   # NDRPDR sel
2354       - 6   # NDRPDR sel
2355       - 7   # NDRPDR sel
2356       - 8   # NDRPDR sel
2357       - 9   # NDRPDR sel
2358       - 10  # NDRPDR sel
2359       - 11  # NDRPDR sel
2360       - 12  # NDRPDR sel
2361       - 13  # NDRPDR sel
2362   data: "dpdk-compare-testbeds"
2363   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2364   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2365   parameters:
2366   - "name"
2367   - "parent"
2368   - "throughput"
2369
2370 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr
2371 -
2372   type: "table"
2373   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
2374   algorithm: "table_performance_comparison"
2375   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
2376   reference:
2377     title: "3-Node Hsw"
2378     data:
2379       csit-dpdk-perf-verify-1810-3n-hsw:
2380       - 1   # NDRPDR sel
2381       - 2   # NDRPDR sel
2382       - 3   # NDRPDR sel
2383       - 4   # NDRPDR sel
2384       - 5   # NDRPDR sel
2385       - 6   # NDRPDR sel
2386       - 7   # NDRPDR sel
2387       - 8   # NDRPDR sel
2388       - 9   # NDRPDR sel
2389       - 10  # NDRPDR sel
2390   compare:
2391     title: "3-Node Skx"
2392     data:
2393       csit-dpdk-perf-verify-1810-3n-skx:
2394       - 3   # NDRPDR sel
2395       - 4   # NDRPDR sel
2396       - 6   # NDRPDR sel
2397       - 7   # NDRPDR sel
2398       - 8   # NDRPDR sel
2399       - 9   # NDRPDR sel
2400       - 10  # NDRPDR sel
2401       - 11  # NDRPDR sel
2402       - 12  # NDRPDR sel
2403       - 13  # NDRPDR sel
2404   data: "dpdk-compare-testbeds"
2405   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2406   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2407   parameters:
2408   - "name"
2409   - "parent"
2410   - "throughput"
2411
2412 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr
2413 # NOTE: Not used in 18.10
2414 #-
2415 #  type: "table"
2416 #  title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
2417 #  algorithm: "table_performance_comparison"
2418 #  output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
2419 #  reference:
2420 #    title: "3-Node Hsw"
2421 #    data:
2422 #      csit-dpdk-perf-verify-1807-3n-hsw:
2423 #      - 11
2424 #      - 12  # full
2425 #      - 14
2426 #      - 15
2427 #      - 16
2428 #      - 17
2429 #      - 20
2430 #      - 21
2431 #      - 22
2432 #      - 23
2433 #  compare:
2434 #    title: "3-Node Skx"
2435 #    data:
2436 #      csit-dpdk-perf-verify-1807-3n-skx:
2437 #      - 1
2438 #      - 2
2439 #      - 3
2440 #      - 6
2441 #      - 7
2442 #      - 8
2443 #      - 9
2444 #      - 10
2445 #      - 11
2446 #      - 12
2447 #  data: "dpdk-compare-testbeds"
2448 #  include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2449 #  filter: "'NIC_Intel-X710' and MRR" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2450 #  parameters:
2451 #  - "name"
2452 #  - "parent"
2453 #  - "result"
2454
2455 # Detailed Test Results - DPDK Performance Results 3n-hsw
2456 -
2457   type: "table"
2458   title: "Detailed Test Results - DPDK Performance Results 3n-hsw"
2459   algorithm: "table_details"
2460   output-file-ext: ".csv"
2461   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
2462   columns:
2463   -
2464     title: "Name"
2465     data: "data name"
2466   -
2467     title: "Status"
2468     data: "data msg"
2469   rows: "generated"
2470   data: "dpdk-perf-results-3n-hsw"
2471   filter: "all"
2472   parameters:
2473   - "name"
2474   - "parent"
2475   - "msg"
2476
2477 # Detailed Test Results - DPDK Performance Results 3n-skx
2478 -
2479   type: "table"
2480   title: "Detailed Test Results - DPDK Performance Results 3n-skx"
2481   algorithm: "table_details"
2482   output-file-ext: ".csv"
2483   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
2484   columns:
2485   -
2486     title: "Name"
2487     data: "data name"
2488   -
2489     title: "Status"
2490     data: "data msg"
2491   rows: "generated"
2492   data: "dpdk-perf-results-3n-skx"
2493   filter: "all"
2494   parameters:
2495   - "name"
2496   - "parent"
2497   - "msg"
2498
2499 # Detailed Test Results - DPDK Performance Results 2n-skx
2500 -
2501   type: "table"
2502   title: "Detailed Test Results - DPDK Performance Results 2n-skx"
2503   algorithm: "table_details"
2504   output-file-ext: ".csv"
2505   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
2506   columns:
2507   -
2508     title: "Name"
2509     data: "data name"
2510   -
2511     title: "Status"
2512     data: "data msg"
2513   rows: "generated"
2514   data: "dpdk-perf-results-2n-skx"
2515   filter: "all"
2516   parameters:
2517   - "name"
2518   - "parent"
2519   - "msg"
2520
2521 ################################################################################
2522 # HoneyComb
2523 -
2524   type: "table"
2525   title: "Detailed Test Results - Honeycomb Functional Results"
2526   algorithm: "table_details"
2527   output-file-ext: ".csv"
2528   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
2529   columns:
2530   -
2531     title: "Name"
2532     data: "data name"
2533   -
2534     title: "Documentation"
2535     data: "data doc"
2536   -
2537     title: "Status"
2538     data: "data status"
2539   rows: "generated"
2540   data:
2541     "hc-func-results"
2542   filter: "all"
2543   parameters:
2544   - "name"
2545   - "parent"
2546   - "doc"
2547   - "status"
2548
2549 ################################################################################
2550 # NSH SFC
2551 -
2552   type: "table"
2553   title: "Detailed Test Results - NSH SFC Functional Results"
2554   algorithm: "table_details"
2555   output-file-ext: ".csv"
2556   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
2557   columns:
2558   -
2559     title: "Name"
2560     data: "data name"
2561   -
2562     title: "Documentation"
2563     data: "data doc"
2564   -
2565     title: "Status"
2566     data: "data status"
2567   rows: "generated"
2568   data:
2569     "nsh-func-results"
2570   filter: "all"
2571   parameters:
2572   - "name"
2573   - "parent"
2574   - "doc"
2575   - "status"
2576
2577 ################################################################################
2578 # DMM
2579 -
2580   type: "table"
2581   title: "Detailed Test Results - DMM Functional Results"
2582   algorithm: "table_details"
2583   output-file-ext: ".csv"
2584   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
2585   columns:
2586   -
2587     title: "Name"
2588     data: "data name"
2589   -
2590     title: "Documentation"
2591     data: "data doc"
2592   -
2593     title: "Status"
2594     data: "data status"
2595   rows: "generated"
2596   data:
2597     "dmm-func-results"
2598   filter: "all"
2599   parameters:
2600   - "name"
2601   - "parent"
2602   - "doc"
2603   - "status"
2604
2605 ################################################################################
2606 ###                                F I L E S                                 ###
2607 ################################################################################
2608
2609 # VPP Performance Results 3n-hsw
2610 -
2611   type: "file"
2612   title: "VPP Performance Results 3n-hsw"
2613   algorithm: "file_test_results"
2614   output-file-ext: ".rst"
2615   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
2616   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2617   dir-tables: "{DIR[DTR,PERF,VPP,3N,HSW]}"
2618   data: "vpp-perf-results-3n-hsw"
2619   filter: "not 'NDRCHK' and not 'PDRCHK'"
2620   parameters:
2621   - "name"
2622   - "doc"
2623   - "level"
2624   - "parent"
2625   data-start-level: 3
2626
2627 # VPP Performance Results 3n-skx
2628 -
2629   type: "file"
2630   title: "VPP Performance Results 3n-skx"
2631   algorithm: "file_test_results"
2632   output-file-ext: ".rst"
2633   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
2634   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2635   dir-tables: "{DIR[DTR,PERF,VPP,3N,SKX]}"
2636   data: "vpp-perf-results-3n-skx"
2637   filter: "not 'NDRCHK' and not 'PDRCHK'"
2638   parameters:
2639   - "name"
2640   - "doc"
2641   - "level"
2642   - "parent"
2643   data-start-level: 3
2644
2645 # VPP Performance Results 2n-skx
2646 -
2647   type: "file"
2648   title: "VPP Performance Results 2n-skx"
2649   algorithm: "file_test_results"
2650   output-file-ext: ".rst"
2651   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
2652   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2653   dir-tables: "{DIR[DTR,PERF,VPP,2N,SKX]}"
2654   data: "vpp-perf-results-2n-skx"
2655   filter: "not 'NDRCHK' and not 'PDRCHK'"
2656   parameters:
2657   - "name"
2658   - "doc"
2659   - "level"
2660   - "parent"
2661   data-start-level: 3
2662
2663 # VPP Performance Configuration 3n-hsw
2664 -
2665   type: "file"
2666   title: "VPP Performance Configuration 3n-hsw"
2667   algorithm: "file_test_results"
2668   output-file-ext: ".rst"
2669   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_performance_configuration_3n_hsw"
2670   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2671   dir-tables: "{DIR[DTC,PERF,VPP,3N,HSW]}"
2672   data: "vpp-perf-results-3n-hsw"
2673   filter: "not 'NDRCHK' and not 'PDRCHK'"
2674   parameters:
2675   - "name"
2676   - "doc"
2677   - "level"
2678   - "parent"
2679   data-start-level: 3
2680
2681 # VPP Performance Configuration 3n-skx
2682 -
2683   type: "file"
2684   title: "VPP Performance Configuration 3n-skx"
2685   algorithm: "file_test_results"
2686   output-file-ext: ".rst"
2687   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_performance_configuration_3n_skx"
2688   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2689   dir-tables: "{DIR[DTC,PERF,VPP,3N,SKX]}"
2690   data: "vpp-perf-results-3n-skx"
2691   filter: "not 'NDRCHK' and not 'PDRCHK'"
2692   parameters:
2693   - "name"
2694   - "doc"
2695   - "level"
2696   - "parent"
2697   data-start-level: 3
2698
2699 # VPP Performance Configuration 2n-skx
2700 -
2701   type: "file"
2702   title: "VPP Performance Configuration 2n-skx"
2703   algorithm: "file_test_results"
2704   output-file-ext: ".rst"
2705   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_performance_configuration_2n_skx"
2706   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2707   dir-tables: "{DIR[DTC,PERF,VPP,2N,SKX]}"
2708   data: "vpp-perf-results-2n-skx"
2709   filter: "not 'NDRCHK' and not 'PDRCHK'"
2710   parameters:
2711   - "name"
2712   - "doc"
2713   - "level"
2714   - "parent"
2715   data-start-level: 3
2716
2717 # VPP Performance Operational Data 3n-hsw
2718 -
2719   type: "file"
2720   title: "VPP Performance Operational Data 3n-hsw"
2721   algorithm: "file_test_results"
2722   output-file-ext: ".rst"
2723   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_performance_operational_data_3n_hsw"
2724   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2725   dir-tables: "{DIR[DTO,PERF,VPP,3N,HSW]}"
2726   data: "vpp-perf-results-3n-hsw"
2727   filter: "not 'NDRCHK' and not 'PDRCHK'"
2728   parameters:
2729   - "name"
2730   - "doc"
2731   - "level"
2732   - "parent"
2733   data-start-level: 3
2734
2735 # VPP Performance Operational Data 3n-skx
2736 -
2737   type: "file"
2738   title: "VPP Performance Operational Data 3n-skx"
2739   algorithm: "file_test_results"
2740   output-file-ext: ".rst"
2741   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_performance_operational_data_3n_skx"
2742   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2743   dir-tables: "{DIR[DTO,PERF,VPP,3N,SKX]}"
2744   data: "vpp-perf-results-3n-skx"
2745   filter: "not 'NDRCHK' and not 'PDRCHK'"
2746   parameters:
2747   - "name"
2748   - "doc"
2749   - "level"
2750   - "parent"
2751   data-start-level: 3
2752
2753 # VPP Performance Operational Data 2n-skx
2754 -
2755   type: "file"
2756   title: "VPP Performance Operational Data 2n-skx"
2757   algorithm: "file_test_results"
2758   output-file-ext: ".rst"
2759   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_performance_operational_data_2n_skx"
2760   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2761   dir-tables: "{DIR[DTO,PERF,VPP,2N,SKX]}"
2762   data: "vpp-perf-results-2n-skx"
2763   filter: "not 'NDRCHK' and not 'PDRCHK'"
2764   parameters:
2765   - "name"
2766   - "doc"
2767   - "level"
2768   - "parent"
2769   data-start-level: 3
2770
2771 # VPP MRR Results 3n-hsw
2772 -
2773   type: "file"
2774   title: "VPP MRR Results 3n-hsw"
2775   algorithm: "file_test_results"
2776   output-file-ext: ".rst"
2777   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
2778   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2779   dir-tables: "{DIR[DTR,MRR,VPP,3N,HSW]}"
2780   data: "vpp-mrr-results-3n-hsw"
2781   filter: "'MRR'"
2782   parameters:
2783   - "name"
2784   - "doc"
2785   - "level"
2786   - "parent"
2787   data-start-level: 3
2788
2789 # VPP MRR Results 3n-skx
2790 -
2791   type: "file"
2792   title: "VPP MRR Results 3n-skx"
2793   algorithm: "file_test_results"
2794   output-file-ext: ".rst"
2795   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
2796   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2797   dir-tables: "{DIR[DTR,MRR,VPP,3N,SKX]}"
2798   data: "vpp-mrr-results-3n-skx"
2799   filter: "'MRR'"
2800   parameters:
2801   - "name"
2802   - "doc"
2803   - "level"
2804   - "parent"
2805   data-start-level: 3
2806
2807 # VPP MRR Results 2n-skx
2808 -
2809   type: "file"
2810   title: "VPP MRR Results 2n-skx"
2811   algorithm: "file_test_results"
2812   output-file-ext: ".rst"
2813   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
2814   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2815   dir-tables: "{DIR[DTR,MRR,VPP,2N,SKX]}"
2816   data: "vpp-mrr-results-2n-skx"
2817   filter: "all"
2818   parameters:
2819   - "name"
2820   - "doc"
2821   - "level"
2822   - "parent"
2823   data-start-level: 3
2824
2825 # VPP MRR Configuration 3n-hsw
2826 -
2827   type: "file"
2828   title: "VPP MRR Configuration 3n-hsw"
2829   algorithm: "file_test_results"
2830   output-file-ext: ".rst"
2831   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_configuration_3n_hsw"
2832   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2833   dir-tables: "{DIR[DTC,MRR,VPP,3N,HSW]}"
2834   data: "vpp-mrr-results-3n-hsw"
2835   filter: "'MRR'"
2836   parameters:
2837   - "name"
2838   - "doc"
2839   - "level"
2840   - "parent"
2841   data-start-level: 3
2842
2843 # VPP MRR Configuration 3n-skx
2844 -
2845   type: "file"
2846   title: "VPP MRR Configuration 3n-skx"
2847   algorithm: "file_test_results"
2848   output-file-ext: ".rst"
2849   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_configuration_3n_skx"
2850   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2851   dir-tables: "{DIR[DTC,MRR,VPP,3N,SKX]}"
2852   data: "vpp-mrr-results-3n-skx"
2853   filter: "'MRR'"
2854   parameters:
2855   - "name"
2856   - "doc"
2857   - "level"
2858   - "parent"
2859   data-start-level: 3
2860
2861 # VPP MRR Configuration 2n-skx
2862 -
2863   type: "file"
2864   title: "VPP MRR Configuration 2n-skx"
2865   algorithm: "file_test_results"
2866   output-file-ext: ".rst"
2867   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_configuration_2n_skx"
2868   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2869   dir-tables: "{DIR[DTC,MRR,VPP,2N,SKX]}"
2870   data: "vpp-mrr-results-2n-skx"
2871   filter: "'MRR'"
2872   parameters:
2873   - "name"
2874   - "doc"
2875   - "level"
2876   - "parent"
2877   data-start-level: 3
2878
2879 # VPP Functional Results - Ubuntu
2880 -
2881   type: "file"
2882   title: "VPP Functional Results - Ubuntu"
2883   algorithm: "file_test_results"
2884   output-file-ext: ".rst"
2885   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
2886   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2887   dir-tables: "{DIR[DTR,FUNC,VPP,UBUNTU]}"
2888   data: "vpp-func-results-ubuntu"
2889   filter: "all"
2890   parameters:
2891   - "name"
2892   - "doc"
2893   - "level"
2894   - "parent"
2895   data-start-level: 3
2896
2897 # VPP Functional Results - CentOS
2898 -
2899   type: "file"
2900   title: "VPP Functional Results - CentOS"
2901   algorithm: "file_test_results"
2902   output-file-ext: ".rst"
2903   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
2904   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2905   dir-tables: "{DIR[DTR,FUNC,VPP,CENTOS]}"
2906   data:
2907     "vpp-func-results-centos"
2908   filter: "all"
2909   parameters:
2910   - "name"
2911   - "doc"
2912   - "level"
2913   - "parent"
2914   data-start-level: 3
2915
2916 # VPP Functional Configuration - Ubuntu
2917 -
2918   type: "file"
2919   title: "VPP Functional Configuration - Ubuntu"
2920   algorithm: "file_test_results"
2921   output-file-ext: ".rst"
2922   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
2923   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2924   dir-tables: "{DIR[DTC,FUNC,VPP,UBUNTU]}"
2925   data: "vpp-func-results-ubuntu"
2926   filter: "all"
2927   parameters:
2928   - "name"
2929   - "doc"
2930   - "level"
2931   - "parent"
2932   data-start-level: 3
2933
2934 # VPP Functional Configuration - CentOS
2935 -
2936   type: "file"
2937   title: "VPP Functional Configuration - CentOS"
2938   algorithm: "file_test_results"
2939   output-file-ext: ".rst"
2940   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2941   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2942   dir-tables: "{DIR[DTC,FUNC,VPP,CENTOS]}"
2943   data:
2944     "vpp-func-results-centos"
2945   filter: "all"
2946   parameters:
2947   - "name"
2948   - "doc"
2949   - "level"
2950   - "parent"
2951   data-start-level: 3
2952
2953 # VPP Device Results - Ubuntu
2954 -
2955   type: "file"
2956   title: "VPP Device Results - Ubuntu"
2957   algorithm: "file_test_results"
2958   output-file-ext: ".rst"
2959   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
2960   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2961   dir-tables: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}"
2962   data: "vpp-device-results-ubuntu"
2963   filter: "all"
2964   parameters:
2965   - "name"
2966   - "doc"
2967   - "level"
2968   - "parent"
2969   data-start-level: 2
2970
2971 # VPP Device Configuration - Ubuntu
2972 -
2973   type: "file"
2974   title: "VPP Device Configuration - Ubuntu"
2975   algorithm: "file_test_results"
2976   output-file-ext: ".rst"
2977   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
2978   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2979   dir-tables: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}"
2980   data: "vpp-device-results-ubuntu"
2981   filter: "all"
2982   parameters:
2983   - "name"
2984   - "doc"
2985   - "level"
2986   - "parent"
2987   data-start-level: 2
2988
2989 # Container Orchestrated Performance Results 3n-hsw
2990 -
2991   type: "file"
2992   title: "Container Orchestrated Performance Results 3n-hsw"
2993   algorithm: "file_test_results"
2994   output-file-ext: ".rst"
2995   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2996   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
2997   dir-tables: "{DIR[DTR,PERF,COT,3N,HSW]}"
2998   data: "ligato-perf-results-3n-hsw"
2999   filter: "all"
3000   parameters:
3001   - "name"
3002   - "doc"
3003   - "level"
3004   - "parent"
3005   data-start-level: 3
3006
3007 # DPDK Performance Results 3n-hsw
3008 -
3009   type: "file"
3010   title: "DPDK Performance Results 3n-hsw"
3011   algorithm: "file_test_results"
3012   output-file-ext: ".rst"
3013   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
3014   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3015   dir-tables: "{DIR[DTR,PERF,DPDK,3N,HSW]}"
3016   data: "dpdk-perf-results-3n-hsw"
3017   filter: "all"
3018   parameters:
3019   - "name"
3020   - "doc"
3021   - "level"
3022   - "parent"
3023   data-start-level: 3
3024
3025 # DPDK Performance Results 3n-skx
3026 -
3027   type: "file"
3028   title: "DPDK Performance Results 3n-skx"
3029   algorithm: "file_test_results"
3030   output-file-ext: ".rst"
3031   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
3032   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3033   dir-tables: "{DIR[DTR,PERF,DPDK,3N,SKX]}"
3034   data: "dpdk-perf-results-3n-skx"
3035   filter: "all"
3036   parameters:
3037   - "name"
3038   - "doc"
3039   - "level"
3040   - "parent"
3041   data-start-level: 3
3042
3043 # DPDK Performance Results 2n-skx
3044 -
3045   type: "file"
3046   title: "DPDK Performance Results 2n-skx"
3047   algorithm: "file_test_results"
3048   output-file-ext: ".rst"
3049   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
3050   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3051   dir-tables: "{DIR[DTR,PERF,DPDK,2N,SKX]}"
3052   data: "dpdk-perf-results-2n-skx"
3053   filter: "all"
3054   parameters:
3055   - "name"
3056   - "doc"
3057   - "level"
3058   - "parent"
3059   data-start-level: 3
3060
3061 # Honeycomb Functional Results
3062 -
3063   type: "file"
3064   title: "Honeycomb Functional Results"
3065   algorithm: "file_test_results"
3066   output-file-ext: ".rst"
3067   output-file: "{DIR[DTR,FUNC,HC]}/honeycomb_functional_results"
3068   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3069   dir-tables: "{DIR[DTR,FUNC,HC]}"
3070   data:
3071     "hc-func-results"
3072   filter: "all"
3073   parameters:
3074   - "name"
3075   - "doc"
3076   - "level"
3077   - "parent"
3078   data-start-level: 3
3079
3080 # NSH SFC Functional Results
3081 -
3082   type: "file"
3083   title: "NSH SFC Functional Results"
3084   algorithm: "file_test_results"
3085   output-file-ext: ".rst"
3086   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nshsfc_functional_results"
3087   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3088   dir-tables: "{DIR[DTR,FUNC,NSHSFC]}"
3089   data:
3090     "nsh-func-results"
3091   filter: "all"
3092   parameters:
3093   - "name"
3094   - "doc"
3095   - "level"
3096   - "parent"
3097   data-start-level: 3
3098
3099 # DMM Functional Results
3100 -
3101   type: "file"
3102   title: "DMM Functional Results"
3103   algorithm: "file_test_results"
3104   output-file-ext: ".rst"
3105   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
3106   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3107   dir-tables: "{DIR[DTR,FUNC,DMM]}"
3108   data:
3109     "dmm-func-results"
3110   filter: "all"
3111   parameters:
3112   - "name"
3113   - "doc"
3114   - "level"
3115   - "parent"
3116   data-start-level: 3
3117
3118 ################################################################################
3119 ###                                P L O T S                                 ###
3120 ################################################################################
3121
3122 ################################################################################
3123 # Plots VPP HTTP Server Performance
3124 -
3125   type: "plot"
3126   title: "VPP HTTP Server Performance"
3127   algorithm: "plot_http_server_performance_box"
3128   output-file-type: ".html"
3129   output-file: "{DIR[STATIC,VPP]}/http-server-performance-cps"
3130   data:
3131     "plot-vpp-http-server-performance"
3132   # Keep this formatting, the filter is enclosed with " (quotation mark) and
3133   # each tag is enclosed with ' (apostrophe).
3134   filter: "'HTTP' and 'TCP_CPS'"
3135   parameters:
3136   - "result"
3137   - "name"
3138   traces:
3139     hoverinfo: "x+y"
3140     boxpoints: "outliers"
3141     whiskerwidth: 0
3142   layout:
3143     title: "VPP HTTP Server Performance"
3144     layout:
3145       "plot-cps"
3146
3147 -
3148   type: "plot"
3149   title: "VPP HTTP Server Performance"
3150   algorithm: "plot_http_server_performance_box"
3151   output-file-type: ".html"
3152   output-file: "{DIR[STATIC,VPP]}/http-server-performance-rps"
3153   data:
3154     "plot-vpp-http-server-performance"
3155   filter: "'HTTP' and 'TCP_RPS'"
3156   parameters:
3157   - "result"
3158   - "name"
3159   traces:
3160     hoverinfo: "x+y"
3161     boxpoints: "outliers"
3162     whiskerwidth: 0
3163   layout:
3164     title: "VPP HTTP Server Performance"
3165     layout:
3166       "plot-rps"
3167
3168 ################################################################################
3169
3170 # Packet Throughput - VPP L2 3n-hsw-x520 base and scale
3171 -
3172   type: "plot"
3173   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3174   algorithm: "plot_performance_box"
3175   output-file-type: ".html"
3176   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3177   data: "plot-vpp-throughput-latency-3n-hsw"
3178   filter: "'NIC_Intel-X520-DA2' and
3179            '64B' and
3180            ('BASE' or 'SCALE') and
3181            'NDRPDR' and
3182            'ETH' and
3183            '1T1C' and
3184            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3185            not 'VHOST' and
3186            not 'MEMIF'"
3187   parameters:
3188   - "throughput"
3189   - "parent"
3190   - "tags"
3191   sort:
3192   - "L2PATCH"
3193   - "L2XCBASE"
3194   - "BASE"
3195   - "FIB_10K"
3196   - "FIB_100K"
3197   - "FIB_1M"
3198   traces:
3199     hoverinfo: "x+y"
3200     boxpoints: "outliers"
3201     whiskerwidth: 0
3202   layout:
3203     title: "l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-ndr"
3204     layout: "plot-throughput"
3205
3206 -
3207   type: "plot"
3208   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3209   algorithm: "plot_performance_box"
3210   output-file-type: ".html"
3211   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3212   data: "plot-vpp-throughput-latency-3n-hsw"
3213   filter: "'NIC_Intel-X520-DA2' and
3214            '64B' and
3215            ('BASE' or 'SCALE') and
3216            'NDRPDR' and
3217            'ETH' and
3218            '1T1C' and
3219            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3220            not 'VHOST' and
3221            not 'MEMIF'"
3222   parameters:
3223   - "throughput"
3224   - "parent"
3225   - "tags"
3226   sort:
3227   - "L2PATCH"
3228   - "L2XCBASE"
3229   - "BASE"
3230   - "FIB_10K"
3231   - "FIB_100K"
3232   - "FIB_1M"
3233   traces:
3234     hoverinfo: "x+y"
3235     boxpoints: "outliers"
3236     whiskerwidth: 0
3237   layout:
3238     title: "l2sw-3n-hsw-x520-64b-1t1c-base_and_scale-pdr"
3239     layout: "plot-throughput"
3240
3241 -
3242   type: "plot"
3243   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3244   algorithm: "plot_performance_box"
3245   output-file-type: ".html"
3246   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3247   data: "plot-vpp-throughput-latency-3n-hsw"
3248   filter: "'NIC_Intel-X520-DA2' and
3249            '64B' and
3250            ('BASE' or 'SCALE') and
3251            'NDRPDR' and
3252            'ETH' and
3253            '2T2C' and
3254            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3255            not 'VHOST' and
3256            not 'MEMIF'"
3257   parameters:
3258   - "throughput"
3259   - "parent"
3260   - "tags"
3261   sort:
3262   - "L2PATCH"
3263   - "L2XCBASE"
3264   - "BASE"
3265   - "FIB_10K"
3266   - "FIB_100K"
3267   - "FIB_1M"
3268   traces:
3269     hoverinfo: "x+y"
3270     boxpoints: "outliers"
3271     whiskerwidth: 0
3272   layout:
3273     title: "l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-ndr"
3274     layout: "plot-throughput"
3275
3276 -
3277   type: "plot"
3278   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3279   algorithm: "plot_performance_box"
3280   output-file-type: ".html"
3281   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3282   data: "plot-vpp-throughput-latency-3n-hsw"
3283   filter: "'NIC_Intel-X520-DA2' and
3284            '64B' and
3285            ('BASE' or 'SCALE') and
3286            'NDRPDR' and
3287            'ETH' and
3288            '2T2C' and
3289            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3290            not 'VHOST' and
3291            not 'MEMIF'"
3292   parameters:
3293   - "throughput"
3294   - "parent"
3295   - "tags"
3296   sort:
3297   - "L2PATCH"
3298   - "L2XCBASE"
3299   - "BASE"
3300   - "FIB_10K"
3301   - "FIB_100K"
3302   - "FIB_1M"
3303   traces:
3304     hoverinfo: "x+y"
3305     boxpoints: "outliers"
3306     whiskerwidth: 0
3307   layout:
3308     title: "l2sw-3n-hsw-x520-64b-2t2c-base_and_scale-pdr"
3309     layout: "plot-throughput"
3310
3311 # Packet Throughput - VPP L2 3n-hsw-x520 features
3312 -
3313   type: "plot"
3314   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
3315   algorithm: "plot_performance_box"
3316   output-file-type: ".html"
3317   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
3318   data: "plot-vpp-throughput-latency-3n-hsw"
3319   filter: "'NIC_Intel-X520-DA2' and
3320            '64B' and
3321            'NDRPDR' and
3322            '1T1C' and
3323            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3324            not 'ACL' and
3325            not 'VHOST' and
3326            not 'MEMIF'"
3327   parameters:
3328   - "throughput"
3329   - "parent"
3330   - "tags"
3331   sort:
3332   - "L2XCBASE"    # l2xcbase
3333   - "L2BDBASE"    # l2bdbase
3334   - "L2XCFWD"     # dot1q-l2xcbase
3335   - "L2BDMACLRN"  # dot1q-l2bdbase
3336   traces:
3337     hoverinfo: "x+y"
3338     boxpoints: "outliers"
3339     whiskerwidth: 0
3340   layout:
3341     title: "l2sw-3n-hsw-x520-64b-1t1c-features-ndr"
3342     layout: "plot-throughput"
3343
3344 -
3345   type: "plot"
3346   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
3347   algorithm: "plot_performance_box"
3348   output-file-type: ".html"
3349   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
3350   data: "plot-vpp-throughput-latency-3n-hsw"
3351   filter: "'NIC_Intel-X520-DA2' and
3352            '64B' and
3353            'NDRPDR' and
3354            '1T1C' and
3355            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3356            not 'ACL' and
3357            not 'VHOST' and
3358            not 'MEMIF'"
3359   parameters:
3360   - "throughput"
3361   - "parent"
3362   - "tags"
3363   sort:
3364   - "L2XCBASE"    # l2xcbase
3365   - "L2BDBASE"    # l2bdbase
3366   - "L2XCFWD"     # dot1q-l2xcbase
3367   - "L2BDMACLRN"  # dot1q-l2bdbase
3368   traces:
3369     hoverinfo: "x+y"
3370     boxpoints: "outliers"
3371     whiskerwidth: 0
3372   layout:
3373     title: "l2sw-3n-hsw-x520-64b-1t1c-features-pdr"
3374     layout: "plot-throughput"
3375
3376 -
3377   type: "plot"
3378   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
3379   algorithm: "plot_performance_box"
3380   output-file-type: ".html"
3381   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
3382   data: "plot-vpp-throughput-latency-3n-hsw"
3383   filter: "'NIC_Intel-X520-DA2' and
3384            '64B' and
3385            'NDRPDR' and
3386            '2T2C' and
3387            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3388            not 'ACL' and
3389            not 'VHOST' and
3390            not 'MEMIF'"
3391   parameters:
3392   - "throughput"
3393   - "parent"
3394   - "tags"
3395   sort:
3396   - "L2XCBASE"    # l2xcbase
3397   - "L2BDBASE"    # l2bdbase
3398   - "L2XCFWD"     # dot1q-l2xcbase
3399   - "L2BDMACLRN"  # dot1q-l2bdbase
3400   traces:
3401     hoverinfo: "x+y"
3402     boxpoints: "outliers"
3403     whiskerwidth: 0
3404   layout:
3405     title: "l2sw-3n-hsw-x520-64b-2t2c-features-ndr"
3406     layout: "plot-throughput"
3407
3408 -
3409   type: "plot"
3410   title: "VPP Throughput: l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
3411   algorithm: "plot_performance_box"
3412   output-file-type: ".html"
3413   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
3414   data: "plot-vpp-throughput-latency-3n-hsw"
3415   filter: "'NIC_Intel-X520-DA2' and
3416            '64B' and
3417            'NDRPDR' and
3418            '2T2C' and
3419            (('L2BDMACLRN' and ('L2BDBASE' or 'DOT1Q')) or ('L2XCFWD' and ('L2XCBASE' or 'DOT1Q'))) and
3420            not 'ACL' and
3421            not 'VHOST' and
3422            not 'MEMIF'"
3423   parameters:
3424   - "throughput"
3425   - "parent"
3426   - "tags"
3427   sort:
3428   - "L2XCBASE"    # l2xcbase
3429   - "L2BDBASE"    # l2bdbase
3430   - "L2XCFWD"     # dot1q-l2xcbase
3431   - "L2BDMACLRN"  # dot1q-l2bdbase
3432   traces:
3433     hoverinfo: "x+y"
3434     boxpoints: "outliers"
3435     whiskerwidth: 0
3436   layout:
3437     title: "l2sw-3n-hsw-x520-64b-2t2c-features-pdr"
3438     layout: "plot-throughput"
3439
3440 # Packet Throughput - VPP L2 3n-hsw-x710 base and scale
3441 -
3442   type: "plot"
3443   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3444   algorithm: "plot_performance_box"
3445   output-file-type: ".html"
3446   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3447   data: "plot-vpp-throughput-latency-3n-hsw"
3448   filter: "'NIC_Intel-X710' and
3449            '64B' and
3450            ('BASE' or 'SCALE') and
3451            'NDRPDR' and
3452            'ETH' and
3453            '1T1C' and
3454            ('L2BDMACSTAT' or 'L2BDMACLRN' or 'L2XCFWD' or 'L2PATCH') and
3455            not 'VHOST' and
3456            not 'MEMIF'"
3457   parameters:
3458   - "throughput"
3459   - "parent"
3460   - "tags"
3461   sort:
3462   - "L2PATCH"
3463   - "L2XCBASE"
3464   - "BASE"
3465   - "FIB_10K"
3466   - "FIB_100K"
3467   - "FIB_1M"
3468   traces:
3469     hoverinfo: "x+y"
3470     boxpoints: "outliers"
3471     whiskerwidth: 0
3472   layout:
3473     title: "l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-ndr"
3474     layout: "plot-throughput"
3475
3476 -
3477   type: "plot"
3478   title: "VPP Throughput: l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
3479   algorithm: "plot_performance_box"
3480   output-file-type: ".html"
3481   output-file: "{DIR[STATIC,VPP]}/l2sw-3n-hsw-x710-64b-1t1c-base_and_scale-pdr"
3482   data: "plot-vpp-throughput-latency-3n-hsw"