CSIT-1359: Add 3n-skx and 2n-skx comparisons to Report
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
37     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
38     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
39     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
40     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
41     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
42     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
43     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
44     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
45     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
46     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
47
48     # Detailed test configurations
49     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
50     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
51     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
52     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
53     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
54     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
55     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
56     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
57     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
58     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
59
60     # Detailed tests operational data
61     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
62     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
63     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
64     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
65
66     # .css patch file to fix tables generated by Sphinx
67     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
68     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
69
70   urls:
71     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
72     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
73     URL[NEXUS]: "https://docs.fd.io/csit"
74     DIR[NEXUS]: "report/_static/archive"
75
76   make-dirs:
77   # List the directories which are created while preparing the environment.
78   # All directories MUST be defined in "paths" section.
79   - "DIR[WORKING,DATA]"
80   - "DIR[STATIC,VPP]"
81   - "DIR[STATIC,DPDK]"
82   - "DIR[STATIC,ARCH]"
83   - "DIR[BUILD,LATEX]"
84   - "DIR[WORKING,SRC]"
85   - "DIR[WORKING,SRC,STATIC]"
86
87   remove-dirs:
88   # List the directories which are deleted while cleaning the environment.
89   # All directories MUST be defined in "paths" section.
90   #- "DIR[BUILD,HTML]"
91   - "DIR[WORKING,DATA]"
92
93   build-dirs:
94   # List the directories where the results (build) is stored.
95   # All directories MUST be defined in "paths" section.
96   - "DIR[BUILD,HTML]"
97   - "DIR[BUILD,LATEX]"
98
99 -
100   type: "configuration"
101
102   limits:
103     nic:
104       x520: 24460000
105       x710: 35800000
106       xxv710: 35800000
107       xl710: 35800000
108
109     link:
110       10ge: 14880952.38
111       25ge: 37202380.95
112       40ge: 59523809.52
113       100ge: 148809523.81
114
115     pci:
116       pci-g3-x8: 74404761.90
117       pci-g3-x16: 148809523.81
118
119   data-sets:
120
121     # VPP Performance
122     vpp-performance-changes-3n-hsw:
123       csit-vpp-perf-1804-all:
124       - 21  # sel
125       - 22  # sel
126       - 23  # sel
127       - 24  # sel
128       - 27  # sel
129       - 28  # sel
130       - 29  # sel
131       - 30  # sel
132       - 31  # sel
133       - 35  # sel
134       csit-vpp-perf-verify-1807-3n-hsw:
135       - 11  # NDRPDR full 1
136       - 22  # NDRPDR full 2
137       - 45  # NDRPDR full 3
138       - 46  # NDRPDR full 4
139       - 15  # NDRPDR sel
140       - 16  # NDRPDR sel
141       - 19  # NDRPDR sel
142       - 18  # NDRPDR sel
143       - 20  # NDRPDR sel
144       - 38  # NDRPDR sel
145       - 40  # NDRPDR sel
146       - 44  # NDRPDR sel
147       - 47  # NDRPDR sel
148       csit-vpp-perf-verify-1810-3n-hsw:
149       - 8   # NDRPDR sel
150       - 12  # NDRPDR sel
151       - 14  # NDRPDR sel
152       - 18  # NDRPDR sel
153       - 23  # NDRPDR sel
154       - 25  # NDRPDR sel
155       - 38  # NDRPDR sel
156       - 39  # NDRPDR sel
157       - 41  # NDRPDR sel
158       - 42  # NDRPDR sel
159
160     vpp-performance-changes-3n-skx:
161       csit-vpp-perf-verify-1807-3n-skx:
162       - 33  # NDRPDR sel
163       - 35  # NDRPDR sel
164       - 37  # NDRPDR sel
165       - 38  # NDRPDR sel
166       - 39  # NDRPDR sel
167       - 43  # NDRPDR sel
168       - 44  # NDRPDR sel
169       - 49  # NDRPDR sel
170       - 50  # NDRPDR sel
171       - 56  # NDRPDR sel
172       csit-vpp-perf-verify-1810-3n-skx:
173       - 10  # NDRPDR sel
174       - 14  # NDRPDR sel
175       - 15  # NDRPDR sel
176       - 16  # NDRPDR sel
177       - 17  # NDRPDR sel
178       - 19  # NDRPDR sel
179       - 20  # NDRPDR sel
180       - 21  # NDRPDR sel
181       - 22  # NDRPDR sel
182       - 25  # NDRPDR sel
183
184     vpp-performance-changes-2n-skx:
185       csit-vpp-perf-verify-1807-2n-skx:
186       - 26  # NDRPDR sel
187       - 28  # NDRPDR sel
188       - 29  # NDRPDR sel
189       - 30  # NDRPDR sel
190       - 34  # NDRPDR sel
191       - 35  # NDRPDR sel
192       - 36  # NDRPDR sel
193       - 39  # NDRPDR sel
194       - 40  # NDRPDR sel
195       - 42  # NDRPDR sel
196       csit-vpp-perf-verify-1810-2n-skx:
197       - 9   # NDRPDR sel
198       - 13  # NDRPDR sel
199       - 14  # NDRPDR sel
200       - 19  # NDRPDR sel
201       - 20  # NDRPDR sel
202       - 21  # NDRPDR sel
203       - 22  # NDRPDR sel
204       - 23  # NDRPDR sel
205       - 24  # NDRPDR sel
206       - 27  # NDRPDR sel
207
208     vpp-compare-testbeds:
209       csit-vpp-perf-verify-1810-3n-hsw:
210       - 8   # NDRPDR sel
211       - 12  # NDRPDR sel
212       - 14  # NDRPDR sel
213       - 18  # NDRPDR sel
214       - 23  # NDRPDR sel
215       - 25  # NDRPDR sel
216       - 38  # NDRPDR sel
217       - 39  # NDRPDR sel
218       - 41  # NDRPDR sel
219       - 42  # NDRPDR sel
220       csit-vpp-perf-verify-1810-3n-skx:
221       - 24  # NDRPDR full
222       - 10  # NDRPDR sel
223       - 14  # NDRPDR sel
224       - 15  # NDRPDR sel
225       - 16  # NDRPDR sel
226       - 17  # NDRPDR sel
227       - 19  # NDRPDR sel
228       - 20  # NDRPDR sel
229       - 21  # NDRPDR sel
230       - 22  # NDRPDR sel
231       - 25  # NDRPDR sel
232
233     vpp-compare-testbeds-mrr:
234       csit-vpp-perf-verify-1810-3n-hsw:
235       - 9   # MRR sel
236       csit-vpp-perf-verify-1810-3n-skx:
237       - 9   # MRR sel
238       - 11  # MRR sel
239       - 12  # MRR sel
240       - 13  # MRR sel
241
242     vpp-performance-changes-3n-hsw-mrr:
243       csit-vpp-perf-check-1804:
244       - 6   # mrr - sel
245       - 13  # mrr - sel
246       - 14  # mrr - sel
247       - 15  # mrr - sel
248       - 16  # mrr - sel
249       - 17  # mrr - sel
250       - 19  # mrr - sel
251       - 20  # mrr - sel
252       - 21  # mrr - sel
253       - 22  # mrr - sel
254       csit-vpp-perf-verify-1807-3n-hsw:
255       - 8   # MRR full
256       - 9   # MRR sel
257       - 21  # MRR sel
258       - 31  # MRR sel
259       - 33  # MRR sel
260       - 36  # MRR sel
261       - 41  # MRR sel
262       - 42  # MRR sel
263       - 48  # MRR sel
264       csit-vpp-perf-verify-1810-3n-hsw:
265       - 9   # MRR sel
266
267     vpp-performance-changes-3n-skx-mrr:
268       csit-vpp-perf-verify-1807-3n-skx:
269       - 28  # MRR sel
270       - 32  # MRR sel
271       - 36  # MRR sel
272       - 42  # MRR sel
273       - 47  # MRR sel
274       - 48  # MRR sel
275       - 51  # MRR sel
276       - 52  # MRR sel
277       - 53  # MRR sel
278       - 54  # MRR sel
279       csit-vpp-perf-verify-1810-3n-skx:
280       - 9   # MRR sel
281       - 11  # MRR sel
282       - 12  # MRR sel
283       - 13  # MRR sel
284
285     vpp-performance-changes-2n-skx-mrr:
286       csit-vpp-perf-verify-1807-2n-skx:
287       - 31  # MRR sel
288       - 33  # MRR sel
289       - 37  # MRR sel
290       - 38  # MRR sel
291       - 41  # MRR sel
292       - 43  # MRR sel
293       - 44  # MRR sel
294       - 45  # MRR sel
295       - 46  # MRR sel
296       - 47  # MRR sel
297       csit-vpp-perf-verify-1810-2n-skx:
298       - 8   # MRR sel
299       - 10  # MRR sel
300       - 11  # MRR sel
301       - 12  # MRR sel
302
303     vpp-perf-results-3n-hsw:
304       csit-vpp-perf-verify-1810-3n-hsw:
305       - 20  # NDRPDR full
306       - 21  # NDRPDR full
307       - 22  # NDRPDR full
308       - 27  # NDRPDR full
309
310     vpp-perf-results-3n-skx:
311       csit-vpp-perf-verify-1810-3n-skx:
312       - 23  # NDRPDR full
313       - 24  # NDRPDR full
314
315     vpp-perf-results-2n-skx:
316       csit-vpp-perf-verify-1810-2n-skx:
317       - 25  # NDRPDR full
318       - 26  # NDRPDR full
319
320     vpp-mrr-results-3n-hsw:
321       csit-vpp-perf-verify-1810-3n-hsw:
322       - 9   # MRR sel
323
324     vpp-mrr-results-3n-skx:
325       csit-vpp-perf-verify-1810-3n-skx:
326       - 9   # MRR sel
327
328     vpp-mrr-results-2n-skx:
329       csit-vpp-perf-verify-1810-2n-skx:
330       - 8   # MRR sel
331
332     plot-throughput-speedup-analysis-3n-hsw:
333       csit-vpp-perf-verify-1810-3n-hsw:
334       - 8   # NDRPDR sel
335       - 12  # NDRPDR sel
336       - 14  # NDRPDR sel
337       - 18  # NDRPDR sel
338       - 23  # NDRPDR sel
339       - 25  # NDRPDR sel
340       - 38  # NDRPDR sel
341       - 39  # NDRPDR sel
342       - 41  # NDRPDR sel
343       - 42  # NDRPDR sel
344
345     plot-throughput-speedup-analysis-3n-skx:
346       csit-vpp-perf-verify-1810-3n-skx:
347       - 24  # NDRPDR full
348       - 10  # NDRPDR sel
349       - 14  # NDRPDR sel
350       - 15  # NDRPDR sel
351       - 16  # NDRPDR sel
352       - 17  # NDRPDR sel
353       - 19  # NDRPDR sel
354       - 20  # NDRPDR sel
355       - 21  # NDRPDR sel
356       - 22  # NDRPDR sel
357       - 25  # NDRPDR sel
358
359     plot-throughput-speedup-analysis-2n-skx:
360       csit-vpp-perf-verify-1810-2n-skx:
361       - 9   # NDRPDR sel
362       - 13  # NDRPDR sel
363       - 14  # NDRPDR sel
364       - 19  # NDRPDR sel
365       - 20  # NDRPDR sel
366       - 21  # NDRPDR sel
367       - 22  # NDRPDR sel
368       - 23  # NDRPDR sel
369       - 24  # NDRPDR sel
370       - 27  # NDRPDR sel
371
372     plot-vpp-throughput-latency-3n-hsw:
373       csit-vpp-perf-verify-1810-3n-hsw:
374       - 8   # NDRPDR sel
375       - 12  # NDRPDR sel
376       - 14  # NDRPDR sel
377       - 18  # NDRPDR sel
378       - 23  # NDRPDR sel
379       - 25  # NDRPDR sel
380       - 38  # NDRPDR sel
381       - 39  # NDRPDR sel
382       - 41  # NDRPDR sel
383       - 42  # NDRPDR sel
384
385     plot-vpp-throughput-latency-3n-skx:
386       csit-vpp-perf-verify-1810-3n-skx:
387       - 24  # NDRPDR full
388       - 10  # NDRPDR sel
389       - 14  # NDRPDR sel
390       - 15  # NDRPDR sel
391       - 16  # NDRPDR sel
392       - 17  # NDRPDR sel
393       - 19  # NDRPDR sel
394       - 20  # NDRPDR sel
395       - 21  # NDRPDR sel
396       - 22  # NDRPDR sel
397       - 25  # NDRPDR sel
398
399     plot-vpp-throughput-latency-2n-skx:
400       csit-vpp-perf-verify-1810-2n-skx:
401       - 9   # NDRPDR sel
402       - 13  # NDRPDR sel
403       - 14  # NDRPDR sel
404       - 19  # NDRPDR sel
405       - 20  # NDRPDR sel
406       - 21  # NDRPDR sel
407       - 22  # NDRPDR sel
408       - 23  # NDRPDR sel
409       - 24  # NDRPDR sel
410       - 27  # NDRPDR sel
411
412     plot-vpp-http-server-performance:
413       csit-vpp-perf-verify-1810-3n-hsw:
414       - 28  # WRK
415       - 29  # WRK
416       - 30  # WRK
417       - 31  # WRK
418       - 32  # WRK
419       - 33  # WRK
420       - 34  # WRK
421       - 35  # WRK
422       - 36  # WRK
423       - 37  # WRK
424
425     # VPP Functional
426     vpp-func-results-ubuntu:
427       csit-vpp-functional-1810-ubuntu1604-virl:
428       - 44
429
430     vpp-func-results-centos:
431       csit-vpp-functional-1810-centos7-virl:
432       - 44
433
434     vpp-device-results-ubuntu:
435       csit-vpp-device-1810-ubuntu1804-1n-skx:
436       - 2
437
438     # VPP Ligato
439     ligato-perf-results-3n-hsw:
440       csit-ligato-perf-verify-1810-3n-hsw:
441       - 5   # full
442
443     plot-ligato-throughput-speedup-analysis-3n-hsw:
444       csit-ligato-perf-verify-1810-3n-hsw:
445       - 5   # full
446       - 6   # sel
447       - 8   # sel
448       - 9   # sel
449       - 11  # sel
450       - 12  # sel
451       - 13  # sel
452       - 14  # sel
453       - 16  # sel
454       - 17  # sel
455       - 18  # sel
456
457     plot-ligato-throughput-latency-3n-hsw:
458       csit-ligato-perf-verify-1810-3n-hsw:
459       - 5   # full
460       - 6   # sel
461       - 8   # sel
462       - 9   # sel
463       - 11  # sel
464       - 12  # sel
465       - 13  # sel
466       - 14  # sel
467       - 16  # sel
468       - 17  # sel
469       - 18  # sel
470
471     # DPDK Performance
472     dpdk-performance-changes-3n-hsw:
473       csit-dpdk-perf-1804-all:
474       - 4
475       - 5
476       - 6
477       - 7
478       - 8
479       - 9
480       - 10
481       - 11
482       - 12
483       - 13
484       csit-dpdk-perf-verify-1807-3n-hsw:
485       - 11
486       - 12  # full
487       - 14
488       - 15
489       - 16
490       - 17
491       - 20
492       - 21
493       - 22
494       - 23
495       csit-dpdk-perf-verify-1810-3n-hsw:
496       - 1   # NDRPDR sel
497       - 2   # NDRPDR sel
498       - 3   # NDRPDR sel
499       - 4   # NDRPDR sel
500       - 5   # NDRPDR sel
501       - 6   # NDRPDR sel
502       - 7   # NDRPDR sel
503       - 8   # NDRPDR sel
504       - 9   # NDRPDR sel
505       - 10  # NDRPDR sel
506
507     dpdk-performance-changes-3n-skx:
508       csit-dpdk-perf-verify-1807-3n-skx:
509       - 1   # NDRPDR sel
510       - 2   # NDRPDR sel
511       - 3   # NDRPDR sel
512       - 6   # NDRPDR sel
513       - 7   # NDRPDR sel
514       - 8   # NDRPDR sel
515       - 9   # NDRPDR sel
516       - 10  # NDRPDR sel
517       - 11  # NDRPDR sel
518       - 12  # NDRPDR sel
519       csit-dpdk-perf-verify-1810-3n-skx:
520       - 3   # NDRPDR sel
521       - 4   # NDRPDR sel
522       - 6   # NDRPDR sel
523       - 7   # NDRPDR sel
524       - 8   # NDRPDR sel
525       - 9   # NDRPDR sel
526       - 10  # NDRPDR sel
527       - 11  # NDRPDR sel
528       - 12  # NDRPDR sel
529       - 13  # NDRPDR sel
530
531     dpdk-compare-testbeds:
532       csit-dpdk-perf-verify-1810-3n-skx:
533       - 3   # NDRPDR sel
534       - 4   # NDRPDR sel
535       - 6   # NDRPDR sel
536       - 7   # NDRPDR sel
537       - 8   # NDRPDR sel
538       - 9   # NDRPDR sel
539       - 10  # NDRPDR sel
540       - 11  # NDRPDR sel
541       - 12  # NDRPDR sel
542       - 13  # NDRPDR sel
543       csit-dpdk-perf-verify-1810-3n-hsw:
544       - 1   # NDRPDR sel
545       - 2   # NDRPDR sel
546       - 3   # NDRPDR sel
547       - 4   # NDRPDR sel
548       - 5   # NDRPDR sel
549       - 6   # NDRPDR sel
550       - 7   # NDRPDR sel
551       - 8   # NDRPDR sel
552       - 9   # NDRPDR sel
553       - 10  # NDRPDR sel
554
555     dpdk-perf-results-3n-hsw:
556       csit-dpdk-perf-verify-1810-3n-hsw:
557       - 1
558
559     dpdk-perf-results-3n-skx:
560       csit-dpdk-perf-verify-1810-3n-skx:
561       - 3   # NDRPDR sel
562
563     dpdk-perf-results-2n-skx:
564       csit-dpdk-perf-verify-1810-2n-skx:
565       - 3
566
567     plot-dpdk-throughput-latency-3n-hsw:
568       csit-dpdk-perf-verify-1810-3n-hsw:
569       - 1   # NDRPDR sel
570       - 2   # NDRPDR sel
571       - 3   # NDRPDR sel
572       - 4   # NDRPDR sel
573       - 5   # NDRPDR sel
574       - 6   # NDRPDR sel
575       - 7   # NDRPDR sel
576       - 8   # NDRPDR sel
577       - 9   # NDRPDR sel
578       - 10  # NDRPDR sel
579
580     plot-dpdk-throughput-latency-3n-skx:
581       csit-dpdk-perf-verify-1810-3n-skx:
582       - 3   # NDRPDR sel
583       - 4   # NDRPDR sel
584       - 6   # NDRPDR sel
585       - 7   # NDRPDR sel
586       - 8   # NDRPDR sel
587       - 9   # NDRPDR sel
588       - 10  # NDRPDR sel
589       - 11  # NDRPDR sel
590       - 12  # NDRPDR sel
591       - 13  # NDRPDR sel
592
593     plot-dpdk-throughput-latency-2n-skx:
594       csit-dpdk-perf-verify-1810-2n-skx:
595       - 3   # NDRPDR sel
596       - 4   # NDRPDR sel
597       - 5   # NDRPDR sel
598       - 7   # NDRPDR sel
599       - 8   # NDRPDR sel
600       - 9   # NDRPDR sel
601       - 10  # NDRPDR sel
602       - 11  # NDRPDR sel
603       - 12  # NDRPDR sel
604       - 13  # NDRPDR sel
605
606     # HoneyComb Functional
607     hc-func-results:
608       csit-hc2vpp-verify-func-1810-ubuntu1604:
609       - 3
610
611     # NSH SFC Functional
612     nsh-func-results:
613       csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
614       - 1
615
616     # DMM Functional
617     dmm-func-results:
618       csit-dmm-functional-1810-ubuntu1604-virl:
619       - 1
620
621   plot-layouts:
622
623     plot-cps:
624       titlefont:
625         size: 18
626       xaxis:
627         title: "<b>Test Cases [Index]</b>"
628         titlefont:
629           size: 16
630         autorange: True
631         fixedrange: False
632         gridcolor: "rgb(230, 230, 230)"
633         linecolor: "rgb(220, 220, 220)"
634         linewidth: 1
635         showgrid: True
636         showline: True
637         showticklabels: True
638         tickcolor: "rgb(220, 220, 220)"
639         tickmode: "linear"
640         tickfont:
641           size: 16
642         zeroline: False
643       yaxis:
644         title: "<b>Connections Per Second [cps]</b>"
645         titlefont:
646           size: 16
647         gridcolor: "rgb(230, 230, 230)"
648         hoverformat: ".4s"
649         linecolor: "rgb(220, 220, 220)"
650         linewidth: 1
651         rangemode: "tozero"
652         showgrid: True
653         showline: True
654         showticklabels: True
655         tickcolor: "rgb(220, 220, 220)"
656         tickformat: ".3s"
657         tickfont:
658           size: 16
659         zeroline: False
660       boxmode: "group"
661       boxgroupgap: 0.5
662       autosize: False
663       margin:
664         t: 50
665         b: 20
666         l: 80
667         r: 20
668       showlegend: True
669       legend:
670         orientation: "h"
671         font:
672           size: 16
673       width: 700
674       height: 800
675
676     plot-rps:
677       titlefont:
678         size: 18
679       xaxis:
680         title: "<b>Test Cases [Index]</b>"
681         titlefont:
682           size: 16
683         autorange: True
684         fixedrange: False
685         gridcolor: "rgb(230, 230, 230)"
686         linecolor: "rgb(220, 220, 220)"
687         linewidth: 1
688         showgrid: True
689         showline: True
690         showticklabels: True
691         tickcolor: "rgb(220, 220, 220)"
692         tickmode: "linear"
693         tickfont:
694           size: 16
695         zeroline: False
696       yaxis:
697         title: "<b>Requests Per Second [rps]</b>"
698         titlefont:
699           size: 16
700         gridcolor: "rgb(230, 230, 230)"
701         hoverformat: ".4s"
702         linecolor: "rgb(220, 220, 220)"
703         linewidth: 1
704         rangemode: "tozero"
705         showgrid: True
706         showline: True
707         showticklabels: True
708         tickcolor: "rgb(230, 230, 230)"
709         tickformat: ".3s"
710         tickfont:
711           size: 16
712         zeroline: False
713       boxmode: "group"
714       boxgroupgap: 0.5
715       autosize: False
716       margin:
717         t: 50
718         b: 20
719         l: 80
720         r: 20
721       showlegend: True
722       legend:
723         orientation: "h"
724         font:
725           size: 16
726       width: 700
727       height: 800
728
729     plot-throughput:
730       titlefont:
731         size: 18
732       xaxis:
733         title: "<b>Test Cases [Index]</b>"
734         titlefont:
735           size: 16
736         autorange: True
737         fixedrange: False
738         gridcolor: "rgb(230, 230, 230)"
739         linecolor: "rgb(220, 220, 220)"
740         linewidth: 1
741         showgrid: True
742         showline: True
743         showticklabels: True
744         tickcolor: "rgb(220, 220, 220)"
745         tickmode: "linear"
746         tickfont:
747           size: 16
748         zeroline: False
749       yaxis:
750         title: "<b>Packet Throughput [Mpps]</b>"
751         titlefont:
752           size: 16
753         gridcolor: "rgb(230, 230, 230)"
754         hoverformat: ".4s"
755         tickformat: ".3s"
756         linecolor: "rgb(220, 220, 220)"
757         linewidth: 1
758         showgrid: True
759         showline: True
760         showticklabels: True
761         tickcolor: "rgb(220, 220, 220)"
762         tickfont:
763           size: 16
764         zeroline: False
765         range: [0,50]
766       boxmode: "group"
767       boxgroupgap: 0.5
768       autosize: False
769       margin:
770         t: 50
771         b: 20
772         l: 80
773         r: 20
774       showlegend: True
775       legend:
776         orientation: "h"
777         font:
778           size: 16
779       width: 700
780       height: 900
781
782     plot-throughput-speedup-analysis:
783       titlefont:
784         size: 18
785       xaxis:
786         title: "<b>Number of Cores [Qty]</b>"
787         titlefont:
788           size: 16
789         autorange: True
790         fixedrange: False
791         gridcolor: "rgb(230, 230, 230)"
792         linecolor: "rgb(220, 220, 220)"
793         linewidth: 1
794         showgrid: True
795         showline: True
796         showticklabels: True
797         tickcolor: "rgb(238, 238, 238)"
798         tickmode: "linear"
799         tickfont:
800           size: 16
801         zeroline: False
802       yaxis:
803         title: "<b>Packet Throughput [Mpps]</b>"
804         titlefont:
805           size: 16
806         type: "linear"
807         gridcolor: "rgb(230, 230, 230)"
808         hoverformat: ".4s"
809         linecolor: "rgb(220, 220, 220)"
810         linewidth: 1
811         showgrid: True
812         showline: True
813         showticklabels: True
814         tickcolor: "rgb(220, 220, 220)"
815         tickformat: ".4s"
816         tickfont:
817           size: 16
818         zeroline: True
819         rangemode: "tozero"
820         # range: [0,100]
821       legend:
822         orientation: "h"
823         font:
824           size: 16
825         xanchor: "left"
826         yanchor: "top"
827         x: 0
828         y: -0.2
829         bgcolor: "rgba(255, 255, 255, 0)"
830         bordercolor: "rgba(255, 255, 255, 0)"
831         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
832       autosize: False
833       margin:
834           't': 50
835           'b': 150
836           'l': 85
837           'r': 10
838       showlegend: True
839       width: 700
840       height: 700
841       hoverlabel:
842         namelength: -1
843       annotations: [
844         {
845           text: "_ _          __          ...",
846           align: "left",
847           showarrow: False,
848           xref: "paper",
849           yref: "paper",
850           xanchor: "left",
851           yanchor: "top",
852           x: 0,
853           y: -0.13,
854           font: {
855             family: "Consolas, Courier New",
856             size: 15
857           },
858         },
859         {
860           text: "    Perfect     Measured     Limit",
861           align: "left",
862           showarrow: False,
863           xref: "paper",
864           yref: "paper",
865           xanchor: "left",
866           yanchor: "top",
867           x: 0,
868           y: -0.15,
869           font: {
870             family: "Consolas, Courier New",
871             size: 15
872           },
873         },
874       ]
875
876     plot-latency:
877       titlefont:
878         size: 18
879       xaxis:
880         title: "<b>Direction</b>"
881         titlefont:
882           size: 16
883         autorange: True
884         fixedrange: False
885         gridcolor: "rgb(230, 230, 230)"
886         linecolor: "rgb(220, 220, 220)"
887         linewidth: 1
888         showgrid: True
889         showline: True
890         showticklabels: False
891         tickcolor: "rgb(220, 220, 220)"
892         tickmode: "linear"
893         tickfont:
894           size: 16
895         zeroline: False
896       yaxis:
897         title: "<b>Packet Latency [uSec]</b>"
898         titlefont:
899           size: 16
900         type: "linear"
901         gridcolor: "rgb(230, 230, 230)"
902         hoverformat: ".4s"
903         linecolor: "rgb(220, 220, 220)"
904         linewidth: 1
905         showgrid: True
906         showline: True
907         showticklabels: True
908         tickcolor: "rgb(220, 220, 220)"
909         tickformat: ".4s"
910         tickfont:
911           size: 16
912         zeroline: True
913         rangemode: "tozero"
914       legend:
915         orientation: "h"
916         font:
917           size: 16
918         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
919       autosize: False
920       margin:
921           't': 50
922           'b': 150
923           'l': 80
924           'r': 10
925       showlegend: True
926       width: 700
927       height: 700
928       hoverlabel:
929         namelength: -1
930
931 -
932   type: "static"
933   src-path: "{DIR[RST]}"
934   dst-path: "{DIR[WORKING,SRC]}"
935
936 -
937   type: "input"
938   general:
939     file-name: "robot-plugin.zip"
940     file-format: ".zip"
941     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
942     extract: "robot-plugin/output.xml"
943
944   builds:
945
946     csit-vpp-perf-1804-all:
947     - 21  # sel
948     - 22  # sel
949     - 23  # sel
950     - 24  # sel
951     - 27  # sel
952     - 28  # sel
953     - 29  # sel
954     - 30  # sel
955     - 31  # sel
956     - 35  # sel
957     csit-vpp-perf-verify-1807-3n-hsw:
958     - 8   # MRR full
959     - 9   # MRR sel
960     - 21  # MRR sel
961     - 31  # MRR sel
962     - 33  # MRR sel
963     - 36  # MRR sel
964     - 41  # MRR sel
965     - 42  # MRR sel
966     - 48  # MRR sel
967     - 11  # NDRPDR full 1
968     - 22  # NDRPDR full 2
969     - 45  # NDRPDR full 3
970     - 46  # NDRPDR full 4
971     - 15  # NDRPDR sel
972     - 16  # NDRPDR sel
973     - 19  # NDRPDR sel
974     - 18  # NDRPDR sel
975     - 20  # NDRPDR sel
976     - 38  # NDRPDR sel
977     - 40  # NDRPDR sel
978     - 44  # NDRPDR sel
979     - 47  # NDRPDR sel
980     - 24  # WRK
981     - 25  # WRK
982     - 23  # WRK
983     - 26  # WRK
984     - 27  # WRK
985     - 28  # WRK
986     - 29  # WRK
987     - 30  # WRK
988     - 32  # WRK
989     - 35  # WRK
990     csit-vpp-perf-verify-1810-3n-hsw:
991     - 9   # MRR sel
992     - 20  # NDRPDR full
993     - 21  # NDRPDR full
994     - 22  # NDRPDR full
995     - 27  # NDRPDR full
996     - 8   # NDRPDR sel
997     - 12  # NDRPDR sel
998     - 14  # NDRPDR sel
999     - 18  # NDRPDR sel
1000     - 23  # NDRPDR sel
1001     - 25  # NDRPDR sel
1002     - 38  # NDRPDR sel
1003     - 39  # NDRPDR sel
1004     - 41  # NDRPDR sel
1005     - 42  # NDRPDR sel
1006     - 28  # WRK
1007     - 29  # WRK
1008     - 30  # WRK
1009     - 31  # WRK
1010     - 32  # WRK
1011     - 33  # WRK
1012     - 34  # WRK
1013     - 35  # WRK
1014     - 36  # WRK
1015     - 37  # WRK
1016     csit-vpp-perf-verify-1807-3n-skx:
1017     - 31  # MRR full
1018     - 28  # MRR sel
1019     - 32  # MRR sel
1020     - 36  # MRR sel
1021     - 42  # MRR sel
1022     - 47  # MRR sel
1023     - 48  # MRR sel
1024     - 51  # MRR sel
1025     - 52  # MRR sel
1026     - 53  # MRR sel
1027     - 54  # MRR sel
1028     - 40  # NDRPDR full 1
1029     - 41  # NDRPDR full 2
1030     - 33  # NDRPDR sel
1031     - 35  # NDRPDR sel
1032     - 37  # NDRPDR sel
1033     - 38  # NDRPDR sel
1034     - 39  # NDRPDR sel
1035     - 43  # NDRPDR sel
1036     - 44  # NDRPDR sel
1037     - 49  # NDRPDR sel
1038     - 50  # NDRPDR sel
1039     - 56  # NDRPDR sel
1040     csit-vpp-perf-verify-1810-3n-skx:
1041     - 9   # MRR sel
1042     - 11  # MRR sel
1043     - 12  # MRR sel
1044     - 13  # MRR sel
1045     - 23  # NDRPDR full
1046     - 24  # NDRPDR full
1047     - 10  # NDRPDR sel
1048     - 14  # NDRPDR sel
1049     - 15  # NDRPDR sel
1050     - 16  # NDRPDR sel
1051     - 17  # NDRPDR sel
1052     - 19  # NDRPDR sel
1053     - 20  # NDRPDR sel
1054     - 21  # NDRPDR sel
1055     - 22  # NDRPDR sel
1056     - 25  # NDRPDR sel
1057     csit-vpp-perf-verify-1807-2n-skx:
1058     - 27  # MRR full
1059     - 31  # MRR sel
1060     - 33  # MRR sel
1061     - 37  # MRR sel
1062     - 38  # MRR sel
1063     - 41  # MRR sel
1064     - 43  # MRR sel
1065     - 44  # MRR sel
1066     - 45  # MRR sel
1067     - 46  # MRR sel
1068     - 47  # MRR sel
1069     - 32  # NDRPDR full
1070     - 26  # NDRPDR sel
1071     - 28  # NDRPDR sel
1072     - 29  # NDRPDR sel
1073     - 30  # NDRPDR sel
1074     - 34  # NDRPDR sel
1075     - 35  # NDRPDR sel
1076     - 36  # NDRPDR sel
1077     - 39  # NDRPDR sel
1078     - 40  # NDRPDR sel
1079     - 42  # NDRPDR sel
1080     csit-vpp-perf-verify-1810-2n-skx:
1081     - 8   # MRR sel
1082     - 10  # MRR sel
1083     - 11  # MRR sel
1084     - 12  # MRR sel
1085     - 25  # NDRPDR full
1086     - 26  # NDRPDR full
1087     - 9   # NDRPDR sel
1088     - 13  # NDRPDR sel
1089     - 14  # NDRPDR sel
1090     - 19  # NDRPDR sel
1091     - 20  # NDRPDR sel
1092     - 21  # NDRPDR sel
1093     - 22  # NDRPDR sel
1094     - 23  # NDRPDR sel
1095     - 24  # NDRPDR sel
1096     - 27  # NDRPDR sel
1097     csit-vpp-perf-check-1804:
1098     - 5   # mrr - full
1099     - 6   # mrr - sel
1100     - 13  # mrr - sel
1101     - 14  # mrr - sel
1102     - 15  # mrr - sel
1103     - 16  # mrr - sel
1104     - 17  # mrr - sel
1105     - 19  # mrr - sel
1106     - 20  # mrr - sel
1107     - 21  # mrr - sel
1108     - 22  # mrr - sel
1109     csit-ligato-perf-verify-1810-3n-hsw:
1110     - 5   # full
1111     - 6   # sel
1112     - 8   # sel
1113     - 9   # sel
1114     - 11  # sel
1115     - 12  # sel
1116     - 13  # sel
1117     - 14  # sel
1118     - 16  # sel
1119     - 17  # sel
1120     - 18  # sel
1121     csit-dpdk-perf-1804-all:
1122     - 4
1123     - 5
1124     - 6
1125     - 7
1126     - 8
1127     - 9
1128     - 10
1129     - 11
1130     - 12
1131     - 13
1132     csit-dpdk-perf-verify-1807-3n-hsw:
1133     - 11
1134     - 12  # full
1135     - 14
1136     - 15
1137     - 16
1138     - 17
1139     - 20
1140     - 21
1141     - 22
1142     - 23
1143     csit-dpdk-perf-verify-1810-3n-hsw:
1144     - 1   # NDRPDR sel
1145     - 2   # NDRPDR sel
1146     - 3   # NDRPDR sel
1147     - 4   # NDRPDR sel
1148     - 5   # NDRPDR sel
1149     - 6   # NDRPDR sel
1150     - 7   # NDRPDR sel
1151     - 8   # NDRPDR sel
1152     - 9   # NDRPDR sel
1153     - 10  # NDRPDR sel
1154     csit-dpdk-perf-verify-1807-3n-skx:
1155     - 1   # NDRPDR sel
1156     - 2   # NDRPDR sel
1157     - 3   # NDRPDR sel
1158     - 6   # NDRPDR sel
1159     - 7   # NDRPDR sel
1160     - 8   # NDRPDR sel
1161     - 9   # NDRPDR sel
1162     - 10  # NDRPDR sel
1163     - 11  # NDRPDR sel
1164     - 12  # NDRPDR sel
1165     csit-dpdk-perf-verify-1810-3n-skx:
1166     - 3   # NDRPDR sel
1167     - 4   # NDRPDR sel
1168     - 6   # NDRPDR sel
1169     - 7   # NDRPDR sel
1170     - 8   # NDRPDR sel
1171     - 9   # NDRPDR sel
1172     - 10  # NDRPDR sel
1173     - 11  # NDRPDR sel
1174     - 12  # NDRPDR sel
1175     - 13  # NDRPDR sel
1176     csit-dpdk-perf-verify-1810-2n-skx:
1177     - 3   # NDRPDR sel
1178     - 4   # NDRPDR sel
1179     - 5   # NDRPDR sel
1180     - 7   # NDRPDR sel
1181     - 8   # NDRPDR sel
1182     - 9   # NDRPDR sel
1183     - 10  # NDRPDR sel
1184     - 11  # NDRPDR sel
1185     - 12  # NDRPDR sel
1186     - 13  # NDRPDR sel
1187
1188     csit-vpp-functional-1810-ubuntu1604-virl:
1189     - 44
1190     csit-vpp-functional-1810-centos7-virl:
1191     - 44
1192     csit-vpp-device-1810-ubuntu1804-1n-skx:
1193     - 2
1194     csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
1195     - 1
1196     csit-dmm-functional-1810-ubuntu1604-virl:
1197     - 1
1198     csit-hc2vpp-verify-func-1810-ubuntu1604:
1199     - 3
1200
1201 -
1202   type: "output"
1203   output: "report"
1204   format:
1205     html:
1206     - full
1207     pdf:
1208     - minimal
1209
1210 ################################################################################
1211 ###                               T A B L E S                                ###
1212 ################################################################################
1213
1214 ################################################################################
1215 # VPP
1216
1217 # VPP Performance Changes 3n-hsw 1t1c pdr 
1218 -
1219   type: "table"
1220   title: "VPP Performance Changes 3n-hsw 1t1c pdr"
1221   algorithm: "table_performance_comparison"
1222   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-pdr"
1223   history:
1224     -
1225       title: "rls1804"
1226       data:
1227         csit-vpp-perf-1804-all:
1228         - 21  # sel
1229         - 22  # sel
1230         - 23  # sel
1231         - 24  # sel
1232         - 27  # sel
1233         - 28  # sel
1234         - 29  # sel
1235         - 30  # sel
1236         - 31  # sel
1237         - 35  # sel
1238   reference:
1239     title: "rls1807"
1240     data:
1241       csit-vpp-perf-verify-1807-3n-hsw:
1242       - 11  # NDRPDR full 1
1243       - 22  # NDRPDR full 2
1244       - 45  # NDRPDR full 3
1245       - 46  # NDRPDR full 4
1246       - 15  # NDRPDR sel
1247       - 16  # NDRPDR sel
1248       - 19  # NDRPDR sel
1249       - 18  # NDRPDR sel
1250       - 20  # NDRPDR sel
1251       - 38  # NDRPDR sel
1252       - 40  # NDRPDR sel
1253       - 44  # NDRPDR sel
1254       - 47  # NDRPDR sel
1255   compare:
1256     title: "rls1810"
1257     data:
1258       csit-vpp-perf-verify-1810-3n-hsw:
1259       - 8   # NDRPDR sel
1260       - 12  # NDRPDR sel
1261       - 14  # NDRPDR sel
1262       - 18  # NDRPDR sel
1263       - 23  # NDRPDR sel
1264       - 25  # NDRPDR sel
1265       - 38  # NDRPDR sel
1266       - 39  # NDRPDR sel
1267       - 41  # NDRPDR sel
1268       - 42  # NDRPDR sel
1269   data: "vpp-performance-changes-3n-hsw"
1270   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1271   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1272   parameters:
1273   - "name"
1274   - "parent"
1275   - "throughput"
1276
1277 # VPP Performance Changes 3n-hsw 2t2c pdr
1278 -
1279   type: "table"
1280   title: "VPP Performance Changes 3n-hsw 2t2c pdr"
1281   algorithm: "table_performance_comparison"
1282   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-pdr"
1283   history:
1284     -
1285       title: "rls1804"
1286       data:
1287         csit-vpp-perf-1804-all:
1288         - 21  # sel
1289         - 22  # sel
1290         - 23  # sel
1291         - 24  # sel
1292         - 27  # sel
1293         - 28  # sel
1294         - 29  # sel
1295         - 30  # sel
1296         - 31  # sel
1297         - 35  # sel
1298   reference:
1299     title: "rls1807"
1300     data:
1301       csit-vpp-perf-verify-1807-3n-hsw:
1302       - 11  # NDRPDR full 1
1303       - 22  # NDRPDR full 2
1304       - 45  # NDRPDR full 3
1305       - 46  # NDRPDR full 4
1306       - 15  # NDRPDR sel
1307       - 16  # NDRPDR sel
1308       - 19  # NDRPDR sel
1309       - 18  # NDRPDR sel
1310       - 20  # NDRPDR sel
1311       - 38  # NDRPDR sel
1312       - 40  # NDRPDR sel
1313       - 44  # NDRPDR sel
1314       - 47  # NDRPDR sel
1315   compare:
1316     title: "rls1810"
1317     data:
1318       csit-vpp-perf-verify-1810-3n-hsw:
1319       - 8   # NDRPDR sel
1320       - 12  # NDRPDR sel
1321       - 14  # NDRPDR sel
1322       - 18  # NDRPDR sel
1323       - 23  # NDRPDR sel
1324       - 25  # NDRPDR sel
1325       - 38  # NDRPDR sel
1326       - 39  # NDRPDR sel
1327       - 41  # NDRPDR sel
1328       - 42  # NDRPDR sel
1329   data: "vpp-performance-changes-3n-hsw"
1330   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1331   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1332   parameters:
1333   - "name"
1334   - "parent"
1335   - "throughput"
1336
1337 # VPP Performance Changes 3n-hsw 1t1c ndr
1338 -
1339   type: "table"
1340   title: "VPP Performance Changes 3n-hsw 1t1c ndr"
1341   algorithm: "table_performance_comparison"
1342   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-ndr"
1343   history:
1344     -
1345       title: "rls1804"
1346       data:
1347         csit-vpp-perf-1804-all:
1348         - 21  # sel
1349         - 22  # sel
1350         - 23  # sel
1351         - 24  # sel
1352         - 27  # sel
1353         - 28  # sel
1354         - 29  # sel
1355         - 30  # sel
1356         - 31  # sel
1357         - 35  # sel
1358   reference:
1359     title: "rls1807"
1360     data:
1361       csit-vpp-perf-verify-1807-3n-hsw:
1362       - 11  # NDRPDR full 1
1363       - 22  # NDRPDR full 2
1364       - 45  # NDRPDR full 3
1365       - 46  # NDRPDR full 4
1366       - 15  # NDRPDR sel
1367       - 16  # NDRPDR sel
1368       - 19  # NDRPDR sel
1369       - 18  # NDRPDR sel
1370       - 20  # NDRPDR sel
1371       - 38  # NDRPDR sel
1372       - 40  # NDRPDR sel
1373       - 44  # NDRPDR sel
1374       - 47  # NDRPDR sel
1375   compare:
1376     title: "rls1810"
1377     data:
1378       csit-vpp-perf-verify-1810-3n-hsw:
1379       - 8   # NDRPDR sel
1380       - 12  # NDRPDR sel
1381       - 14  # NDRPDR sel
1382       - 18  # NDRPDR sel
1383       - 23  # NDRPDR sel
1384       - 25  # NDRPDR sel
1385       - 38  # NDRPDR sel
1386       - 39  # NDRPDR sel
1387       - 41  # NDRPDR sel
1388       - 42  # NDRPDR sel
1389   data: "vpp-performance-changes-3n-hsw"
1390   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1391   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1392   parameters:
1393   - "name"
1394   - "parent"
1395   - "throughput"
1396
1397 # VPP Performance Changes 3n-hsw 2t2c ndr
1398 -
1399   type: "table"
1400   title: "VPP Performance Changes 3n-hsw 2t2c ndr"
1401   algorithm: "table_performance_comparison"
1402   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-ndr"
1403   history:
1404     -
1405       title: "rls1804"
1406       data:
1407         csit-vpp-perf-1804-all:
1408         - 21  # sel
1409         - 22  # sel
1410         - 23  # sel
1411         - 24  # sel
1412         - 27  # sel
1413         - 28  # sel
1414         - 29  # sel
1415         - 30  # sel
1416         - 31  # sel
1417         - 35  # sel
1418   reference:
1419     title: "rls1807"
1420     data:
1421       csit-vpp-perf-verify-1807-3n-hsw:
1422       - 11  # NDRPDR full 1
1423       - 22  # NDRPDR full 2
1424       - 45  # NDRPDR full 3
1425       - 46  # NDRPDR full 4
1426       - 15  # NDRPDR sel
1427       - 16  # NDRPDR sel
1428       - 19  # NDRPDR sel
1429       - 18  # NDRPDR sel
1430       - 20  # NDRPDR sel
1431       - 38  # NDRPDR sel
1432       - 40  # NDRPDR sel
1433       - 44  # NDRPDR sel
1434       - 47  # NDRPDR sel
1435   compare:
1436     title: "rls1810"
1437     data:
1438       csit-vpp-perf-verify-1810-3n-hsw:
1439       - 8   # NDRPDR sel
1440       - 12  # NDRPDR sel
1441       - 14  # NDRPDR sel
1442       - 18  # NDRPDR sel
1443       - 23  # NDRPDR sel
1444       - 25  # NDRPDR sel
1445       - 38  # NDRPDR sel
1446       - 39  # NDRPDR sel
1447       - 41  # NDRPDR sel
1448       - 42  # NDRPDR sel
1449   data: "vpp-performance-changes-3n-hsw"
1450   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1451   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1452   parameters:
1453   - "name"
1454   - "parent"
1455   - "throughput"
1456
1457 # VPP Performance Changes 3n-skx 2t1c pdr 
1458 -
1459   type: "table"
1460   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1461   algorithm: "table_performance_comparison"
1462   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1463   reference:
1464     title: "rls1807"
1465     data:
1466       csit-vpp-perf-verify-1807-3n-skx:
1467       - 33  # NDRPDR sel
1468       - 35  # NDRPDR sel
1469       - 37  # NDRPDR sel
1470       - 38  # NDRPDR sel
1471       - 39  # NDRPDR sel
1472       - 43  # NDRPDR sel
1473       - 44  # NDRPDR sel
1474       - 49  # NDRPDR sel
1475       - 50  # NDRPDR sel
1476       - 56  # NDRPDR sel
1477   compare:
1478     title: "rls1810"
1479     data:
1480       csit-vpp-perf-verify-1810-3n-skx:
1481       - 10  # NDRPDR sel
1482       - 14  # NDRPDR sel
1483       - 15  # NDRPDR sel
1484       - 16  # NDRPDR sel
1485       - 17  # NDRPDR sel
1486       - 19  # NDRPDR sel
1487       - 20  # NDRPDR sel
1488       - 21  # NDRPDR sel
1489       - 22  # NDRPDR sel
1490       - 25  # NDRPDR sel
1491   data: "vpp-performance-changes-3n-skx"
1492   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1493   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1494   parameters:
1495   - "name"
1496   - "parent"
1497   - "throughput"
1498
1499 # VPP Performance Changes 3n-skx 4t2c pdr
1500 -
1501   type: "table"
1502   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1503   algorithm: "table_performance_comparison"
1504   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1505   reference:
1506     title: "rls1807"
1507     data:
1508       csit-vpp-perf-verify-1807-3n-skx:
1509       - 33  # NDRPDR sel
1510       - 35  # NDRPDR sel
1511       - 37  # NDRPDR sel
1512       - 38  # NDRPDR sel
1513       - 39  # NDRPDR sel
1514       - 43  # NDRPDR sel
1515       - 44  # NDRPDR sel
1516       - 49  # NDRPDR sel
1517       - 50  # NDRPDR sel
1518       - 56  # NDRPDR sel
1519   compare:
1520     title: "rls1810"
1521     data:
1522       csit-vpp-perf-verify-1810-3n-skx:
1523       - 10  # NDRPDR sel
1524       - 14  # NDRPDR sel
1525       - 15  # NDRPDR sel
1526       - 16  # NDRPDR sel
1527       - 17  # NDRPDR sel
1528       - 19  # NDRPDR sel
1529       - 20  # NDRPDR sel
1530       - 21  # NDRPDR sel
1531       - 22  # NDRPDR sel
1532       - 25  # NDRPDR sel
1533   data: "vpp-performance-changes-3n-skx"
1534   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1535   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1536   parameters:
1537   - "name"
1538   - "parent"
1539   - "throughput"
1540
1541 # VPP Performance Changes 3n-skx 2t1c ndr
1542 -
1543   type: "table"
1544   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1545   algorithm: "table_performance_comparison"
1546   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1547   reference:
1548     title: "rls1807"
1549     data:
1550       csit-vpp-perf-verify-1807-3n-skx:
1551       - 33  # NDRPDR sel
1552       - 35  # NDRPDR sel
1553       - 37  # NDRPDR sel
1554       - 38  # NDRPDR sel
1555       - 39  # NDRPDR sel
1556       - 43  # NDRPDR sel
1557       - 44  # NDRPDR sel
1558       - 49  # NDRPDR sel
1559       - 50  # NDRPDR sel
1560       - 56  # NDRPDR sel
1561   compare:
1562     title: "rls1810"
1563     data:
1564       csit-vpp-perf-verify-1810-3n-skx:
1565       - 10  # NDRPDR sel
1566       - 14  # NDRPDR sel
1567       - 15  # NDRPDR sel
1568       - 16  # NDRPDR sel
1569       - 17  # NDRPDR sel
1570       - 19  # NDRPDR sel
1571       - 20  # NDRPDR sel
1572       - 21  # NDRPDR sel
1573       - 22  # NDRPDR sel
1574       - 25  # NDRPDR sel
1575   data: "vpp-performance-changes-3n-skx"
1576   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1577   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1578   parameters:
1579   - "name"
1580   - "parent"
1581   - "throughput"
1582
1583 # VPP Performance Changes 3n-skx 4t2c ndr
1584 -
1585   type: "table"
1586   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1587   algorithm: "table_performance_comparison"
1588   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1589   reference:
1590     title: "rls1807"
1591     data:
1592       csit-vpp-perf-verify-1807-3n-skx:
1593       - 33  # NDRPDR sel
1594       - 35  # NDRPDR sel
1595       - 37  # NDRPDR sel
1596       - 38  # NDRPDR sel
1597       - 39  # NDRPDR sel
1598       - 43  # NDRPDR sel
1599       - 44  # NDRPDR sel
1600       - 49  # NDRPDR sel
1601       - 50  # NDRPDR sel
1602       - 56  # NDRPDR sel
1603   compare:
1604     title: "rls1810"
1605     data:
1606       csit-vpp-perf-verify-1810-3n-skx:
1607       - 10  # NDRPDR sel
1608       - 14  # NDRPDR sel
1609       - 15  # NDRPDR sel
1610       - 16  # NDRPDR sel
1611       - 17  # NDRPDR sel
1612       - 19  # NDRPDR sel
1613       - 20  # NDRPDR sel
1614       - 21  # NDRPDR sel
1615       - 22  # NDRPDR sel
1616       - 25  # NDRPDR sel
1617   data: "vpp-performance-changes-3n-skx"
1618   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1619   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1620   parameters:
1621   - "name"
1622   - "parent"
1623   - "throughput"
1624
1625 # VPP Performance Changes 2n-skx 2t1c pdr 
1626 -
1627   type: "table"
1628   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1629   algorithm: "table_performance_comparison"
1630   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1631   reference:
1632     title: "rls1807"
1633     data:
1634       csit-vpp-perf-verify-1807-2n-skx:
1635       - 26  # NDRPDR sel
1636       - 28  # NDRPDR sel
1637       - 29  # NDRPDR sel
1638       - 30  # NDRPDR sel
1639       - 34  # NDRPDR sel
1640       - 35  # NDRPDR sel
1641       - 36  # NDRPDR sel
1642       - 39  # NDRPDR sel
1643       - 40  # NDRPDR sel
1644       - 42  # NDRPDR sel
1645   compare:
1646     title: "rls1810"
1647     data:
1648       csit-vpp-perf-verify-1810-2n-skx:
1649       - 9   # NDRPDR sel
1650       - 13  # NDRPDR sel
1651       - 14  # NDRPDR sel
1652       - 19  # NDRPDR sel
1653       - 20  # NDRPDR sel
1654       - 21  # NDRPDR sel
1655       - 22  # NDRPDR sel
1656       - 23  # NDRPDR sel
1657       - 24  # NDRPDR sel
1658       - 27  # NDRPDR sel
1659   data: "vpp-performance-changes-2n-skx"
1660   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1661   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1662   parameters:
1663   - "name"
1664   - "parent"
1665   - "throughput"
1666
1667 # VPP Performance Changes 2n-skx 4t2c pdr
1668 -
1669   type: "table"
1670   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1671   algorithm: "table_performance_comparison"
1672   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1673   reference:
1674     title: "rls1807"
1675     data:
1676       csit-vpp-perf-verify-1807-2n-skx:
1677       - 26  # NDRPDR sel
1678       - 28  # NDRPDR sel
1679       - 29  # NDRPDR sel
1680       - 30  # NDRPDR sel
1681       - 34  # NDRPDR sel
1682       - 35  # NDRPDR sel
1683       - 36  # NDRPDR sel
1684       - 39  # NDRPDR sel
1685       - 40  # NDRPDR sel
1686       - 42  # NDRPDR sel
1687   compare:
1688     title: "rls1810"
1689     data:
1690       csit-vpp-perf-verify-1810-2n-skx:
1691       - 9   # NDRPDR sel
1692       - 13  # NDRPDR sel
1693       - 14  # NDRPDR sel
1694       - 19  # NDRPDR sel
1695       - 20  # NDRPDR sel
1696       - 21  # NDRPDR sel
1697       - 22  # NDRPDR sel
1698       - 23  # NDRPDR sel
1699       - 24  # NDRPDR sel
1700       - 27  # NDRPDR sel
1701   data: "vpp-performance-changes-2n-skx"
1702   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1703   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1704   parameters:
1705   - "name"
1706   - "parent"
1707   - "throughput"
1708
1709 # VPP Performance Changes 2n-skx 2t1c ndr
1710 -
1711   type: "table"
1712   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1713   algorithm: "table_performance_comparison"
1714   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1715   reference:
1716     title: "rls1807"
1717     data:
1718       csit-vpp-perf-verify-1807-2n-skx:
1719       - 26  # NDRPDR sel
1720       - 28  # NDRPDR sel
1721       - 29  # NDRPDR sel
1722       - 30  # NDRPDR sel
1723       - 34  # NDRPDR sel
1724       - 35  # NDRPDR sel
1725       - 36  # NDRPDR sel
1726       - 39  # NDRPDR sel
1727       - 40  # NDRPDR sel
1728       - 42  # NDRPDR sel
1729   compare:
1730     title: "rls1810"
1731     data:
1732       csit-vpp-perf-verify-1810-2n-skx:
1733       - 9   # NDRPDR sel
1734       - 13  # NDRPDR sel
1735       - 14  # NDRPDR sel
1736       - 19  # NDRPDR sel
1737       - 20  # NDRPDR sel
1738       - 21  # NDRPDR sel
1739       - 22  # NDRPDR sel
1740       - 23  # NDRPDR sel
1741       - 24  # NDRPDR sel
1742       - 27  # NDRPDR sel
1743   data: "vpp-performance-changes-2n-skx"
1744   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1745   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1746   parameters:
1747   - "name"
1748   - "parent"
1749   - "throughput"
1750
1751 # VPP Performance Changes 2n-skx 4t2c ndr
1752 -
1753   type: "table"
1754   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1755   algorithm: "table_performance_comparison"
1756   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1757   reference:
1758     title: "rls1807"
1759     data:
1760       csit-vpp-perf-verify-1807-2n-skx:
1761       - 26  # NDRPDR sel
1762       - 28  # NDRPDR sel
1763       - 29  # NDRPDR sel
1764       - 30  # NDRPDR sel
1765       - 34  # NDRPDR sel
1766       - 35  # NDRPDR sel
1767       - 36  # NDRPDR sel
1768       - 39  # NDRPDR sel
1769       - 40  # NDRPDR sel
1770       - 42  # NDRPDR sel
1771   compare:
1772     title: "rls1810"
1773     data:
1774       csit-vpp-perf-verify-1810-2n-skx:
1775       - 9   # NDRPDR sel
1776       - 13  # NDRPDR sel
1777       - 14  # NDRPDR sel
1778       - 19  # NDRPDR sel
1779       - 20  # NDRPDR sel
1780       - 21  # NDRPDR sel
1781       - 22  # NDRPDR sel
1782       - 23  # NDRPDR sel
1783       - 24  # NDRPDR sel
1784       - 27  # NDRPDR sel
1785   data: "vpp-performance-changes-2n-skx"
1786   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1787   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1788   parameters:
1789   - "name"
1790   - "parent"
1791   - "throughput"
1792
1793 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr
1794 -
1795   type: "table"
1796   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1797   algorithm: "table_performance_comparison"
1798   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1799   reference:
1800     title: "3-Node Hsw"
1801     data:
1802       csit-vpp-perf-verify-1810-3n-hsw:
1803       - 8   # NDRPDR sel
1804       - 12  # NDRPDR sel
1805       - 14  # NDRPDR sel
1806       - 18  # NDRPDR sel
1807       - 23  # NDRPDR sel
1808       - 25  # NDRPDR sel
1809       - 38  # NDRPDR sel
1810       - 39  # NDRPDR sel
1811       - 41  # NDRPDR sel
1812       - 42  # NDRPDR sel
1813   compare:
1814     title: "3-Node Skx"
1815     data:
1816       csit-vpp-perf-verify-1810-3n-skx:
1817       - 10  # NDRPDR sel
1818       - 14  # NDRPDR sel
1819       - 15  # NDRPDR sel
1820       - 16  # NDRPDR sel
1821       - 17  # NDRPDR sel
1822       - 19  # NDRPDR sel
1823       - 20  # NDRPDR sel
1824       - 21  # NDRPDR sel
1825       - 22  # NDRPDR sel
1826       - 25  # NDRPDR sel
1827   data: "vpp-compare-testbeds"
1828   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1829   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1830   parameters:
1831   - "name"
1832   - "parent"
1833   - "throughput"
1834
1835 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr
1836 -
1837   type: "table"
1838   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1839   algorithm: "table_performance_comparison"
1840   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1841   reference:
1842     title: "3-Node Hsw"
1843     data:
1844       csit-vpp-perf-verify-1810-3n-hsw:
1845       - 8   # NDRPDR sel
1846       - 12  # NDRPDR sel
1847       - 14  # NDRPDR sel
1848       - 18  # NDRPDR sel
1849       - 23  # NDRPDR sel
1850       - 25  # NDRPDR sel
1851       - 38  # NDRPDR sel
1852       - 39  # NDRPDR sel
1853       - 41  # NDRPDR sel
1854       - 42  # NDRPDR sel
1855   compare:
1856     title: "3-Node Skx"
1857     data:
1858       csit-vpp-perf-verify-1810-3n-skx:
1859       - 10  # NDRPDR sel
1860       - 14  # NDRPDR sel
1861       - 15  # NDRPDR sel
1862       - 16  # NDRPDR sel
1863       - 17  # NDRPDR sel
1864       - 19  # NDRPDR sel
1865       - 20  # NDRPDR sel
1866       - 21  # NDRPDR sel
1867       - 22  # NDRPDR sel
1868       - 25  # NDRPDR sel
1869   data: "vpp-compare-testbeds"
1870   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1871   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1872   parameters:
1873   - "name"
1874   - "parent"
1875   - "throughput"
1876
1877 # VPP Performance Changes 3n-hsw 1t1c MRR
1878 -
1879   type: "table"
1880   title: "VPP Performance Changes 3n-hsw 1t1c MRR"
1881   algorithm: "table_performance_comparison"
1882   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-mrr"
1883   history:
1884     -
1885       title: "rls1804"
1886       data:
1887         csit-vpp-perf-check-1804:
1888         - 6   # mrr - sel
1889         - 13  # mrr - sel
1890         - 14  # mrr - sel
1891         - 15  # mrr - sel
1892         - 16  # mrr - sel
1893         - 17  # mrr - sel
1894         - 19  # mrr - sel
1895         - 20  # mrr - sel
1896         - 21  # mrr - sel
1897         - 22  # mrr - sel
1898   reference:
1899     title: "rls1807"
1900     data:
1901       csit-vpp-perf-verify-1807-3n-hsw:
1902       - 8   # MRR full
1903       - 9   # MRR sel
1904       - 21  # MRR sel
1905       - 31  # MRR sel
1906       - 33  # MRR sel
1907       - 36  # MRR sel
1908       - 41  # MRR sel
1909       - 42  # MRR sel
1910       - 48  # MRR sel
1911   compare:
1912     title: "rls1810"
1913     data:
1914       csit-vpp-perf-verify-1810-3n-hsw:
1915       - 9   # MRR sel
1916   data: "vpp-performance-changes-3n-hsw-mrr"
1917   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1918   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1919   parameters:
1920   - "name"
1921   - "parent"
1922   - "result"
1923
1924 # VPP Performance Changes 3n-hsw 2t2c MRR
1925 -
1926   type: "table"
1927   title: "VPP Performance Changes 3n-hsw 2t2c MRR"
1928   algorithm: "table_performance_comparison"
1929   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-mrr"
1930   history:
1931     -
1932       title: "rls1804"
1933       data:
1934         csit-vpp-perf-check-1804:
1935         - 6   # mrr - sel
1936         - 13  # mrr - sel
1937         - 14  # mrr - sel
1938         - 15  # mrr - sel
1939         - 16  # mrr - sel
1940         - 17  # mrr - sel
1941         - 19  # mrr - sel
1942         - 20  # mrr - sel
1943         - 21  # mrr - sel
1944         - 22  # mrr - sel
1945   reference:
1946     title: "rls1807"
1947     data:
1948       csit-vpp-perf-verify-1807-3n-hsw:
1949       - 8   # MRR full
1950       - 9   # MRR sel
1951       - 21  # MRR sel
1952       - 31  # MRR sel
1953       - 33  # MRR sel
1954       - 36  # MRR sel
1955       - 41  # MRR sel
1956       - 42  # MRR sel
1957       - 48  # MRR sel
1958   compare:
1959     title: "rls1810"
1960     data:
1961       csit-vpp-perf-verify-1810-3n-hsw:
1962       - 9   # MRR sel
1963   data: "vpp-performance-changes-3n-hsw-mrr"
1964   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1965   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1966   parameters:
1967   - "name"
1968   - "parent"
1969   - "result"
1970
1971 # VPP Performance Changes 3n-hsw 4t4c MRR
1972 -
1973   type: "table"
1974   title: "VPP Performance Changes 3n-hsw 4t4c MRR"
1975   algorithm: "table_performance_comparison"
1976   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-mrr"
1977   history:
1978     -
1979       title: "rls1804"
1980       data:
1981         csit-vpp-perf-check-1804:
1982         - 6   # mrr - sel
1983         - 13  # mrr - sel
1984         - 14  # mrr - sel
1985         - 15  # mrr - sel
1986         - 16  # mrr - sel
1987         - 17  # mrr - sel
1988         - 19  # mrr - sel
1989         - 20  # mrr - sel
1990         - 21  # mrr - sel
1991         - 22  # mrr - sel
1992   reference:
1993     title: "rls1807"
1994     data:
1995       csit-vpp-perf-verify-1807-3n-hsw:
1996       - 8   # MRR full
1997       - 9   # MRR sel
1998       - 21  # MRR sel
1999       - 31  # MRR sel
2000       - 33  # MRR sel
2001       - 36  # MRR sel
2002       - 41  # MRR sel
2003       - 42  # MRR sel
2004       - 48  # MRR sel
2005   compare:
2006     title: "rls1810"
2007     data:
2008       csit-vpp-perf-verify-1810-3n-hsw:
2009       - 9   # MRR sel
2010   data: "vpp-performance-changes-3n-hsw-mrr"
2011   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2012   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2013   parameters:
2014   - "name"
2015   - "parent"
2016   - "result"
2017
2018 # VPP Performance Changes 3n-skx 2t1c MRR
2019 -
2020   type: "table"
2021   title: "VPP Performance Changes 3n-skx 2t1c MRR"
2022   algorithm: "table_performance_comparison"
2023   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2024   reference:
2025     title: "rls1807"
2026     data:
2027       csit-vpp-perf-verify-1807-3n-skx:
2028       - 28  # MRR sel
2029       - 32  # MRR sel
2030       - 36  # MRR sel
2031       - 42  # MRR sel
2032       - 47  # MRR sel
2033       - 48  # MRR sel
2034       - 51  # MRR sel
2035       - 52  # MRR sel
2036       - 53  # MRR sel
2037   compare:
2038     title: "rls1810"
2039     data:
2040       csit-vpp-perf-verify-1810-3n-skx:
2041       - 9   # MRR sel
2042       - 11  # MRR sel
2043       - 12  # MRR sel
2044       - 13  # MRR sel
2045   data: "vpp-performance-changes-3n-skx-mrr"
2046   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2047   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2048   parameters:
2049   - "name"
2050   - "parent"
2051   - "result"
2052
2053 # VPP Performance Changes 3n-skx 4t2c MRR
2054 -
2055   type: "table"
2056   title: "VPP Performance Changes 3n-skx 4t2c MRR"
2057   algorithm: "table_performance_comparison"
2058   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
2059   reference:
2060     title: "rls1807"
2061     data:
2062       csit-vpp-perf-verify-1807-3n-skx:
2063       - 28  # MRR sel
2064       - 32  # MRR sel
2065       - 36  # MRR sel
2066       - 42  # MRR sel
2067       - 47  # MRR sel
2068       - 48  # MRR sel
2069       - 51  # MRR sel
2070       - 52  # MRR sel
2071       - 53  # MRR sel
2072   compare:
2073     title: "rls1810"
2074     data:
2075       csit-vpp-perf-verify-1810-3n-skx:
2076       - 9   # MRR sel
2077       - 11  # MRR sel
2078       - 12  # MRR sel
2079       - 13  # MRR sel
2080   data: "vpp-performance-changes-3n-skx-mrr"
2081   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2082   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2083   parameters:
2084   - "name"
2085   - "parent"
2086   - "result"
2087
2088 # VPP Performance Changes 3n-skx 8t4c MRR
2089 -
2090   type: "table"
2091   title: "VPP Performance Changes 3n-skx 8t4c MRR"
2092   algorithm: "table_performance_comparison"
2093   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
2094   reference:
2095     title: "rls1807"
2096     data:
2097       csit-vpp-perf-verify-1807-3n-skx:
2098       - 28  # MRR sel
2099       - 32  # MRR sel
2100       - 36  # MRR sel
2101       - 42  # MRR sel
2102       - 47  # MRR sel
2103       - 48  # MRR sel
2104       - 51  # MRR sel
2105       - 52  # MRR sel
2106       - 53  # MRR sel
2107   compare:
2108     title: "rls1810"
2109     data:
2110       csit-vpp-perf-verify-1810-3n-skx:
2111       - 9   # MRR sel
2112       - 11  # MRR sel
2113       - 12  # MRR sel
2114       - 13  # MRR sel
2115   data: "vpp-performance-changes-3n-skx-mrr"
2116   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2117   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2118   parameters:
2119   - "name"
2120   - "parent"
2121   - "result"
2122
2123 # VPP Performance Changes 2n-skx 2t1c MRR
2124 -
2125   type: "table"
2126   title: "VPP Performance Changes 2n-skx 2t1c MRR"
2127   algorithm: "table_performance_comparison"
2128   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
2129   reference:
2130     title: "rls1807"
2131     data:
2132       csit-vpp-perf-verify-1807-2n-skx:
2133       - 31  # MRR sel
2134       - 33  # MRR sel
2135       - 37  # MRR sel
2136       - 38  # MRR sel
2137       - 41  # MRR sel
2138       - 43  # MRR sel
2139       - 44  # MRR sel
2140       - 45  # MRR sel
2141       - 46  # MRR sel
2142       - 47  # MRR sel
2143   compare:
2144     title: "rls1810"
2145     data:
2146       csit-vpp-perf-verify-1810-2n-skx:
2147       - 8   # MRR sel
2148       - 10  # MRR sel
2149       - 11  # MRR sel
2150       - 12  # MRR sel
2151   data: "vpp-performance-changes-2n-skx-mrr"
2152   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2153   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2154   parameters:
2155   - "name"
2156   - "parent"
2157   - "result"
2158
2159 # VPP Performance Changes 2n-skx 4t2c MRR
2160 -
2161   type: "table"
2162   title: "VPP Performance Changes 2n-skx 4t2c MRR"
2163   algorithm: "table_performance_comparison"
2164   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
2165   reference:
2166     title: "rls1807"
2167     data:
2168       csit-vpp-perf-verify-1807-2n-skx:
2169       - 31  # MRR sel
2170       - 33  # MRR sel
2171       - 37  # MRR sel
2172       - 38  # MRR sel
2173       - 41  # MRR sel
2174       - 43  # MRR sel
2175       - 44  # MRR sel
2176       - 45  # MRR sel
2177       - 46  # MRR sel
2178       - 47  # MRR sel
2179   compare:
2180     title: "rls1810"
2181     data:
2182       csit-vpp-perf-verify-1810-2n-skx:
2183       - 8   # MRR sel
2184       - 10  # MRR sel
2185       - 11  # MRR sel
2186       - 12  # MRR sel
2187   data: "vpp-performance-changes-2n-skx-mrr"
2188   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2189   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2190   parameters:
2191   - "name"
2192   - "parent"
2193   - "result"
2194
2195 # VPP Performance Changes 2n-skx 8t4c MRR
2196 -
2197   type: "table"
2198   title: "VPP Performance Changes 2n-skx 8t4c MRR"
2199   algorithm: "table_performance_comparison"
2200   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
2201   reference:
2202     title: "rls1807"
2203     data:
2204       csit-vpp-perf-verify-1807-2n-skx:
2205       - 31  # MRR sel
2206       - 33  # MRR sel
2207       - 37  # MRR sel
2208       - 38  # MRR sel
2209       - 41  # MRR sel
2210       - 43  # MRR sel
2211       - 44  # MRR sel
2212       - 45  # MRR sel
2213       - 46  # MRR sel
2214       - 47  # MRR sel
2215   compare:
2216     title: "rls1810"
2217     data:
2218       csit-vpp-perf-verify-1810-2n-skx:
2219       - 8   # MRR sel
2220       - 10  # MRR sel
2221       - 11  # MRR sel
2222       - 12  # MRR sel
2223   data: "vpp-performance-changes-2n-skx-mrr"
2224   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2225   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2226   parameters:
2227   - "name"
2228   - "parent"
2229   - "result"
2230
2231 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr
2232 -
2233   type: "table"
2234   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
2235   algorithm: "table_performance_comparison"
2236   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
2237   reference:
2238     title: "3-Node Hsw"
2239     data:
2240       csit-vpp-perf-verify-1810-3n-hsw:
2241       - 9   # MRR sel
2242   compare:
2243     title: "3-Node Skx"
2244     data:
2245       csit-vpp-perf-verify-1810-3n-skx:
2246       - 9   # MRR sel
2247       - 11  # MRR sel
2248       - 12  # MRR sel
2249       - 13  # MRR sel
2250   data: "vpp-compare-testbeds-mrr"
2251   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2252   filter: "'NIC_Intel-X710' and 'MRR'"
2253   parameters:
2254   - "name"
2255   - "parent"
2256   - "result"
2257
2258 # Detailed Test Results - VPP Performance Results 3n-hsw
2259 -
2260   type: "table"
2261   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
2262   algorithm: "table_merged_details"
2263   output-file-ext: ".csv"
2264   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
2265   columns:
2266   -
2267     title: "Name"
2268     data: "data name"
2269   -
2270     title: "Status"
2271     data: "data msg"
2272   rows: "generated"
2273   data: "vpp-perf-results-3n-hsw"
2274   filter: "not 'NDRCHK' and not 'PDRCHK'"
2275   parameters:
2276   - "name"
2277   - "parent"
2278   - "msg"
2279
2280 # Detailed Test Results - VPP Performance Results 3n-skx
2281 -
2282   type: "table"
2283   title: "Detailed Test Results - VPP Performance Results 3n-skx"
2284   algorithm: "table_merged_details"
2285   output-file-ext: ".csv"
2286   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
2287   columns:
2288   -
2289     title: "Name"
2290     data: "data name"
2291   -
2292     title: "Status"
2293     data: "data msg"
2294   rows: "generated"
2295   data: "vpp-perf-results-3n-skx"
2296   filter: "not 'NDRCHK' and not 'PDRCHK'"
2297   parameters:
2298   - "name"
2299   - "parent"
2300   - "msg"
2301
2302 # Detailed Test Results - VPP Performance Results 2n-skx
2303 -
2304   type: "table"
2305   title: "Detailed Test Results - VPP Performance Results 2n-skx"
2306   algorithm: "table_merged_details"
2307   output-file-ext: ".csv"
2308   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
2309   columns:
2310   -
2311     title: "Name"
2312     data: "data name"
2313   -
2314     title: "Status"
2315     data: "data msg"
2316   rows: "generated"
2317   data: "vpp-perf-results-2n-skx"
2318   filter: "not 'NDRCHK' and not 'PDRCHK'"
2319   parameters:
2320   - "name"
2321   - "parent"
2322   - "msg"
2323
2324 # Test configuration - VPP Performance Test Configs 3n-hsw
2325 -
2326   type: "table"
2327   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
2328   algorithm: "table_merged_details"
2329   output-file-ext: ".csv"
2330   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
2331   columns:
2332   -
2333     title: "Name"
2334     data: "data name"
2335   -
2336     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2337     data: "data vat-history"
2338   rows: "generated"
2339   data: "vpp-perf-results-3n-hsw"
2340   filter: "not 'NDRCHK' and not 'PDRCHK'"
2341   parameters:
2342   - "parent"
2343   - "name"
2344   - "vat-history"
2345
2346 # Test configuration - VPP Performance Test Configs 3n-skx
2347 -
2348   type: "table"
2349   title: "Test configuration - VPP Performance Test Configs 3n-skx"
2350   algorithm: "table_merged_details"
2351   output-file-ext: ".csv"
2352   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
2353   columns:
2354   -
2355     title: "Name"
2356     data: "data name"
2357   -
2358     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2359     data: "data vat-history"
2360   rows: "generated"
2361   data: "vpp-perf-results-3n-skx"
2362   filter: "not 'NDRCHK' and not 'PDRCHK'"
2363   parameters:
2364   - "parent"
2365   - "name"
2366   - "vat-history"
2367
2368 # Test configuration - VPP Performance Test Configs 2n-skx
2369 -
2370   type: "table"
2371   title: "Test configuration - VPP Performance Test Configs 2n-skx"
2372   algorithm: "table_merged_details"
2373   output-file-ext: ".csv"
2374   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
2375   columns:
2376   -
2377     title: "Name"
2378     data: "data name"
2379   -
2380     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2381     data: "data vat-history"
2382   rows: "generated"
2383   data: "vpp-perf-results-2n-skx"
2384   filter: "not 'NDRCHK' and not 'PDRCHK'"
2385   parameters:
2386   - "parent"
2387   - "name"
2388   - "vat-history"
2389
2390 # Test Operational Data - VPP Performance Operational Data 3n-hsw
2391 -
2392   type: "table"
2393   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
2394   algorithm: "table_merged_details"
2395   output-file-ext: ".csv"
2396   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
2397   columns:
2398   -
2399     title: "Name"
2400     data: "data name"
2401   -
2402     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2403     data: "data show-run"
2404   rows: "generated"
2405   data: "vpp-perf-results-3n-hsw"
2406   filter: "not 'NDRCHK' and not 'PDRCHK'"
2407   parameters:
2408   - "parent"
2409   - "name"
2410   - "show-run"
2411
2412 # Test Operational Data - VPP Performance Operational Data 3n-skx
2413 -
2414   type: "table"
2415   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
2416   algorithm: "table_merged_details"
2417   output-file-ext: ".csv"
2418   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
2419   columns:
2420   -
2421     title: "Name"
2422     data: "data name"
2423   -
2424     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2425     data: "data show-run"
2426   rows: "generated"
2427   data: "vpp-perf-results-3n-skx"
2428   filter: "not 'NDRCHK' and not 'PDRCHK'"
2429   parameters:
2430   - "parent"
2431   - "name"
2432   - "show-run"
2433
2434 # Test Operational Data - VPP Performance Operational Data 2n-skx
2435 -
2436   type: "table"
2437   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
2438   algorithm: "table_merged_details"
2439   output-file-ext: ".csv"
2440   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
2441   columns:
2442   -
2443     title: "Name"
2444     data: "data name"
2445   -
2446     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2447     data: "data show-run"
2448   rows: "generated"
2449   data: "vpp-perf-results-2n-skx"
2450   filter: "not 'NDRCHK' and not 'PDRCHK'"
2451   parameters:
2452   - "parent"
2453   - "name"
2454   - "show-run"
2455
2456 # Detailed Test Results - VPP MRR Results 3n-hsw
2457 -
2458   type: "table"
2459   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
2460   algorithm: "table_details"
2461   output-file-ext: ".csv"
2462   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
2463   columns:
2464   -
2465     title: "Name"
2466     data: "data name"
2467   -
2468     title: "Status"
2469     data: "data msg"
2470   rows: "generated"
2471   data: "vpp-mrr-results-3n-hsw"
2472   filter: "'MRR'"
2473   parameters:
2474   - "name"
2475   - "parent"
2476   - "msg"
2477
2478 # Detailed Test Results - VPP MRR Results 3n-skx
2479 -
2480   type: "table"
2481   title: "Detailed Test Results - VPP MRR Results 3n-skx"
2482   algorithm: "table_details"
2483   output-file-ext: ".csv"
2484   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
2485   columns:
2486   -
2487     title: "Name"
2488     data: "data name"
2489   -
2490     title: "Status"
2491     data: "data msg"
2492   rows: "generated"
2493   data: "vpp-mrr-results-3n-skx"
2494   filter: "'MRR'"
2495   parameters:
2496   - "name"
2497   - "parent"
2498   - "msg"
2499
2500 # Detailed Test Results - VPP MRR Results 2n-skx
2501 -
2502   type: "table"
2503   title: "Detailed Test Results - VPP MRR Results 2n-skx"
2504   algorithm: "table_details"
2505   output-file-ext: ".csv"
2506   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
2507   columns:
2508   -
2509     title: "Name"
2510     data: "data name"
2511   -
2512     title: "Status"
2513     data: "data msg"
2514   rows: "generated"
2515   data: "vpp-mrr-results-2n-skx"
2516   filter: "'MRR'"
2517   parameters:
2518   - "name"
2519   - "parent"
2520   - "msg"
2521
2522 # Test configuration - VPP MRR Test Configs 3n-hsw
2523 -
2524   type: "table"
2525   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
2526   algorithm: "table_details"
2527   output-file-ext: ".csv"
2528   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
2529   columns:
2530   -
2531     title: "Name"
2532     data: "data name"
2533   -
2534     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2535     data: "data vat-history"
2536   rows: "generated"
2537   data: "vpp-mrr-results-3n-hsw"
2538   filter: "'MRR'"
2539   parameters:
2540   - "parent"
2541   - "name"
2542   - "vat-history"
2543
2544 # Test configuration - VPP MRR Test Configs 3n-skx
2545 -
2546   type: "table"
2547   title: "Test configuration - VPP MRR Test Configs 3n-skx"
2548   algorithm: "table_details"
2549   output-file-ext: ".csv"
2550   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
2551   columns:
2552   -
2553     title: "Name"
2554     data: "data name"
2555   -
2556     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2557     data: "data vat-history"
2558   rows: "generated"
2559   data: "vpp-mrr-results-3n-skx"
2560   filter: "'MRR'"
2561   parameters:
2562   - "parent"
2563   - "name"
2564   - "vat-history"
2565
2566 # Test configuration - VPP MRR Test Configs 2n-skx
2567 -
2568   type: "table"
2569   title: "Test configuration - VPP MRR Test Configs 2n-skx"
2570   algorithm: "table_details"
2571   output-file-ext: ".csv"
2572   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
2573   columns:
2574   -
2575     title: "Name"
2576     data: "data name"
2577   -
2578     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2579     data: "data vat-history"
2580   rows: "generated"
2581   data: "vpp-mrr-results-2n-skx"
2582   filter: "'MRR'"
2583   parameters:
2584   - "parent"
2585   - "name"
2586   - "vat-history"
2587
2588 # Detailed Test Results - VPP Functional Results - Ubuntu
2589 -
2590   type: "table"
2591   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
2592   algorithm: "table_details"
2593   output-file-ext: ".csv"
2594   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
2595   columns:
2596   -
2597     title: "Name"
2598     data: "data name"
2599   -
2600     title: "Documentation"
2601     data: "data doc"
2602   -
2603     title: "Status"
2604     data: "data status"
2605   rows: "generated"
2606   data: "vpp-func-results-ubuntu"
2607   filter: "all"
2608   parameters:
2609   - "name"
2610   - "parent"
2611   - "doc"
2612   - "status"
2613
2614 # Detailed Test Results - VPP Functional Results - CentOS
2615 -
2616   type: "table"
2617   title: "Detailed Test Results - VPP Functional Results - CentOS"
2618   algorithm: "table_details"
2619   output-file-ext: ".csv"
2620   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
2621   columns:
2622   -
2623     title: "Name"
2624     data: "data name"
2625   -
2626     title: "Documentation"
2627     data: "data doc"
2628   -
2629     title: "Status"
2630     data: "data status"
2631   rows: "generated"
2632   data:
2633     "vpp-func-results-centos"
2634   filter: "all"
2635   parameters:
2636   - "name"
2637   - "parent"
2638   - "doc"
2639   - "status"
2640
2641 # Test configuration - VPP Functional Test Configs - Ubuntu
2642 -
2643   type: "table"
2644   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
2645   algorithm: "table_details"
2646   output-file-ext: ".csv"
2647   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
2648   columns:
2649   -
2650     title: "Name"
2651     data: "data name"
2652   -
2653     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2654     data: "data vat-history"
2655   rows: "generated"
2656   data: "vpp-func-results-ubuntu"
2657   filter: "all"
2658   parameters:
2659   - "parent"
2660   - "name"
2661   - "vat-history"
2662
2663 # Test configuration - VPP Functional Test Configs - CentOS
2664 -
2665   type: "table"
2666   title: "Test configuration - VPP Functional Test Configs - CentOS"
2667   algorithm: "table_details"
2668   output-file-ext: ".csv"
2669   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2670   columns:
2671   -
2672     title: "Name"
2673     data: "data name"
2674   -
2675     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2676     data: "data vat-history"
2677   rows: "generated"
2678   data: "vpp-func-results-centos"
2679   filter: "all"
2680   parameters:
2681   - "parent"
2682   - "name"
2683   - "vat-history"
2684
2685 # Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw
2686 -
2687   type: "table"
2688   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
2689   algorithm: "table_details"
2690   output-file-ext: ".csv"
2691   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2692   columns:
2693   -
2694     title: "Name"
2695     data: "data name"
2696   -
2697     title: "Status"
2698     data: "data msg"
2699   rows: "generated"
2700   data: "ligato-perf-results-3n-hsw"
2701   filter: "all"
2702   parameters:
2703   - "name"
2704   - "parent"
2705   - "msg"
2706
2707 # Detailed Test Results - VPP Device Results - Ubuntu
2708 -
2709   type: "table"
2710   title: "Detailed Test Results - VPP Device Results - Ubuntu"
2711   algorithm: "table_details"
2712   output-file-ext: ".csv"
2713   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
2714   columns:
2715   -
2716     title: "Name"
2717     data: "data name"
2718   -
2719     title: "Documentation"
2720     data: "data doc"
2721   -
2722     title: "Status"
2723     data: "data status"
2724   rows: "generated"
2725   data: "vpp-device-results-ubuntu"
2726   filter: "all"
2727   parameters:
2728   - "name"
2729   - "parent"
2730   - "doc"
2731   - "status"
2732
2733 # Test configuration - VPP Device Test Configs - Ubuntu
2734 -
2735   type: "table"
2736   title: "Test configuration - VPP Device Test Configs - Ubuntu"
2737   algorithm: "table_details"
2738   output-file-ext: ".csv"
2739   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
2740   columns:
2741   -
2742     title: "Name"
2743     data: "data name"
2744   -
2745     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2746     data: "data vat-history"
2747   rows: "generated"
2748   data: "vpp-device-results-ubuntu"
2749   filter: "all"
2750   parameters:
2751   - "parent"
2752   - "name"
2753   - "vat-history"
2754
2755 ################################################################################
2756
2757 # DPDK Performance Changes 3n-hsw 1t1c pdr
2758 -
2759   type: "table"
2760   title: "DPDK Performance Changes 3n-hsw 1t1c pdr"
2761   algorithm: "table_performance_comparison"
2762   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-pdr"
2763   history:
2764     -
2765       title: "rls1804"
2766       data:
2767         csit-dpdk-perf-1804-all:
2768         - 4
2769         - 5
2770         - 6
2771         - 7
2772         - 8
2773         - 9
2774         - 10
2775         - 11
2776         - 12
2777         - 13
2778   reference:
2779     title: "rls1807"
2780     data:
2781       csit-dpdk-perf-verify-1807-3n-hsw:
2782       - 11
2783       - 12  # full
2784       - 14
2785       - 15
2786       - 16
2787       - 17
2788       - 20
2789       - 21
2790       - 22
2791       - 23
2792   compare:
2793     title: "rls1810"
2794     data:
2795       csit-dpdk-perf-verify-1810-3n-hsw:
2796       - 1   # NDRPDR sel
2797       - 2   # NDRPDR sel
2798       - 3   # NDRPDR sel
2799       - 4   # NDRPDR sel
2800       - 5   # NDRPDR sel
2801       - 6   # NDRPDR sel
2802       - 7   # NDRPDR sel
2803       - 8   # NDRPDR sel
2804       - 9   # NDRPDR sel
2805       - 10  # NDRPDR sel
2806   data: "dpdk-performance-changes-3n-hsw"
2807   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2808   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2809   parameters:
2810   - "name"
2811   - "parent"
2812   - "throughput"
2813
2814 # DPDK Performance Changes 3n-hsw 2t2c pdr
2815 -
2816   type: "table"
2817   title: "DPDK Performance Changes 3n-hsw 2t2c pdr"
2818   algorithm: "table_performance_comparison"
2819   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-2t2c-pdr"
2820   history:
2821     -
2822       title: "rls1804"
2823       data:
2824         csit-dpdk-perf-1804-all:
2825         - 4
2826         - 5
2827         - 6
2828         - 7
2829         - 8
2830         - 9
2831         - 10
2832         - 11
2833         - 12
2834         - 13
2835   reference:
2836     title: "rls1807"
2837     data:
2838       csit-dpdk-perf-verify-1807-3n-hsw:
2839       - 11
2840       - 12  # full
2841       - 14
2842       - 15
2843       - 16
2844       - 17
2845       - 20
2846       - 21
2847       - 22
2848       - 23
2849   compare:
2850     title: "rls1810"
2851     data:
2852       csit-dpdk-perf-verify-1810-3n-hsw:
2853       - 1   # NDRPDR sel
2854       - 2   # NDRPDR sel
2855       - 3   # NDRPDR sel
2856       - 4   # NDRPDR sel
2857       - 5   # NDRPDR sel
2858       - 6   # NDRPDR sel
2859       - 7   # NDRPDR sel
2860       - 8   # NDRPDR sel
2861       - 9   # NDRPDR sel
2862       - 10  # NDRPDR sel
2863   data: "dpdk-performance-changes-3n-hsw"
2864   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2865   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2866   parameters:
2867   - "name"
2868   - "parent"
2869   - "throughput"
2870
2871 # DPDK Performance Changes 3n-hsw 1t1c ndr
2872 -
2873   type: "table"
2874   title: "DPDK Performance Changes 3n-hsw 1t1c ndr"
2875   algorithm: "table_performance_comparison"
2876   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-ndr"
2877   history:
2878     -
2879       title: "rls1804"
2880       data:
2881         csit-dpdk-perf-1804-all:
2882         - 4
2883         - 5
2884         - 6
2885         - 7
2886         - 8
2887         - 9
2888         - 10
2889         - 11
2890         - 12
2891         - 13
2892   reference:
2893     title: "rls1807"
2894     data:
2895       csit-dpdk-perf-verify-1807-3n-hsw:
2896       - 11
2897       - 12  # full
2898       - 14
2899       - 15
2900       - 16
2901       - 17
2902       - 20
2903       - 21
2904       - 22
2905       - 23
2906   compare:
2907     title: "rls1810"
2908     data:
2909       csit-dpdk-perf-verify-1810-3n-hsw:
2910       - 1   # NDRPDR sel
2911       - 2   # NDRPDR sel
2912       - 3   # NDRPDR sel
2913       - 4   # NDRPDR sel
2914       - 5   # NDRPDR sel
2915       - 6   # NDRPDR sel
2916       - 7   # NDRPDR sel
2917       - 8   # NDRPDR sel
2918       - 9   # NDRPDR sel
2919       - 10  # NDRPDR sel
2920   data: "dpdk-performance-changes-3n-hsw"
2921   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2922   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2923   parameters:
2924   - "name"
2925   - "parent"
2926   - "throughput"
2927
2928 # DPDK Performance Changes 3n-hsw 2t2c ndr
2929 -
2930   type: "table"
2931   title: "DPDK Performance Changes 3n-hsw 2t2c ndr"
2932   algorithm: "table_performance_comparison"
2933   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-2t2c-ndr"
2934   history:
2935     -
2936       title: "rls1804"
2937       data:
2938         csit-dpdk-perf-1804-all:
2939         - 4
2940         - 5
2941         - 6
2942         - 7
2943         - 8
2944         - 9
2945         - 10
2946         - 11
2947         - 12
2948         - 13
2949   reference:
2950     title: "rls1807"
2951     data:
2952       csit-dpdk-perf-verify-1807-3n-hsw:
2953       - 11
2954       - 12  # full
2955       - 14
2956       - 15
2957       - 16
2958       - 17
2959       - 20
2960       - 21
2961       - 22
2962       - 23
2963   compare:
2964     title: "rls1810"
2965     data:
2966       csit-dpdk-perf-verify-1810-3n-hsw:
2967       - 1   # NDRPDR sel
2968       - 2   # NDRPDR sel
2969       - 3   # NDRPDR sel
2970       - 4   # NDRPDR sel
2971       - 5   # NDRPDR sel
2972       - 6   # NDRPDR sel
2973       - 7   # NDRPDR sel
2974       - 8   # NDRPDR sel
2975       - 9   # NDRPDR sel
2976       - 10  # NDRPDR sel
2977   data: "dpdk-performance-changes-3n-hsw"
2978   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2979   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2980   parameters:
2981   - "name"
2982   - "parent"
2983   - "throughput"
2984
2985 # DPDK Performance Changes 3n-skx 2t1c pdr
2986 -
2987   type: "table"
2988   title: "DPDK Performance Changes 3n-skx 2t1c pdr"
2989   algorithm: "table_performance_comparison"
2990   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-2t1c-pdr"
2991   reference:
2992     title: "rls1807"
2993     data:
2994       csit-dpdk-perf-verify-1807-3n-skx:
2995       - 1   # NDRPDR sel
2996       - 2   # NDRPDR sel
2997       - 3   # NDRPDR sel
2998       - 6   # NDRPDR sel
2999       - 7   # NDRPDR sel
3000       - 8   # NDRPDR sel
3001       - 9   # NDRPDR sel
3002       - 10  # NDRPDR sel
3003       - 11  # NDRPDR sel
3004       - 12  # NDRPDR sel
3005   compare:
3006     title: "rls1810"
3007     data:
3008       csit-dpdk-perf-verify-1810-3n-skx:
3009       - 3   # NDRPDR sel
3010       - 4   # NDRPDR sel
3011       - 6   # NDRPDR sel
3012       - 7   # NDRPDR sel
3013       - 8   # NDRPDR sel
3014       - 9   # NDRPDR sel
3015       - 10  # NDRPDR sel
3016       - 11  # NDRPDR sel
3017       - 12  # NDRPDR sel
3018       - 13  # NDRPDR sel
3019   data: "dpdk-performance-changes-3n-skx"
3020   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3021   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3022   parameters:
3023   - "name"
3024   - "parent"
3025   - "throughput"
3026
3027 # DPDK Performance Changes 3n-skx 4t2c pdr
3028 -
3029   type: "table"
3030   title: "DPDK Performance Changes 3n-skx 4t2c pdr"
3031   algorithm: "table_performance_comparison"
3032   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-4t2c-pdr"
3033   reference:
3034     title: "rls1807"
3035     data:
3036       csit-dpdk-perf-verify-1807-3n-skx:
3037       - 1   # NDRPDR sel
3038       - 2   # NDRPDR sel
3039       - 3   # NDRPDR sel
3040       - 6   # NDRPDR sel
3041       - 7   # NDRPDR sel
3042       - 8   # NDRPDR sel
3043       - 9   # NDRPDR sel
3044       - 10  # NDRPDR sel
3045       - 11  # NDRPDR sel
3046       - 12  # NDRPDR sel
3047   compare:
3048     title: "rls1810"
3049     data:
3050       csit-dpdk-perf-verify-1810-3n-skx:
3051       - 3   # NDRPDR sel
3052       - 4   # NDRPDR sel
3053       - 6   # NDRPDR sel
3054       - 7   # NDRPDR sel
3055       - 8   # NDRPDR sel
3056       - 9   # NDRPDR sel
3057       - 10  # NDRPDR sel
3058       - 11  # NDRPDR sel
3059       - 12  # NDRPDR sel
3060       - 13  # NDRPDR sel
3061   data: "dpdk-performance-changes-3n-skx"
3062   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3063   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3064   parameters:
3065   - "name"
3066   - "parent"
3067   - "throughput"
3068
3069 # DPDK Performance Changes 3n-skx 2t1c ndr
3070 -
3071   type: "table"
3072   title: "DPDK Performance Changes 3n-skx 2t1c ndr"
3073   algorithm: "table_performance_comparison"
3074   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-2t1c-ndr"
3075   reference:
3076     title: "rls1807"
3077     data:
3078       csit-dpdk-perf-verify-1807-3n-skx:
3079       - 1   # NDRPDR sel
3080       - 2   # NDRPDR sel
3081       - 3   # NDRPDR sel
3082       - 6   # NDRPDR sel
3083       - 7   # NDRPDR sel
3084       - 8   # NDRPDR sel
3085       - 9   # NDRPDR sel
3086       - 10  # NDRPDR sel
3087       - 11  # NDRPDR sel
3088       - 12  # NDRPDR sel
3089   compare:
3090     title: "rls1810"
3091     data:
3092       csit-dpdk-perf-verify-1810-3n-skx:
3093       - 3   # NDRPDR sel
3094       - 4   # NDRPDR sel
3095       - 6   # NDRPDR sel
3096       - 7   # NDRPDR sel
3097       - 8   # NDRPDR sel
3098       - 9   # NDRPDR sel
3099       - 10  # NDRPDR sel
3100       - 11  # NDRPDR sel
3101       - 12  # NDRPDR sel
3102       - 13  # NDRPDR sel
3103   data: "dpdk-performance-changes-3n-skx"
3104   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3105   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3106   parameters:
3107   - "name"
3108   - "parent"
3109   - "throughput"
3110
3111 # DPDK Performance Changes 3n-skx 4t2c ndr
3112 -
3113   type: "table"
3114   title: "DPDK Performance Changes 3n-skx 4t2c ndr"
3115   algorithm: "table_performance_comparison"
3116   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-4t2c-ndr"
3117   reference:
3118     title: "rls1807"
3119     data:
3120       csit-dpdk-perf-verify-1807-3n-skx:
3121       - 1   # NDRPDR sel
3122       - 2   # NDRPDR sel
3123       - 3   # NDRPDR sel
3124       - 6   # NDRPDR sel
3125       - 7   # NDRPDR sel
3126       - 8   # NDRPDR sel
3127       - 9   # NDRPDR sel
3128       - 10  # NDRPDR sel
3129       - 11  # NDRPDR sel
3130       - 12  # NDRPDR sel
3131   compare:
3132     title: "rls1810"
3133     data:
3134       csit-dpdk-perf-verify-1810-3n-skx:
3135       - 3   # NDRPDR sel
3136       - 4   # NDRPDR sel
3137       - 6   # NDRPDR sel
3138       - 7   # NDRPDR sel
3139       - 8   # NDRPDR sel
3140       - 9   # NDRPDR sel
3141       - 10  # NDRPDR sel
3142       - 11  # NDRPDR sel
3143       - 12  # NDRPDR sel
3144       - 13  # NDRPDR sel
3145   data: "dpdk-performance-changes-3n-skx"
3146   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3147   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3148   parameters:
3149   - "name"
3150   - "parent"
3151   - "throughput"
3152
3153 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr
3154 -
3155   type: "table"
3156   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
3157   algorithm: "table_performance_comparison"
3158   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
3159   reference:
3160     title: "3-Node Hsw"
3161     data:
3162       csit-dpdk-perf-verify-1810-3n-hsw:
3163       - 1   # NDRPDR sel
3164       - 2   # NDRPDR sel
3165       - 3   # NDRPDR sel
3166       - 4   # NDRPDR sel
3167       - 5   # NDRPDR sel
3168       - 6   # NDRPDR sel
3169       - 7   # NDRPDR sel
3170       - 8   # NDRPDR sel
3171       - 9   # NDRPDR sel
3172       - 10  # NDRPDR sel
3173   compare:
3174     title: "3-Node Skx"
3175     data:
3176       csit-dpdk-perf-verify-1810-3n-skx:
3177       - 3   # NDRPDR sel
3178       - 4   # NDRPDR sel
3179       - 6   # NDRPDR sel
3180       - 7   # NDRPDR sel
3181       - 8   # NDRPDR sel
3182       - 9   # NDRPDR sel
3183       - 10  # NDRPDR sel
3184       - 11  # NDRPDR sel
3185       - 12  # NDRPDR sel
3186       - 13  # NDRPDR sel
3187   data: "dpdk-compare-testbeds"
3188   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3189   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3190   parameters:
3191   - "name"
3192   - "parent"
3193   - "throughput"
3194
3195 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr
3196 -
3197   type: "table"
3198   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
3199   algorithm: "table_performance_comparison"
3200   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
3201   reference:
3202     title: "3-Node Hsw"
3203     data:
3204       csit-dpdk-perf-verify-1810-3n-hsw:
3205       - 1   # NDRPDR sel
3206       - 2   # NDRPDR sel
3207       - 3   # NDRPDR sel
3208       - 4   # NDRPDR sel
3209       - 5   # NDRPDR sel
3210       - 6   # NDRPDR sel
3211       - 7   # NDRPDR sel
3212       - 8   # NDRPDR sel
3213       - 9   # NDRPDR sel
3214       - 10  # NDRPDR sel
3215   compare:
3216     title: "3-Node Skx"
3217     data:
3218       csit-dpdk-perf-verify-1810-3n-skx:
3219       - 3   # NDRPDR sel
3220       - 4   # NDRPDR sel
3221       - 6   # NDRPDR sel
3222       - 7   # NDRPDR sel
3223       - 8   # NDRPDR sel
3224       - 9   # NDRPDR sel
3225       - 10  # NDRPDR sel
3226       - 11  # NDRPDR sel
3227       - 12  # NDRPDR sel
3228       - 13  # NDRPDR sel
3229   data: "dpdk-compare-testbeds"
3230   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3231   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3232   parameters:
3233   - "name"
3234   - "parent"
3235   - "throughput"
3236
3237 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr
3238 # NOTE: Not used in 18.10
3239 #-
3240 #  type: "table"
3241 #  title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
3242 #  algorithm: "table_performance_comparison"
3243 #  output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
3244 #  reference:
3245 #    title: "3-Node Hsw"
3246 #    data:
3247 #      csit-dpdk-perf-verify-1807-3n-hsw:
3248 #      - 11
3249 #      - 12  # full
3250 #      - 14
3251 #      - 15
3252 #      - 16
3253 #      - 17
3254 #      - 20
3255 #      - 21
3256 #      - 22
3257 #      - 23
3258 #  compare:
3259 #    title: "3-Node Skx"
3260 #    data:
3261 #      csit-dpdk-perf-verify-1807-3n-skx:
3262 #      - 1
3263 #      - 2
3264 #      - 3
3265 #      - 6
3266 #      - 7
3267 #      - 8
3268 #      - 9
3269 #      - 10
3270 #      - 11
3271 #      - 12
3272 #  data: "dpdk-compare-testbeds"
3273 #  include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3274 #  filter: "'NIC_Intel-X710' and MRR" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3275 #  parameters:
3276 #  - "name"
3277 #  - "parent"
3278 #  - "result"
3279
3280 # Detailed Test Results - DPDK Performance Results 3n-hsw
3281 -
3282   type: "table"
3283   title: "Detailed Test Results - DPDK Performance Results 3n-hsw"
3284   algorithm: "table_details"
3285   output-file-ext: ".csv"
3286   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
3287   columns:
3288   -
3289     title: "Name"
3290     data: "data name"
3291   -
3292     title: "Status"
3293     data: "data msg"
3294   rows: "generated"
3295   data: "dpdk-perf-results-3n-hsw"
3296   filter: "all"
3297   parameters:
3298   - "name"
3299   - "parent"
3300   - "msg"
3301
3302 # Detailed Test Results - DPDK Performance Results 3n-skx
3303 -
3304   type: "table"
3305   title: "Detailed Test Results - DPDK Performance Results 3n-skx"
3306   algorithm: "table_details"
3307   output-file-ext: ".csv"
3308   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
3309   columns:
3310   -
3311     title: "Name"
3312     data: "data name"
3313   -
3314     title: "Status"
3315     data: "data msg"
3316   rows: "generated"
3317   data: "dpdk-perf-results-3n-skx"
3318   filter: "all"
3319   parameters:
3320   - "name"
3321   - "parent"
3322   - "msg"
3323
3324 # Detailed Test Results - DPDK Performance Results 2n-skx
3325 -
3326   type: "table"
3327   title: "Detailed Test Results - DPDK Performance Results 2n-skx"
3328   algorithm: "table_details"
3329   output-file-ext: ".csv"
3330   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
3331   columns:
3332   -
3333     title: "Name"
3334     data: "data name"
3335   -
3336     title: "Status"
3337     data: "data msg"
3338   rows: "generated"
3339   data: "dpdk-perf-results-2n-skx"
3340   filter: "all"
3341   parameters:
3342   - "name"
3343   - "parent"
3344   - "msg"
3345
3346 ################################################################################
3347 # HoneyComb
3348 -
3349   type: "table"
3350   title: "Detailed Test Results - Honeycomb Functional Results"
3351   algorithm: "table_details"
3352   output-file-ext: ".csv"
3353   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
3354   columns:
3355   -
3356     title: "Name"
3357     data: "data name"
3358   -
3359     title: "Documentation"
3360     data: "data doc"
3361   -
3362     title: "Status"
3363     data: "data status"
3364   rows: "generated"
3365   data:
3366     "hc-func-results"
3367   filter: "all"
3368   parameters:
3369   - "name"
3370   - "parent"
3371   - "doc"
3372   - "status"
3373
3374 ################################################################################
3375 # NSH SFC
3376 -
3377   type: "table"
3378   title: "Detailed Test Results - NSH SFC Functional Results"
3379   algorithm: "table_details"
3380   output-file-ext: ".csv"
3381   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
3382   columns:
3383   -
3384     title: "Name"
3385     data: "data name"
3386   -
3387     title: "Documentation"
3388     data: "data doc"
3389   -
3390     title: "Status"
3391     data: "data status"
3392   rows: "generated"
3393   data:
3394     "nsh-func-results"
3395   filter: "all"
3396   parameters:
3397   - "name"
3398   - "parent"
3399   - "doc"
3400   - "status"
3401
3402 ################################################################################
3403 # DMM
3404 -
3405   type: "table"
3406   title: "Detailed Test Results - DMM Functional Results"
3407   algorithm: "table_details"
3408   output-file-ext: ".csv"
3409   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
3410   columns:
3411   -
3412     title: "Name"
3413     data: "data name"
3414   -
3415     title: "Documentation"
3416     data: "data doc"
3417   -
3418     title: "Status"
3419     data: "data status"
3420   rows: "generated"
3421   data:
3422     "dmm-func-results"
3423   filter: "all"
3424   parameters:
3425   - "name"
3426   - "parent"
3427   - "doc"
3428   - "status"
3429
3430 ################################################################################
3431 ###                                F I L E S                                 ###
3432 ################################################################################
3433
3434 # VPP Performance Results 3n-hsw
3435 -
3436   type: "file"
3437   title: "VPP Performance Results 3n-hsw"
3438   algorithm: "file_test_results"
3439   output-file-ext: ".rst"
3440   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
3441   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3442   dir-tables: "{DIR[DTR,PERF,VPP,3N,HSW]}"
3443   data: "vpp-perf-results-3n-hsw"
3444   filter: "not 'NDRCHK' and not 'PDRCHK'"
3445   parameters:
3446   - "name"
3447   - "doc"
3448   - "level"
3449   - "parent"
3450   data-start-level: 3
3451
3452 # VPP Performance Results 3n-skx
3453 -
3454   type: "file"
3455   title: "VPP Performance Results 3n-skx"
3456   algorithm: "file_test_results"