96733d28eef05e8e2451dbd338d334814a55f7b2
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
37     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
38     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
39     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
40     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
41     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
42     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
43     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
44     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
45     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
46     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
47     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
49
50     # Detailed test configurations
51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
52     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
53     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
54     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
55     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
56     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
57     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
58     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
59     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
60     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
61     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
62     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
63
64     # Detailed tests operational data
65     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
66     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
67     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
68     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
69     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
70
71     # .css patch file to fix tables generated by Sphinx
72     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
73     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
74
75   urls:
76     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
77     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
78     # URL[VIRL,DNV]: "http://10.30.51.28/download/denverton/1810/robot-plugin.zip"
79     URL[VIRL,DNV]: "http://download.it/from/nexus"
80     URL[NEXUS]: "https://docs.fd.io/csit"
81     DIR[NEXUS]: "report/_static/archive"
82
83   make-dirs:
84   # List the directories which are created while preparing the environment.
85   # All directories MUST be defined in "paths" section.
86   - "DIR[WORKING,DATA]"
87   - "DIR[STATIC,VPP]"
88   - "DIR[STATIC,DPDK]"
89   - "DIR[STATIC,ARCH]"
90   - "DIR[BUILD,LATEX]"
91   - "DIR[WORKING,SRC]"
92   - "DIR[WORKING,SRC,STATIC]"
93
94   remove-dirs:
95   # List the directories which are deleted while cleaning the environment.
96   # All directories MUST be defined in "paths" section.
97   #- "DIR[BUILD,HTML]"
98   - "DIR[WORKING,DATA]"
99
100   build-dirs:
101   # List the directories where the results (build) is stored.
102   # All directories MUST be defined in "paths" section.
103   - "DIR[BUILD,HTML]"
104   - "DIR[BUILD,LATEX]"
105
106 -
107   type: "configuration"
108
109   limits:
110     nic:
111       x520: 24460000
112       x710: 35800000
113       xxv710: 35800000
114       xl710: 35800000
115
116     link:
117       10ge: 14880952.38
118       25ge: 37202380.95
119       40ge: 59523809.52
120       100ge: 148809523.81
121
122     pci:
123       pci-g3-x8: 74404761.90
124       pci-g3-x16: 148809523.81
125
126   data-sets:
127
128     # Denverton:
129     intel-dnv-vpp:
130       intel-dnv-vpp-release-1810:
131       - 1
132
133     # VPP Performance
134     vpp-performance-changes-3n-hsw:
135       csit-vpp-perf-1804-all:
136       - 21  # sel
137       - 22  # sel
138       - 23  # sel
139       - 24  # sel
140       - 27  # sel
141       - 28  # sel
142       - 29  # sel
143       - 30  # sel
144       - 31  # sel
145       - 35  # sel
146       csit-vpp-perf-verify-1807-3n-hsw:
147       - 11  # NDRPDR full 1
148       - 22  # NDRPDR full 2
149       - 45  # NDRPDR full 3
150       - 46  # NDRPDR full 4
151       - 15  # NDRPDR sel
152       - 16  # NDRPDR sel
153       - 19  # NDRPDR sel
154       - 18  # NDRPDR sel
155       - 20  # NDRPDR sel
156       - 38  # NDRPDR sel
157       - 40  # NDRPDR sel
158       - 44  # NDRPDR sel
159       - 47  # NDRPDR sel
160       csit-vpp-perf-verify-1810-3n-hsw:
161       - 8   # NDRPDR sel
162       - 12  # NDRPDR sel
163       - 14  # NDRPDR sel
164       - 18  # NDRPDR sel
165       - 23  # NDRPDR sel
166       - 25  # NDRPDR sel
167       - 38  # NDRPDR sel
168       - 39  # NDRPDR sel
169       - 41  # NDRPDR sel
170       - 42  # NDRPDR sel
171
172     vpp-performance-changes-3n-skx:
173       csit-vpp-perf-verify-1807-3n-skx:
174       - 33  # NDRPDR sel
175       - 35  # NDRPDR sel
176       - 37  # NDRPDR sel
177       - 38  # NDRPDR sel
178       - 39  # NDRPDR sel
179       - 43  # NDRPDR sel
180       - 44  # NDRPDR sel
181       - 49  # NDRPDR sel
182       - 50  # NDRPDR sel
183       - 56  # NDRPDR sel
184       csit-vpp-perf-verify-1810-3n-skx:
185       - 10  # NDRPDR sel
186       - 14  # NDRPDR sel
187       - 15  # NDRPDR sel
188       - 16  # NDRPDR sel
189       - 17  # NDRPDR sel
190       - 19  # NDRPDR sel
191       - 20  # NDRPDR sel
192       - 21  # NDRPDR sel
193       - 22  # NDRPDR sel
194       - 25  # NDRPDR sel
195
196     vpp-performance-changes-2n-skx:
197       csit-vpp-perf-verify-1807-2n-skx:
198       - 26  # NDRPDR sel
199       - 28  # NDRPDR sel
200       - 29  # NDRPDR sel
201       - 30  # NDRPDR sel
202       - 34  # NDRPDR sel
203       - 35  # NDRPDR sel
204       - 36  # NDRPDR sel
205       - 39  # NDRPDR sel
206       - 40  # NDRPDR sel
207       - 42  # NDRPDR sel
208       csit-vpp-perf-verify-1810-2n-skx:
209       - 9   # NDRPDR sel
210       - 13  # NDRPDR sel
211       - 14  # NDRPDR sel
212       - 19  # NDRPDR sel
213       - 20  # NDRPDR sel
214       - 21  # NDRPDR sel
215       - 22  # NDRPDR sel
216       - 23  # NDRPDR sel
217       - 24  # NDRPDR sel
218       - 27  # NDRPDR sel
219
220     vpp-compare-testbeds:
221       csit-vpp-perf-verify-1810-3n-hsw:
222       - 8   # NDRPDR sel
223       - 12  # NDRPDR sel
224       - 14  # NDRPDR sel
225       - 18  # NDRPDR sel
226       - 23  # NDRPDR sel
227       - 25  # NDRPDR sel
228       - 38  # NDRPDR sel
229       - 39  # NDRPDR sel
230       - 41  # NDRPDR sel
231       - 42  # NDRPDR sel
232       csit-vpp-perf-verify-1810-3n-skx:
233       - 24  # NDRPDR full
234       - 10  # NDRPDR sel
235       - 14  # NDRPDR sel
236       - 15  # NDRPDR sel
237       - 16  # NDRPDR sel
238       - 17  # NDRPDR sel
239       - 19  # NDRPDR sel
240       - 20  # NDRPDR sel
241       - 21  # NDRPDR sel
242       - 22  # NDRPDR sel
243       - 25  # NDRPDR sel
244
245     vpp-compare-testbeds-mrr:
246       csit-vpp-perf-verify-1810-3n-hsw:
247       - 9   # MRR sel
248       csit-vpp-perf-verify-1810-3n-skx:
249       - 9   # MRR sel
250       - 11  # MRR sel
251       - 12  # MRR sel
252       - 13  # MRR sel
253
254     vpp-compare-topologies:
255       csit-vpp-perf-verify-1810-3n-skx:
256       - 10  # NDRPDR sel
257       - 14  # NDRPDR sel
258       - 15  # NDRPDR sel
259       - 16  # NDRPDR sel
260       - 17  # NDRPDR sel
261       - 19  # NDRPDR sel
262       - 20  # NDRPDR sel
263       - 21  # NDRPDR sel
264       - 22  # NDRPDR sel
265       - 25  # NDRPDR sel
266       csit-vpp-perf-verify-1810-2n-skx:
267       - 9   # NDRPDR sel
268       - 13  # NDRPDR sel
269       - 14  # NDRPDR sel
270       - 19  # NDRPDR sel
271       - 20  # NDRPDR sel
272       - 21  # NDRPDR sel
273       - 22  # NDRPDR sel
274       - 23  # NDRPDR sel
275       - 24  # NDRPDR sel
276       - 27  # NDRPDR sel
277
278     vpp-compare-topologies-mrr:
279       csit-vpp-perf-verify-1810-3n-skx:
280       - 9   # MRR sel
281       - 11  # MRR sel
282       - 12  # MRR sel
283       - 13  # MRR sel
284       csit-vpp-perf-verify-1810-2n-skx:
285       - 8   # MRR sel
286       - 10  # MRR sel
287       - 11  # MRR sel
288       - 12  # MRR sel
289
290     vpp-performance-changes-3n-hsw-mrr:
291       csit-vpp-perf-check-1804:
292       - 6   # mrr - sel
293       - 13  # mrr - sel
294       - 14  # mrr - sel
295       - 15  # mrr - sel
296       - 16  # mrr - sel
297       - 17  # mrr - sel
298       - 19  # mrr - sel
299       - 20  # mrr - sel
300       - 21  # mrr - sel
301       - 22  # mrr - sel
302       csit-vpp-perf-verify-1807-3n-hsw:
303       - 8   # MRR full
304       - 9   # MRR sel
305       - 21  # MRR sel
306       - 31  # MRR sel
307       - 33  # MRR sel
308       - 36  # MRR sel
309       - 41  # MRR sel
310       - 42  # MRR sel
311       - 48  # MRR sel
312       csit-vpp-perf-verify-1810-3n-hsw:
313       - 9   # MRR sel
314
315     vpp-performance-changes-3n-skx-mrr:
316       csit-vpp-perf-verify-1807-3n-skx:
317       - 28  # MRR sel
318       - 32  # MRR sel
319       - 36  # MRR sel
320       - 42  # MRR sel
321       - 47  # MRR sel
322       - 48  # MRR sel
323       - 51  # MRR sel
324       - 52  # MRR sel
325       - 53  # MRR sel
326       - 54  # MRR sel
327       csit-vpp-perf-verify-1810-3n-skx:
328       - 9   # MRR sel
329       - 11  # MRR sel
330       - 12  # MRR sel
331       - 13  # MRR sel
332
333     vpp-performance-changes-2n-skx-mrr:
334       csit-vpp-perf-verify-1807-2n-skx:
335       - 31  # MRR sel
336       - 33  # MRR sel
337       - 37  # MRR sel
338       - 38  # MRR sel
339       - 41  # MRR sel
340       - 43  # MRR sel
341       - 44  # MRR sel
342       - 45  # MRR sel
343       - 46  # MRR sel
344       - 47  # MRR sel
345       csit-vpp-perf-verify-1810-2n-skx:
346       - 8   # MRR sel
347       - 10  # MRR sel
348       - 11  # MRR sel
349       - 12  # MRR sel
350
351     vpp-perf-results-3n-hsw:
352       csit-vpp-perf-verify-1810-3n-hsw:
353       - 20  # NDRPDR full
354       - 21  # NDRPDR full
355       - 22  # NDRPDR full
356       - 27  # NDRPDR full
357
358     vpp-perf-results-3n-skx:
359       csit-vpp-perf-verify-1810-3n-skx:
360       - 23  # NDRPDR full
361       - 24  # NDRPDR full
362
363     vpp-perf-results-2n-skx:
364       csit-vpp-perf-verify-1810-2n-skx:
365       - 25  # NDRPDR full
366       - 26  # NDRPDR full
367
368     vpp-mrr-results-3n-hsw:
369       csit-vpp-perf-verify-1810-3n-hsw:
370       - 9   # MRR sel
371
372     vpp-mrr-results-3n-skx:
373       csit-vpp-perf-verify-1810-3n-skx:
374       - 9   # MRR sel
375
376     vpp-mrr-results-2n-skx:
377       csit-vpp-perf-verify-1810-2n-skx:
378       - 8   # MRR sel
379
380     plot-throughput-speedup-analysis-3n-hsw:
381       csit-vpp-perf-verify-1810-3n-hsw:
382       - 8   # NDRPDR sel
383       - 12  # NDRPDR sel
384       - 14  # NDRPDR sel
385       - 18  # NDRPDR sel
386       - 23  # NDRPDR sel
387       - 25  # NDRPDR sel
388       - 38  # NDRPDR sel
389       - 39  # NDRPDR sel
390       - 41  # NDRPDR sel
391       - 42  # NDRPDR sel
392
393     plot-throughput-speedup-analysis-3n-skx:
394       csit-vpp-perf-verify-1810-3n-skx:
395       - 24  # NDRPDR full
396       - 10  # NDRPDR sel
397       - 14  # NDRPDR sel
398       - 15  # NDRPDR sel
399       - 16  # NDRPDR sel
400       - 17  # NDRPDR sel
401       - 19  # NDRPDR sel
402       - 20  # NDRPDR sel
403       - 21  # NDRPDR sel
404       - 22  # NDRPDR sel
405       - 25  # NDRPDR sel
406
407     plot-throughput-speedup-analysis-2n-skx:
408       csit-vpp-perf-verify-1810-2n-skx:
409       - 9   # NDRPDR sel
410       - 13  # NDRPDR sel
411       - 14  # NDRPDR sel
412       - 19  # NDRPDR sel
413       - 20  # NDRPDR sel
414       - 21  # NDRPDR sel
415       - 22  # NDRPDR sel
416       - 23  # NDRPDR sel
417       - 24  # NDRPDR sel
418       - 27  # NDRPDR sel
419
420     plot-vpp-throughput-latency-3n-hsw:
421       csit-vpp-perf-verify-1810-3n-hsw:
422       - 8   # NDRPDR sel
423       - 12  # NDRPDR sel
424       - 14  # NDRPDR sel
425       - 18  # NDRPDR sel
426       - 23  # NDRPDR sel
427       - 25  # NDRPDR sel
428       - 38  # NDRPDR sel
429       - 39  # NDRPDR sel
430       - 41  # NDRPDR sel
431       - 42  # NDRPDR sel
432
433     plot-vpp-throughput-latency-3n-skx:
434       csit-vpp-perf-verify-1810-3n-skx:
435       - 24  # NDRPDR full
436       - 10  # NDRPDR sel
437       - 14  # NDRPDR sel
438       - 15  # NDRPDR sel
439       - 16  # NDRPDR sel
440       - 17  # NDRPDR sel
441       - 19  # NDRPDR sel
442       - 20  # NDRPDR sel
443       - 21  # NDRPDR sel
444       - 22  # NDRPDR sel
445       - 25  # NDRPDR sel
446
447     plot-vpp-throughput-latency-2n-skx:
448       csit-vpp-perf-verify-1810-2n-skx:
449       - 9   # NDRPDR sel
450       - 13  # NDRPDR sel
451       - 14  # NDRPDR sel
452       - 19  # NDRPDR sel
453       - 20  # NDRPDR sel
454       - 21  # NDRPDR sel
455       - 22  # NDRPDR sel
456       - 23  # NDRPDR sel
457       - 24  # NDRPDR sel
458       - 27  # NDRPDR sel
459
460     plot-vpp-http-server-performance:
461       csit-vpp-perf-verify-1810-3n-hsw:
462       - 28  # WRK
463       - 29  # WRK
464       - 30  # WRK
465       - 31  # WRK
466       - 32  # WRK
467       - 33  # WRK
468       - 34  # WRK
469       - 35  # WRK
470       - 36  # WRK
471       - 37  # WRK
472
473     # VPP Functional
474     vpp-func-results-ubuntu:
475       csit-vpp-functional-1810-ubuntu1604-virl:
476       - 44
477
478     vpp-func-results-centos:
479       csit-vpp-functional-1810-centos7-virl:
480       - 44
481
482     vpp-device-results-ubuntu:
483       csit-vpp-device-1810-ubuntu1804-1n-skx:
484       - 2
485
486     # VPP Ligato
487     ligato-perf-results-3n-hsw:
488       csit-ligato-perf-verify-1810-3n-hsw:
489       - 5   # full
490
491     plot-ligato-throughput-speedup-analysis-3n-hsw:
492       csit-ligato-perf-verify-1810-3n-hsw:
493       - 5   # full
494       - 6   # sel
495       - 8   # sel
496       - 9   # sel
497       - 11  # sel
498       - 12  # sel
499       - 13  # sel
500       - 14  # sel
501       - 16  # sel
502       - 17  # sel
503       - 18  # sel
504
505     plot-ligato-throughput-latency-3n-hsw:
506       csit-ligato-perf-verify-1810-3n-hsw:
507       - 5   # full
508       - 6   # sel
509       - 8   # sel
510       - 9   # sel
511       - 11  # sel
512       - 12  # sel
513       - 13  # sel
514       - 14  # sel
515       - 16  # sel
516       - 17  # sel
517       - 18  # sel
518
519     # DPDK Performance
520     dpdk-performance-changes-3n-hsw:
521       csit-dpdk-perf-1804-all:
522       - 4
523       - 5
524       - 6
525       - 7
526       - 8
527       - 9
528       - 10
529       - 11
530       - 12
531       - 13
532       csit-dpdk-perf-verify-1807-3n-hsw:
533       - 11
534       - 12  # full
535       - 14
536       - 15
537       - 16
538       - 17
539       - 20
540       - 21
541       - 22
542       - 23
543       csit-dpdk-perf-verify-1810-3n-hsw:
544       - 1   # NDRPDR sel
545       - 2   # NDRPDR sel
546       - 3   # NDRPDR sel
547       - 4   # NDRPDR sel
548       - 5   # NDRPDR sel
549       - 6   # NDRPDR sel
550       - 7   # NDRPDR sel
551       - 8   # NDRPDR sel
552       - 9   # NDRPDR sel
553       - 10  # NDRPDR sel
554
555     dpdk-performance-changes-3n-skx:
556       csit-dpdk-perf-verify-1807-3n-skx:
557       - 1   # NDRPDR sel
558       - 2   # NDRPDR sel
559       - 3   # NDRPDR sel
560       - 6   # NDRPDR sel
561       - 7   # NDRPDR sel
562       - 8   # NDRPDR sel
563       - 9   # NDRPDR sel
564       - 10  # NDRPDR sel
565       - 11  # NDRPDR sel
566       - 12  # NDRPDR sel
567       csit-dpdk-perf-verify-1810-3n-skx:
568       - 3   # NDRPDR sel
569       - 4   # NDRPDR sel
570       - 6   # NDRPDR sel
571       - 7   # NDRPDR sel
572       - 8   # NDRPDR sel
573       - 9   # NDRPDR sel
574       - 10  # NDRPDR sel
575       - 11  # NDRPDR sel
576       - 12  # NDRPDR sel
577       - 13  # NDRPDR sel
578
579     dpdk-compare-testbeds:
580       csit-dpdk-perf-verify-1810-3n-skx:
581       - 3   # NDRPDR sel
582       - 4   # NDRPDR sel
583       - 6   # NDRPDR sel
584       - 7   # NDRPDR sel
585       - 8   # NDRPDR sel
586       - 9   # NDRPDR sel
587       - 10  # NDRPDR sel
588       - 11  # NDRPDR sel
589       - 12  # NDRPDR sel
590       - 13  # NDRPDR sel
591       csit-dpdk-perf-verify-1810-3n-hsw:
592       - 1   # NDRPDR sel
593       - 2   # NDRPDR sel
594       - 3   # NDRPDR sel
595       - 4   # NDRPDR sel
596       - 5   # NDRPDR sel
597       - 6   # NDRPDR sel
598       - 7   # NDRPDR sel
599       - 8   # NDRPDR sel
600       - 9   # NDRPDR sel
601       - 10  # NDRPDR sel
602
603     dpdk-compare-topologies:
604       csit-dpdk-perf-verify-1810-3n-skx:
605       - 3   # NDRPDR sel
606       - 4   # NDRPDR sel
607       - 6   # NDRPDR sel
608       - 7   # NDRPDR sel
609       - 8   # NDRPDR sel
610       - 9   # NDRPDR sel
611       - 10  # NDRPDR sel
612       - 11  # NDRPDR sel
613       - 12  # NDRPDR sel
614       - 13  # NDRPDR sel
615       csit-dpdk-perf-verify-1810-2n-skx:
616       - 3   # NDRPDR sel
617       - 4   # NDRPDR sel
618       - 5   # NDRPDR sel
619       - 7   # NDRPDR sel
620       - 8   # NDRPDR sel
621       - 9   # NDRPDR sel
622       - 10  # NDRPDR sel
623       - 11  # NDRPDR sel
624       - 12  # NDRPDR sel
625       - 13  # NDRPDR sel
626
627     dpdk-perf-results-3n-hsw:
628       csit-dpdk-perf-verify-1810-3n-hsw:
629       - 1
630
631     dpdk-perf-results-3n-skx:
632       csit-dpdk-perf-verify-1810-3n-skx:
633       - 3   # NDRPDR sel
634
635     dpdk-perf-results-2n-skx:
636       csit-dpdk-perf-verify-1810-2n-skx:
637       - 3
638
639     plot-dpdk-throughput-latency-3n-hsw:
640       csit-dpdk-perf-verify-1810-3n-hsw:
641       - 1   # NDRPDR sel
642       - 2   # NDRPDR sel
643       - 3   # NDRPDR sel
644       - 4   # NDRPDR sel
645       - 5   # NDRPDR sel
646       - 6   # NDRPDR sel
647       - 7   # NDRPDR sel
648       - 8   # NDRPDR sel
649       - 9   # NDRPDR sel
650       - 10  # NDRPDR sel
651
652     plot-dpdk-throughput-latency-3n-skx:
653       csit-dpdk-perf-verify-1810-3n-skx:
654       - 3   # NDRPDR sel
655       - 4   # NDRPDR sel
656       - 6   # NDRPDR sel
657       - 7   # NDRPDR sel
658       - 8   # NDRPDR sel
659       - 9   # NDRPDR sel
660       - 10  # NDRPDR sel
661       - 11  # NDRPDR sel
662       - 12  # NDRPDR sel
663       - 13  # NDRPDR sel
664
665     plot-dpdk-throughput-latency-2n-skx:
666       csit-dpdk-perf-verify-1810-2n-skx:
667       - 3   # NDRPDR sel
668       - 4   # NDRPDR sel
669       - 5   # NDRPDR sel
670       - 7   # NDRPDR sel
671       - 8   # NDRPDR sel
672       - 9   # NDRPDR sel
673       - 10  # NDRPDR sel
674       - 11  # NDRPDR sel
675       - 12  # NDRPDR sel
676       - 13  # NDRPDR sel
677
678     # HoneyComb Functional
679     hc-func-results:
680       csit-hc2vpp-verify-func-1810-ubuntu1604:
681       - 3
682
683     # NSH SFC Functional
684     nsh-func-results:
685       csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
686       - 1
687
688     # DMM Functional
689     dmm-func-results:
690       csit-dmm-functional-1810-ubuntu1604-virl:
691       - 1
692
693   plot-layouts:
694
695     plot-cps:
696       titlefont:
697         size: 18
698       xaxis:
699         title: "<b>Test Cases [Index]</b>"
700         titlefont:
701           size: 16
702         autorange: True
703         fixedrange: False
704         gridcolor: "rgb(230, 230, 230)"
705         linecolor: "rgb(220, 220, 220)"
706         linewidth: 1
707         showgrid: True
708         showline: True
709         showticklabels: True
710         tickcolor: "rgb(220, 220, 220)"
711         tickmode: "linear"
712         tickfont:
713           size: 16
714         zeroline: False
715       yaxis:
716         title: "<b>Connections Per Second [cps]</b>"
717         titlefont:
718           size: 16
719         gridcolor: "rgb(230, 230, 230)"
720         hoverformat: ".4s"
721         linecolor: "rgb(220, 220, 220)"
722         linewidth: 1
723         rangemode: "tozero"
724         showgrid: True
725         showline: True
726         showticklabels: True
727         tickcolor: "rgb(220, 220, 220)"
728         tickformat: ".3s"
729         tickfont:
730           size: 16
731         zeroline: False
732       boxmode: "group"
733       boxgroupgap: 0.5
734       autosize: False
735       margin:
736         t: 50
737         b: 20
738         l: 80
739         r: 20
740       showlegend: True
741       legend:
742         orientation: "h"
743         font:
744           size: 16
745       width: 700
746       height: 800
747
748     plot-rps:
749       titlefont:
750         size: 18
751       xaxis:
752         title: "<b>Test Cases [Index]</b>"
753         titlefont:
754           size: 16
755         autorange: True
756         fixedrange: False
757         gridcolor: "rgb(230, 230, 230)"
758         linecolor: "rgb(220, 220, 220)"
759         linewidth: 1
760         showgrid: True
761         showline: True
762         showticklabels: True
763         tickcolor: "rgb(220, 220, 220)"
764         tickmode: "linear"
765         tickfont:
766           size: 16
767         zeroline: False
768       yaxis:
769         title: "<b>Requests Per Second [rps]</b>"
770         titlefont:
771           size: 16
772         gridcolor: "rgb(230, 230, 230)"
773         hoverformat: ".4s"
774         linecolor: "rgb(220, 220, 220)"
775         linewidth: 1
776         rangemode: "tozero"
777         showgrid: True
778         showline: True
779         showticklabels: True
780         tickcolor: "rgb(230, 230, 230)"
781         tickformat: ".3s"
782         tickfont:
783           size: 16
784         zeroline: False
785       boxmode: "group"
786       boxgroupgap: 0.5
787       autosize: False
788       margin:
789         t: 50
790         b: 20
791         l: 80
792         r: 20
793       showlegend: True
794       legend:
795         orientation: "h"
796         font:
797           size: 16
798       width: 700
799       height: 800
800
801     plot-throughput:
802       titlefont:
803         size: 18
804       xaxis:
805         title: "<b>Test Cases [Index]</b>"
806         titlefont:
807           size: 16
808         autorange: True
809         fixedrange: False
810         gridcolor: "rgb(230, 230, 230)"
811         linecolor: "rgb(220, 220, 220)"
812         linewidth: 1
813         showgrid: True
814         showline: True
815         showticklabels: True
816         tickcolor: "rgb(220, 220, 220)"
817         tickmode: "linear"
818         tickfont:
819           size: 16
820         zeroline: False
821       yaxis:
822         title: "<b>Packet Throughput [Mpps]</b>"
823         titlefont:
824           size: 16
825         gridcolor: "rgb(230, 230, 230)"
826         hoverformat: ".4s"
827         tickformat: ".3s"
828         linecolor: "rgb(220, 220, 220)"
829         linewidth: 1
830         showgrid: True
831         showline: True
832         showticklabels: True
833         tickcolor: "rgb(220, 220, 220)"
834         tickfont:
835           size: 16
836         zeroline: False
837         range: [0,50]
838       boxmode: "group"
839       boxgroupgap: 0.5
840       autosize: False
841       margin:
842         t: 50
843         b: 20
844         l: 80
845         r: 20
846       showlegend: True
847       legend:
848         orientation: "h"
849         font:
850           size: 16
851       width: 700
852       height: 900
853
854     plot-throughput-speedup-analysis:
855       titlefont:
856         size: 18
857       xaxis:
858         title: "<b>Number of Cores [Qty]</b>"
859         titlefont:
860           size: 16
861         autorange: True
862         fixedrange: False
863         gridcolor: "rgb(230, 230, 230)"
864         linecolor: "rgb(220, 220, 220)"
865         linewidth: 1
866         showgrid: True
867         showline: True
868         showticklabels: True
869         tickcolor: "rgb(238, 238, 238)"
870         tickmode: "linear"
871         tickfont:
872           size: 16
873         zeroline: False
874       yaxis:
875         title: "<b>Packet Throughput [Mpps]</b>"
876         titlefont:
877           size: 16
878         type: "linear"
879         gridcolor: "rgb(230, 230, 230)"
880         hoverformat: ".4s"
881         linecolor: "rgb(220, 220, 220)"
882         linewidth: 1
883         showgrid: True
884         showline: True
885         showticklabels: True
886         tickcolor: "rgb(220, 220, 220)"
887         tickformat: ".4s"
888         tickfont:
889           size: 16
890         zeroline: True
891         rangemode: "tozero"
892         # range: [0,100]
893       legend:
894         orientation: "h"
895         font:
896           size: 16
897         xanchor: "left"
898         yanchor: "top"
899         x: 0
900         y: -0.2
901         bgcolor: "rgba(255, 255, 255, 0)"
902         bordercolor: "rgba(255, 255, 255, 0)"
903         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
904       autosize: False
905       margin:
906           't': 50
907           'b': 150
908           'l': 85
909           'r': 10
910       showlegend: True
911       width: 700
912       height: 700
913       hoverlabel:
914         namelength: -1
915       annotations: [
916         {
917           text: "_ _          __          ...",
918           align: "left",
919           showarrow: False,
920           xref: "paper",
921           yref: "paper",
922           xanchor: "left",
923           yanchor: "top",
924           x: 0,
925           y: -0.13,
926           font: {
927             family: "Consolas, Courier New",
928             size: 15
929           },
930         },
931         {
932           text: "    Perfect     Measured     Limit",
933           align: "left",
934           showarrow: False,
935           xref: "paper",
936           yref: "paper",
937           xanchor: "left",
938           yanchor: "top",
939           x: 0,
940           y: -0.15,
941           font: {
942             family: "Consolas, Courier New",
943             size: 15
944           },
945         },
946       ]
947
948     plot-latency:
949       titlefont:
950         size: 18
951       xaxis:
952         title: "<b>Direction</b>"
953         titlefont:
954           size: 16
955         autorange: True
956         fixedrange: False
957         gridcolor: "rgb(230, 230, 230)"
958         linecolor: "rgb(220, 220, 220)"
959         linewidth: 1
960         showgrid: True
961         showline: True
962         showticklabels: False
963         tickcolor: "rgb(220, 220, 220)"
964         tickmode: "linear"
965         tickfont:
966           size: 16
967         zeroline: False
968       yaxis:
969         title: "<b>Packet Latency [uSec]</b>"
970         titlefont:
971           size: 16
972         type: "linear"
973         gridcolor: "rgb(230, 230, 230)"
974         hoverformat: ".4s"
975         linecolor: "rgb(220, 220, 220)"
976         linewidth: 1
977         showgrid: True
978         showline: True
979         showticklabels: True
980         tickcolor: "rgb(220, 220, 220)"
981         tickformat: ".4s"
982         tickfont:
983           size: 16
984         zeroline: True
985         rangemode: "tozero"
986       legend:
987         orientation: "h"
988         font:
989           size: 16
990         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
991       autosize: False
992       margin:
993           't': 50
994           'b': 150
995           'l': 80
996           'r': 10
997       showlegend: True
998       width: 700
999       height: 700
1000       hoverlabel:
1001         namelength: -1
1002
1003 -
1004   type: "static"
1005   src-path: "{DIR[RST]}"
1006   dst-path: "{DIR[WORKING,SRC]}"
1007
1008 -
1009   type: "input"
1010   general:
1011     file-name: "robot-plugin.zip"
1012     file-format: ".zip"
1013     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
1014     extract: "robot-plugin/output.xml"
1015
1016   builds:
1017
1018     intel-dnv-vpp-release-1810:
1019     - 1
1020
1021     csit-vpp-perf-1804-all:
1022     - 21  # sel
1023     - 22  # sel
1024     - 23  # sel
1025     - 24  # sel
1026     - 27  # sel
1027     - 28  # sel
1028     - 29  # sel
1029     - 30  # sel
1030     - 31  # sel
1031     - 35  # sel
1032     csit-vpp-perf-verify-1807-3n-hsw:
1033     - 8   # MRR full
1034     - 9   # MRR sel
1035     - 21  # MRR sel
1036     - 31  # MRR sel
1037     - 33  # MRR sel
1038     - 36  # MRR sel
1039     - 41  # MRR sel
1040     - 42  # MRR sel
1041     - 48  # MRR sel
1042     - 11  # NDRPDR full 1
1043     - 22  # NDRPDR full 2
1044     - 45  # NDRPDR full 3
1045     - 46  # NDRPDR full 4
1046     - 15  # NDRPDR sel
1047     - 16  # NDRPDR sel
1048     - 19  # NDRPDR sel
1049     - 18  # NDRPDR sel
1050     - 20  # NDRPDR sel
1051     - 38  # NDRPDR sel
1052     - 40  # NDRPDR sel
1053     - 44  # NDRPDR sel
1054     - 47  # NDRPDR sel
1055     - 24  # WRK
1056     - 25  # WRK
1057     - 23  # WRK
1058     - 26  # WRK
1059     - 27  # WRK
1060     - 28  # WRK
1061     - 29  # WRK
1062     - 30  # WRK
1063     - 32  # WRK
1064     - 35  # WRK
1065     csit-vpp-perf-verify-1810-3n-hsw:
1066     - 9   # MRR sel
1067     - 20  # NDRPDR full
1068     - 21  # NDRPDR full
1069     - 22  # NDRPDR full
1070     - 27  # NDRPDR full
1071     - 8   # NDRPDR sel
1072     - 12  # NDRPDR sel
1073     - 14  # NDRPDR sel
1074     - 18  # NDRPDR sel
1075     - 23  # NDRPDR sel
1076     - 25  # NDRPDR sel
1077     - 38  # NDRPDR sel
1078     - 39  # NDRPDR sel
1079     - 41  # NDRPDR sel
1080     - 42  # NDRPDR sel
1081     - 28  # WRK
1082     - 29  # WRK
1083     - 30  # WRK
1084     - 31  # WRK
1085     - 32  # WRK
1086     - 33  # WRK
1087     - 34  # WRK
1088     - 35  # WRK
1089     - 36  # WRK
1090     - 37  # WRK
1091     csit-vpp-perf-verify-1807-3n-skx:
1092     - 31  # MRR full
1093     - 28  # MRR sel
1094     - 32  # MRR sel
1095     - 36  # MRR sel
1096     - 42  # MRR sel
1097     - 47  # MRR sel
1098     - 48  # MRR sel
1099     - 51  # MRR sel
1100     - 52  # MRR sel
1101     - 53  # MRR sel
1102     - 54  # MRR sel
1103     - 40  # NDRPDR full 1
1104     - 41  # NDRPDR full 2
1105     - 33  # NDRPDR sel
1106     - 35  # NDRPDR sel
1107     - 37  # NDRPDR sel
1108     - 38  # NDRPDR sel
1109     - 39  # NDRPDR sel
1110     - 43  # NDRPDR sel
1111     - 44  # NDRPDR sel
1112     - 49  # NDRPDR sel
1113     - 50  # NDRPDR sel
1114     - 56  # NDRPDR sel
1115     csit-vpp-perf-verify-1810-3n-skx:
1116     - 9   # MRR sel
1117     - 11  # MRR sel
1118     - 12  # MRR sel
1119     - 13  # MRR sel
1120     - 23  # NDRPDR full
1121     - 24  # NDRPDR full
1122     - 10  # NDRPDR sel
1123     - 14  # NDRPDR sel
1124     - 15  # NDRPDR sel
1125     - 16  # NDRPDR sel
1126     - 17  # NDRPDR sel
1127     - 19  # NDRPDR sel
1128     - 20  # NDRPDR sel
1129     - 21  # NDRPDR sel
1130     - 22  # NDRPDR sel
1131     - 25  # NDRPDR sel
1132     csit-vpp-perf-verify-1807-2n-skx:
1133     - 27  # MRR full
1134     - 31  # MRR sel
1135     - 33  # MRR sel
1136     - 37  # MRR sel
1137     - 38  # MRR sel
1138     - 41  # MRR sel
1139     - 43  # MRR sel
1140     - 44  # MRR sel
1141     - 45  # MRR sel
1142     - 46  # MRR sel
1143     - 47  # MRR sel
1144     - 32  # NDRPDR full
1145     - 26  # NDRPDR sel
1146     - 28  # NDRPDR sel
1147     - 29  # NDRPDR sel
1148     - 30  # NDRPDR sel
1149     - 34  # NDRPDR sel
1150     - 35  # NDRPDR sel
1151     - 36  # NDRPDR sel
1152     - 39  # NDRPDR sel
1153     - 40  # NDRPDR sel
1154     - 42  # NDRPDR sel
1155     csit-vpp-perf-verify-1810-2n-skx:
1156     - 8   # MRR sel
1157     - 10  # MRR sel
1158     - 11  # MRR sel
1159     - 12  # MRR sel
1160     - 25  # NDRPDR full
1161     - 26  # NDRPDR full
1162     - 9   # NDRPDR sel
1163     - 13  # NDRPDR sel
1164     - 14  # NDRPDR sel
1165     - 19  # NDRPDR sel
1166     - 20  # NDRPDR sel
1167     - 21  # NDRPDR sel
1168     - 22  # NDRPDR sel
1169     - 23  # NDRPDR sel
1170     - 24  # NDRPDR sel
1171     - 27  # NDRPDR sel
1172     csit-vpp-perf-check-1804:
1173     - 5   # mrr - full
1174     - 6   # mrr - sel
1175     - 13  # mrr - sel
1176     - 14  # mrr - sel
1177     - 15  # mrr - sel
1178     - 16  # mrr - sel
1179     - 17  # mrr - sel
1180     - 19  # mrr - sel
1181     - 20  # mrr - sel
1182     - 21  # mrr - sel
1183     - 22  # mrr - sel
1184     csit-ligato-perf-verify-1810-3n-hsw:
1185     - 5   # full
1186     - 6   # sel
1187     - 8   # sel
1188     - 9   # sel
1189     - 11  # sel
1190     - 12  # sel
1191     - 13  # sel
1192     - 14  # sel
1193     - 16  # sel
1194     - 17  # sel
1195     - 18  # sel
1196     csit-dpdk-perf-1804-all:
1197     - 4
1198     - 5
1199     - 6
1200     - 7
1201     - 8
1202     - 9
1203     - 10
1204     - 11
1205     - 12
1206     - 13
1207     csit-dpdk-perf-verify-1807-3n-hsw:
1208     - 11
1209     - 12  # full
1210     - 14
1211     - 15
1212     - 16
1213     - 17
1214     - 20
1215     - 21
1216     - 22
1217     - 23
1218     csit-dpdk-perf-verify-1810-3n-hsw:
1219     - 1   # NDRPDR sel
1220     - 2   # NDRPDR sel
1221     - 3   # NDRPDR sel
1222     - 4   # NDRPDR sel
1223     - 5   # NDRPDR sel
1224     - 6   # NDRPDR sel
1225     - 7   # NDRPDR sel
1226     - 8   # NDRPDR sel
1227     - 9   # NDRPDR sel
1228     - 10  # NDRPDR sel
1229     csit-dpdk-perf-verify-1807-3n-skx:
1230     - 1   # NDRPDR sel
1231     - 2   # NDRPDR sel
1232     - 3   # NDRPDR sel
1233     - 6   # NDRPDR sel
1234     - 7   # NDRPDR sel
1235     - 8   # NDRPDR sel
1236     - 9   # NDRPDR sel
1237     - 10  # NDRPDR sel
1238     - 11  # NDRPDR sel
1239     - 12  # NDRPDR sel
1240     csit-dpdk-perf-verify-1810-3n-skx:
1241     - 3   # NDRPDR sel
1242     - 4   # NDRPDR sel
1243     - 6   # NDRPDR sel
1244     - 7   # NDRPDR sel
1245     - 8   # NDRPDR sel
1246     - 9   # NDRPDR sel
1247     - 10  # NDRPDR sel
1248     - 11  # NDRPDR sel
1249     - 12  # NDRPDR sel
1250     - 13  # NDRPDR sel
1251     csit-dpdk-perf-verify-1810-2n-skx:
1252     - 3   # NDRPDR sel
1253     - 4   # NDRPDR sel
1254     - 5   # NDRPDR sel
1255     - 7   # NDRPDR sel
1256     - 8   # NDRPDR sel
1257     - 9   # NDRPDR sel
1258     - 10  # NDRPDR sel
1259     - 11  # NDRPDR sel
1260     - 12  # NDRPDR sel
1261     - 13  # NDRPDR sel
1262
1263     csit-vpp-functional-1810-ubuntu1604-virl:
1264     - 44
1265     csit-vpp-functional-1810-centos7-virl:
1266     - 44
1267     csit-vpp-device-1810-ubuntu1804-1n-skx:
1268     - 2
1269     csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
1270     - 1
1271     csit-dmm-functional-1810-ubuntu1604-virl:
1272     - 1
1273     csit-hc2vpp-verify-func-1810-ubuntu1604:
1274     - 3
1275
1276 -
1277   type: "output"
1278   output: "report"
1279   format:
1280     html:
1281     - full
1282     pdf:
1283     - minimal
1284
1285 ################################################################################
1286 ###                               T A B L E S                                ###
1287 ################################################################################
1288
1289 ################################################################################
1290 # VPP
1291
1292 # VPP Performance Changes 3n-hsw 1t1c pdr 
1293 -
1294   type: "table"
1295   title: "VPP Performance Changes 3n-hsw 1t1c pdr"
1296   algorithm: "table_performance_comparison"
1297   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-pdr"
1298   history:
1299     -
1300       title: "rls1804"
1301       data:
1302         csit-vpp-perf-1804-all:
1303         - 21  # sel
1304         - 22  # sel
1305         - 23  # sel
1306         - 24  # sel
1307         - 27  # sel
1308         - 28  # sel
1309         - 29  # sel
1310         - 30  # sel
1311         - 31  # sel
1312         - 35  # sel
1313   reference:
1314     title: "rls1807"
1315     data:
1316       csit-vpp-perf-verify-1807-3n-hsw:
1317       - 11  # NDRPDR full 1
1318       - 22  # NDRPDR full 2
1319       - 45  # NDRPDR full 3
1320       - 46  # NDRPDR full 4
1321       - 15  # NDRPDR sel
1322       - 16  # NDRPDR sel
1323       - 19  # NDRPDR sel
1324       - 18  # NDRPDR sel
1325       - 20  # NDRPDR sel
1326       - 38  # NDRPDR sel
1327       - 40  # NDRPDR sel
1328       - 44  # NDRPDR sel
1329       - 47  # NDRPDR sel
1330   compare:
1331     title: "rls1810"
1332     data:
1333       csit-vpp-perf-verify-1810-3n-hsw:
1334       - 8   # NDRPDR sel
1335       - 12  # NDRPDR sel
1336       - 14  # NDRPDR sel
1337       - 18  # NDRPDR sel
1338       - 23  # NDRPDR sel
1339       - 25  # NDRPDR sel
1340       - 38  # NDRPDR sel
1341       - 39  # NDRPDR sel
1342       - 41  # NDRPDR sel
1343       - 42  # NDRPDR sel
1344   data: "vpp-performance-changes-3n-hsw"
1345   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1346   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1347   parameters:
1348   - "name"
1349   - "parent"
1350   - "throughput"
1351
1352 # VPP Performance Changes 3n-hsw 2t2c pdr
1353 -
1354   type: "table"
1355   title: "VPP Performance Changes 3n-hsw 2t2c pdr"
1356   algorithm: "table_performance_comparison"
1357   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-pdr"
1358   history:
1359     -
1360       title: "rls1804"
1361       data:
1362         csit-vpp-perf-1804-all:
1363         - 21  # sel
1364         - 22  # sel
1365         - 23  # sel
1366         - 24  # sel
1367         - 27  # sel
1368         - 28  # sel
1369         - 29  # sel
1370         - 30  # sel
1371         - 31  # sel
1372         - 35  # sel
1373   reference:
1374     title: "rls1807"
1375     data:
1376       csit-vpp-perf-verify-1807-3n-hsw:
1377       - 11  # NDRPDR full 1
1378       - 22  # NDRPDR full 2
1379       - 45  # NDRPDR full 3
1380       - 46  # NDRPDR full 4
1381       - 15  # NDRPDR sel
1382       - 16  # NDRPDR sel
1383       - 19  # NDRPDR sel
1384       - 18  # NDRPDR sel
1385       - 20  # NDRPDR sel
1386       - 38  # NDRPDR sel
1387       - 40  # NDRPDR sel
1388       - 44  # NDRPDR sel
1389       - 47  # NDRPDR sel
1390   compare:
1391     title: "rls1810"
1392     data:
1393       csit-vpp-perf-verify-1810-3n-hsw:
1394       - 8   # NDRPDR sel
1395       - 12  # NDRPDR sel
1396       - 14  # NDRPDR sel
1397       - 18  # NDRPDR sel
1398       - 23  # NDRPDR sel
1399       - 25  # NDRPDR sel
1400       - 38  # NDRPDR sel
1401       - 39  # NDRPDR sel
1402       - 41  # NDRPDR sel
1403       - 42  # NDRPDR sel
1404   data: "vpp-performance-changes-3n-hsw"
1405   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1406   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1407   parameters:
1408   - "name"
1409   - "parent"
1410   - "throughput"
1411
1412 # VPP Performance Changes 3n-hsw 1t1c ndr
1413 -
1414   type: "table"
1415   title: "VPP Performance Changes 3n-hsw 1t1c ndr"
1416   algorithm: "table_performance_comparison"
1417   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-ndr"
1418   history:
1419     -
1420       title: "rls1804"
1421       data:
1422         csit-vpp-perf-1804-all:
1423         - 21  # sel
1424         - 22  # sel
1425         - 23  # sel
1426         - 24  # sel
1427         - 27  # sel
1428         - 28  # sel
1429         - 29  # sel
1430         - 30  # sel
1431         - 31  # sel
1432         - 35  # sel
1433   reference:
1434     title: "rls1807"
1435     data:
1436       csit-vpp-perf-verify-1807-3n-hsw:
1437       - 11  # NDRPDR full 1
1438       - 22  # NDRPDR full 2
1439       - 45  # NDRPDR full 3
1440       - 46  # NDRPDR full 4
1441       - 15  # NDRPDR sel
1442       - 16  # NDRPDR sel
1443       - 19  # NDRPDR sel
1444       - 18  # NDRPDR sel
1445       - 20  # NDRPDR sel
1446       - 38  # NDRPDR sel
1447       - 40  # NDRPDR sel
1448       - 44  # NDRPDR sel
1449       - 47  # NDRPDR sel
1450   compare:
1451     title: "rls1810"
1452     data:
1453       csit-vpp-perf-verify-1810-3n-hsw:
1454       - 8   # NDRPDR sel
1455       - 12  # NDRPDR sel
1456       - 14  # NDRPDR sel
1457       - 18  # NDRPDR sel
1458       - 23  # NDRPDR sel
1459       - 25  # NDRPDR sel
1460       - 38  # NDRPDR sel
1461       - 39  # NDRPDR sel
1462       - 41  # NDRPDR sel
1463       - 42  # NDRPDR sel
1464   data: "vpp-performance-changes-3n-hsw"
1465   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1466   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1467   parameters:
1468   - "name"
1469   - "parent"
1470   - "throughput"
1471
1472 # VPP Performance Changes 3n-hsw 2t2c ndr
1473 -
1474   type: "table"
1475   title: "VPP Performance Changes 3n-hsw 2t2c ndr"
1476   algorithm: "table_performance_comparison"
1477   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-ndr"
1478   history:
1479     -
1480       title: "rls1804"
1481       data:
1482         csit-vpp-perf-1804-all:
1483         - 21  # sel
1484         - 22  # sel
1485         - 23  # sel
1486         - 24  # sel
1487         - 27  # sel
1488         - 28  # sel
1489         - 29  # sel
1490         - 30  # sel
1491         - 31  # sel
1492         - 35  # sel
1493   reference:
1494     title: "rls1807"
1495     data:
1496       csit-vpp-perf-verify-1807-3n-hsw:
1497       - 11  # NDRPDR full 1
1498       - 22  # NDRPDR full 2
1499       - 45  # NDRPDR full 3
1500       - 46  # NDRPDR full 4
1501       - 15  # NDRPDR sel
1502       - 16  # NDRPDR sel
1503       - 19  # NDRPDR sel
1504       - 18  # NDRPDR sel
1505       - 20  # NDRPDR sel
1506       - 38  # NDRPDR sel
1507       - 40  # NDRPDR sel
1508       - 44  # NDRPDR sel
1509       - 47  # NDRPDR sel
1510   compare:
1511     title: "rls1810"
1512     data:
1513       csit-vpp-perf-verify-1810-3n-hsw:
1514       - 8   # NDRPDR sel
1515       - 12  # NDRPDR sel
1516       - 14  # NDRPDR sel
1517       - 18  # NDRPDR sel
1518       - 23  # NDRPDR sel
1519       - 25  # NDRPDR sel
1520       - 38  # NDRPDR sel
1521       - 39  # NDRPDR sel
1522       - 41  # NDRPDR sel
1523       - 42  # NDRPDR sel
1524   data: "vpp-performance-changes-3n-hsw"
1525   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1526   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1527   parameters:
1528   - "name"
1529   - "parent"
1530   - "throughput"
1531
1532 # VPP Performance Changes 3n-skx 2t1c pdr 
1533 -
1534   type: "table"
1535   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1536   algorithm: "table_performance_comparison"
1537   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1538   reference:
1539     title: "rls1807"
1540     data:
1541       csit-vpp-perf-verify-1807-3n-skx:
1542       - 33  # NDRPDR sel
1543       - 35  # NDRPDR sel
1544       - 37  # NDRPDR sel
1545       - 38  # NDRPDR sel
1546       - 39  # NDRPDR sel
1547       - 43  # NDRPDR sel
1548       - 44  # NDRPDR sel
1549       - 49  # NDRPDR sel
1550       - 50  # NDRPDR sel
1551       - 56  # NDRPDR sel
1552   compare:
1553     title: "rls1810"
1554     data:
1555       csit-vpp-perf-verify-1810-3n-skx:
1556       - 10  # NDRPDR sel
1557       - 14  # NDRPDR sel
1558       - 15  # NDRPDR sel
1559       - 16  # NDRPDR sel
1560       - 17  # NDRPDR sel
1561       - 19  # NDRPDR sel
1562       - 20  # NDRPDR sel
1563       - 21  # NDRPDR sel
1564       - 22  # NDRPDR sel
1565       - 25  # NDRPDR sel
1566   data: "vpp-performance-changes-3n-skx"
1567   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1568   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1569   parameters:
1570   - "name"
1571   - "parent"
1572   - "throughput"
1573
1574 # VPP Performance Changes 3n-skx 4t2c pdr
1575 -
1576   type: "table"
1577   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1578   algorithm: "table_performance_comparison"
1579   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1580   reference:
1581     title: "rls1807"
1582     data:
1583       csit-vpp-perf-verify-1807-3n-skx:
1584       - 33  # NDRPDR sel
1585       - 35  # NDRPDR sel
1586       - 37  # NDRPDR sel
1587       - 38  # NDRPDR sel
1588       - 39  # NDRPDR sel
1589       - 43  # NDRPDR sel
1590       - 44  # NDRPDR sel
1591       - 49  # NDRPDR sel
1592       - 50  # NDRPDR sel
1593       - 56  # NDRPDR sel
1594   compare:
1595     title: "rls1810"
1596     data:
1597       csit-vpp-perf-verify-1810-3n-skx:
1598       - 10  # NDRPDR sel
1599       - 14  # NDRPDR sel
1600       - 15  # NDRPDR sel
1601       - 16  # NDRPDR sel
1602       - 17  # NDRPDR sel
1603       - 19  # NDRPDR sel
1604       - 20  # NDRPDR sel
1605       - 21  # NDRPDR sel
1606       - 22  # NDRPDR sel
1607       - 25  # NDRPDR sel
1608   data: "vpp-performance-changes-3n-skx"
1609   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1610   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1611   parameters:
1612   - "name"
1613   - "parent"
1614   - "throughput"
1615
1616 # VPP Performance Changes 3n-skx 2t1c ndr
1617 -
1618   type: "table"
1619   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1620   algorithm: "table_performance_comparison"
1621   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1622   reference:
1623     title: "rls1807"
1624     data:
1625       csit-vpp-perf-verify-1807-3n-skx:
1626       - 33  # NDRPDR sel
1627       - 35  # NDRPDR sel
1628       - 37  # NDRPDR sel
1629       - 38  # NDRPDR sel
1630       - 39  # NDRPDR sel
1631       - 43  # NDRPDR sel
1632       - 44  # NDRPDR sel
1633       - 49  # NDRPDR sel
1634       - 50  # NDRPDR sel
1635       - 56  # NDRPDR sel
1636   compare:
1637     title: "rls1810"
1638     data:
1639       csit-vpp-perf-verify-1810-3n-skx:
1640       - 10  # NDRPDR sel
1641       - 14  # NDRPDR sel
1642       - 15  # NDRPDR sel
1643       - 16  # NDRPDR sel
1644       - 17  # NDRPDR sel
1645       - 19  # NDRPDR sel
1646       - 20  # NDRPDR sel
1647       - 21  # NDRPDR sel
1648       - 22  # NDRPDR sel
1649       - 25  # NDRPDR sel
1650   data: "vpp-performance-changes-3n-skx"
1651   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1652   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1653   parameters:
1654   - "name"
1655   - "parent"
1656   - "throughput"
1657
1658 # VPP Performance Changes 3n-skx 4t2c ndr
1659 -
1660   type: "table"
1661   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1662   algorithm: "table_performance_comparison"
1663   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1664   reference:
1665     title: "rls1807"
1666     data:
1667       csit-vpp-perf-verify-1807-3n-skx:
1668       - 33  # NDRPDR sel
1669       - 35  # NDRPDR sel
1670       - 37  # NDRPDR sel
1671       - 38  # NDRPDR sel
1672       - 39  # NDRPDR sel
1673       - 43  # NDRPDR sel
1674       - 44  # NDRPDR sel
1675       - 49  # NDRPDR sel
1676       - 50  # NDRPDR sel
1677       - 56  # NDRPDR sel
1678   compare:
1679     title: "rls1810"
1680     data:
1681       csit-vpp-perf-verify-1810-3n-skx:
1682       - 10  # NDRPDR sel
1683       - 14  # NDRPDR sel
1684       - 15  # NDRPDR sel
1685       - 16  # NDRPDR sel
1686       - 17  # NDRPDR sel
1687       - 19  # NDRPDR sel
1688       - 20  # NDRPDR sel
1689       - 21  # NDRPDR sel
1690       - 22  # NDRPDR sel
1691       - 25  # NDRPDR sel
1692   data: "vpp-performance-changes-3n-skx"
1693   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1694   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1695   parameters:
1696   - "name"
1697   - "parent"
1698   - "throughput"
1699
1700 # VPP Performance Changes 2n-skx 2t1c pdr 
1701 -
1702   type: "table"
1703   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1704   algorithm: "table_performance_comparison"
1705   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1706   reference:
1707     title: "rls1807"
1708     data:
1709       csit-vpp-perf-verify-1807-2n-skx:
1710       - 26  # NDRPDR sel
1711       - 28  # NDRPDR sel
1712       - 29  # NDRPDR sel
1713       - 30  # NDRPDR sel
1714       - 34  # NDRPDR sel
1715       - 35  # NDRPDR sel
1716       - 36  # NDRPDR sel
1717       - 39  # NDRPDR sel
1718       - 40  # NDRPDR sel
1719       - 42  # NDRPDR sel
1720   compare:
1721     title: "rls1810"
1722     data:
1723       csit-vpp-perf-verify-1810-2n-skx:
1724       - 9   # NDRPDR sel
1725       - 13  # NDRPDR sel
1726       - 14  # NDRPDR sel
1727       - 19  # NDRPDR sel
1728       - 20  # NDRPDR sel
1729       - 21  # NDRPDR sel
1730       - 22  # NDRPDR sel
1731       - 23  # NDRPDR sel
1732       - 24  # NDRPDR sel
1733       - 27  # NDRPDR sel
1734   data: "vpp-performance-changes-2n-skx"
1735   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1736   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1737   parameters:
1738   - "name"
1739   - "parent"
1740   - "throughput"
1741
1742 # VPP Performance Changes 2n-skx 4t2c pdr
1743 -
1744   type: "table"
1745   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1746   algorithm: "table_performance_comparison"
1747   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1748   reference:
1749     title: "rls1807"
1750     data:
1751       csit-vpp-perf-verify-1807-2n-skx:
1752       - 26  # NDRPDR sel
1753       - 28  # NDRPDR sel
1754       - 29  # NDRPDR sel
1755       - 30  # NDRPDR sel
1756       - 34  # NDRPDR sel
1757       - 35  # NDRPDR sel
1758       - 36  # NDRPDR sel
1759       - 39  # NDRPDR sel
1760       - 40  # NDRPDR sel
1761       - 42  # NDRPDR sel
1762   compare:
1763     title: "rls1810"
1764     data:
1765       csit-vpp-perf-verify-1810-2n-skx:
1766       - 9   # NDRPDR sel
1767       - 13  # NDRPDR sel
1768       - 14  # NDRPDR sel
1769       - 19  # NDRPDR sel
1770       - 20  # NDRPDR sel
1771       - 21  # NDRPDR sel
1772       - 22  # NDRPDR sel
1773       - 23  # NDRPDR sel
1774       - 24  # NDRPDR sel
1775       - 27  # NDRPDR sel
1776   data: "vpp-performance-changes-2n-skx"
1777   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1778   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1779   parameters:
1780   - "name"
1781   - "parent"
1782   - "throughput"
1783
1784 # VPP Performance Changes 2n-skx 2t1c ndr
1785 -
1786   type: "table"
1787   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1788   algorithm: "table_performance_comparison"
1789   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1790   reference:
1791     title: "rls1807"
1792     data:
1793       csit-vpp-perf-verify-1807-2n-skx:
1794       - 26  # NDRPDR sel
1795       - 28  # NDRPDR sel
1796       - 29  # NDRPDR sel
1797       - 30  # NDRPDR sel
1798       - 34  # NDRPDR sel
1799       - 35  # NDRPDR sel
1800       - 36  # NDRPDR sel
1801       - 39  # NDRPDR sel
1802       - 40  # NDRPDR sel
1803       - 42  # NDRPDR sel
1804   compare:
1805     title: "rls1810"
1806     data:
1807       csit-vpp-perf-verify-1810-2n-skx:
1808       - 9   # NDRPDR sel
1809       - 13  # NDRPDR sel
1810       - 14  # NDRPDR sel
1811       - 19  # NDRPDR sel
1812       - 20  # NDRPDR sel
1813       - 21  # NDRPDR sel
1814       - 22  # NDRPDR sel
1815       - 23  # NDRPDR sel
1816       - 24  # NDRPDR sel
1817       - 27  # NDRPDR sel
1818   data: "vpp-performance-changes-2n-skx"
1819   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1820   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1821   parameters:
1822   - "name"
1823   - "parent"
1824   - "throughput"
1825
1826 # VPP Performance Changes 2n-skx 4t2c ndr
1827 -
1828   type: "table"
1829   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1830   algorithm: "table_performance_comparison"
1831   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1832   reference:
1833     title: "rls1807"
1834     data:
1835       csit-vpp-perf-verify-1807-2n-skx:
1836       - 26  # NDRPDR sel
1837       - 28  # NDRPDR sel
1838       - 29  # NDRPDR sel
1839       - 30  # NDRPDR sel
1840       - 34  # NDRPDR sel
1841       - 35  # NDRPDR sel
1842       - 36  # NDRPDR sel
1843       - 39  # NDRPDR sel
1844       - 40  # NDRPDR sel
1845       - 42  # NDRPDR sel
1846   compare:
1847     title: "rls1810"
1848     data:
1849       csit-vpp-perf-verify-1810-2n-skx:
1850       - 9   # NDRPDR sel
1851       - 13  # NDRPDR sel
1852       - 14  # NDRPDR sel
1853       - 19  # NDRPDR sel
1854       - 20  # NDRPDR sel
1855       - 21  # NDRPDR sel
1856       - 22  # NDRPDR sel
1857       - 23  # NDRPDR sel
1858       - 24  # NDRPDR sel
1859       - 27  # NDRPDR sel
1860   data: "vpp-performance-changes-2n-skx"
1861   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1862   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1863   parameters:
1864   - "name"
1865   - "parent"
1866   - "throughput"
1867
1868 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr
1869 -
1870   type: "table"
1871   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1872   algorithm: "table_performance_comparison"
1873   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1874   reference:
1875     title: "3-Node Hsw"
1876     data:
1877       csit-vpp-perf-verify-1810-3n-hsw:
1878       - 8   # NDRPDR sel
1879       - 12  # NDRPDR sel
1880       - 14  # NDRPDR sel
1881       - 18  # NDRPDR sel
1882       - 23  # NDRPDR sel
1883       - 25  # NDRPDR sel
1884       - 38  # NDRPDR sel
1885       - 39  # NDRPDR sel
1886       - 41  # NDRPDR sel
1887       - 42  # NDRPDR sel
1888   compare:
1889     title: "3-Node Skx"
1890     data:
1891       csit-vpp-perf-verify-1810-3n-skx:
1892       - 10  # NDRPDR sel
1893       - 14  # NDRPDR sel
1894       - 15  # NDRPDR sel
1895       - 16  # NDRPDR sel
1896       - 17  # NDRPDR sel
1897       - 19  # NDRPDR sel
1898       - 20  # NDRPDR sel
1899       - 21  # NDRPDR sel
1900       - 22  # NDRPDR sel
1901       - 25  # NDRPDR sel
1902   data: "vpp-compare-testbeds"
1903   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1904   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1905   parameters:
1906   - "name"
1907   - "parent"
1908   - "throughput"
1909
1910 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr
1911 -
1912   type: "table"
1913   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1914   algorithm: "table_performance_comparison"
1915   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1916   reference:
1917     title: "3-Node Hsw"
1918     data:
1919       csit-vpp-perf-verify-1810-3n-hsw:
1920       - 8   # NDRPDR sel
1921       - 12  # NDRPDR sel
1922       - 14  # NDRPDR sel
1923       - 18  # NDRPDR sel
1924       - 23  # NDRPDR sel
1925       - 25  # NDRPDR sel
1926       - 38  # NDRPDR sel
1927       - 39  # NDRPDR sel
1928       - 41  # NDRPDR sel
1929       - 42  # NDRPDR sel
1930   compare:
1931     title: "3-Node Skx"
1932     data:
1933       csit-vpp-perf-verify-1810-3n-skx:
1934       - 10  # NDRPDR sel
1935       - 14  # NDRPDR sel
1936       - 15  # NDRPDR sel
1937       - 16  # NDRPDR sel
1938       - 17  # NDRPDR sel
1939       - 19  # NDRPDR sel
1940       - 20  # NDRPDR sel
1941       - 21  # NDRPDR sel
1942       - 22  # NDRPDR sel
1943       - 25  # NDRPDR sel
1944   data: "vpp-compare-testbeds"
1945   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1946   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1947   parameters:
1948   - "name"
1949   - "parent"
1950   - "throughput"
1951
1952 # VPP Comparison Across Topologies 3n-skx to 2n-skx ndr
1953 -
1954   type: "table"
1955   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx ndr"
1956   algorithm: "table_performance_comparison"
1957   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-ndr"
1958   reference:
1959     title: "3-Node Skx"
1960     data:
1961       csit-vpp-perf-verify-1810-3n-skx:
1962       - 10  # NDRPDR sel
1963       - 14  # NDRPDR sel
1964       - 15  # NDRPDR sel
1965       - 16  # NDRPDR sel
1966       - 17  # NDRPDR sel
1967       - 19  # NDRPDR sel
1968       - 20  # NDRPDR sel
1969       - 21  # NDRPDR sel
1970       - 22  # NDRPDR sel
1971       - 25  # NDRPDR sel
1972   compare:
1973     title: "2-Node Skx"
1974     data:
1975       csit-vpp-perf-verify-1810-2n-skx:
1976       - 9   # NDRPDR sel
1977       - 13  # NDRPDR sel
1978       - 14  # NDRPDR sel
1979       - 19  # NDRPDR sel
1980       - 20  # NDRPDR sel
1981       - 21  # NDRPDR sel
1982       - 22  # NDRPDR sel
1983       - 23  # NDRPDR sel
1984       - 24  # NDRPDR sel
1985       - 27  # NDRPDR sel
1986   data: "vpp-compare-topologies"
1987   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1988   filter: "'NDRPDR'"
1989   parameters:
1990   - "name"
1991   - "parent"
1992   - "throughput"
1993
1994 # VPP Comparison Across Topologies 3n-skx to 2n-skx pdr
1995 -
1996   type: "table"
1997   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx pdr"
1998   algorithm: "table_performance_comparison"
1999   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-pdr"
2000   reference:
2001     title: "3-Node Skx"
2002     data:
2003       csit-vpp-perf-verify-1810-3n-skx:
2004       - 10  # NDRPDR sel
2005       - 14  # NDRPDR sel
2006       - 15  # NDRPDR sel
2007       - 16  # NDRPDR sel
2008       - 17  # NDRPDR sel
2009       - 19  # NDRPDR sel
2010       - 20  # NDRPDR sel
2011       - 21  # NDRPDR sel
2012       - 22  # NDRPDR sel
2013       - 25  # NDRPDR sel
2014   compare:
2015     title: "2-Node Skx"
2016     data:
2017       csit-vpp-perf-verify-1810-2n-skx:
2018       - 9   # NDRPDR sel
2019       - 13  # NDRPDR sel
2020       - 14  # NDRPDR sel
2021       - 19  # NDRPDR sel
2022       - 20  # NDRPDR sel
2023       - 21  # NDRPDR sel
2024       - 22  # NDRPDR sel
2025       - 23  # NDRPDR sel
2026       - 24  # NDRPDR sel
2027       - 27  # NDRPDR sel
2028   data: "vpp-compare-topologies"
2029   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2030   filter: "'NDRPDR'"
2031   parameters:
2032   - "name"
2033   - "parent"
2034   - "throughput"
2035
2036 # VPP Performance Changes 3n-hsw 1t1c MRR
2037 -
2038   type: "table"
2039   title: "VPP Performance Changes 3n-hsw 1t1c MRR"
2040   algorithm: "table_performance_comparison"
2041   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-mrr"
2042   history:
2043     -
2044       title: "rls1804"
2045       data:
2046         csit-vpp-perf-check-1804:
2047         - 6   # mrr - sel
2048         - 13  # mrr - sel
2049         - 14  # mrr - sel
2050         - 15  # mrr - sel
2051         - 16  # mrr - sel
2052         - 17  # mrr - sel
2053         - 19  # mrr - sel
2054         - 20  # mrr - sel
2055         - 21  # mrr - sel
2056         - 22  # mrr - sel
2057   reference:
2058     title: "rls1807"
2059     data:
2060       csit-vpp-perf-verify-1807-3n-hsw:
2061       - 8   # MRR full
2062       - 9   # MRR sel
2063       - 21  # MRR sel
2064       - 31  # MRR sel
2065       - 33  # MRR sel
2066       - 36  # MRR sel
2067       - 41  # MRR sel
2068       - 42  # MRR sel
2069       - 48  # MRR sel
2070   compare:
2071     title: "rls1810"
2072     data:
2073       csit-vpp-perf-verify-1810-3n-hsw:
2074       - 9   # MRR sel
2075   data: "vpp-performance-changes-3n-hsw-mrr"
2076   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2077   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2078   parameters:
2079   - "name"
2080   - "parent"
2081   - "result"
2082
2083 # VPP Performance Changes 3n-hsw 2t2c MRR
2084 -
2085   type: "table"
2086   title: "VPP Performance Changes 3n-hsw 2t2c MRR"
2087   algorithm: "table_performance_comparison"
2088   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-mrr"
2089   history:
2090     -
2091       title: "rls1804"
2092       data:
2093         csit-vpp-perf-check-1804:
2094         - 6   # mrr - sel
2095         - 13  # mrr - sel
2096         - 14  # mrr - sel
2097         - 15  # mrr - sel
2098         - 16  # mrr - sel
2099         - 17  # mrr - sel
2100         - 19  # mrr - sel
2101         - 20  # mrr - sel
2102         - 21  # mrr - sel
2103         - 22  # mrr - sel
2104   reference:
2105     title: "rls1807"
2106     data:
2107       csit-vpp-perf-verify-1807-3n-hsw:
2108       - 8   # MRR full
2109       - 9   # MRR sel
2110       - 21  # MRR sel
2111       - 31  # MRR sel
2112       - 33  # MRR sel
2113       - 36  # MRR sel
2114       - 41  # MRR sel
2115       - 42  # MRR sel
2116       - 48  # MRR sel
2117   compare:
2118     title: "rls1810"
2119     data:
2120       csit-vpp-perf-verify-1810-3n-hsw:
2121       - 9   # MRR sel
2122   data: "vpp-performance-changes-3n-hsw-mrr"
2123   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2124   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2125   parameters:
2126   - "name"
2127   - "parent"
2128   - "result"
2129
2130 # VPP Performance Changes 3n-hsw 4t4c MRR
2131 -
2132   type: "table"
2133   title: "VPP Performance Changes 3n-hsw 4t4c MRR"
2134   algorithm: "table_performance_comparison"
2135   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-mrr"
2136   history:
2137     -
2138       title: "rls1804"
2139       data:
2140         csit-vpp-perf-check-1804:
2141         - 6   # mrr - sel
2142         - 13  # mrr - sel
2143         - 14  # mrr - sel
2144         - 15  # mrr - sel
2145         - 16  # mrr - sel
2146         - 17  # mrr - sel
2147         - 19  # mrr - sel
2148         - 20  # mrr - sel
2149         - 21  # mrr - sel
2150         - 22  # mrr - sel
2151   reference:
2152     title: "rls1807"
2153     data:
2154       csit-vpp-perf-verify-1807-3n-hsw:
2155       - 8   # MRR full
2156       - 9   # MRR sel
2157       - 21  # MRR sel
2158       - 31  # MRR sel
2159       - 33  # MRR sel
2160       - 36  # MRR sel
2161       - 41  # MRR sel
2162       - 42  # MRR sel
2163       - 48  # MRR sel
2164   compare:
2165     title: "rls1810"
2166     data:
2167       csit-vpp-perf-verify-1810-3n-hsw:
2168       - 9   # MRR sel
2169   data: "vpp-performance-changes-3n-hsw-mrr"
2170   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2171   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2172   parameters:
2173   - "name"
2174   - "parent"
2175   - "result"
2176
2177 # VPP Performance Changes 3n-skx 2t1c MRR
2178 -
2179   type: "table"
2180   title: "VPP Performance Changes 3n-skx 2t1c MRR"
2181   algorithm: "table_performance_comparison"
2182   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2183   reference:
2184     title: "rls1807"
2185     data:
2186       csit-vpp-perf-verify-1807-3n-skx:
2187       - 28  # MRR sel
2188       - 32  # MRR sel
2189       - 36  # MRR sel
2190       - 42  # MRR sel
2191       - 47  # MRR sel
2192       - 48  # MRR sel
2193       - 51  # MRR sel
2194       - 52  # MRR sel
2195       - 53  # MRR sel
2196   compare:
2197     title: "rls1810"
2198     data:
2199       csit-vpp-perf-verify-1810-3n-skx:
2200       - 9   # MRR sel
2201       - 11  # MRR sel
2202       - 12  # MRR sel
2203       - 13  # MRR sel
2204   data: "vpp-performance-changes-3n-skx-mrr"
2205   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2206   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2207   parameters:
2208   - "name"
2209   - "parent"
2210   - "result"
2211
2212 # VPP Performance Changes 3n-skx 4t2c MRR
2213 -
2214   type: "table"
2215   title: "VPP Performance Changes 3n-skx 4t2c MRR"
2216   algorithm: "table_performance_comparison"
2217   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
2218   reference:
2219     title: "rls1807"
2220     data:
2221       csit-vpp-perf-verify-1807-3n-skx:
2222       - 28  # MRR sel
2223       - 32  # MRR sel
2224       - 36  # MRR sel
2225       - 42  # MRR sel
2226       - 47  # MRR sel
2227       - 48  # MRR sel
2228       - 51  # MRR sel
2229       - 52  # MRR sel
2230       - 53  # MRR sel
2231   compare:
2232     title: "rls1810"
2233     data:
2234       csit-vpp-perf-verify-1810-3n-skx:
2235       - 9   # MRR sel
2236       - 11  # MRR sel
2237       - 12  # MRR sel
2238       - 13  # MRR sel
2239   data: "vpp-performance-changes-3n-skx-mrr"
2240   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2241   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2242   parameters:
2243   - "name"
2244   - "parent"
2245   - "result"
2246
2247 # VPP Performance Changes 3n-skx 8t4c MRR
2248 -
2249   type: "table"
2250   title: "VPP Performance Changes 3n-skx 8t4c MRR"
2251   algorithm: "table_performance_comparison"
2252   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
2253   reference:
2254     title: "rls1807"
2255     data:
2256       csit-vpp-perf-verify-1807-3n-skx:
2257       - 28  # MRR sel
2258       - 32  # MRR sel
2259       - 36  # MRR sel
2260       - 42  # MRR sel
2261       - 47  # MRR sel
2262       - 48  # MRR sel
2263       - 51  # MRR sel
2264       - 52  # MRR sel
2265       - 53  # MRR sel
2266   compare:
2267     title: "rls1810"
2268     data:
2269       csit-vpp-perf-verify-1810-3n-skx:
2270       - 9   # MRR sel
2271       - 11  # MRR sel
2272       - 12  # MRR sel
2273       - 13  # MRR sel
2274   data: "vpp-performance-changes-3n-skx-mrr"
2275   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2276   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2277   parameters:
2278   - "name"
2279   - "parent"
2280   - "result"
2281
2282 # VPP Performance Changes 2n-skx 2t1c MRR
2283 -
2284   type: "table"
2285   title: "VPP Performance Changes 2n-skx 2t1c MRR"
2286   algorithm: "table_performance_comparison"
2287   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
2288   reference:
2289     title: "rls1807"
2290     data:
2291       csit-vpp-perf-verify-1807-2n-skx:
2292       - 31  # MRR sel
2293       - 33  # MRR sel
2294       - 37  # MRR sel
2295       - 38  # MRR sel
2296       - 41  # MRR sel
2297       - 43  # MRR sel
2298       - 44  # MRR sel
2299       - 45  # MRR sel
2300       - 46  # MRR sel
2301       - 47  # MRR sel
2302   compare:
2303     title: "rls1810"
2304     data:
2305       csit-vpp-perf-verify-1810-2n-skx:
2306       - 8   # MRR sel
2307       - 10  # MRR sel
2308       - 11  # MRR sel
2309       - 12  # MRR sel
2310   data: "vpp-performance-changes-2n-skx-mrr"
2311   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2312   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2313   parameters:
2314   - "name"
2315   - "parent"
2316   - "result"
2317
2318 # VPP Performance Changes 2n-skx 4t2c MRR
2319 -
2320   type: "table"
2321   title: "VPP Performance Changes 2n-skx 4t2c MRR"
2322   algorithm: "table_performance_comparison"
2323   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
2324   reference:
2325     title: "rls1807"
2326     data:
2327       csit-vpp-perf-verify-1807-2n-skx:
2328       - 31  # MRR sel
2329       - 33  # MRR sel
2330       - 37  # MRR sel
2331       - 38  # MRR sel
2332       - 41  # MRR sel
2333       - 43  # MRR sel
2334       - 44  # MRR sel
2335       - 45  # MRR sel
2336       - 46  # MRR sel
2337       - 47  # MRR sel
2338   compare:
2339     title: "rls1810"
2340     data:
2341       csit-vpp-perf-verify-1810-2n-skx:
2342       - 8   # MRR sel
2343       - 10  # MRR sel
2344       - 11  # MRR sel
2345       - 12  # MRR sel
2346   data: "vpp-performance-changes-2n-skx-mrr"
2347   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2348   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2349   parameters:
2350   - "name"
2351   - "parent"
2352   - "result"
2353
2354 # VPP Performance Changes 2n-skx 8t4c MRR
2355 -
2356   type: "table"
2357   title: "VPP Performance Changes 2n-skx 8t4c MRR"
2358   algorithm: "table_performance_comparison"
2359   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
2360   reference:
2361     title: "rls1807"
2362     data:
2363       csit-vpp-perf-verify-1807-2n-skx:
2364       - 31  # MRR sel
2365       - 33  # MRR sel
2366       - 37  # MRR sel
2367       - 38  # MRR sel
2368       - 41  # MRR sel
2369       - 43  # MRR sel
2370       - 44  # MRR sel
2371       - 45  # MRR sel
2372       - 46  # MRR sel
2373       - 47  # MRR sel
2374   compare:
2375     title: "rls1810"
2376     data:
2377       csit-vpp-perf-verify-1810-2n-skx:
2378       - 8   # MRR sel
2379       - 10  # MRR sel
2380       - 11  # MRR sel
2381       - 12  # MRR sel
2382   data: "vpp-performance-changes-2n-skx-mrr"
2383   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2384   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2385   parameters:
2386   - "name"
2387   - "parent"
2388   - "result"
2389
2390 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr
2391 -
2392   type: "table"
2393   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
2394   algorithm: "table_performance_comparison"
2395   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
2396   reference:
2397     title: "3-Node Hsw"
2398     data:
2399       csit-vpp-perf-verify-1810-3n-hsw:
2400       - 9   # MRR sel
2401   compare:
2402     title: "3-Node Skx"
2403     data:
2404       csit-vpp-perf-verify-1810-3n-skx:
2405       - 9   # MRR sel
2406       - 11  # MRR sel
2407       - 12  # MRR sel
2408       - 13  # MRR sel
2409   data: "vpp-compare-testbeds-mrr"
2410   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2411   filter: "'NIC_Intel-X710' and 'MRR'"
2412   parameters:
2413   - "name"
2414   - "parent"
2415   - "result"
2416
2417 # VPP Comparison Across Topologies 3n-skx to 2n-skx mrr
2418 -
2419   type: "table"
2420   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx mrr"
2421   algorithm: "table_performance_comparison"
2422   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-mrr"
2423   reference:
2424     title: "3-Node Skx"
2425     data:
2426       csit-vpp-perf-verify-1810-3n-skx:
2427       - 9   # MRR sel
2428       - 11  # MRR sel
2429       - 12  # MRR sel
2430       - 13  # MRR sel
2431   compare:
2432     title: "2-Node Skx"
2433     data:
2434       csit-vpp-perf-verify-1810-2n-skx:
2435       - 8   # MRR sel
2436       - 10  # MRR sel
2437       - 11  # MRR sel
2438       - 12  # MRR sel
2439   data: "vpp-compare-topologies-mrr"
2440   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2441   filter: "'MRR'"
2442   parameters:
2443   - "name"
2444   - "parent"
2445   - "result"
2446
2447 # Detailed Test Results - VPP Performance Results 3n-hsw
2448 -
2449   type: "table"
2450   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
2451   algorithm: "table_merged_details"
2452   output-file-ext: ".csv"
2453   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
2454   columns:
2455   -
2456     title: "Name"
2457     data: "data name"
2458   -
2459     title: "Status"
2460     data: "data msg"
2461   rows: "generated"
2462   data: "vpp-perf-results-3n-hsw"
2463   filter: "not 'NDRCHK' and not 'PDRCHK'"
2464   parameters:
2465   - "name"
2466   - "parent"
2467   - "msg"
2468
2469 # Detailed Test Results - VPP Performance Results 3n-skx
2470 -
2471   type: "table"
2472   title: "Detailed Test Results - VPP Performance Results 3n-skx"
2473   algorithm: "table_merged_details"
2474   output-file-ext: ".csv"
2475   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
2476   columns:
2477   -
2478     title: "Name"
2479     data: "data name"
2480   -
2481     title: "Status"
2482     data: "data msg"
2483   rows: "generated"
2484   data: "vpp-perf-results-3n-skx"
2485   filter: "not 'NDRCHK' and not 'PDRCHK'"
2486   parameters:
2487   - "name"
2488   - "parent"
2489   - "msg"
2490
2491 # Detailed Test Results - VPP Performance Results 2n-skx
2492 -
2493   type: "table"
2494   title: "Detailed Test Results - VPP Performance Results 2n-skx"
2495   algorithm: "table_merged_details"
2496   output-file-ext: ".csv"
2497   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
2498   columns:
2499   -
2500     title: "Name"
2501     data: "data name"
2502   -
2503     title: "Status"
2504     data: "data msg"
2505   rows: "generated"
2506   data: "vpp-perf-results-2n-skx"
2507   filter: "not 'NDRCHK' and not 'PDRCHK'"
2508   parameters:
2509   - "name"
2510   - "parent"
2511   - "msg"
2512
2513 # Detailed Test Results - VPP Performance Results 2n-dnv
2514 -
2515   type: "table"
2516   title: "Detailed Test Results - VPP Performance Results 2n-dnv"
2517   algorithm: "table_details"
2518   output-file-ext: ".csv"
2519   output-file: "{DIR[DTR,PERF,VPP,2N,DNV]}/vpp_performance_results_2n_dnv"
2520   columns:
2521   -
2522     title: "Name"
2523     data: "data name"
2524   -
2525     title: "Status"
2526     data: "data msg"
2527   rows: "generated"
2528   data: "intel-dnv-vpp"
2529   filter: "'NDRPDR'"
2530   parameters:
2531   - "name"
2532   - "parent"
2533   - "msg"
2534
2535 # Test configuration - VPP Performance Test Configs 3n-hsw
2536 -
2537   type: "table"
2538   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
2539   algorithm: "table_merged_details"
2540   output-file-ext: ".csv"
2541   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
2542   columns:
2543   -
2544     title: "Name"
2545     data: "data name"
2546   -
2547     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2548     data: "data vat-history"
2549   rows: "generated"
2550   data: "vpp-perf-results-3n-hsw"
2551   filter: "not 'NDRCHK' and not 'PDRCHK'"
2552   parameters:
2553   - "parent"
2554   - "name"
2555   - "vat-history"
2556
2557 # Test configuration - VPP Performance Test Configs 3n-skx
2558 -
2559   type: "table"
2560   title: "Test configuration - VPP Performance Test Configs 3n-skx"
2561   algorithm: "table_merged_details"
2562   output-file-ext: ".csv"
2563   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
2564   columns:
2565   -
2566     title: "Name"
2567     data: "data name"
2568   -
2569     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2570     data: "data vat-history"
2571   rows: "generated"
2572   data: "vpp-perf-results-3n-skx"
2573   filter: "not 'NDRCHK' and not 'PDRCHK'"
2574   parameters:
2575   - "parent"
2576   - "name"
2577   - "vat-history"
2578
2579 # Test configuration - VPP Performance Test Configs 2n-skx
2580 -
2581   type: "table"
2582   title: "Test configuration - VPP Performance Test Configs 2n-skx"
2583   algorithm: "table_merged_details"
2584   output-file-ext: ".csv"
2585   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
2586   columns:
2587   -
2588     title: "Name"
2589     data: "data name"
2590   -
2591     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2592     data: "data vat-history"
2593   rows: "generated"
2594   data: "vpp-perf-results-2n-skx"
2595   filter: "not 'NDRCHK' and not 'PDRCHK'"
2596   parameters:
2597   - "parent"
2598   - "name"
2599   - "vat-history"
2600
2601 # Test configuration - VPP Performance Test Configs 2n-dnv
2602 -
2603   type: "table"
2604   title: "Test configuration - VPP Performance Test Configs 2n-dnv"
2605   algorithm: "table_details"
2606   output-file-ext: ".csv"
2607   output-file: "{DIR[DTC,PERF,VPP,2N,DNV]}/vpp_test_configuration_2n_dnv"
2608   columns:
2609   -
2610     title: "Name"
2611     data: "data name"
2612   -
2613     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2614     data: "data vat-history"
2615   rows: "generated"
2616   data: "intel-dnv-vpp"
2617   filter: "'NDRPDR'"
2618   parameters:
2619   - "parent"
2620   - "name"
2621   - "vat-history"
2622
2623 # Test Operational Data - VPP Performance Operational Data 3n-hsw
2624 -
2625   type: "table"
2626   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
2627   algorithm: "table_merged_details"
2628   output-file-ext: ".csv"
2629   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
2630   columns:
2631   -
2632     title: "Name"
2633     data: "data name"
2634   -
2635     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2636     data: "data show-run"
2637   rows: "generated"
2638   data: "vpp-perf-results-3n-hsw"
2639   filter: "not 'NDRCHK' and not 'PDRCHK'"
2640   parameters:
2641   - "parent"
2642   - "name"
2643   - "show-run"
2644
2645 # Test Operational Data - VPP Performance Operational Data 3n-skx
2646 -
2647   type: "table"
2648   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
2649   algorithm: "table_merged_details"
2650   output-file-ext: ".csv"
2651   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
2652   columns:
2653   -
2654     title: "Name"
2655     data: "data name"
2656   -
2657     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2658     data: "data show-run"
2659   rows: "generated"
2660   data: "vpp-perf-results-3n-skx"
2661   filter: "not 'NDRCHK' and not 'PDRCHK'"
2662   parameters:
2663   - "parent"
2664   - "name"
2665   - "show-run"
2666
2667 # Test Operational Data - VPP Performance Operational Data 2n-skx
2668 -
2669   type: "table"
2670   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
2671   algorithm: "table_merged_details"
2672   output-file-ext: ".csv"
2673   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
2674   columns:
2675   -
2676     title: "Name"
2677     data: "data name"
2678   -
2679     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2680     data: "data show-run"
2681   rows: "generated"
2682   data: "vpp-perf-results-2n-skx"
2683   filter: "not 'NDRCHK' and not 'PDRCHK'"
2684   parameters:
2685   - "parent"
2686   - "name"
2687   - "show-run"
2688
2689 # Test Operational Data - VPP Performance Operational Data 2n-dnv
2690 -
2691   type: "table"
2692   title: "Test Operational Data - VPP Performance Operational Data 2n-dnv"
2693   algorithm: "table_details"
2694   output-file-ext: ".csv"
2695   output-file: "{DIR[DTO,PERF,VPP,2N,DNV]}/vpp_test_operational_2n_dnv"
2696   columns:
2697   -
2698     title: "Name"
2699     data: "data name"
2700   -
2701     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2702     data: "data show-run"
2703   rows: "generated"
2704   data: "intel-dnv-vpp"
2705   filter: "'NDRPDR'"
2706   parameters:
2707   - "parent"
2708   - "name"
2709   - "show-run"
2710
2711 # Detailed Test Results - VPP MRR Results 3n-hsw
2712 -
2713   type: "table"
2714   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
2715   algorithm: "table_details"
2716   output-file-ext: ".csv"
2717   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
2718   columns:
2719   -
2720     title: "Name"
2721     data: "data name"
2722   -
2723     title: "Status"
2724     data: "data msg"
2725   rows: "generated"
2726   data: "vpp-mrr-results-3n-hsw"
2727   filter: "'MRR'"
2728   parameters:
2729   - "name"
2730   - "parent"
2731   - "msg"
2732
2733 # Detailed Test Results - VPP MRR Results 3n-skx
2734 -
2735   type: "table"
2736   title: "Detailed Test Results - VPP MRR Results 3n-skx"
2737   algorithm: "table_details"
2738   output-file-ext: ".csv"
2739   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
2740   columns:
2741   -
2742     title: "Name"
2743     data: "data name"
2744   -
2745     title: "Status"
2746     data: "data msg"
2747   rows: "generated"
2748   data: "vpp-mrr-results-3n-skx"
2749   filter: "'MRR'"
2750   parameters:
2751   - "name"
2752   - "parent"
2753   - "msg"
2754
2755 # Detailed Test Results - VPP MRR Results 2n-skx
2756 -
2757   type: "table"
2758   title: "Detailed Test Results - VPP MRR Results 2n-skx"
2759   algorithm: "table_details"
2760   output-file-ext: ".csv"
2761   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
2762   columns:
2763   -
2764     title: "Name"
2765     data: "data name"
2766   -
2767     title: "Status"
2768     data: "data msg"
2769   rows: "generated"
2770   data: "vpp-mrr-results-2n-skx"
2771   filter: "'MRR'"
2772   parameters:
2773   - "name"
2774   - "parent"
2775   - "msg"
2776
2777 # Detailed Test Results - VPP MRR Results 2n-dnv
2778 -
2779   type: "table"
2780   title: "Detailed Test Results - VPP MRR Results 2n-dnv"
2781   algorithm: "table_details"
2782   output-file-ext: ".csv"
2783   output-file: "{DIR[DTR,MRR,VPP,2N,DNV]}/vpp_mrr_results_2n_dnv"
2784   columns:
2785   -
2786     title: "Name"
2787     data: "data name"
2788   -
2789     title: "Status"
2790     data: "data msg"
2791   rows: "generated"
2792   data: "intel-dnv-vpp"
2793   filter: "'MRR'"
2794   parameters:
2795   - "name"
2796   - "parent"
2797   - "msg"
2798
2799 # Test configuration - VPP MRR Test Configs 3n-hsw
2800 -
2801   type: "table"
2802   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
2803   algorithm: "table_details"
2804   output-file-ext: ".csv"
2805   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
2806   columns:
2807   -
2808     title: "Name"
2809     data: "data name"
2810   -
2811     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2812     data: "data vat-history"
2813   rows: "generated"
2814   data: "vpp-mrr-results-3n-hsw"
2815   filter: "'MRR'"
2816   parameters:
2817   - "parent"
2818   - "name"
2819   - "vat-history"
2820
2821 # Test configuration - VPP MRR Test Configs 3n-skx
2822 -
2823   type: "table"
2824   title: "Test configuration - VPP MRR Test Configs 3n-skx"
2825   algorithm: "table_details"
2826   output-file-ext: ".csv"
2827   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
2828   columns:
2829   -
2830     title: "Name"
2831     data: "data name"
2832   -
2833     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2834     data: "data vat-history"
2835   rows: "generated"
2836   data: "vpp-mrr-results-3n-skx"
2837   filter: "'MRR'"
2838   parameters:
2839   - "parent"
2840   - "name"
2841   - "vat-history"
2842
2843 # Test configuration - VPP MRR Test Configs 2n-skx
2844 -
2845   type: "table"
2846   title: "Test configuration - VPP MRR Test Configs 2n-skx"
2847   algorithm: "table_details"
2848   output-file-ext: ".csv"
2849   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
2850   columns:
2851   -
2852     title: "Name"
2853     data: "data name"
2854   -
2855     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2856     data: "data vat-history"
2857   rows: "generated"
2858   data: "vpp-mrr-results-2n-skx"
2859   filter: "'MRR'"
2860   parameters:
2861   - "parent"
2862   - "name"
2863   - "vat-history"
2864
2865 # Test configuration - VPP MRR Test Configs 2n-dnv
2866 -
2867   type: "table"
2868   title: "Test configuration - VPP MRR Test Configs 2n-dnv"
2869   algorithm: "table_details"
2870   output-file-ext: ".csv"
2871   output-file: "{DIR[DTC,MRR,VPP,2N,DNV]}/vpp_mrr_test_configuration_2n_dnv"
2872   columns:
2873   -
2874     title: "Name"
2875     data: "data name"
2876   -
2877     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2878     data: "data vat-history"
2879   rows: "generated"
2880   data: "intel-dnv-vpp"
2881   filter: "'MRR'"
2882   parameters:
2883   - "parent"
2884   - "name"
2885   - "vat-history"
2886
2887 # Detailed Test Results - VPP Functional Results - Ubuntu
2888 -
2889   type: "table"
2890   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
2891   algorithm: "table_details"
2892   output-file-ext: ".csv"
2893   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
2894   columns:
2895   -
2896     title: "Name"
2897     data: "data name"
2898   -
2899     title: "Documentation"
2900     data: "data doc"
2901   -
2902     title: "Status"
2903     data: "data status"
2904   rows: "generated"
2905   data: "vpp-func-results-ubuntu"
2906   filter: "all"
2907   parameters:
2908   - "name"
2909   - "parent"
2910   - "doc"
2911   - "status"
2912
2913 # Detailed Test Results - VPP Functional Results - CentOS
2914 -
2915   type: "table"
2916   title: "Detailed Test Results - VPP Functional Results - CentOS"
2917   algorithm: "table_details"
2918   output-file-ext: ".csv"
2919   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
2920   columns:
2921   -
2922     title: "Name"
2923     data: "data name"
2924   -
2925     title: "Documentation"
2926     data: "data doc"
2927   -
2928     title: "Status"
2929     data: "data status"
2930   rows: "generated"
2931   data:
2932     "vpp-func-results-centos"
2933   filter: "all"
2934   parameters:
2935   - "name"
2936   - "parent"
2937   - "doc"
2938   - "status"
2939
2940 # Test configuration - VPP Functional Test Configs - Ubuntu
2941 -
2942   type: "table"
2943   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
2944   algorithm: "table_details"
2945   output-file-ext: ".csv"
2946   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
2947   columns:
2948   -
2949     title: "Name"
2950     data: "data name"
2951   -
2952     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2953     data: "data vat-history"
2954   rows: "generated"
2955   data: "vpp-func-results-ubuntu"
2956   filter: "all"
2957   parameters:
2958   - "parent"
2959   - "name"
2960   - "vat-history"
2961
2962 # Test configuration - VPP Functional Test Configs - CentOS
2963 -
2964   type: "table"
2965   title: "Test configuration - VPP Functional Test Configs - CentOS"
2966   algorithm: "table_details"
2967   output-file-ext: ".csv"
2968   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2969   columns:
2970   -
2971     title: "Name"
2972     data: "data name"
2973   -
2974     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2975     data: "data vat-history"
2976   rows: "generated"
2977   data: "vpp-func-results-centos"
2978   filter: "all"
2979   parameters:
2980   - "parent"
2981   - "name"
2982   - "vat-history"
2983
2984 # Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw
2985 -
2986   type: "table"
2987   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
2988   algorithm: "table_details"
2989   output-file-ext: ".csv"
2990   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2991   columns:
2992   -
2993     title: "Name"
2994     data: "data name"
2995   -
2996     title: "Status"
2997     data: "data msg"
2998   rows: "generated"
2999   data: "ligato-perf-results-3n-hsw"
3000   filter: "all"
3001   parameters:
3002   - "name"
3003   - "parent"
3004   - "msg"
3005
3006 # Detailed Test Results - VPP Device Results - Ubuntu
3007 -
3008   type: "table"
3009   title: "Detailed Test Results - VPP Device Results - Ubuntu"
3010   algorithm: "table_details"
3011   output-file-ext: ".csv"
3012   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
3013   columns:
3014   -
3015     title: "Name"
3016     data: "data name"
3017   -
3018     title: "Documentation"
3019     data: "data doc"
3020   -
3021     title: "Status"
3022     data: "data status"
3023   rows: "generated"
3024   data: "vpp-device-results-ubuntu"
3025   filter: "all"
3026   parameters:
3027   - "name"
3028   - "parent"
3029   - "doc"
3030   - "status"
3031
3032 # Test configuration - VPP Device Test Configs - Ubuntu
3033 -
3034   type: "table"
3035   title: "Test configuration - VPP Device Test Configs - Ubuntu"
3036   algorithm: "table_details"
3037   output-file-ext: ".csv"
3038   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
3039   columns:
3040   -
3041     title: "Name"
3042     data: "data name"
3043   -
3044     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3045     data: "data vat-history"
3046   rows: "generated"
3047   data: "vpp-device-results-ubuntu"
3048   filter: "all"
3049   parameters:
3050   - "parent"
3051   - "name"
3052   - "vat-history"
3053
3054 ################################################################################
3055
3056 # DPDK Performance Changes 3n-hsw 1t1c pdr
3057 -
3058   type: "table"
3059   title: "DPDK Performance Changes 3n-hsw 1t1c pdr"
3060   algorithm: "table_performance_comparison"
3061   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-pdr"
3062   history:
3063     -
3064       title: "rls1804"
3065       data:
3066         csit-dpdk-perf-1804-all:
3067         - 4
3068         - 5
3069         - 6
3070         - 7
3071         - 8
3072         - 9
3073         - 10
3074         - 11
3075         - 12
3076         - 13
3077   reference:
3078     title: "rls1807"
3079     data:
3080       csit-dpdk-perf-verify-1807-3n-hsw:
3081       - 11
3082       - 12  # full
3083       - 14
3084       - 15
3085       - 16
3086       - 17
3087       - 20
3088       - 21
3089       - 22
3090       - 23
3091   compare:
3092     title: "rls1810"
3093     data:
3094       csit-dpdk-perf-verify-1810-3n-hsw:
3095       - 1   # NDRPDR sel
3096       - 2   # NDRPDR sel
3097       - 3   # NDRPDR sel
3098       - 4   # NDRPDR sel
3099       - 5   # NDRPDR sel
3100       - 6   # NDRPDR sel
3101       - 7   # NDRPDR sel
3102       - 8   # NDRPDR sel
3103       - 9   # NDRPDR sel
3104       - 10  # NDRPDR sel
3105   data: "dpdk-performance-changes-3n-hsw"
3106   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3107   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3108   parameters:
3109   - "name"
3110   - "parent"
3111   - "throughput"
3112
3113 # DPDK Performance Changes 3n-hsw 2t2c pdr
3114 -
3115   type: "table"
3116   title: "DPDK Performance Changes 3n-hsw 2t2c pdr"
3117   algorithm: "table_performance_comparison"
3118   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-2t2c-pdr"
3119   history:
3120     -
3121       title: "rls1804"
3122       data:
3123         csit-dpdk-perf-1804-all:
3124         - 4
3125         - 5
3126         - 6
3127         - 7
3128         - 8
3129         - 9
3130         - 10
3131         - 11
3132         - 12
3133         - 13
3134   reference:
3135     title: "rls1807"
3136     data:
3137       csit-dpdk-perf-verify-1807-3n-hsw:
3138       - 11
3139       - 12  # full
3140       - 14
3141       - 15
3142       - 16
3143       - 17
3144       - 20
3145       - 21
3146       - 22
3147       - 23
3148   compare:
3149     title: "rls1810"
3150     data:
3151       csit-dpdk-perf-verify-1810-3n-hsw:
3152       - 1   # NDRPDR sel
3153       - 2   # NDRPDR sel
3154       - 3   # NDRPDR sel
3155       - 4   # NDRPDR sel
3156       - 5   # NDRPDR sel
3157       - 6   # NDRPDR sel
3158       - 7   # NDRPDR sel
3159       - 8   # NDRPDR sel
3160       - 9   # NDRPDR sel
3161       - 10  # NDRPDR sel
3162   data: "dpdk-performance-changes-3n-hsw"
3163   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3164   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3165   parameters:
3166   - "name"
3167   - "parent"
3168   - "throughput"
3169
3170 # DPDK Performance Changes 3n-hsw 1t1c ndr
3171 -
3172   type: "table"
3173   title: "DPDK Performance Changes 3n-hsw 1t1c ndr"
3174   algorithm: "table_performance_comparison"
3175   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-ndr"
3176   history:
3177     -
3178       title: "rls1804"
3179       data:
3180         csit-dpdk-perf-1804-all:
3181         - 4
3182         - 5
3183         - 6
3184         - 7
3185         - 8
3186         - 9
3187         - 10
3188         - 11
3189         - 12
3190         - 13
3191   reference:
3192     title: "rls1807"
3193     data:
3194       csit-dpdk-perf-verify-1807-3n-hsw:
3195       - 11
3196       - 12  # full
3197       - 14
3198       - 15
3199       - 16
3200       - 17
3201       - 20
3202       - 21
3203       - 22
3204       - 23
3205   compare:
3206     title: "rls1810"
3207     data:
3208       csit-dpdk-perf-verify-1810-3n-hsw:
3209       - 1   # NDRPDR sel
3210       - 2   # NDRPDR sel
3211       - 3   # NDRPDR sel
3212       - 4   # NDRPDR sel
3213       - 5   # NDRPDR sel
3214       - 6   # NDRPDR sel
3215       - 7   # NDRPDR sel
3216       - 8   # NDRPDR sel
3217       - 9   # NDRPDR sel
3218       - 10  # NDRPDR sel
3219   data: "dpdk-performance-changes-3n-hsw"
3220   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3221   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3222   parameters:
3223   - "name"
3224   - "parent"
3225   - "throughput"
3226
3227 # DPDK Performance Changes 3n-hsw 2t2c ndr
3228 -
3229   type: "table"
3230   title: "DPDK Performance Changes 3n-hsw 2t2c ndr"
3231   algorithm: "table_performance_comparison"
3232   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-2t2c-ndr"
3233   history:
3234     -
3235       title: "rls1804"
3236       data:
3237         csit-dpdk-perf-1804-all:
3238         - 4
3239         - 5
3240         - 6
3241         - 7
3242         - 8
3243         - 9
3244         - 10
3245         - 11
3246         - 12
3247         - 13
3248   reference:
3249     title: "rls1807"
3250     data:
3251       csit-dpdk-perf-verify-1807-3n-hsw:
3252       - 11
3253       - 12  # full
3254       - 14
3255       - 15
3256       - 16
3257       - 17
3258       - 20
3259       - 21
3260       - 22
3261       - 23
3262   compare:
3263     title: "rls1810"
3264     data:
3265       csit-dpdk-perf-verify-1810-3n-hsw:
3266       - 1   # NDRPDR sel
3267       - 2   # NDRPDR sel
3268       - 3   # NDRPDR sel
3269       - 4   # NDRPDR sel
3270       - 5   # NDRPDR sel
3271       - 6   # NDRPDR sel
3272       - 7   # NDRPDR sel
3273       - 8   # NDRPDR sel
3274       - 9   # NDRPDR sel
3275       - 10  # NDRPDR sel
3276   data: "dpdk-performance-changes-3n-hsw"
3277   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3278   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3279   parameters:
3280   - "name"
3281   - "parent"
3282   - "throughput"
3283
3284 # DPDK Performance Changes 3n-skx 2t1c pdr
3285 -
3286   type: "table"
3287   title: "DPDK Performance Changes 3n-skx 2t1c pdr"
3288   algorithm: "table_performance_comparison"
3289   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-2t1c-pdr"
3290   reference:
3291     title: "rls1807"
3292     data:
3293       csit-dpdk-perf-verify-1807-3n-skx:
3294       - 1   # NDRPDR sel
3295       - 2   # NDRPDR sel
3296       - 3   # NDRPDR sel
3297       - 6   # NDRPDR sel
3298       - 7   # NDRPDR sel
3299       - 8   # NDRPDR sel
3300       - 9   # NDRPDR sel
3301       - 10  # NDRPDR sel
3302       - 11  # NDRPDR sel
3303       - 12  # NDRPDR sel
3304   compare:
3305     title: "rls1810"
3306     data:
3307       csit-dpdk-perf-verify-1810-3n-skx:
3308       - 3   # NDRPDR sel
3309       - 4   # NDRPDR sel
3310       - 6   # NDRPDR sel
3311       - 7   # NDRPDR sel
3312       - 8   # NDRPDR sel
3313       - 9   # NDRPDR sel
3314       - 10  # NDRPDR sel
3315       - 11  # NDRPDR sel
3316       - 12  # NDRPDR sel
3317       - 13  # NDRPDR sel
3318   data: "dpdk-performance-changes-3n-skx"
3319   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3320   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3321   parameters:
3322   - "name"
3323   - "parent"
3324   - "throughput"
3325
3326 # DPDK Performance Changes 3n-skx 4t2c pdr
3327 -
3328   type: "table"
3329   title: "DPDK Performance Changes 3n-skx 4t2c pdr"
3330   algorithm: "table_performance_comparison"
3331   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-4t2c-pdr"
3332   reference:
3333     title: "rls1807"
3334     data:
3335       csit-dpdk-perf-verify-1807-3n-skx:
3336       - 1   # NDRPDR sel
3337       - 2   # NDRPDR sel
3338       - 3   # NDRPDR sel
3339       - 6   # NDRPDR sel
3340       - 7   # NDRPDR sel
3341       - 8   # NDRPDR sel
3342       - 9   # NDRPDR sel
3343       - 10  # NDRPDR sel
3344       - 11  # NDRPDR sel
3345       - 12  # NDRPDR sel
3346   compare:
3347     title: "rls1810"
3348     data:
3349       csit-dpdk-perf-verify-1810-3n-skx:
3350       - 3   # NDRPDR sel
3351       - 4   # NDRPDR sel
3352       - 6   # NDRPDR sel
3353       - 7   # NDRPDR sel
3354       - 8   # NDRPDR sel
3355       - 9   # NDRPDR sel
3356       - 10  # NDRPDR sel
3357       - 11  # NDRPDR sel
3358       - 12  # NDRPDR sel
3359       - 13  # NDRPDR sel
3360   data: "dpdk-performance-changes-3n-skx"
3361   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3362   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3363   parameters:
3364   - "name"
3365   - "parent"
3366   - "throughput"
3367
3368 # DPDK Performance Changes 3n-skx 2t1c ndr
3369 -
3370   type: "table"
3371   title: "DPDK Performance Changes 3n-skx 2t1c ndr"
3372   algorithm: "table_performance_comparison"
3373   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-2t1c-ndr"
3374   reference:
3375     title: "rls1807"
3376     data:
3377       csit-dpdk-perf-verify-1807-3n-skx:
3378       - 1   # NDRPDR sel
3379       - 2   # NDRPDR sel
3380       - 3   # NDRPDR sel
3381       - 6   # NDRPDR sel
3382       - 7   # NDRPDR sel
3383       - 8   # NDRPDR sel
3384       - 9   # NDRPDR sel
3385       - 10  # NDRPDR sel
3386       - 11  # NDRPDR sel
3387       - 12  # NDRPDR sel
3388   compare:
3389     title: "rls1810"
3390     data:
3391       csit-dpdk-perf-verify-1810-3n-skx:
3392       - 3   # NDRPDR sel
3393       - 4   # NDRPDR sel
3394       - 6   # NDRPDR sel
3395       - 7   # NDRPDR sel
3396       - 8   # NDRPDR sel
3397       - 9   # NDRPDR sel
3398       - 10  # NDRPDR sel
3399       - 11  # NDRPDR sel
3400       - 12  # NDRPDR sel
3401       - 13  # NDRPDR sel
3402   data: "dpdk-performance-changes-3n-skx"
3403   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3404   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3405   parameters:
3406   - "name"
3407   - "parent"
3408   - "throughput"
3409
3410 # DPDK Performance Changes 3n-skx 4t2c ndr
3411 -
3412   type: "table"
3413   title: "DPDK Performance Changes 3n-skx 4t2c ndr"
3414   algorithm: "table_performance_comparison"
3415   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-4t2c-ndr"
3416   reference:
3417     title: "rls1807"
3418     data:
3419       csit-dpdk-perf-verify-1807-3n-skx:
3420       - 1   # NDRPDR sel
3421       - 2   # NDRPDR sel
3422       - 3   # NDRPDR sel
3423       - 6   # NDRPDR sel
3424       - 7   # NDRPDR sel
3425       - 8   # NDRPDR sel
3426       - 9   # NDRPDR sel
3427       - 10  # NDRPDR sel
3428       - 11  # NDRPDR sel
3429       - 12  # NDRPDR sel
3430   compare:
3431     title: "rls1810"
3432     data:
3433       csit-dpdk-perf-verify-1810-3n-skx:
3434       - 3   # NDRPDR sel
3435       - 4   # NDRPDR sel
3436       - 6   # NDRPDR sel
3437       - 7   # NDRPDR sel
3438       - 8   # NDRPDR sel
3439       - 9   # NDRPDR sel
3440       - 10  # NDRPDR sel
3441       - 11  # NDRPDR sel
3442       - 12  # NDRPDR sel
3443       - 13  # NDRPDR sel
3444   data: "dpdk-performance-changes-3n-skx"
3445   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3446   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3447   parameters:
3448   - "name"
3449   - "parent"
3450   - "throughput"
3451
3452 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr
3453 -
3454   type: "table"
3455   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
3456   algorithm: "table_performance_comparison"
3457   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
3458   reference:
3459     title: "3-Node Hsw"
3460     data:
3461       csit-dpdk-perf-verify-1810-3n-hsw:
3462       - 1   # NDRPDR sel
3463       - 2   # NDRPDR sel
3464       - 3   # NDRPDR sel
3465       - 4   # NDRPDR sel
3466       - 5   # NDRPDR sel
3467       - 6   # NDRPDR sel
3468       - 7   # NDRPDR sel
3469       - 8   # NDRPDR sel
3470       - 9   # NDRPDR sel
3471       - 10  # NDRPDR sel
3472   compare:
3473     title: "3-Node Skx"
3474     data:
3475       csit-dpdk-perf-verify-1810-3n-skx:
3476       - 3   # NDRPDR sel
3477       - 4   # NDRPDR sel
3478       - 6   # NDRPDR sel
3479       - 7   # NDRPDR sel
3480       - 8   # NDRPDR sel
3481       - 9   # NDRPDR sel
3482       - 10  # NDRPDR sel
3483       - 11  # NDRPDR sel
3484       - 12  # NDRPDR sel
3485       - 13  # NDRPDR sel
3486   data: "dpdk-compare-testbeds"
3487   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3488   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3489   parameters:
3490   - "name"
3491   - "parent"
3492   - "throughput"
3493
3494 # DPDK Comparison Across Topologies 3n-skx to 2n-skx ndr
3495 -
3496   type: "table"
3497   title: "DPDK Comparison Across Topologies 3n-skx to 2n-skx ndr"
3498   algorithm: "table_performance_comparison"
3499   output-file: "{DIR[STATIC,DPDK]}/performance-compare-topologies-3n-skx-2n-skx-ndr"
3500   reference:
3501     title: "3-Node Skx"
3502     data:
3503       csit-dpdk-perf-verify-1810-3n-skx:
3504       - 3   # NDRPDR sel
3505       - 4   # NDRPDR sel
3506       - 6   # NDRPDR sel
3507       - 7   # NDRPDR sel
3508       - 8   # NDRPDR sel
3509       - 9   # NDRPDR sel
3510       - 10  # NDRPDR sel
3511       - 11  # NDRPDR sel
3512       - 12  # NDRPDR sel
3513       - 13  # NDRPDR sel
3514   compare:
3515     title: "2-Node Skx"
3516     data:
3517       csit-dpdk-perf-verify-1810-2n-skx:
3518       - 3   # NDRPDR sel
3519       - 4   # NDRPDR sel
3520       - 5   # NDRPDR sel
3521       - 7   # NDRPDR sel
3522       - 8   # NDRPDR sel
3523       - 9   # NDRPDR sel
3524       - 10  # NDRPDR sel
3525       - 11  # NDRPDR sel
3526       - 12  # NDRPDR sel
3527       - 13  # NDRPDR sel
3528   data: "dpdk-compare-topologies"
3529   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3530   filter: "'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3531   parameters:
3532   - "name"
3533   - "parent"
3534   - "throughput"
3535
3536 # DPDK Comparison Across Topologies 3n-skx to 2n-skx pdr
3537 -
3538   type: "table"
3539   title: "DPDK Comparison Across Topologies 3n-skx to 2n-skx pdr"
3540   algorithm: "table_performance_comparison"
3541   output-file: "{DIR[STATIC,DPDK]}/performance-compare-topologies-3n-skx-2n-skx-pdr"
3542   reference:
3543     title: "3-Node Skx"
3544     data:
3545       csit-dpdk-perf-verify-1810-3n-skx:
3546       - 3   # NDRPDR sel
3547       - 4   # NDRPDR sel
3548       - 6   # NDRPDR sel
3549       - 7   # NDRPDR sel
3550       - 8   # NDRPDR sel
3551       - 9   # NDRPDR sel
3552       - 10  # NDRPDR sel
3553       - 11  # NDRPDR sel
3554       - 12  # NDRPDR sel
3555       - 13  # NDRPDR sel
3556   compare:
3557     title: "2-Node Skx"
3558     data:
3559       csit-dpdk-perf-verify-1810-2n-skx:
3560       - 3   # NDRPDR sel
3561       - 4   # NDRPDR sel
3562       - 5   # NDRPDR sel
3563       - 7   # NDRPDR sel
3564       - 8   # NDRPDR sel
3565       - 9   # NDRPDR sel
3566       - 10  # NDRPDR sel
3567       - 11  # NDRPDR sel
3568       - 12  # NDRPDR sel
3569       - 13  # NDRPDR sel
3570   data: "dpdk-compare-topologies"
3571   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3572   filter: "'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3573   parameters:
3574   - "name"
3575   - "parent"
3576   - "throughput"
3577
3578 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr
3579 -
3580   type: "table"
3581   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
3582   algorithm: "table_performance_comparison"
3583   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
3584   reference:
3585     title: "3-Node Hsw"
3586     data:
3587       csit-dpdk-perf-verify-1810-3n-hsw:
3588       - 1   # NDRPDR sel
3589       - 2   # NDRPDR sel
3590       - 3   # NDRPDR sel
3591       - 4   # NDRPDR sel
3592       - 5   # NDRPDR sel
3593       - 6   # NDRPDR sel
3594       - 7   # NDRPDR sel
3595       - 8   # NDRPDR sel
3596       - 9   # NDRPDR sel
3597       - 10  # NDRPDR sel
3598   compare:
3599     title: "3-Node Skx"
3600     data:
3601       csit-dpdk-perf-verify-1810-3n-skx:
3602       - 3   # NDRPDR sel
3603       - 4   # NDRPDR sel
3604       - 6   # NDRPDR sel
3605       - 7   # NDRPDR sel
3606       - 8   # NDRPDR sel
3607       - 9   # NDRPDR sel
3608       - 10  # NDRPDR sel
3609       - 11  # NDRPDR sel
3610       - 12  # NDRPDR sel
3611       - 13  # NDRPDR sel
3612   data: "dpdk-compare-testbeds"
3613   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3614   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3615   parameters:
3616   - "name"
3617   - "parent"
3618   - "throughput"
3619
3620 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr
3621 # NOTE: Not used in 18.10
3622 #-
3623 #  type: "table"
3624 #  title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
3625 #  algorithm: "table_performance_comparison"
3626 #  output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
3627 #  reference:
3628 #    title: "3-Node Hsw"
3629 #    data:
3630 #      csit-dpdk-perf-verify-1807-3n-hsw:
3631 #      - 11
3632 #      - 12  # full
3633 #      - 14
3634 #      - 15
3635 #      - 16
3636 #      - 17
3637 #      - 20
3638 #      - 21
3639 #      - 22
3640 #      - 23
3641 #  compare:
3642 #    title: "3-Node Skx"
3643 #    data:
3644 #      csit-dpdk-perf-verify-1807-3n-skx:
3645 #      - 1
3646 #      - 2
3647 #      - 3
3648 #      - 6
3649 #      - 7
3650 #      - 8
3651 #      - 9
3652 #      - 10
3653 #      - 11
3654 #      - 12
3655 #  data: "dpdk-compare-testbeds"
3656 #  include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3657 #  filter: "'NIC_Intel-X710' and MRR" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3658 #  parameters:
3659 #  - "name"
3660 #  - "parent"
3661 #  - "result"
3662
3663 # Detailed Test Results - DPDK Performance Results 3n-hsw
3664 -
3665   type: "table"
3666   title: "Detailed Test Results - DPDK Performance Results 3n-hsw"
3667   algorithm: "table_details"
3668   output-file-ext: ".csv"
3669   output-file: "{DIR[DTR,PERF,DPDK,3N,HSW]}/dpdk_performance_results_3n_hsw"
3670   columns:
3671   -
3672     title: "Name"
3673     data: "data name"
3674   -
3675     title: "Status"
3676     data: "data msg"
3677   rows: "generated"
3678   data: "dpdk-perf-results-3n-hsw"
3679   filter: "all"
3680   parameters:
3681   - "name"
3682   - "parent"
3683   - "msg"
3684
3685 # Detailed Test Results - DPDK Performance Results 3n-skx
3686 -
3687   type: "table"
3688   title: "Detailed Test Results - DPDK Performance Results 3n-skx"
3689   algorithm: "table_details"
3690   output-file-ext: ".csv"
3691   output-file: "{DIR[DTR,PERF,DPDK,3N,SKX]}/dpdk_performance_results_3n_skx"
3692   columns:
3693   -
3694     title: "Name"
3695     data: "data name"
3696   -
3697     title: "Status"
3698     data: "data msg"
3699   rows: "generated"
3700   data: "dpdk-perf-results-3n-skx"
3701   filter: "all"
3702   parameters:
3703   - "name"
3704   - "parent"
3705   - "msg"
3706
3707 # Detailed Test Results - DPDK Performance Results 2n-skx
3708 -
3709   type: "table"
3710   title: "Detailed Test Results - DPDK Performance Results 2n-skx"
3711   algorithm: "table_details"
3712   output-file-ext: ".csv"
3713   output-file: "{DIR[DTR,PERF,DPDK,2N,SKX]}/dpdk_performance_results_2n_skx"
3714   columns:
3715   -
3716     title: "Name"
3717     data: "data name"
3718   -
3719     title: "Status"
3720     data: "data msg"
3721   rows: "generated"
3722   data: "dpdk-perf-results-2n-skx"
3723   filter: "all"
3724   parameters:
3725   - "name"
3726   - "parent"
3727   - "msg"
3728
3729 ################################################################################
3730 # HoneyComb
3731 -
3732   type: "table"
3733   title: "Detailed Test Results - Honeycomb Functional Results"
3734   algorithm: "table_details"
3735   output-file-ext: ".csv"
3736   output-file: "{DIR[DTR,FUNC,HC]}/hc_functional_results"
3737   columns:
3738   -
3739     title: "Name"
3740     data: "data name"
3741   -
3742     title: "Documentation"
3743     data: "data doc"
3744   -
3745     title: "Status"
3746     data: "data status"
3747   rows: "generated"
3748   data:
3749     "hc-func-results"
3750   filter: "all"
3751   parameters:
3752   - "name"
3753   - "parent"
3754   - "doc"
3755   - "status"
3756
3757 ################################################################################
3758 # NSH SFC
3759 -
3760   type: "table"
3761   title: "Detailed Test Results - NSH SFC Functional Results"
3762   algorithm: "table_details"
3763   output-file-ext: ".csv"
3764   output-file: "{DIR[DTR,FUNC,NSHSFC]}/nsh_sfc_functional_results"
3765   columns:
3766   -
3767     title: "Name"
3768     data: "data name"
3769   -
3770     title: "Documentation"
3771     data: "data doc"
3772   -
3773     title: "Status"
3774     data: "data status"
3775   rows: "generated"
3776   data:
3777     "nsh-func-results"
3778   filter: "all"
3779   parameters:
3780   - "name"
3781   - "parent"
3782   - "doc"
3783   - "status"
3784
3785 ################################################################################
3786 # DMM
3787 -
3788   type: "table"
3789   title: "Detailed Test Results - DMM Functional Results"
3790   algorithm: "table_details"
3791   output-file-ext: ".csv"
3792   output-file: "{DIR[DTR,FUNC,DMM]}/dmm_functional_results"
3793   columns:
3794   -
3795     title: "Name"
3796     data: "data name"
3797   -
3798     title: "Documentation"
3799     data: "data doc"
3800   -
3801     title: "Status"
3802     data: "data status"
3803   rows: "generated"
3804   data:
3805     "dmm-func-results"
3806   filter: "all"
3807   parameters:
3808   - "name"
3809   - "parent"
3810   - "doc"
3811   - "status"
3812
3813 ################################################################################
3814 ###                                F I L E S                                 ###
3815 ################################################################################
3816
3817 # VPP Performance Results 3n-hsw
3818 -
3819   type: "file"
3820   title: "VPP Performance Results 3n-hsw"
3821   algorithm: "file_test_results"
3822   output-file-ext: ".rst"
3823   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
3824   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3825   dir-tables: "{DIR[DTR,PERF,VPP,3N,HSW]}"
3826   data: "vpp-perf-results-3n-hsw"
3827   filter: "not 'NDRCHK' and not 'PDRCHK'"
3828   parameters:
3829   - "name"
3830   - "doc"
3831   - "level"
3832   - "parent"
3833   data-start-level: 3
3834
3835 # VPP Performance Results 3n-skx
3836 -
3837   type: "file"
3838   title: "VPP Performance Results 3n-skx"
3839   algorithm: "file_test_results"
3840   output-file-ext: ".rst"
3841   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
3842   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3843   dir-tables: "{DIR[DTR,PERF,VPP,3N,SKX]}"
3844   data: "vpp-perf-results-3n-skx"
3845   filter: "not 'NDRCHK' and not 'PDRCHK'"
3846   parameters:
3847   - "name"
3848   - "doc"
3849   - "level"
3850   - "parent"
3851   data-start-level: 3
3852
3853 # VPP Performance Results 2n-skx
3854 -
3855   type: "file"
3856   title: "VPP Performance Results 2n-skx"
3857   algorithm: "file_test_results"
3858   output-file-ext: ".rst"
3859   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
3860   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3861   dir-tables: "{DIR[DTR,PERF,VPP,2N,SKX]}"
3862   data: "vpp-perf-results-2n-skx"
3863   filter: "not 'NDRCHK' and not 'PDRCHK'"
3864   parameters:
3865   - "name"
3866   - "doc"
3867   - "level"
3868   - "parent"
3869   data-start-level: 3
3870
3871 # VPP Performance Results 2n-dnv
3872 -
3873   type: "file"
3874   title: "VPP Performance Results 2n-dnv"
3875   algorithm: "file_test_results"
3876   output-file-ext: ".rst"
3877   output-file: "{DIR[DTR,PERF,VPP,2N,DNV]}/vpp_performance_results_2n_dnv"
3878   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3879   dir-tables: "{DIR[DTR,PERF,VPP,2N,DNV]}"
3880   data: "intel-dnv-vpp"
3881   filter: "'NDRPDR'"
3882   parameters:
3883   - "name"
3884   - "doc"
3885   - "level"
3886   - "parent"
3887   data-start-level: 3
3888
3889 # VPP Performance Configuration 3n-hsw
3890 -
3891   type: "file"
3892   title: "VPP Performance Configuration 3n-hsw"
3893   algorithm: "file_test_results"
3894   output-file-ext: ".rst"
3895   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_performance_configuration_3n_hsw"
3896   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3897   dir-tables: "{DIR[DTC,PERF,VPP,3N,HSW]}"
3898   data: "vpp-perf-results-3n-hsw"
3899   filter: "not 'NDRCHK' and not 'PDRCHK'"
3900   parameters:
3901   - "name"
3902   - "doc"
3903   - "level"
3904   - "parent"
3905   data-start-level: 3
3906
3907 # VPP Performance Configuration 3n-skx
3908 -
3909   type: "file"
3910   title: "VPP Performance Configuration 3n-skx"
3911   algorithm: "file_test_results"
3912   output-file-ext: ".rst"
3913   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_performance_configuration_3n_skx"
3914   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3915   dir-tables: "{DIR[DTC,PERF,VPP,3N,SKX]}"
3916   data: "vpp-perf-results-3n-skx"
3917   filter: "not 'NDRCHK' and not 'PDRCHK'"
3918   parameters:
3919   - "name"
3920   - "doc"
3921   - "level"
3922   - "parent"
3923   data-start-level: 3
3924
3925 # VPP Performance Configuration 2n-skx
3926 -
3927   type: "file"
3928   title: "VPP Performance Configuration 2n-skx"
3929   algorithm: "file_test_results"
3930   output-file-ext: ".rst"
3931   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_performance_configuration_2n_skx"
3932   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3933   dir-tables: "{DIR[DTC,PERF,VPP,2N,SKX]}"
3934   data: "vpp-perf-results-2n-skx"
3935   filter: "not 'NDRCHK' and not 'PDRCHK'"
3936   parameters:
3937   - "name"
3938   - "doc"
3939   - "level"
3940   - "parent"
3941   data-start-level: 3
3942
3943 # VPP Performance Configuration 2n-dnv
3944 -
3945   type: "file"
3946   title: "VPP Performance Configuration 2n-dnv"
3947   algorithm: "file_test_results"
3948   output-file-ext: ".rst"
3949   output-file: "{DIR[DTC,PERF,VPP,2N,DNV]}/vpp_performance_configuration_2n_dnv"
3950   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3951   dir-tables: "{DIR[DTC,PERF,VPP,2N,DNV]}"
3952   data: "intel-dnv-vpp"
3953   filter: "'NDRPDR'"
3954   parameters:
3955   - "name"
3956   - "doc"
3957   - "level"
3958   - "parent"
3959   data-start-level: 3
3960
3961 # VPP Performance Operational Data 3n-hsw
3962 -
3963   type: "file"
3964   title: "VPP Performance Operational Data 3n-hsw"
3965   algorithm: "file_test_results"
3966   output-file-ext: ".rst"
3967   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_performance_operational_data_3n_hsw"
3968   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3969   dir-tables: "{DIR[DTO,PERF,VPP,3N,HSW]}"
3970   data: "vpp-perf-results-3n-hsw"
3971   filter: "not 'NDRCHK' and not 'PDRCHK'"
3972   parameters:
3973   - "name"
3974   - "doc"
3975   - "level"
3976   - "parent"
3977   data-start-level: 3
3978
3979 # VPP Performance Operational Data 3n-skx
3980 -
3981   type: "file"
3982   title: "VPP Performance Operational Data 3n-skx"
3983   algorithm: "file_test_results"
3984   output-file-ext: ".rst"
3985   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_performance_operational_data_3n_skx"
3986   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
3987   dir-tables: "{DIR[DTO,PERF,VPP,3N,SKX]}"
3988   data: "vpp-perf-results-3n-skx"
3989   filter: "not 'NDRCHK' and not 'PDRCHK'"
3990   parameters:
3991   - "name"
3992   - "doc"
3993   - "level"
3994   - "parent"
3995   data-start-level: 3
3996
3997 # VPP Performance Operational Data 2n-skx
3998 -
3999   type: "file"
4000   title: "VPP Performance Operational Data 2n-skx"
4001   algorithm: "file_test_results"
4002   output-file-ext: ".rst"
4003   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_performance_operational_data_2n_skx"
4004   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
4005   dir-tables: "{DIR[DTO,PERF,VPP,2N,SKX]}"
4006   data: "vpp-perf-results-2n-skx"
4007   filter: "not 'NDRCHK' and not 'PDRCHK'"
4008   parameters:
4009   - "name"
4010   - "doc"
4011   - "level"
4012   - "parent"
4013   data-start-level: 3
4014
4015 # VPP Performance Operational Data 2n-dnv
4016 -
4017   type: "file"
4018   title: "VPP Performance Operational Data 2n-dnv"
4019   algorithm: "file_test_results"
4020   output-file-ext: ".rst"
4021   output-file: "{DIR[DTO,PERF,VPP,2N,DNV]}/vpp_performance_operational_data_2n_dnv"
4022   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
4023   dir-tables: "{DIR[DTO,PERF,VPP,2N,DNV]}"
4024   data: "intel-dnv-vpp"
4025   filter: "'NDRPDR'"
4026   parameters:
4027   - "name"
4028   - "doc"
4029   - "level"
4030   - "parent"
4031   data-start-level: 3
4032
4033 # VPP MRR Results 3n-hsw
4034 -
4035   type: "file"
4036   title: "VPP MRR Results 3n-hsw"
4037   algorithm: "file_test_results"
4038   output-file-ext: ".rst"
4039   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
4040   file-header: "\n.. |br| raw:: html\n\n    <br />\n\n\n.. |prein| raw:: html\n\n    <pre>\n\n\n.. |preout| raw:: html\n\n    </pre>\n\n"
4041   dir-tables: "{DIR[DTR,MRR,VPP,3N,HSW]}"
4042   data: "vpp-mrr-results-3n-hsw"
4043   filter: "'MRR'"
4044   parameters:
4045   - "name"
4046   - "doc"
4047   - "level"
4048   - "parent"
4049   data-start-level: 3
4050
4051 # VPP MRR Results 3n-skx
4052