3b76065d36935e0cfb1702a57605376f7aa958df
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
37     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
38     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
39     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
40     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
41     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
42     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
43     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
44     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
45     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
46     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
47     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
49
50     # Detailed test configurations
51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
52     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
53     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
54     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
55     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
56     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
57     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
58     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
59     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
60     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
61     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
62     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
63
64     # Detailed tests operational data
65     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
66     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
67     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
68     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
69     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
70
71     # .css patch file to fix tables generated by Sphinx
72     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
73     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
74
75   urls:
76     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
77     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
78     URL[VIRL,DNV]: "http://10.30.51.28/download/denverton/1810/robot-plugin.zip"
79     # URL[VIRL,DNV]: "http://download.it/from/nexus"
80     URL[NEXUS]: "https://docs.fd.io/csit"
81     DIR[NEXUS]: "report/_static/archive"
82
83   make-dirs:
84   # List the directories which are created while preparing the environment.
85   # All directories MUST be defined in "paths" section.
86   - "DIR[WORKING,DATA]"
87   - "DIR[STATIC,VPP]"
88   - "DIR[STATIC,DPDK]"
89   - "DIR[STATIC,ARCH]"
90   - "DIR[BUILD,LATEX]"
91   - "DIR[WORKING,SRC]"
92   - "DIR[WORKING,SRC,STATIC]"
93
94   remove-dirs:
95   # List the directories which are deleted while cleaning the environment.
96   # All directories MUST be defined in "paths" section.
97   #- "DIR[BUILD,HTML]"
98   - "DIR[WORKING,DATA]"
99
100   build-dirs:
101   # List the directories where the results (build) is stored.
102   # All directories MUST be defined in "paths" section.
103   - "DIR[BUILD,HTML]"
104   - "DIR[BUILD,LATEX]"
105
106 -
107   type: "configuration"
108
109   limits:
110     nic:
111       x520: 24460000
112       x553: 29761905
113       x710: 35800000
114       xxv710: 35800000
115       xl710: 35800000
116
117     link:
118       10ge: 14880952.38
119       25ge: 37202380.95
120       40ge: 59523809.52
121       100ge: 148809523.81
122
123     pci:
124       pci-g3-x8: 74404761.90
125       pci-g3-x16: 148809523.81
126
127   data-sets:
128
129     # Denverton:
130     intel-dnv-vpp:
131       intel-dnv-vpp-release-1810:
132       - 1
133
134     # VPP Performance
135     vpp-performance-changes-3n-hsw:
136       csit-vpp-perf-1804-all:
137       - 21  # sel
138       - 22  # sel
139       - 23  # sel
140       - 24  # sel
141       - 27  # sel
142       - 28  # sel
143       - 29  # sel
144       - 30  # sel
145       - 31  # sel
146       - 35  # sel
147       csit-vpp-perf-verify-1807-3n-hsw:
148       - 11  # NDRPDR full 1
149       - 22  # NDRPDR full 2
150       - 45  # NDRPDR full 3
151       - 46  # NDRPDR full 4
152       - 15  # NDRPDR sel
153       - 16  # NDRPDR sel
154       - 19  # NDRPDR sel
155       - 18  # NDRPDR sel
156       - 20  # NDRPDR sel
157       - 38  # NDRPDR sel
158       - 40  # NDRPDR sel
159       - 44  # NDRPDR sel
160       - 47  # NDRPDR sel
161       csit-vpp-perf-verify-1810-3n-hsw:
162       - 8   # NDRPDR sel
163       - 12  # NDRPDR sel
164       - 14  # NDRPDR sel
165       - 18  # NDRPDR sel
166       - 23  # NDRPDR sel
167       - 25  # NDRPDR sel
168       - 38  # NDRPDR sel
169       - 39  # NDRPDR sel
170       - 41  # NDRPDR sel
171       - 42  # NDRPDR sel
172
173     vpp-nic-comparison-3n-hsw:
174       csit-vpp-perf-verify-1810-3n-hsw:
175       - 8   # NDRPDR sel
176       - 12  # NDRPDR sel
177       - 14  # NDRPDR sel
178       - 18  # NDRPDR sel
179       - 23  # NDRPDR sel
180       - 25  # NDRPDR sel
181       - 38  # NDRPDR sel
182       - 39  # NDRPDR sel
183       - 41  # NDRPDR sel
184       - 42  # NDRPDR sel
185
186     vpp-performance-changes-3n-skx:
187       csit-vpp-perf-verify-1807-3n-skx:
188       - 33  # NDRPDR sel
189       - 35  # NDRPDR sel
190       - 37  # NDRPDR sel
191       - 38  # NDRPDR sel
192       - 39  # NDRPDR sel
193       - 43  # NDRPDR sel
194       - 44  # NDRPDR sel
195       - 49  # NDRPDR sel
196       - 50  # NDRPDR sel
197       - 56  # NDRPDR sel
198       csit-vpp-perf-verify-1810-3n-skx:
199       - 10  # NDRPDR sel
200       - 14  # NDRPDR sel
201       - 15  # NDRPDR sel
202       - 16  # NDRPDR sel
203       - 17  # NDRPDR sel
204       - 19  # NDRPDR sel
205       - 20  # NDRPDR sel
206       - 21  # NDRPDR sel
207       - 22  # NDRPDR sel
208       - 25  # NDRPDR sel
209
210     vpp-nic-comparison-3n-skx:
211       csit-vpp-perf-verify-1810-3n-skx:
212       - 10  # NDRPDR sel
213       - 14  # NDRPDR sel
214       - 15  # NDRPDR sel
215       - 16  # NDRPDR sel
216       - 17  # NDRPDR sel
217       - 19  # NDRPDR sel
218       - 20  # NDRPDR sel
219       - 21  # NDRPDR sel
220       - 22  # NDRPDR sel
221       - 25  # NDRPDR sel
222
223     vpp-performance-changes-2n-skx:
224       csit-vpp-perf-verify-1807-2n-skx:
225       - 26  # NDRPDR sel
226       - 28  # NDRPDR sel
227       - 29  # NDRPDR sel
228       - 30  # NDRPDR sel
229       - 34  # NDRPDR sel
230       - 35  # NDRPDR sel
231       - 36  # NDRPDR sel
232       - 39  # NDRPDR sel
233       - 40  # NDRPDR sel
234       - 42  # NDRPDR sel
235       csit-vpp-perf-verify-1810-2n-skx:
236       - 9   # NDRPDR sel
237       - 13  # NDRPDR sel
238       - 14  # NDRPDR sel
239       - 19  # NDRPDR sel
240       - 20  # NDRPDR sel
241       - 21  # NDRPDR sel
242       - 22  # NDRPDR sel
243       - 23  # NDRPDR sel
244       - 24  # NDRPDR sel
245       - 27  # NDRPDR sel
246
247     vpp-nic-comparison-2n-skx:
248       csit-vpp-perf-verify-1810-2n-skx:
249       - 9   # NDRPDR sel
250       - 13  # NDRPDR sel
251       - 14  # NDRPDR sel
252       - 19  # NDRPDR sel
253       - 20  # NDRPDR sel
254       - 21  # NDRPDR sel
255       - 22  # NDRPDR sel
256       - 23  # NDRPDR sel
257       - 24  # NDRPDR sel
258       - 27  # NDRPDR sel
259
260     vpp-compare-testbeds:
261       csit-vpp-perf-verify-1810-3n-hsw:
262       - 8   # NDRPDR sel
263       - 12  # NDRPDR sel
264       - 14  # NDRPDR sel
265       - 18  # NDRPDR sel
266       - 23  # NDRPDR sel
267       - 25  # NDRPDR sel
268       - 38  # NDRPDR sel
269       - 39  # NDRPDR sel
270       - 41  # NDRPDR sel
271       - 42  # NDRPDR sel
272       csit-vpp-perf-verify-1810-3n-skx:
273       - 24  # NDRPDR full
274       - 10  # NDRPDR sel
275       - 14  # NDRPDR sel
276       - 15  # NDRPDR sel
277       - 16  # NDRPDR sel
278       - 17  # NDRPDR sel
279       - 19  # NDRPDR sel
280       - 20  # NDRPDR sel
281       - 21  # NDRPDR sel
282       - 22  # NDRPDR sel
283       - 25  # NDRPDR sel
284
285     vpp-compare-testbeds-mrr:
286       csit-vpp-perf-verify-1810-3n-hsw:
287       - 9   # MRR sel
288       csit-vpp-perf-verify-1810-3n-skx:
289       - 9   # MRR sel
290       - 11  # MRR sel
291       - 12  # MRR sel
292       - 13  # MRR sel
293
294     vpp-compare-topologies:
295       csit-vpp-perf-verify-1810-3n-skx:
296       - 10  # NDRPDR sel
297       - 14  # NDRPDR sel
298       - 15  # NDRPDR sel
299       - 16  # NDRPDR sel
300       - 17  # NDRPDR sel
301       - 19  # NDRPDR sel
302       - 20  # NDRPDR sel
303       - 21  # NDRPDR sel
304       - 22  # NDRPDR sel
305       - 25  # NDRPDR sel
306       csit-vpp-perf-verify-1810-2n-skx:
307       - 9   # NDRPDR sel
308       - 13  # NDRPDR sel
309       - 14  # NDRPDR sel
310       - 19  # NDRPDR sel
311       - 20  # NDRPDR sel
312       - 21  # NDRPDR sel
313       - 22  # NDRPDR sel
314       - 23  # NDRPDR sel
315       - 24  # NDRPDR sel
316       - 27  # NDRPDR sel
317
318     vpp-compare-topologies-mrr:
319       csit-vpp-perf-verify-1810-3n-skx:
320       - 9   # MRR sel
321       - 11  # MRR sel
322       - 12  # MRR sel
323       - 13  # MRR sel
324       csit-vpp-perf-verify-1810-2n-skx:
325       - 8   # MRR sel
326       - 10  # MRR sel
327       - 11  # MRR sel
328       - 12  # MRR sel
329
330     vpp-performance-changes-3n-hsw-mrr:
331       csit-vpp-perf-check-1804:
332       - 6   # mrr - sel
333       - 13  # mrr - sel
334       - 14  # mrr - sel
335       - 15  # mrr - sel
336       - 16  # mrr - sel
337       - 17  # mrr - sel
338       - 19  # mrr - sel
339       - 20  # mrr - sel
340       - 21  # mrr - sel
341       - 22  # mrr - sel
342       csit-vpp-perf-verify-1807-3n-hsw:
343       - 8   # MRR full
344       - 9   # MRR sel
345       - 21  # MRR sel
346       - 31  # MRR sel
347       - 33  # MRR sel
348       - 36  # MRR sel
349       - 41  # MRR sel
350       - 42  # MRR sel
351       - 48  # MRR sel
352       csit-vpp-perf-verify-1810-3n-hsw:
353       - 9   # MRR sel
354
355     vpp-nic-comparison-3n-hsw-mrr:
356       csit-vpp-perf-verify-1810-3n-hsw:
357       - 9   # MRR sel
358
359     vpp-performance-changes-3n-skx-mrr:
360       csit-vpp-perf-verify-1807-3n-skx:
361       - 28  # MRR sel
362       - 32  # MRR sel
363       - 36  # MRR sel
364       - 42  # MRR sel
365       - 47  # MRR sel
366       - 48  # MRR sel
367       - 51  # MRR sel
368       - 52  # MRR sel
369       - 53  # MRR sel
370       - 54  # MRR sel
371       csit-vpp-perf-verify-1810-3n-skx:
372       - 9   # MRR sel
373       - 11  # MRR sel
374       - 12  # MRR sel
375       - 13  # MRR sel
376
377     vpp-nic-comparison-3n-skx-mrr:
378       csit-vpp-perf-verify-1810-3n-skx:
379       - 9   # MRR sel
380       - 11  # MRR sel
381       - 12  # MRR sel
382       - 13  # MRR sel
383
384     vpp-performance-changes-2n-skx-mrr:
385       csit-vpp-perf-verify-1807-2n-skx:
386       - 31  # MRR sel
387       - 33  # MRR sel
388       - 37  # MRR sel
389       - 38  # MRR sel
390       - 41  # MRR sel
391       - 43  # MRR sel
392       - 44  # MRR sel
393       - 45  # MRR sel
394       - 46  # MRR sel
395       - 47  # MRR sel
396       csit-vpp-perf-verify-1810-2n-skx:
397       - 8   # MRR sel
398       - 10  # MRR sel
399       - 11  # MRR sel
400       - 12  # MRR sel
401
402     vpp-nic-comparison-2n-skx-mrr:
403       csit-vpp-perf-verify-1810-2n-skx:
404       - 8   # MRR sel
405       - 10  # MRR sel
406       - 11  # MRR sel
407       - 12  # MRR sel
408
409     vpp-perf-results-3n-hsw:
410       csit-vpp-perf-verify-1810-3n-hsw:
411       - 20  # NDRPDR full
412       - 21  # NDRPDR full
413       - 22  # NDRPDR full
414       - 27  # NDRPDR full
415
416     vpp-perf-results-3n-skx:
417       csit-vpp-perf-verify-1810-3n-skx:
418       - 23  # NDRPDR full
419       - 24  # NDRPDR full
420
421     vpp-perf-results-2n-skx:
422       csit-vpp-perf-verify-1810-2n-skx:
423       - 25  # NDRPDR full
424       - 26  # NDRPDR full
425
426     vpp-mrr-results-3n-hsw:
427       csit-vpp-perf-verify-1810-3n-hsw:
428       - 9   # MRR sel
429
430     vpp-mrr-results-3n-skx:
431       csit-vpp-perf-verify-1810-3n-skx:
432       - 9   # MRR sel
433
434     vpp-mrr-results-2n-skx:
435       csit-vpp-perf-verify-1810-2n-skx:
436       - 8   # MRR sel
437
438     plot-throughput-speedup-analysis-3n-hsw:
439       csit-vpp-perf-verify-1810-3n-hsw:
440       - 8   # NDRPDR sel
441       - 12  # NDRPDR sel
442       - 14  # NDRPDR sel
443       - 18  # NDRPDR sel
444       - 23  # NDRPDR sel
445       - 25  # NDRPDR sel
446       - 38  # NDRPDR sel
447       - 39  # NDRPDR sel
448       - 41  # NDRPDR sel
449       - 42  # NDRPDR sel
450
451     plot-throughput-speedup-analysis-3n-skx:
452       csit-vpp-perf-verify-1810-3n-skx:
453       - 24  # NDRPDR full
454       - 10  # NDRPDR sel
455       - 14  # NDRPDR sel
456       - 15  # NDRPDR sel
457       - 16  # NDRPDR sel
458       - 17  # NDRPDR sel
459       - 19  # NDRPDR sel
460       - 20  # NDRPDR sel
461       - 21  # NDRPDR sel
462       - 22  # NDRPDR sel
463       - 25  # NDRPDR sel
464
465     plot-throughput-speedup-analysis-2n-skx:
466       csit-vpp-perf-verify-1810-2n-skx:
467       - 9   # NDRPDR sel
468       - 13  # NDRPDR sel
469       - 14  # NDRPDR sel
470       - 19  # NDRPDR sel
471       - 20  # NDRPDR sel
472       - 21  # NDRPDR sel
473       - 22  # NDRPDR sel
474       - 23  # NDRPDR sel
475       - 24  # NDRPDR sel
476       - 27  # NDRPDR sel
477
478     plot-vpp-throughput-latency-3n-hsw:
479       csit-vpp-perf-verify-1810-3n-hsw:
480       - 8   # NDRPDR sel
481       - 12  # NDRPDR sel
482       - 14  # NDRPDR sel
483       - 18  # NDRPDR sel
484       - 23  # NDRPDR sel
485       - 25  # NDRPDR sel
486       - 38  # NDRPDR sel
487       - 39  # NDRPDR sel
488       - 41  # NDRPDR sel
489       - 42  # NDRPDR sel
490
491     plot-vpp-soak-2n-skx:
492       csit-vpp-perf-verify-master-2n-skx:
493       - 207  # SOAK sel
494
495     plot-vpp-service-density-2n-skx:
496       csit-vpp-perf-verify-master-2n-skx:
497       - 215
498       - 216
499       - 219
500       - 221
501       - 222
502     plot-vpp-throughput-latency-3n-skx:
503       csit-vpp-perf-verify-1810-3n-skx:
504       - 24  # NDRPDR full
505       - 10  # NDRPDR sel
506       - 14  # NDRPDR sel
507       - 15  # NDRPDR sel
508       - 16  # NDRPDR sel
509       - 17  # NDRPDR sel
510       - 19  # NDRPDR sel
511       - 20  # NDRPDR sel
512       - 21  # NDRPDR sel
513       - 22  # NDRPDR sel
514       - 25  # NDRPDR sel
515
516     plot-vpp-throughput-latency-2n-skx:
517       csit-vpp-perf-verify-1810-2n-skx:
518       - 9   # NDRPDR sel
519       - 13  # NDRPDR sel
520       - 14  # NDRPDR sel
521       - 19  # NDRPDR sel
522       - 20  # NDRPDR sel
523       - 21  # NDRPDR sel
524       - 22  # NDRPDR sel
525       - 23  # NDRPDR sel
526       - 24  # NDRPDR sel
527       - 27  # NDRPDR sel
528
529     plot-vpp-http-server-performance:
530       csit-vpp-perf-verify-1810-3n-hsw:
531       - 28  # WRK
532       - 29  # WRK
533       - 30  # WRK
534       - 31  # WRK
535       - 32  # WRK
536       - 33  # WRK
537       - 34  # WRK
538       - 35  # WRK
539       - 36  # WRK
540       - 37  # WRK
541
542     # VPP Functional
543     vpp-func-results-ubuntu:
544       csit-vpp-functional-1810-ubuntu1604-virl:
545       - 44
546
547     vpp-func-results-centos:
548       csit-vpp-functional-1810-centos7-virl:
549       - 44
550
551     vpp-device-results-ubuntu:
552       csit-vpp-device-1810-ubuntu1804-1n-skx:
553       - 2
554
555     # VPP Ligato
556     ligato-perf-results-3n-hsw:
557       csit-ligato-perf-verify-1810-3n-hsw:
558       - 5   # full
559
560     plot-ligato-throughput-speedup-analysis-3n-hsw:
561       csit-ligato-perf-verify-1810-3n-hsw:
562       - 5   # full
563       - 6   # sel
564       - 8   # sel
565       - 9   # sel
566       - 11  # sel
567       - 12  # sel
568       - 13  # sel
569       - 14  # sel
570       - 16  # sel
571       - 17  # sel
572       - 18  # sel
573
574     plot-ligato-throughput-latency-3n-hsw:
575       csit-ligato-perf-verify-1810-3n-hsw:
576       - 5   # full
577       - 6   # sel
578       - 8   # sel
579       - 9   # sel
580       - 11  # sel
581       - 12  # sel
582       - 13  # sel
583       - 14  # sel
584       - 16  # sel
585       - 17  # sel
586       - 18  # sel
587
588     # DPDK Performance
589     dpdk-performance-changes-3n-hsw:
590       csit-dpdk-perf-1804-all:
591       - 4
592       - 5
593       - 6
594       - 7
595       - 8
596       - 9
597       - 10
598       - 11
599       - 12
600       - 13
601       csit-dpdk-perf-verify-1807-3n-hsw:
602       - 11
603       - 12  # full
604       - 14
605       - 15
606       - 16
607       - 17
608       - 20
609       - 21
610       - 22
611       - 23
612       csit-dpdk-perf-verify-1810-3n-hsw:
613       - 1   # NDRPDR sel
614       - 2   # NDRPDR sel
615       - 3   # NDRPDR sel
616       - 4   # NDRPDR sel
617       - 5   # NDRPDR sel
618       - 6   # NDRPDR sel
619       - 7   # NDRPDR sel
620       - 8   # NDRPDR sel
621       - 9   # NDRPDR sel
622       - 10  # NDRPDR sel
623
624     dpdk-performance-changes-3n-skx:
625       csit-dpdk-perf-verify-1807-3n-skx:
626       - 1   # NDRPDR sel
627       - 2   # NDRPDR sel
628       - 3   # NDRPDR sel
629       - 6   # NDRPDR sel
630       - 7   # NDRPDR sel
631       - 8   # NDRPDR sel
632       - 9   # NDRPDR sel
633       - 10  # NDRPDR sel
634       - 11  # NDRPDR sel
635       - 12  # NDRPDR sel
636       csit-dpdk-perf-verify-1810-3n-skx:
637       - 3   # NDRPDR sel
638       - 4   # NDRPDR sel
639       - 6   # NDRPDR sel
640       - 7   # NDRPDR sel
641       - 8   # NDRPDR sel
642       - 9   # NDRPDR sel
643       - 10  # NDRPDR sel
644       - 11  # NDRPDR sel
645       - 12  # NDRPDR sel
646       - 13  # NDRPDR sel
647
648     dpdk-compare-testbeds:
649       csit-dpdk-perf-verify-1810-3n-skx:
650       - 3   # NDRPDR sel
651       - 4   # NDRPDR sel
652       - 6   # NDRPDR sel
653       - 7   # NDRPDR sel
654       - 8   # NDRPDR sel
655       - 9   # NDRPDR sel
656       - 10  # NDRPDR sel
657       - 11  # NDRPDR sel
658       - 12  # NDRPDR sel
659       - 13  # NDRPDR sel
660       csit-dpdk-perf-verify-1810-3n-hsw:
661       - 1   # NDRPDR sel
662       - 2   # NDRPDR sel
663       - 3   # NDRPDR sel
664       - 4   # NDRPDR sel
665       - 5   # NDRPDR sel
666       - 6   # NDRPDR sel
667       - 7   # NDRPDR sel
668       - 8   # NDRPDR sel
669       - 9   # NDRPDR sel
670       - 10  # NDRPDR sel
671
672     dpdk-compare-topologies:
673       csit-dpdk-perf-verify-1810-3n-skx:
674       - 3   # NDRPDR sel
675       - 4   # NDRPDR sel
676       - 6   # NDRPDR sel
677       - 7   # NDRPDR sel
678       - 8   # NDRPDR sel
679       - 9   # NDRPDR sel
680       - 10  # NDRPDR sel
681       - 11  # NDRPDR sel
682       - 12  # NDRPDR sel
683       - 13  # NDRPDR sel
684       csit-dpdk-perf-verify-1810-2n-skx:
685       - 3   # NDRPDR sel
686       - 4   # NDRPDR sel
687       - 5   # NDRPDR sel
688       - 7   # NDRPDR sel
689       - 8   # NDRPDR sel
690       - 9   # NDRPDR sel
691       - 10  # NDRPDR sel
692       - 11  # NDRPDR sel
693       - 12  # NDRPDR sel
694       - 13  # NDRPDR sel
695
696     dpdk-perf-results-3n-hsw:
697       csit-dpdk-perf-verify-1810-3n-hsw:
698       - 1
699
700     dpdk-perf-results-3n-skx:
701       csit-dpdk-perf-verify-1810-3n-skx:
702       - 3   # NDRPDR sel
703
704     dpdk-perf-results-2n-skx:
705       csit-dpdk-perf-verify-1810-2n-skx:
706       - 3
707
708     plot-dpdk-throughput-latency-3n-hsw:
709       csit-dpdk-perf-verify-1810-3n-hsw:
710       - 1   # NDRPDR sel
711       - 2   # NDRPDR sel
712       - 3   # NDRPDR sel
713       - 4   # NDRPDR sel
714       - 5   # NDRPDR sel
715       - 6   # NDRPDR sel
716       - 7   # NDRPDR sel
717       - 8   # NDRPDR sel
718       - 9   # NDRPDR sel
719       - 10  # NDRPDR sel
720
721     plot-dpdk-throughput-latency-3n-skx:
722       csit-dpdk-perf-verify-1810-3n-skx:
723       - 3   # NDRPDR sel
724       - 4   # NDRPDR sel
725       - 6   # NDRPDR sel
726       - 7   # NDRPDR sel
727       - 8   # NDRPDR sel
728       - 9   # NDRPDR sel
729       - 10  # NDRPDR sel
730       - 11  # NDRPDR sel
731       - 12  # NDRPDR sel
732       - 13  # NDRPDR sel
733
734     plot-dpdk-throughput-latency-2n-skx:
735       csit-dpdk-perf-verify-1810-2n-skx:
736       - 3   # NDRPDR sel
737       - 4   # NDRPDR sel
738       - 5   # NDRPDR sel
739       - 7   # NDRPDR sel
740       - 8   # NDRPDR sel
741       - 9   # NDRPDR sel
742       - 10  # NDRPDR sel
743       - 11  # NDRPDR sel
744       - 12  # NDRPDR sel
745       - 13  # NDRPDR sel
746
747     # HoneyComb Functional
748     hc-func-results:
749       csit-hc2vpp-verify-func-1810-ubuntu1604:
750       - 3
751
752     # NSH SFC Functional
753     nsh-func-results:
754       csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
755       - 1
756
757     # DMM Functional
758     dmm-func-results:
759       csit-dmm-functional-1810-ubuntu1604-virl:
760       - 1
761
762   plot-layouts:
763
764     plot-soak-throughput:
765       titlefont:
766         size: 18
767       xaxis:
768         title: "<b>Test Cases [Index]</b>"
769         titlefont:
770           size: 16
771         autorange: True
772         fixedrange: False
773         gridcolor: "rgb(230, 230, 230)"
774         linecolor: "rgb(220, 220, 220)"
775         linewidth: 1
776         showgrid: True
777         showline: True
778         showticklabels: True
779         tickcolor: "rgb(220, 220, 220)"
780         tickmode: "linear"
781         tickfont:
782           size: 16
783         zeroline: False
784       yaxis:
785         title: "<b>Packet Throughput [Mpps]</b>"
786         titlefont:
787           size: 16
788         gridcolor: "rgb(230, 230, 230)"
789         hoverformat: ".4s"
790         tickformat: ".3s"
791         linecolor: "rgb(220, 220, 220)"
792         linewidth: 1
793         showgrid: True
794         showline: True
795         showticklabels: True
796         tickcolor: "rgb(220, 220, 220)"
797         tickfont:
798           size: 16
799         zeroline: False
800         range: [0,50]
801       autosize: False
802       margin:
803         t: 50
804         b: 0
805         l: 80
806         r: 20
807       showlegend: True
808       legend:
809         orientation: "h"
810         font:
811           size: 16
812       width: 700
813       height: 900
814
815     plot-service-density:
816       titlefont:
817         size: 18
818       xaxis:
819         side: "top"
820         autorange: True
821         fixedrange: False
822         showgrid: False
823         showline: False
824         showticklabels: False
825         ticks: ""
826         ticklen: 0
827         tickwidth: 0
828         zeroline: False
829       yaxis:
830         autorange: "reversed"
831         showgrid: False
832         showline: False
833         showticklabels: False
834         ticks: ""
835         ticklen: 0
836         tickwidth: 0
837         zeroline: False
838       autosize: True
839       showlegend: False
840       width: 700
841       height: 700
842
843     plot-cps:
844       titlefont:
845         size: 18
846       xaxis:
847         title: "<b>Test Cases [Index]</b>"
848         titlefont:
849           size: 16
850         autorange: True
851         fixedrange: False
852         gridcolor: "rgb(230, 230, 230)"
853         linecolor: "rgb(220, 220, 220)"
854         linewidth: 1
855         showgrid: True
856         showline: True
857         showticklabels: True
858         tickcolor: "rgb(220, 220, 220)"
859         tickmode: "linear"
860         tickfont:
861           size: 16
862         zeroline: False
863       yaxis:
864         title: "<b>Connections Per Second [cps]</b>"
865         titlefont:
866           size: 16
867         gridcolor: "rgb(230, 230, 230)"
868         hoverformat: ".4s"
869         linecolor: "rgb(220, 220, 220)"
870         linewidth: 1
871         rangemode: "tozero"
872         showgrid: True
873         showline: True
874         showticklabels: True
875         tickcolor: "rgb(220, 220, 220)"
876         tickformat: ".3s"
877         tickfont:
878           size: 16
879         zeroline: False
880       boxmode: "group"
881       boxgroupgap: 0.5
882       autosize: False
883       margin:
884         t: 50
885         b: 20
886         l: 80
887         r: 20
888       showlegend: True
889       legend:
890         orientation: "h"
891         font:
892           size: 16
893       width: 700
894       height: 800
895
896     plot-rps:
897       titlefont:
898         size: 18
899       xaxis:
900         title: "<b>Test Cases [Index]</b>"
901         titlefont:
902           size: 16
903         autorange: True
904         fixedrange: False
905         gridcolor: "rgb(230, 230, 230)"
906         linecolor: "rgb(220, 220, 220)"
907         linewidth: 1
908         showgrid: True
909         showline: True
910         showticklabels: True
911         tickcolor: "rgb(220, 220, 220)"
912         tickmode: "linear"
913         tickfont:
914           size: 16
915         zeroline: False
916       yaxis:
917         title: "<b>Requests Per Second [rps]</b>"
918         titlefont:
919           size: 16
920         gridcolor: "rgb(230, 230, 230)"
921         hoverformat: ".4s"
922         linecolor: "rgb(220, 220, 220)"
923         linewidth: 1
924         rangemode: "tozero"
925         showgrid: True
926         showline: True
927         showticklabels: True
928         tickcolor: "rgb(230, 230, 230)"
929         tickformat: ".3s"
930         tickfont:
931           size: 16
932         zeroline: False
933       boxmode: "group"
934       boxgroupgap: 0.5
935       autosize: False
936       margin:
937         t: 50
938         b: 20
939         l: 80
940         r: 20
941       showlegend: True
942       legend:
943         orientation: "h"
944         font:
945           size: 16
946       width: 700
947       height: 800
948
949     plot-throughput:
950       titlefont:
951         size: 18
952       xaxis:
953         title: "<b>Test Cases [Index]</b>"
954         titlefont:
955           size: 16
956         autorange: True
957         fixedrange: False
958         gridcolor: "rgb(230, 230, 230)"
959         linecolor: "rgb(220, 220, 220)"
960         linewidth: 1
961         showgrid: True
962         showline: True
963         showticklabels: True
964         tickcolor: "rgb(220, 220, 220)"
965         tickmode: "linear"
966         tickfont:
967           size: 16
968         zeroline: False
969       yaxis:
970         title: "<b>Packet Throughput [Mpps]</b>"
971         titlefont:
972           size: 16
973         gridcolor: "rgb(230, 230, 230)"
974         hoverformat: ".4s"
975         tickformat: ".3s"
976         linecolor: "rgb(220, 220, 220)"
977         linewidth: 1
978         showgrid: True
979         showline: True
980         showticklabels: True
981         tickcolor: "rgb(220, 220, 220)"
982         tickfont:
983           size: 16
984         zeroline: False
985         range: [0,50]
986       boxmode: "group"
987       boxgroupgap: 0.5
988       autosize: False
989       margin:
990         t: 50
991         b: 0
992         l: 80
993         r: 20
994       showlegend: True
995       legend:
996         orientation: "h"
997         font:
998           size: 16
999       width: 700
1000       height: 900
1001
1002     plot-throughput-speedup-analysis:
1003       titlefont:
1004         size: 18
1005       xaxis:
1006         title: "<b>Number of Cores [Qty]</b>"
1007         titlefont:
1008           size: 16
1009         autorange: True
1010         fixedrange: False
1011         gridcolor: "rgb(230, 230, 230)"
1012         linecolor: "rgb(220, 220, 220)"
1013         linewidth: 1
1014         showgrid: True
1015         showline: True
1016         showticklabels: True
1017         tickcolor: "rgb(238, 238, 238)"
1018         tickmode: "linear"
1019         tickfont:
1020           size: 16
1021         zeroline: False
1022       yaxis:
1023         title: "<b>Packet Throughput [Mpps]</b>"
1024         titlefont:
1025           size: 16
1026         type: "linear"
1027         gridcolor: "rgb(230, 230, 230)"
1028         hoverformat: ".4s"
1029         linecolor: "rgb(220, 220, 220)"
1030         linewidth: 1
1031         showgrid: True
1032         showline: True
1033         showticklabels: True
1034         tickcolor: "rgb(220, 220, 220)"
1035         tickformat: ".4s"
1036         tickfont:
1037           size: 16
1038         zeroline: True
1039         rangemode: "tozero"
1040         # range: [0,100]
1041       legend:
1042         orientation: "h"
1043         font:
1044           size: 16
1045         xanchor: "left"
1046         yanchor: "top"
1047         x: 0
1048         y: -0.2
1049         bgcolor: "rgba(255, 255, 255, 0)"
1050         bordercolor: "rgba(255, 255, 255, 0)"
1051         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
1052       autosize: False
1053       margin:
1054           't': 50
1055           'b': 150
1056           'l': 85
1057           'r': 10
1058       showlegend: True
1059       width: 700
1060       height: 700
1061       hoverlabel:
1062         namelength: -1
1063       annotations: [
1064         {
1065           text: "_ _          __          ...",
1066           align: "left",
1067           showarrow: False,
1068           xref: "paper",
1069           yref: "paper",
1070           xanchor: "left",
1071           yanchor: "top",
1072           x: 0,
1073           y: -0.13,
1074           font: {
1075             family: "Consolas, Courier New",
1076             size: 15
1077           },
1078         },
1079         {
1080           text: "    Perfect     Measured     Limit",
1081           align: "left",
1082           showarrow: False,
1083           xref: "paper",
1084           yref: "paper",
1085           xanchor: "left",
1086           yanchor: "top",
1087           x: 0,
1088           y: -0.15,
1089           font: {
1090             family: "Consolas, Courier New",
1091             size: 15
1092           },
1093         },
1094       ]
1095
1096     plot-latency:
1097       titlefont:
1098         size: 18
1099       xaxis:
1100         title: "<b>Direction</b>"
1101         titlefont:
1102           size: 16
1103         autorange: True
1104         fixedrange: False
1105         gridcolor: "rgb(230, 230, 230)"
1106         linecolor: "rgb(220, 220, 220)"
1107         linewidth: 1
1108         showgrid: True
1109         showline: True
1110         showticklabels: False
1111         tickcolor: "rgb(220, 220, 220)"
1112         tickmode: "linear"
1113         tickfont:
1114           size: 16
1115         zeroline: False
1116       yaxis:
1117         title: "<b>Packet Latency [uSec]</b>"
1118         titlefont:
1119           size: 16
1120         type: "linear"
1121         gridcolor: "rgb(230, 230, 230)"
1122         hoverformat: ".4s"
1123         linecolor: "rgb(220, 220, 220)"
1124         linewidth: 1
1125         showgrid: True
1126         showline: True
1127         showticklabels: True
1128         tickcolor: "rgb(220, 220, 220)"
1129         tickformat: ".4s"
1130         tickfont:
1131           size: 16
1132         zeroline: True
1133         rangemode: "tozero"
1134       legend:
1135         orientation: "h"
1136         font:
1137           size: 16
1138         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
1139       autosize: False
1140       margin:
1141           't': 50
1142           'b': 150
1143           'l': 80
1144           'r': 10
1145       showlegend: True
1146       width: 700
1147       height: 700
1148       hoverlabel:
1149         namelength: -1
1150
1151 -
1152   type: "static"
1153   src-path: "{DIR[RST]}"
1154   dst-path: "{DIR[WORKING,SRC]}"
1155
1156 -
1157   type: "input"
1158   general:
1159     file-name: "robot-plugin.zip"
1160     file-format: ".zip"
1161     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
1162     extract: "robot-plugin/output.xml"
1163
1164   builds:
1165
1166     intel-dnv-vpp-release-1810:
1167     - 1
1168
1169     csit-vpp-perf-1804-all:
1170     - 21  # sel
1171     - 22  # sel
1172     - 23  # sel
1173     - 24  # sel
1174     - 27  # sel
1175     - 28  # sel
1176     - 29  # sel
1177     - 30  # sel
1178     - 31  # sel
1179     - 35  # sel
1180     csit-vpp-perf-verify-1807-3n-hsw:
1181     - 8   # MRR full
1182     - 9   # MRR sel
1183     - 21  # MRR sel
1184     - 31  # MRR sel
1185     - 33  # MRR sel
1186     - 36  # MRR sel
1187     - 41  # MRR sel
1188     - 42  # MRR sel
1189     - 48  # MRR sel
1190     - 11  # NDRPDR full 1
1191     - 22  # NDRPDR full 2
1192     - 45  # NDRPDR full 3
1193     - 46  # NDRPDR full 4
1194     - 15  # NDRPDR sel
1195     - 16  # NDRPDR sel
1196     - 19  # NDRPDR sel
1197     - 18  # NDRPDR sel
1198     - 20  # NDRPDR sel
1199     - 38  # NDRPDR sel
1200     - 40  # NDRPDR sel
1201     - 44  # NDRPDR sel
1202     - 47  # NDRPDR sel
1203     - 24  # WRK
1204     - 25  # WRK
1205     - 23  # WRK
1206     - 26  # WRK
1207     - 27  # WRK
1208     - 28  # WRK
1209     - 29  # WRK
1210     - 30  # WRK
1211     - 32  # WRK
1212     - 35  # WRK
1213     csit-vpp-perf-verify-1810-3n-hsw:
1214     - 9   # MRR sel
1215     - 20  # NDRPDR full
1216     - 21  # NDRPDR full
1217     - 22  # NDRPDR full
1218     - 27  # NDRPDR full
1219     - 8   # NDRPDR sel
1220     - 12  # NDRPDR sel
1221     - 14  # NDRPDR sel
1222     - 18  # NDRPDR sel
1223     - 23  # NDRPDR sel
1224     - 25  # NDRPDR sel
1225     - 38  # NDRPDR sel
1226     - 39  # NDRPDR sel
1227     - 41  # NDRPDR sel
1228     - 42  # NDRPDR sel
1229     - 28  # WRK
1230     - 29  # WRK
1231     - 30  # WRK
1232     - 31  # WRK
1233     - 32  # WRK
1234     - 33  # WRK
1235     - 34  # WRK
1236     - 35  # WRK
1237     - 36  # WRK
1238     - 37  # WRK
1239     csit-vpp-perf-verify-1807-3n-skx:
1240     - 31  # MRR full
1241     - 28  # MRR sel
1242     - 32  # MRR sel
1243     - 36  # MRR sel
1244     - 42  # MRR sel
1245     - 47  # MRR sel
1246     - 48  # MRR sel
1247     - 51  # MRR sel
1248     - 52  # MRR sel
1249     - 53  # MRR sel
1250     - 54  # MRR sel
1251     - 40  # NDRPDR full 1
1252     - 41  # NDRPDR full 2
1253     - 33  # NDRPDR sel
1254     - 35  # NDRPDR sel
1255     - 37  # NDRPDR sel
1256     - 38  # NDRPDR sel
1257     - 39  # NDRPDR sel
1258     - 43  # NDRPDR sel
1259     - 44  # NDRPDR sel
1260     - 49  # NDRPDR sel
1261     - 50  # NDRPDR sel
1262     - 56  # NDRPDR sel
1263     csit-vpp-perf-verify-1810-3n-skx:
1264     - 9   # MRR sel
1265     - 11  # MRR sel
1266     - 12  # MRR sel
1267     - 13  # MRR sel
1268     - 23  # NDRPDR full
1269     - 24  # NDRPDR full
1270     - 10  # NDRPDR sel
1271     - 14  # NDRPDR sel
1272     - 15  # NDRPDR sel
1273     - 16  # NDRPDR sel
1274     - 17  # NDRPDR sel
1275     - 19  # NDRPDR sel
1276     - 20  # NDRPDR sel
1277     - 21  # NDRPDR sel
1278     - 22  # NDRPDR sel
1279     - 25  # NDRPDR sel
1280     csit-vpp-perf-verify-1807-2n-skx:
1281     - 27  # MRR full
1282     - 31  # MRR sel
1283     - 33  # MRR sel
1284     - 37  # MRR sel
1285     - 38  # MRR sel
1286     - 41  # MRR sel
1287     - 43  # MRR sel
1288     - 44  # MRR sel
1289     - 45  # MRR sel
1290     - 46  # MRR sel
1291     - 47  # MRR sel
1292     - 32  # NDRPDR full
1293     - 26  # NDRPDR sel
1294     - 28  # NDRPDR sel
1295     - 29  # NDRPDR sel
1296     - 30  # NDRPDR sel
1297     - 34  # NDRPDR sel
1298     - 35  # NDRPDR sel
1299     - 36  # NDRPDR sel
1300     - 39  # NDRPDR sel
1301     - 40  # NDRPDR sel
1302     - 42  # NDRPDR sel
1303     csit-vpp-perf-verify-1810-2n-skx:
1304     - 8   # MRR sel
1305     - 10  # MRR sel
1306     - 11  # MRR sel
1307     - 12  # MRR sel
1308     - 25  # NDRPDR full
1309     - 26  # NDRPDR full
1310     - 9   # NDRPDR sel
1311     - 13  # NDRPDR sel
1312     - 14  # NDRPDR sel
1313     - 19  # NDRPDR sel
1314     - 20  # NDRPDR sel
1315     - 21  # NDRPDR sel
1316     - 22  # NDRPDR sel
1317     - 23  # NDRPDR sel
1318     - 24  # NDRPDR sel
1319     - 27  # NDRPDR sel
1320     csit-vpp-perf-verify-master-2n-skx:
1321     - 207  # SOAK sel
1322     - 215  # SD
1323     - 216  # SD
1324     - 219  # SD
1325     - 221  # SD
1326     - 222  # SD
1327     csit-vpp-perf-check-1804:
1328     - 5   # mrr - full
1329     - 6   # mrr - sel
1330     - 13  # mrr - sel
1331     - 14  # mrr - sel
1332     - 15  # mrr - sel
1333     - 16  # mrr - sel
1334     - 17  # mrr - sel
1335     - 19  # mrr - sel
1336     - 20  # mrr - sel
1337     - 21  # mrr - sel
1338     - 22  # mrr - sel
1339     csit-ligato-perf-verify-1810-3n-hsw:
1340     - 5   # full
1341     - 6   # sel
1342     - 8   # sel
1343     - 9   # sel
1344     - 11  # sel
1345     - 12  # sel
1346     - 13  # sel
1347     - 14  # sel
1348     - 16  # sel
1349     - 17  # sel
1350     - 18  # sel
1351     csit-dpdk-perf-1804-all:
1352     - 4
1353     - 5
1354     - 6
1355     - 7
1356     - 8
1357     - 9
1358     - 10
1359     - 11
1360     - 12
1361     - 13
1362     csit-dpdk-perf-verify-1807-3n-hsw:
1363     - 11
1364     - 12  # full
1365     - 14
1366     - 15
1367     - 16
1368     - 17
1369     - 20
1370     - 21
1371     - 22
1372     - 23
1373     csit-dpdk-perf-verify-1810-3n-hsw:
1374     - 1   # NDRPDR sel
1375     - 2   # NDRPDR sel
1376     - 3   # NDRPDR sel
1377     - 4   # NDRPDR sel
1378     - 5   # NDRPDR sel
1379     - 6   # NDRPDR sel
1380     - 7   # NDRPDR sel
1381     - 8   # NDRPDR sel
1382     - 9   # NDRPDR sel
1383     - 10  # NDRPDR sel
1384     csit-dpdk-perf-verify-1807-3n-skx:
1385     - 1   # NDRPDR sel
1386     - 2   # NDRPDR sel
1387     - 3   # NDRPDR sel
1388     - 6   # NDRPDR sel
1389     - 7   # NDRPDR sel
1390     - 8   # NDRPDR sel
1391     - 9   # NDRPDR sel
1392     - 10  # NDRPDR sel
1393     - 11  # NDRPDR sel
1394     - 12  # NDRPDR sel
1395     csit-dpdk-perf-verify-1810-3n-skx:
1396     - 3   # NDRPDR sel
1397     - 4   # NDRPDR sel
1398     - 6   # NDRPDR sel
1399     - 7   # NDRPDR sel
1400     - 8   # NDRPDR sel
1401     - 9   # NDRPDR sel
1402     - 10  # NDRPDR sel
1403     - 11  # NDRPDR sel
1404     - 12  # NDRPDR sel
1405     - 13  # NDRPDR sel
1406     csit-dpdk-perf-verify-1810-2n-skx:
1407     - 3   # NDRPDR sel
1408     - 4   # NDRPDR sel
1409     - 5   # NDRPDR sel
1410     - 7   # NDRPDR sel
1411     - 8   # NDRPDR sel
1412     - 9   # NDRPDR sel
1413     - 10  # NDRPDR sel
1414     - 11  # NDRPDR sel
1415     - 12  # NDRPDR sel
1416     - 13  # NDRPDR sel
1417
1418     csit-vpp-functional-1810-ubuntu1604-virl:
1419     - 44
1420     csit-vpp-functional-1810-centos7-virl:
1421     - 44
1422     csit-vpp-device-1810-ubuntu1804-1n-skx:
1423     - 2
1424     csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
1425     - 1
1426     csit-dmm-functional-1810-ubuntu1604-virl:
1427     - 1
1428     csit-hc2vpp-verify-func-1810-ubuntu1604:
1429     - 3
1430
1431 -
1432   type: "output"
1433   output: "report"
1434   format:
1435     html:
1436     - full
1437     pdf:
1438     - minimal
1439
1440 ################################################################################
1441 ###                               T A B L E S                                ###
1442 ################################################################################
1443
1444
1445 # VPP Compare NICs 3n-hsw 1t1c ndr
1446 -
1447   type: "table"
1448   title: "VPP Compare NICs 3n-hsw 1t1c ndr"
1449   algorithm: "table_nics_comparison"
1450   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-nics-ndr"
1451   reference:
1452     title: "Intel-x520"
1453     nic: "NIC_Intel-X520-DA2"
1454   compare:
1455     title: "Intel-x710"
1456     nic: "NIC_Intel-X710"
1457   data: "vpp-nic-comparison-3n-hsw"
1458   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1459   filter: "'1T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1460   parameters:
1461   - "name"
1462   - "parent"
1463   - "throughput"
1464   - "tags"
1465
1466 # VPP Compare NICs 3n-hsw 2t2c ndr
1467 -
1468   type: "table"
1469   title: "VPP Compare NICs 3n-hsw 2t2c ndr"
1470   algorithm: "table_nics_comparison"
1471   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-nics-ndr"
1472   reference:
1473     title: "Intel-x520"
1474     nic: "NIC_Intel-X520-DA2"
1475   compare:
1476     title: "Intel-x710"
1477     nic: "NIC_Intel-X710"
1478   data: "vpp-nic-comparison-3n-hsw"
1479   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1480   filter: "'2T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1481   parameters:
1482   - "name"
1483   - "parent"
1484   - "throughput"
1485   - "tags"
1486
1487 # VPP Compare NICs 3n-hsw 1t1c pdr
1488 -
1489   type: "table"
1490   title: "VPP Compare NICs 3n-hsw 1t1c pdr"
1491   algorithm: "table_nics_comparison"
1492   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-nics-pdr"
1493   reference:
1494     title: "Intel-x520"
1495     nic: "NIC_Intel-X520-DA2"
1496   compare:
1497     title: "Intel-x710"
1498     nic: "NIC_Intel-X710"
1499   data: "vpp-nic-comparison-3n-hsw"
1500   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1501   filter: "'1T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1502   parameters:
1503   - "name"
1504   - "parent"
1505   - "throughput"
1506   - "tags"
1507
1508 # VPP Compare NICs 3n-hsw 2t2c pdr
1509 -
1510   type: "table"
1511   title: "VPP Compare NICs 3n-hsw 2t2c pdr"
1512   algorithm: "table_nics_comparison"
1513   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-nics-pdr"
1514   reference:
1515     title: "Intel-x520"
1516     nic: "NIC_Intel-X520-DA2"
1517   compare:
1518     title: "Intel-x710"
1519     nic: "NIC_Intel-X710"
1520   data: "vpp-nic-comparison-3n-hsw"
1521   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1522   filter: "'2T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1523   parameters:
1524   - "name"
1525   - "parent"
1526   - "throughput"
1527   - "tags"
1528
1529 # VPP Compare NICs 3n-hsw 1t1c mrr
1530 -
1531   type: "table"
1532   title: "VPP Compare NICs 3n-hsw 1t1c mrr"
1533   algorithm: "table_nics_comparison"
1534   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-nics-mrr"
1535   reference:
1536     title: "Intel-x520"
1537     nic: "NIC_Intel-X520-DA2"
1538   compare:
1539     title: "Intel-x710"
1540     nic: "NIC_Intel-X710"
1541   data: "vpp-nic-comparison-3n-hsw-mrr"
1542   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1543   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1544   parameters:
1545   - "name"
1546   - "parent"
1547   - "result"
1548   - "tags"
1549
1550 # VPP Compare NICs 3n-hsw 2t2c mrr
1551 -
1552   type: "table"
1553   title: "VPP Compare NICs 3n-hsw 2t2c mrr"
1554   algorithm: "table_nics_comparison"
1555   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-nics-mrr"
1556   reference:
1557     title: "Intel-x520"
1558     nic: "NIC_Intel-X520-DA2"
1559   compare:
1560     title: "Intel-x710"
1561     nic: "NIC_Intel-X710"
1562   data: "vpp-nic-comparison-3n-hsw-mrr"
1563   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1564   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1565   parameters:
1566   - "name"
1567   - "parent"
1568   - "result"
1569   - "tags"
1570
1571 # VPP Compare NICs 3n-hsw 4t4c mrr
1572 -
1573   type: "table"
1574   title: "VPP Compare NICs 3n-hsw 4t4c mrr"
1575   algorithm: "table_nics_comparison"
1576   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-nics-mrr"
1577   reference:
1578     title: "Intel-x520"
1579     nic: "NIC_Intel-X520-DA2"
1580   compare:
1581     title: "Intel-x710"
1582     nic: "NIC_Intel-X710"
1583   data: "vpp-nic-comparison-3n-hsw-mrr"
1584   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1585   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1586   parameters:
1587   - "name"
1588   - "parent"
1589   - "result"
1590   - "tags"
1591
1592 # VPP Compare NICs 3n-skx 2t1c ndr
1593 -
1594   type: "table"
1595   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1596   algorithm: "table_nics_comparison"
1597   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1598   reference:
1599     title: "Intel-x710"
1600     nic: "NIC_Intel-X710"
1601   compare:
1602     title: "Intel-xxv710"
1603     nic: "NIC_Intel-XXV710"
1604   data: "vpp-nic-comparison-3n-skx"
1605   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1606   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1607   parameters:
1608   - "name"
1609   - "parent"
1610   - "throughput"
1611   - "tags"
1612
1613 # VPP Compare NICs 3n-skx 4t2c ndr
1614 -
1615   type: "table"
1616   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1617   algorithm: "table_nics_comparison"
1618   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1619   reference:
1620     title: "Intel-x710"
1621     nic: "NIC_Intel-X710"
1622   compare:
1623     title: "Intel-xxv710"
1624     nic: "NIC_Intel-XXV710"
1625   data: "vpp-nic-comparison-3n-skx"
1626   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1627   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1628   parameters:
1629   - "name"
1630   - "parent"
1631   - "throughput"
1632   - "tags"
1633
1634 # VPP Compare NICs 3n-skx 2t1c pdr
1635 -
1636   type: "table"
1637   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1638   algorithm: "table_nics_comparison"
1639   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1640   reference:
1641     title: "Intel-x710"
1642     nic: "NIC_Intel-X710"
1643   compare:
1644     title: "Intel-xxv710"
1645     nic: "NIC_Intel-XXV710"
1646   data: "vpp-nic-comparison-3n-skx"
1647   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1648   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1649   parameters:
1650   - "name"
1651   - "parent"
1652   - "throughput"
1653   - "tags"
1654
1655  # VPP Compare NICs 3n-skx 4t2c pdr
1656 -
1657   type: "table"
1658   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1659   algorithm: "table_nics_comparison"
1660   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1661   reference:
1662     title: "Intel-x710"
1663     nic: "NIC_Intel-X710"
1664   compare:
1665     title: "Intel-xxv710"
1666     nic: "NIC_Intel-XXV710"
1667   data: "vpp-nic-comparison-3n-skx"
1668   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1669   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1670   parameters:
1671   - "name"
1672   - "parent"
1673   - "throughput"
1674   - "tags"
1675
1676 # VPP Compare NICs 3n-skx 2t1c mrr
1677 -
1678   type: "table"
1679   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1680   algorithm: "table_nics_comparison"
1681   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1682   reference:
1683     title: "Intel-x710"
1684     nic: "NIC_Intel-X710"
1685   compare:
1686     title: "Intel-xxv710"
1687     nic: "NIC_Intel-XXV710"
1688   data: "vpp-nic-comparison-3n-skx-mrr"
1689   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1690   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1691   parameters:
1692   - "name"
1693   - "parent"
1694   - "result"
1695   - "tags"
1696
1697 # VPP Compare NICs 3n-skx 4t2c mrr
1698 -
1699   type: "table"
1700   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1701   algorithm: "table_nics_comparison"
1702   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1703   reference:
1704     title: "Intel-x710"
1705     nic: "NIC_Intel-X710"
1706   compare:
1707     title: "Intel-xxv710"
1708     nic: "NIC_Intel-XXV710"
1709   data: "vpp-nic-comparison-3n-skx-mrr"
1710   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1711   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1712   parameters:
1713   - "name"
1714   - "parent"
1715   - "result"
1716   - "tags"
1717
1718  # VPP Compare NICs 3n-skx 8t4c mrr
1719 -
1720   type: "table"
1721   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1722   algorithm: "table_nics_comparison"
1723   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1724   reference:
1725     title: "Intel-x710"
1726     nic: "NIC_Intel-X710"
1727   compare:
1728     title: "Intel-xxv710"
1729     nic: "NIC_Intel-XXV710"
1730   data: "vpp-nic-comparison-3n-skx-mrr"
1731   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1732   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1733   parameters:
1734   - "name"
1735   - "parent"
1736   - "result"
1737   - "tags"
1738
1739 # VPP Compare NICs 2n-skx 2t1c ndr
1740 -
1741   type: "table"
1742   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1743   algorithm: "table_nics_comparison"
1744   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1745   reference:
1746     title: "Intel-x710"
1747     nic: "NIC_Intel-X710"
1748   compare:
1749     title: "Intel-xxv710"
1750     nic: "NIC_Intel-XXV710"
1751   data: "vpp-nic-comparison-2n-skx"
1752   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1753   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1754   parameters:
1755   - "name"
1756   - "parent"
1757   - "throughput"
1758   - "tags"
1759
1760 # VPP Compare NICs 2n-skx 4t2c ndr
1761 -
1762   type: "table"
1763   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1764   algorithm: "table_nics_comparison"
1765   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1766   reference:
1767     title: "Intel-x710"
1768     nic: "NIC_Intel-X710"
1769   compare:
1770     title: "Intel-xxv710"
1771     nic: "NIC_Intel-XXV710"
1772   data: "vpp-nic-comparison-2n-skx"
1773   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1774   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1775   parameters:
1776   - "name"
1777   - "parent"
1778   - "throughput"
1779   - "tags"
1780
1781  # VPP Compare NICs 2n-skx 2t1c pdr
1782 -
1783   type: "table"
1784   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1785   algorithm: "table_nics_comparison"
1786   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1787   reference:
1788     title: "Intel-x710"
1789     nic: "NIC_Intel-X710"
1790   compare:
1791     title: "Intel-xxv710"
1792     nic: "NIC_Intel-XXV710"
1793   data: "vpp-nic-comparison-2n-skx"
1794   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1795   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1796   parameters:
1797   - "name"
1798   - "parent"
1799   - "throughput"
1800   - "tags"
1801
1802 # VPP Compare NICs 2n-skx 4t2c pdr
1803 -
1804   type: "table"
1805   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1806   algorithm: "table_nics_comparison"
1807   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1808   reference:
1809     title: "Intel-x710"
1810     nic: "NIC_Intel-X710"
1811   compare:
1812     title: "Intel-xxv710"
1813     nic: "NIC_Intel-XXV710"
1814   data: "vpp-nic-comparison-2n-skx"
1815   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1816   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1817   parameters:
1818   - "name"
1819   - "parent"
1820   - "throughput"
1821   - "tags"
1822
1823 # VPP Compare NICs 2n-skx 2t1c mrr
1824 -
1825   type: "table"
1826   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1827   algorithm: "table_nics_comparison"
1828   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1829   reference:
1830     title: "Intel-x710"
1831     nic: "NIC_Intel-X710"
1832   compare:
1833     title: "Intel-xxv710"
1834     nic: "NIC_Intel-XXV710"
1835   data: "vpp-nic-comparison-2n-skx-mrr"
1836   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1837   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1838   parameters:
1839   - "name"
1840   - "parent"
1841   - "result"
1842   - "tags"
1843
1844 # VPP Compare NICs 2n-skx 4t2c mrr
1845 -
1846   type: "table"
1847   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1848   algorithm: "table_nics_comparison"
1849   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1850   reference:
1851     title: "Intel-x710"
1852     nic: "NIC_Intel-X710"
1853   compare:
1854     title: "Intel-xxv710"
1855     nic: "NIC_Intel-XXV710"
1856   data: "vpp-nic-comparison-2n-skx-mrr"
1857   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1858   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1859   parameters:
1860   - "name"
1861   - "parent"
1862   - "result"
1863   - "tags"
1864
1865 # VPP Compare NICs 2n-skx 8t4c mrr
1866 -
1867   type: "table"
1868   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1869   algorithm: "table_nics_comparison"
1870   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1871   reference:
1872     title: "Intel-x710"
1873     nic: "NIC_Intel-X710"
1874   compare:
1875     title: "Intel-xxv710"
1876     nic: "NIC_Intel-XXV710"
1877   data: "vpp-nic-comparison-2n-skx-mrr"
1878   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1879   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1880   parameters:
1881   - "name"
1882   - "parent"
1883   - "result"
1884   - "tags"
1885
1886 ################################################################################
1887 # VPP
1888
1889 # VPP Performance Changes 3n-hsw 1t1c pdr
1890 -
1891   type: "table"
1892   title: "VPP Performance Changes 3n-hsw 1t1c pdr"
1893   algorithm: "table_performance_comparison"
1894   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-pdr"
1895   history:
1896     -
1897       title: "rls1804"
1898       data:
1899         csit-vpp-perf-1804-all:
1900         - 21  # sel
1901         - 22  # sel
1902         - 23  # sel
1903         - 24  # sel
1904         - 27  # sel
1905         - 28  # sel
1906         - 29  # sel
1907         - 30  # sel
1908         - 31  # sel
1909         - 35  # sel
1910   reference:
1911     title: "rls1807"
1912     data:
1913       csit-vpp-perf-verify-1807-3n-hsw:
1914       - 11  # NDRPDR full 1
1915       - 22  # NDRPDR full 2
1916       - 45  # NDRPDR full 3
1917       - 46  # NDRPDR full 4
1918       - 15  # NDRPDR sel
1919       - 16  # NDRPDR sel
1920       - 19  # NDRPDR sel
1921       - 18  # NDRPDR sel
1922       - 20  # NDRPDR sel
1923       - 38  # NDRPDR sel
1924       - 40  # NDRPDR sel
1925       - 44  # NDRPDR sel
1926       - 47  # NDRPDR sel
1927   compare:
1928     title: "rls1810"
1929     data:
1930       csit-vpp-perf-verify-1810-3n-hsw:
1931       - 8   # NDRPDR sel
1932       - 12  # NDRPDR sel
1933       - 14  # NDRPDR sel
1934       - 18  # NDRPDR sel
1935       - 23  # NDRPDR sel
1936       - 25  # NDRPDR sel
1937       - 38  # NDRPDR sel
1938       - 39  # NDRPDR sel
1939       - 41  # NDRPDR sel
1940       - 42  # NDRPDR sel
1941   data: "vpp-performance-changes-3n-hsw"
1942   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1943   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1944   parameters:
1945   - "name"
1946   - "parent"
1947   - "throughput"
1948
1949 # VPP Performance Changes 3n-hsw 2t2c pdr
1950 -
1951   type: "table"
1952   title: "VPP Performance Changes 3n-hsw 2t2c pdr"
1953   algorithm: "table_performance_comparison"
1954   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-pdr"
1955   history:
1956     -
1957       title: "rls1804"
1958       data:
1959         csit-vpp-perf-1804-all:
1960         - 21  # sel
1961         - 22  # sel
1962         - 23  # sel
1963         - 24  # sel
1964         - 27  # sel
1965         - 28  # sel
1966         - 29  # sel
1967         - 30  # sel
1968         - 31  # sel
1969         - 35  # sel
1970   reference:
1971     title: "rls1807"
1972     data:
1973       csit-vpp-perf-verify-1807-3n-hsw:
1974       - 11  # NDRPDR full 1
1975       - 22  # NDRPDR full 2
1976       - 45  # NDRPDR full 3
1977       - 46  # NDRPDR full 4
1978       - 15  # NDRPDR sel
1979       - 16  # NDRPDR sel
1980       - 19  # NDRPDR sel
1981       - 18  # NDRPDR sel
1982       - 20  # NDRPDR sel
1983       - 38  # NDRPDR sel
1984       - 40  # NDRPDR sel
1985       - 44  # NDRPDR sel
1986       - 47  # NDRPDR sel
1987   compare:
1988     title: "rls1810"
1989     data:
1990       csit-vpp-perf-verify-1810-3n-hsw:
1991       - 8   # NDRPDR sel
1992       - 12  # NDRPDR sel
1993       - 14  # NDRPDR sel
1994       - 18  # NDRPDR sel
1995       - 23  # NDRPDR sel
1996       - 25  # NDRPDR sel
1997       - 38  # NDRPDR sel
1998       - 39  # NDRPDR sel
1999       - 41  # NDRPDR sel
2000       - 42  # NDRPDR sel
2001   data: "vpp-performance-changes-3n-hsw"
2002   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2003   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2004   parameters:
2005   - "name"
2006   - "parent"
2007   - "throughput"
2008
2009 # VPP Performance Changes 3n-hsw 1t1c ndr
2010 -
2011   type: "table"
2012   title: "VPP Performance Changes 3n-hsw 1t1c ndr"
2013   algorithm: "table_performance_comparison"
2014   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-ndr"
2015   history:
2016     -
2017       title: "rls1804"
2018       data:
2019         csit-vpp-perf-1804-all:
2020         - 21  # sel
2021         - 22  # sel
2022         - 23  # sel
2023         - 24  # sel
2024         - 27  # sel
2025         - 28  # sel
2026         - 29  # sel
2027         - 30  # sel
2028         - 31  # sel
2029         - 35  # sel
2030   reference:
2031     title: "rls1807"
2032     data:
2033       csit-vpp-perf-verify-1807-3n-hsw:
2034       - 11  # NDRPDR full 1
2035       - 22  # NDRPDR full 2
2036       - 45  # NDRPDR full 3
2037       - 46  # NDRPDR full 4
2038       - 15  # NDRPDR sel
2039       - 16  # NDRPDR sel
2040       - 19  # NDRPDR sel
2041       - 18  # NDRPDR sel
2042       - 20  # NDRPDR sel
2043       - 38  # NDRPDR sel
2044       - 40  # NDRPDR sel
2045       - 44  # NDRPDR sel
2046       - 47  # NDRPDR sel
2047   compare:
2048     title: "rls1810"
2049     data:
2050       csit-vpp-perf-verify-1810-3n-hsw:
2051       - 8   # NDRPDR sel
2052       - 12  # NDRPDR sel
2053       - 14  # NDRPDR sel
2054       - 18  # NDRPDR sel
2055       - 23  # NDRPDR sel
2056       - 25  # NDRPDR sel
2057       - 38  # NDRPDR sel
2058       - 39  # NDRPDR sel
2059       - 41  # NDRPDR sel
2060       - 42  # NDRPDR sel
2061   data: "vpp-performance-changes-3n-hsw"
2062   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2063   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2064   parameters:
2065   - "name"
2066   - "parent"
2067   - "throughput"
2068
2069 # VPP Performance Changes 3n-hsw 2t2c ndr
2070 -
2071   type: "table"
2072   title: "VPP Performance Changes 3n-hsw 2t2c ndr"
2073   algorithm: "table_performance_comparison"
2074   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-ndr"
2075   history:
2076     -
2077       title: "rls1804"
2078       data:
2079         csit-vpp-perf-1804-all:
2080         - 21  # sel
2081         - 22  # sel
2082         - 23  # sel
2083         - 24  # sel
2084         - 27  # sel
2085         - 28  # sel
2086         - 29  # sel
2087         - 30  # sel
2088         - 31  # sel
2089         - 35  # sel
2090   reference:
2091     title: "rls1807"
2092     data:
2093       csit-vpp-perf-verify-1807-3n-hsw:
2094       - 11  # NDRPDR full 1
2095       - 22  # NDRPDR full 2
2096       - 45  # NDRPDR full 3
2097       - 46  # NDRPDR full 4
2098       - 15  # NDRPDR sel
2099       - 16  # NDRPDR sel
2100       - 19  # NDRPDR sel
2101       - 18  # NDRPDR sel
2102       - 20  # NDRPDR sel
2103       - 38  # NDRPDR sel
2104       - 40  # NDRPDR sel
2105       - 44  # NDRPDR sel
2106       - 47  # NDRPDR sel
2107   compare:
2108     title: "rls1810"
2109     data:
2110       csit-vpp-perf-verify-1810-3n-hsw:
2111       - 8   # NDRPDR sel
2112       - 12  # NDRPDR sel
2113       - 14  # NDRPDR sel
2114       - 18  # NDRPDR sel
2115       - 23  # NDRPDR sel
2116       - 25  # NDRPDR sel
2117       - 38  # NDRPDR sel
2118       - 39  # NDRPDR sel
2119       - 41  # NDRPDR sel
2120       - 42  # NDRPDR sel
2121   data: "vpp-performance-changes-3n-hsw"
2122   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2123   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2124   parameters:
2125   - "name"
2126   - "parent"
2127   - "throughput"
2128
2129 # VPP Performance Changes 3n-skx 2t1c pdr
2130 -
2131   type: "table"
2132   title: "VPP Performance Changes 3n-skx 2t1c pdr"
2133   algorithm: "table_performance_comparison"
2134   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
2135   reference:
2136     title: "rls1807"
2137     data:
2138       csit-vpp-perf-verify-1807-3n-skx:
2139       - 33  # NDRPDR sel
2140       - 35  # NDRPDR sel
2141       - 37  # NDRPDR sel
2142       - 38  # NDRPDR sel
2143       - 39  # NDRPDR sel
2144       - 43  # NDRPDR sel
2145       - 44  # NDRPDR sel
2146       - 49  # NDRPDR sel
2147       - 50  # NDRPDR sel
2148       - 56  # NDRPDR sel
2149   compare:
2150     title: "rls1810"
2151     data:
2152       csit-vpp-perf-verify-1810-3n-skx:
2153       - 10  # NDRPDR sel
2154       - 14  # NDRPDR sel
2155       - 15  # NDRPDR sel
2156       - 16  # NDRPDR sel
2157       - 17  # NDRPDR sel
2158       - 19  # NDRPDR sel
2159       - 20  # NDRPDR sel
2160       - 21  # NDRPDR sel
2161       - 22  # NDRPDR sel
2162       - 25  # NDRPDR sel
2163   data: "vpp-performance-changes-3n-skx"
2164   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2165   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2166   parameters:
2167   - "name"
2168   - "parent"
2169   - "throughput"
2170
2171 # VPP Performance Changes 3n-skx 4t2c pdr
2172 -
2173   type: "table"
2174   title: "VPP Performance Changes 3n-skx 4t2c pdr"
2175   algorithm: "table_performance_comparison"
2176   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
2177   reference:
2178     title: "rls1807"
2179     data:
2180       csit-vpp-perf-verify-1807-3n-skx:
2181       - 33  # NDRPDR sel
2182       - 35  # NDRPDR sel
2183       - 37  # NDRPDR sel
2184       - 38  # NDRPDR sel
2185       - 39  # NDRPDR sel
2186       - 43  # NDRPDR sel
2187       - 44  # NDRPDR sel
2188       - 49  # NDRPDR sel
2189       - 50  # NDRPDR sel
2190       - 56  # NDRPDR sel
2191   compare:
2192     title: "rls1810"
2193     data:
2194       csit-vpp-perf-verify-1810-3n-skx:
2195       - 10  # NDRPDR sel
2196       - 14  # NDRPDR sel
2197       - 15  # NDRPDR sel
2198       - 16  # NDRPDR sel
2199       - 17  # NDRPDR sel
2200       - 19  # NDRPDR sel
2201       - 20  # NDRPDR sel
2202       - 21  # NDRPDR sel
2203       - 22  # NDRPDR sel
2204       - 25  # NDRPDR sel
2205   data: "vpp-performance-changes-3n-skx"
2206   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2207   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2208   parameters:
2209   - "name"
2210   - "parent"
2211   - "throughput"
2212
2213 # VPP Performance Changes 3n-skx 2t1c ndr
2214 -
2215   type: "table"
2216   title: "VPP Performance Changes 3n-skx 2t1c ndr"
2217   algorithm: "table_performance_comparison"
2218   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
2219   reference:
2220     title: "rls1807"
2221     data:
2222       csit-vpp-perf-verify-1807-3n-skx:
2223       - 33  # NDRPDR sel
2224       - 35  # NDRPDR sel
2225       - 37  # NDRPDR sel
2226       - 38  # NDRPDR sel
2227       - 39  # NDRPDR sel
2228       - 43  # NDRPDR sel
2229       - 44  # NDRPDR sel
2230       - 49  # NDRPDR sel
2231       - 50  # NDRPDR sel
2232       - 56  # NDRPDR sel
2233   compare:
2234     title: "rls1810"
2235     data:
2236       csit-vpp-perf-verify-1810-3n-skx:
2237       - 10  # NDRPDR sel
2238       - 14  # NDRPDR sel
2239       - 15  # NDRPDR sel
2240       - 16  # NDRPDR sel
2241       - 17  # NDRPDR sel
2242       - 19  # NDRPDR sel
2243       - 20  # NDRPDR sel
2244       - 21  # NDRPDR sel
2245       - 22  # NDRPDR sel
2246       - 25  # NDRPDR sel
2247   data: "vpp-performance-changes-3n-skx"
2248   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2249   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2250   parameters:
2251   - "name"
2252   - "parent"
2253   - "throughput"
2254
2255 # VPP Performance Changes 3n-skx 4t2c ndr
2256 -
2257   type: "table"
2258   title: "VPP Performance Changes 3n-skx 4t2c ndr"
2259   algorithm: "table_performance_comparison"
2260   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
2261   reference:
2262     title: "rls1807"
2263     data:
2264       csit-vpp-perf-verify-1807-3n-skx:
2265       - 33  # NDRPDR sel
2266       - 35  # NDRPDR sel
2267       - 37  # NDRPDR sel
2268       - 38  # NDRPDR sel
2269       - 39  # NDRPDR sel
2270       - 43  # NDRPDR sel
2271       - 44  # NDRPDR sel
2272       - 49  # NDRPDR sel
2273       - 50  # NDRPDR sel
2274       - 56  # NDRPDR sel
2275   compare:
2276     title: "rls1810"
2277     data:
2278       csit-vpp-perf-verify-1810-3n-skx:
2279       - 10  # NDRPDR sel
2280       - 14  # NDRPDR sel
2281       - 15  # NDRPDR sel
2282       - 16  # NDRPDR sel
2283       - 17  # NDRPDR sel
2284       - 19  # NDRPDR sel
2285       - 20  # NDRPDR sel
2286       - 21  # NDRPDR sel
2287       - 22  # NDRPDR sel
2288       - 25  # NDRPDR sel
2289   data: "vpp-performance-changes-3n-skx"
2290   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2291   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2292   parameters:
2293   - "name"
2294   - "parent"
2295   - "throughput"
2296
2297 # VPP Performance Changes 2n-skx 2t1c pdr
2298 -
2299   type: "table"
2300   title: "VPP Performance Changes 2n-skx 2t1c pdr"
2301   algorithm: "table_performance_comparison"
2302   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
2303   reference:
2304     title: "rls1807"
2305     data:
2306       csit-vpp-perf-verify-1807-2n-skx:
2307       - 26  # NDRPDR sel
2308       - 28  # NDRPDR sel
2309       - 29  # NDRPDR sel
2310       - 30  # NDRPDR sel
2311       - 34  # NDRPDR sel
2312       - 35  # NDRPDR sel
2313       - 36  # NDRPDR sel
2314       - 39  # NDRPDR sel
2315       - 40  # NDRPDR sel
2316       - 42  # NDRPDR sel
2317   compare:
2318     title: "rls1810"
2319     data:
2320       csit-vpp-perf-verify-1810-2n-skx:
2321       - 9   # NDRPDR sel
2322       - 13  # NDRPDR sel
2323       - 14  # NDRPDR sel
2324       - 19  # NDRPDR sel
2325       - 20  # NDRPDR sel
2326       - 21  # NDRPDR sel
2327       - 22  # NDRPDR sel
2328       - 23  # NDRPDR sel
2329       - 24  # NDRPDR sel
2330       - 27  # NDRPDR sel
2331   data: "vpp-performance-changes-2n-skx"
2332   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2333   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2334   parameters:
2335   - "name"
2336   - "parent"
2337   - "throughput"
2338
2339 # VPP Performance Changes 2n-skx 4t2c pdr
2340 -
2341   type: "table"
2342   title: "VPP Performance Changes 2n-skx 4t2c pdr"
2343   algorithm: "table_performance_comparison"
2344   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
2345   reference:
2346     title: "rls1807"
2347     data:
2348       csit-vpp-perf-verify-1807-2n-skx:
2349       - 26  # NDRPDR sel
2350       - 28  # NDRPDR sel
2351       - 29  # NDRPDR sel
2352       - 30  # NDRPDR sel
2353       - 34  # NDRPDR sel
2354       - 35  # NDRPDR sel
2355       - 36  # NDRPDR sel
2356       - 39  # NDRPDR sel
2357       - 40  # NDRPDR sel
2358       - 42  # NDRPDR sel
2359   compare:
2360     title: "rls1810"
2361     data:
2362       csit-vpp-perf-verify-1810-2n-skx:
2363       - 9   # NDRPDR sel
2364       - 13  # NDRPDR sel
2365       - 14  # NDRPDR sel
2366       - 19  # NDRPDR sel
2367       - 20  # NDRPDR sel
2368       - 21  # NDRPDR sel
2369       - 22  # NDRPDR sel
2370       - 23  # NDRPDR sel
2371       - 24  # NDRPDR sel
2372       - 27  # NDRPDR sel
2373   data: "vpp-performance-changes-2n-skx"
2374   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2375   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2376   parameters:
2377   - "name"
2378   - "parent"
2379   - "throughput"
2380
2381 # VPP Performance Changes 2n-skx 2t1c ndr
2382 -
2383   type: "table"
2384   title: "VPP Performance Changes 2n-skx 2t1c ndr"
2385   algorithm: "table_performance_comparison"
2386   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
2387   reference:
2388     title: "rls1807"
2389     data:
2390       csit-vpp-perf-verify-1807-2n-skx:
2391       - 26  # NDRPDR sel
2392       - 28  # NDRPDR sel
2393       - 29  # NDRPDR sel
2394       - 30  # NDRPDR sel
2395       - 34  # NDRPDR sel
2396       - 35  # NDRPDR sel
2397       - 36  # NDRPDR sel
2398       - 39  # NDRPDR sel
2399       - 40  # NDRPDR sel
2400       - 42  # NDRPDR sel
2401   compare:
2402     title: "rls1810"
2403     data:
2404       csit-vpp-perf-verify-1810-2n-skx:
2405       - 9   # NDRPDR sel
2406       - 13  # NDRPDR sel
2407       - 14  # NDRPDR sel
2408       - 19  # NDRPDR sel
2409       - 20  # NDRPDR sel
2410       - 21  # NDRPDR sel
2411       - 22  # NDRPDR sel
2412       - 23  # NDRPDR sel
2413       - 24  # NDRPDR sel
2414       - 27  # NDRPDR sel
2415   data: "vpp-performance-changes-2n-skx"
2416   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2417   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2418   parameters:
2419   - "name"
2420   - "parent"
2421   - "throughput"
2422
2423 # VPP Performance Changes 2n-skx 4t2c ndr
2424 -
2425   type: "table"
2426   title: "VPP Performance Changes 2n-skx 4t2c ndr"
2427   algorithm: "table_performance_comparison"
2428   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
2429   reference:
2430     title: "rls1807"
2431     data:
2432       csit-vpp-perf-verify-1807-2n-skx:
2433       - 26  # NDRPDR sel
2434       - 28  # NDRPDR sel
2435       - 29  # NDRPDR sel
2436       - 30  # NDRPDR sel
2437       - 34  # NDRPDR sel
2438       - 35  # NDRPDR sel
2439       - 36  # NDRPDR sel
2440       - 39  # NDRPDR sel
2441       - 40  # NDRPDR sel
2442       - 42  # NDRPDR sel
2443   compare:
2444     title: "rls1810"
2445     data:
2446       csit-vpp-perf-verify-1810-2n-skx:
2447       - 9   # NDRPDR sel
2448       - 13  # NDRPDR sel
2449       - 14  # NDRPDR sel
2450       - 19  # NDRPDR sel
2451       - 20  # NDRPDR sel
2452       - 21  # NDRPDR sel
2453       - 22  # NDRPDR sel
2454       - 23  # NDRPDR sel
2455       - 24  # NDRPDR sel
2456       - 27  # NDRPDR sel
2457   data: "vpp-performance-changes-2n-skx"
2458   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2459   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2460   parameters:
2461   - "name"
2462   - "parent"
2463   - "throughput"
2464
2465 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c ndr
2466 -
2467   type: "table"
2468   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c ndr"
2469   algorithm: "table_performance_comparison"
2470   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-ndr"
2471   reference:
2472     title: "3-Node Hsw"
2473     data:
2474       csit-vpp-perf-verify-1810-3n-hsw:
2475       - 8   # NDRPDR sel
2476       - 12  # NDRPDR sel
2477       - 14  # NDRPDR sel
2478       - 18  # NDRPDR sel
2479       - 23  # NDRPDR sel
2480       - 25  # NDRPDR sel
2481       - 38  # NDRPDR sel
2482       - 39  # NDRPDR sel
2483       - 41  # NDRPDR sel
2484       - 42  # NDRPDR sel
2485   compare:
2486     title: "3-Node Skx"
2487     data:
2488       csit-vpp-perf-verify-1810-3n-skx:
2489       - 10  # NDRPDR sel
2490       - 14  # NDRPDR sel
2491       - 15  # NDRPDR sel
2492       - 16  # NDRPDR sel
2493       - 17  # NDRPDR sel
2494       - 19  # NDRPDR sel
2495       - 20  # NDRPDR sel
2496       - 21  # NDRPDR sel
2497       - 22  # NDRPDR sel
2498       - 25  # NDRPDR sel
2499   data: "vpp-compare-testbeds"
2500   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2501   filter: "'NIC_Intel-X710' and 'NDRPDR' and '1C'"
2502   parameters:
2503   - "name"
2504   - "parent"
2505   - "throughput"
2506
2507 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c ndr
2508 -
2509   type: "table"
2510   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c ndr"
2511   algorithm: "table_performance_comparison"
2512   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-ndr"
2513   reference:
2514     title: "3-Node Hsw"
2515     data:
2516       csit-vpp-perf-verify-1810-3n-hsw:
2517       - 8   # NDRPDR sel
2518       - 12  # NDRPDR sel
2519       - 14  # NDRPDR sel
2520       - 18  # NDRPDR sel
2521       - 23  # NDRPDR sel
2522       - 25  # NDRPDR sel
2523       - 38  # NDRPDR sel
2524       - 39  # NDRPDR sel
2525       - 41  # NDRPDR sel
2526       - 42  # NDRPDR sel
2527   compare:
2528     title: "3-Node Skx"
2529     data:
2530       csit-vpp-perf-verify-1810-3n-skx:
2531       - 10  # NDRPDR sel
2532       - 14  # NDRPDR sel
2533       - 15  # NDRPDR sel
2534       - 16  # NDRPDR sel
2535       - 17  # NDRPDR sel
2536       - 19  # NDRPDR sel
2537       - 20  # NDRPDR sel
2538       - 21  # NDRPDR sel
2539       - 22  # NDRPDR sel
2540       - 25  # NDRPDR sel
2541   data: "vpp-compare-testbeds"
2542   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2543   filter: "'NIC_Intel-X710' and 'NDRPDR' and '2C'"
2544   parameters:
2545   - "name"
2546   - "parent"
2547   - "throughput"
2548
2549 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c pdr
2550 -
2551   type: "table"
2552   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c pdr"
2553   algorithm: "table_performance_comparison"
2554   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-pdr"
2555   reference:
2556     title: "3-Node Hsw"
2557     data:
2558       csit-vpp-perf-verify-1810-3n-hsw:
2559       - 8   # NDRPDR sel
2560       - 12  # NDRPDR sel
2561       - 14  # NDRPDR sel
2562       - 18  # NDRPDR sel
2563       - 23  # NDRPDR sel
2564       - 25  # NDRPDR sel
2565       - 38  # NDRPDR sel
2566       - 39  # NDRPDR sel
2567       - 41  # NDRPDR sel
2568       - 42  # NDRPDR sel
2569   compare:
2570     title: "3-Node Skx"
2571     data:
2572       csit-vpp-perf-verify-1810-3n-skx:
2573       - 10  # NDRPDR sel
2574       - 14  # NDRPDR sel
2575       - 15  # NDRPDR sel
2576       - 16  # NDRPDR sel
2577       - 17  # NDRPDR sel
2578       - 19  # NDRPDR sel
2579       - 20  # NDRPDR sel
2580       - 21  # NDRPDR sel
2581       - 22  # NDRPDR sel
2582       - 25  # NDRPDR sel
2583   data: "vpp-compare-testbeds"
2584   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2585   filter: "'NIC_Intel-X710' and 'NDRPDR' and '1C'"
2586   parameters:
2587   - "name"
2588   - "parent"
2589   - "throughput"
2590
2591 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c pdr
2592 -
2593   type: "table"
2594   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c pdr"
2595   algorithm: "table_performance_comparison"
2596   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-pdr"
2597   reference:
2598     title: "3-Node Hsw"
2599     data:
2600       csit-vpp-perf-verify-1810-3n-hsw:
2601       - 8   # NDRPDR sel
2602       - 12  # NDRPDR sel
2603       - 14  # NDRPDR sel
2604       - 18  # NDRPDR sel
2605       - 23  # NDRPDR sel
2606       - 25  # NDRPDR sel
2607       - 38  # NDRPDR sel
2608       - 39  # NDRPDR sel
2609       - 41  # NDRPDR sel
2610       - 42  # NDRPDR sel
2611   compare:
2612     title: "3-Node Skx"
2613     data:
2614       csit-vpp-perf-verify-1810-3n-skx:
2615       - 10  # NDRPDR sel
2616       - 14  # NDRPDR sel
2617       - 15  # NDRPDR sel
2618       - 16  # NDRPDR sel
2619       - 17  # NDRPDR sel
2620       - 19  # NDRPDR sel
2621       - 20  # NDRPDR sel
2622       - 21  # NDRPDR sel
2623       - 22  # NDRPDR sel
2624       - 25  # NDRPDR sel
2625   data: "vpp-compare-testbeds"
2626   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2627   filter: "'NIC_Intel-X710' and 'NDRPDR' and '2C'"
2628   parameters:
2629   - "name"
2630   - "parent"
2631   - "throughput"
2632
2633 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
2634 -
2635   type: "table"
2636   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
2637   algorithm: "table_performance_comparison"
2638   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
2639   reference:
2640     title: "3-Node Skx"
2641     data:
2642       csit-vpp-perf-verify-1810-3n-skx:
2643       - 10  # NDRPDR sel
2644       - 14  # NDRPDR sel
2645       - 15  # NDRPDR sel
2646       - 16  # NDRPDR sel
2647       - 17  # NDRPDR sel
2648       - 19  # NDRPDR sel
2649       - 20  # NDRPDR sel
2650       - 21  # NDRPDR sel
2651       - 22  # NDRPDR sel
2652       - 25  # NDRPDR sel
2653   compare:
2654     title: "2-Node Skx"
2655     data:
2656       csit-vpp-perf-verify-1810-2n-skx:
2657       - 9   # NDRPDR sel
2658       - 13  # NDRPDR sel
2659       - 14  # NDRPDR sel
2660       - 19  # NDRPDR sel
2661       - 20  # NDRPDR sel
2662       - 21  # NDRPDR sel
2663       - 22  # NDRPDR sel
2664       - 23  # NDRPDR sel
2665       - 24  # NDRPDR sel
2666       - 27  # NDRPDR sel
2667   data: "vpp-compare-topologies"
2668   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2669   filter: "'NDRPDR' and '1C'"
2670   parameters:
2671   - "name"
2672   - "parent"
2673   - "throughput"
2674
2675 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
2676 -
2677   type: "table"
2678   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
2679   algorithm: "table_performance_comparison"
2680   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
2681   reference:
2682     title: "3-Node Skx"
2683     data:
2684       csit-vpp-perf-verify-1810-3n-skx:
2685       - 10  # NDRPDR sel
2686       - 14  # NDRPDR sel
2687       - 15  # NDRPDR sel
2688       - 16  # NDRPDR sel
2689       - 17  # NDRPDR sel
2690       - 19  # NDRPDR sel
2691       - 20  # NDRPDR sel
2692       - 21  # NDRPDR sel
2693       - 22  # NDRPDR sel
2694       - 25  # NDRPDR sel
2695   compare:
2696     title: "2-Node Skx"
2697     data:
2698       csit-vpp-perf-verify-1810-2n-skx:
2699       - 9   # NDRPDR sel
2700       - 13  # NDRPDR sel
2701       - 14  # NDRPDR sel
2702       - 19  # NDRPDR sel
2703       - 20  # NDRPDR sel
2704       - 21  # NDRPDR sel
2705       - 22  # NDRPDR sel
2706       - 23  # NDRPDR sel
2707       - 24  # NDRPDR sel
2708       - 27  # NDRPDR sel
2709   data: "vpp-compare-topologies"
2710   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2711   filter: "'NDRPDR' and '2C'"
2712   parameters:
2713   - "name"
2714   - "parent"
2715   - "throughput"
2716
2717 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
2718 -
2719   type: "table"
2720   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
2721   algorithm: "table_performance_comparison"
2722   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
2723   reference:
2724     title: "3-Node Skx"
2725     data:
2726       csit-vpp-perf-verify-1810-3n-skx:
2727       - 10  # NDRPDR sel
2728       - 14  # NDRPDR sel
2729       - 15  # NDRPDR sel
2730       - 16  # NDRPDR sel
2731       - 17  # NDRPDR sel
2732       - 19  # NDRPDR sel
2733       - 20  # NDRPDR sel
2734       - 21  # NDRPDR sel
2735       - 22  # NDRPDR sel
2736       - 25  # NDRPDR sel
2737   compare:
2738     title: "2-Node Skx"
2739     data:
2740       csit-vpp-perf-verify-1810-2n-skx:
2741       - 9   # NDRPDR sel
2742       - 13  # NDRPDR sel
2743       - 14  # NDRPDR sel
2744       - 19  # NDRPDR sel
2745       - 20  # NDRPDR sel
2746       - 21  # NDRPDR sel
2747       - 22  # NDRPDR sel
2748       - 23  # NDRPDR sel
2749       - 24  # NDRPDR sel
2750       - 27  # NDRPDR sel
2751   data: "vpp-compare-topologies"
2752   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2753   filter: "'NDRPDR' and '1C'"
2754   parameters:
2755   - "name"
2756   - "parent"
2757   - "throughput"
2758
2759 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
2760 -
2761   type: "table"
2762   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
2763   algorithm: "table_performance_comparison"
2764   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
2765   reference:
2766     title: "3-Node Skx"
2767     data:
2768       csit-vpp-perf-verify-1810-3n-skx:
2769       - 10  # NDRPDR sel
2770       - 14  # NDRPDR sel
2771       - 15  # NDRPDR sel
2772       - 16  # NDRPDR sel
2773       - 17  # NDRPDR sel
2774       - 19  # NDRPDR sel
2775       - 20  # NDRPDR sel
2776       - 21  # NDRPDR sel
2777       - 22  # NDRPDR sel
2778       - 25  # NDRPDR sel
2779   compare:
2780     title: "2-Node Skx"
2781     data:
2782       csit-vpp-perf-verify-1810-2n-skx:
2783       - 9   # NDRPDR sel
2784       - 13  # NDRPDR sel
2785       - 14  # NDRPDR sel
2786       - 19  # NDRPDR sel
2787       - 20  # NDRPDR sel
2788       - 21  # NDRPDR sel
2789       - 22  # NDRPDR sel
2790       - 23  # NDRPDR sel
2791       - 24  # NDRPDR sel
2792       - 27  # NDRPDR sel
2793   data: "vpp-compare-topologies"
2794   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2795   filter: "'NDRPDR' and '2C'"
2796   parameters:
2797   - "name"
2798   - "parent"
2799   - "throughput"
2800
2801 # VPP Performance Changes 3n-hsw 1t1c MRR
2802 -
2803   type: "table"
2804   title: "VPP Performance Changes 3n-hsw 1t1c MRR"
2805   algorithm: "table_performance_comparison"
2806   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-mrr"
2807   history:
2808     -
2809       title: "rls1804"
2810       data:
2811         csit-vpp-perf-check-1804:
2812         - 6   # mrr - sel
2813         - 13  # mrr - sel
2814         - 14  # mrr - sel
2815         - 15  # mrr - sel
2816         - 16  # mrr - sel
2817         - 17  # mrr - sel
2818         - 19  # mrr - sel
2819         - 20  # mrr - sel
2820         - 21  # mrr - sel
2821         - 22  # mrr - sel
2822   reference:
2823     title: "rls1807"
2824     data:
2825       csit-vpp-perf-verify-1807-3n-hsw:
2826       - 8   # MRR full
2827       - 9   # MRR sel
2828       - 21  # MRR sel
2829       - 31  # MRR sel
2830       - 33  # MRR sel
2831       - 36  # MRR sel
2832       - 41  # MRR sel
2833       - 42  # MRR sel
2834       - 48  # MRR sel
2835   compare:
2836     title: "rls1810"
2837     data:
2838       csit-vpp-perf-verify-1810-3n-hsw:
2839       - 9   # MRR sel
2840   data: "vpp-performance-changes-3n-hsw-mrr"
2841   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2842   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2843   parameters:
2844   - "name"
2845   - "parent"
2846   - "result"
2847
2848 # VPP Performance Changes 3n-hsw 2t2c MRR
2849 -
2850   type: "table"
2851   title: "VPP Performance Changes 3n-hsw 2t2c MRR"
2852   algorithm: "table_performance_comparison"
2853   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-mrr"
2854   history:
2855     -
2856       title: "rls1804"
2857       data:
2858         csit-vpp-perf-check-1804:
2859         - 6   # mrr - sel
2860         - 13  # mrr - sel
2861         - 14  # mrr - sel
2862         - 15  # mrr - sel
2863         - 16  # mrr - sel
2864         - 17  # mrr - sel
2865         - 19  # mrr - sel
2866         - 20  # mrr - sel
2867         - 21  # mrr - sel
2868         - 22  # mrr - sel
2869   reference:
2870     title: "rls1807"
2871     data:
2872       csit-vpp-perf-verify-1807-3n-hsw:
2873       - 8   # MRR full
2874       - 9   # MRR sel
2875       - 21  # MRR sel
2876       - 31  # MRR sel
2877       - 33  # MRR sel
2878       - 36  # MRR sel
2879       - 41  # MRR sel
2880       - 42  # MRR sel
2881       - 48  # MRR sel
2882   compare:
2883     title: "rls1810"
2884     data:
2885       csit-vpp-perf-verify-1810-3n-hsw:
2886       - 9   # MRR sel
2887   data: "vpp-performance-changes-3n-hsw-mrr"
2888   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2889   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2890   parameters:
2891   - "name"
2892   - "parent"
2893   - "result"
2894
2895 # VPP Performance Changes 3n-hsw 4t4c MRR
2896 -
2897   type: "table"
2898   title: "VPP Performance Changes 3n-hsw 4t4c MRR"
2899   algorithm: "table_performance_comparison"
2900   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-mrr"
2901   history:
2902     -
2903       title: "rls1804"
2904       data:
2905         csit-vpp-perf-check-1804:
2906         - 6   # mrr - sel
2907         - 13  # mrr - sel
2908         - 14  # mrr - sel
2909         - 15  # mrr - sel
2910         - 16  # mrr - sel
2911         - 17  # mrr - sel
2912         - 19  # mrr - sel
2913         - 20  # mrr - sel
2914         - 21  # mrr - sel
2915         - 22  # mrr - sel
2916   reference:
2917     title: "rls1807"
2918     data:
2919       csit-vpp-perf-verify-1807-3n-hsw:
2920       - 8   # MRR full
2921       - 9   # MRR sel
2922       - 21  # MRR sel
2923       - 31  # MRR sel
2924       - 33  # MRR sel
2925       - 36  # MRR sel
2926       - 41  # MRR sel
2927       - 42  # MRR sel
2928       - 48  # MRR sel
2929   compare:
2930     title: "rls1810"
2931     data:
2932       csit-vpp-perf-verify-1810-3n-hsw:
2933       - 9   # MRR sel
2934   data: "vpp-performance-changes-3n-hsw-mrr"
2935   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2936   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2937   parameters:
2938   - "name"
2939   - "parent"
2940   - "result"
2941
2942 # VPP Performance Changes 3n-skx 2t1c MRR
2943 -
2944   type: "table"
2945   title: "VPP Performance Changes 3n-skx 2t1c MRR"
2946   algorithm: "table_performance_comparison"
2947   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2948   reference:
2949     title: "rls1807"
2950     data:
2951       csit-vpp-perf-verify-1807-3n-skx:
2952       - 28  # MRR sel
2953       - 32  # MRR sel
2954       - 36  # MRR sel
2955       - 42  # MRR sel
2956       - 47  # MRR sel
2957       - 48  # MRR sel
2958       - 51  # MRR sel
2959       - 52  # MRR sel
2960       - 53  # MRR sel
2961   compare:
2962     title: "rls1810"
2963     data:
2964       csit-vpp-perf-verify-1810-3n-skx:
2965       - 9   # MRR sel
2966       - 11  # MRR sel
2967       - 12  # MRR sel
2968       - 13  # MRR sel
2969   data: "vpp-performance-changes-3n-skx-mrr"
2970   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2971   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2972   parameters:
2973   - "name"
2974   - "parent"
2975   - "result"
2976
2977 # VPP Performance Changes 3n-skx 4t2c MRR
2978 -
2979   type: "table"
2980   title: "VPP Performance Changes 3n-skx 4t2c MRR"
2981   algorithm: "table_performance_comparison"
2982   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
2983   reference:
2984     title: "rls1807"
2985     data:
2986       csit-vpp-perf-verify-1807-3n-skx:
2987       - 28  # MRR sel
2988       - 32  # MRR sel
2989       - 36  # MRR sel
2990       - 42  # MRR sel
2991       - 47  # MRR sel
2992       - 48  # MRR sel
2993       - 51  # MRR sel
2994       - 52  # MRR sel
2995       - 53  # MRR sel
2996   compare:
2997     title: "rls1810"
2998     data:
2999       csit-vpp-perf-verify-1810-3n-skx:
3000       - 9   # MRR sel
3001       - 11  # MRR sel
3002       - 12  # MRR sel
3003       - 13  # MRR sel
3004   data: "vpp-performance-changes-3n-skx-mrr"
3005   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3006   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3007   parameters:
3008   - "name"
3009   - "parent"
3010   - "result"
3011
3012 # VPP Performance Changes 3n-skx 8t4c MRR
3013 -
3014   type: "table"
3015   title: "VPP Performance Changes 3n-skx 8t4c MRR"
3016   algorithm: "table_performance_comparison"
3017   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
3018   reference:
3019     title: "rls1807"
3020     data:
3021       csit-vpp-perf-verify-1807-3n-skx:
3022       - 28  # MRR sel
3023       - 32  # MRR sel
3024       - 36  # MRR sel
3025       - 42  # MRR sel
3026       - 47  # MRR sel
3027       - 48  # MRR sel
3028       - 51  # MRR sel
3029       - 52  # MRR sel
3030       - 53  # MRR sel
3031   compare:
3032     title: "rls1810"
3033     data:
3034       csit-vpp-perf-verify-1810-3n-skx:
3035       - 9   # MRR sel
3036       - 11  # MRR sel
3037       - 12  # MRR sel
3038       - 13  # MRR sel
3039   data: "vpp-performance-changes-3n-skx-mrr"
3040   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3041   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3042   parameters:
3043   - "name"
3044   - "parent"
3045   - "result"
3046
3047 # VPP Performance Changes 2n-skx 2t1c MRR
3048 -
3049   type: "table"
3050   title: "VPP Performance Changes 2n-skx 2t1c MRR"
3051   algorithm: "table_performance_comparison"
3052   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
3053   reference:
3054     title: "rls1807"
3055     data:
3056       csit-vpp-perf-verify-1807-2n-skx:
3057       - 31  # MRR sel
3058       - 33  # MRR sel
3059       - 37  # MRR sel
3060       - 38  # MRR sel
3061       - 41  # MRR sel
3062       - 43  # MRR sel
3063       - 44  # MRR sel
3064       - 45  # MRR sel
3065       - 46  # MRR sel
3066       - 47  # MRR sel
3067   compare:
3068     title: "rls1810"
3069     data:
3070       csit-vpp-perf-verify-1810-2n-skx:
3071       - 8   # MRR sel
3072       - 10  # MRR sel
3073       - 11  # MRR sel
3074       - 12  # MRR sel
3075   data: "vpp-performance-changes-2n-skx-mrr"
3076   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3077   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3078   parameters:
3079   - "name"
3080   - "parent"
3081   - "result"
3082
3083 # VPP Performance Changes 2n-skx 4t2c MRR
3084 -
3085   type: "table"
3086   title: "VPP Performance Changes 2n-skx 4t2c MRR"
3087   algorithm: "table_performance_comparison"
3088   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
3089   reference:
3090     title: "rls1807"
3091     data:
3092       csit-vpp-perf-verify-1807-2n-skx:
3093       - 31  # MRR sel
3094       - 33  # MRR sel
3095       - 37  # MRR sel
3096       - 38  # MRR sel
3097       - 41  # MRR sel
3098       - 43  # MRR sel
3099       - 44  # MRR sel
3100       - 45  # MRR sel
3101       - 46  # MRR sel
3102       - 47  # MRR sel
3103   compare:
3104     title: "rls1810"
3105     data:
3106       csit-vpp-perf-verify-1810-2n-skx:
3107       - 8   # MRR sel
3108       - 10  # MRR sel
3109       - 11  # MRR sel
3110       - 12  # MRR sel
3111   data: "vpp-performance-changes-2n-skx-mrr"
3112   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3113   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3114   parameters:
3115   - "name"
3116   - "parent"
3117   - "result"
3118
3119 # VPP Performance Changes 2n-skx 8t4c MRR
3120 -
3121   type: "table"
3122   title: "VPP Performance Changes 2n-skx 8t4c MRR"
3123   algorithm: "table_performance_comparison"
3124   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
3125   reference:
3126     title: "rls1807"
3127     data:
3128       csit-vpp-perf-verify-1807-2n-skx:
3129       - 31  # MRR sel
3130       - 33  # MRR sel
3131       - 37  # MRR sel
3132       - 38  # MRR sel
3133       - 41  # MRR sel
3134       - 43  # MRR sel
3135       - 44  # MRR sel
3136       - 45  # MRR sel
3137       - 46  # MRR sel
3138       - 47  # MRR sel
3139   compare:
3140     title: "rls1810"
3141     data:
3142       csit-vpp-perf-verify-1810-2n-skx:
3143       - 8   # MRR sel
3144       - 10  # MRR sel
3145       - 11  # MRR sel
3146       - 12  # MRR sel
3147   data: "vpp-performance-changes-2n-skx-mrr"
3148   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3149   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3150   parameters:
3151   - "name"
3152   - "parent"
3153   - "result"
3154
3155 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c mrr
3156 -
3157   type: "table"
3158   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c mrr"
3159   algorithm: "table_performance_comparison"
3160   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-mrr"
3161   reference:
3162     title: "3-Node Hsw"
3163     data:
3164       csit-vpp-perf-verify-1810-3n-hsw:
3165       - 9   # MRR sel
3166   compare:
3167     title: "3-Node Skx"
3168     data:
3169       csit-vpp-perf-verify-1810-3n-skx:
3170       - 9   # MRR sel
3171       - 11  # MRR sel
3172       - 12  # MRR sel
3173       - 13  # MRR sel
3174   data: "vpp-compare-testbeds-mrr"
3175   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3176   filter: "'NIC_Intel-X710' and 'MRR' and '1C'"
3177   parameters:
3178   - "name"
3179   - "parent"
3180   - "result"
3181
3182 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c mrr
3183 -
3184   type: "table"
3185   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c mrr"
3186   algorithm: "table_performance_comparison"
3187   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-mrr"
3188   reference:
3189     title: "3-Node Hsw"
3190     data:
3191       csit-vpp-perf-verify-1810-3n-hsw:
3192       - 9   # MRR sel
3193   compare:
3194     title: "3-Node Skx"
3195     data:
3196       csit-vpp-perf-verify-1810-3n-skx:
3197       - 9   # MRR sel
3198       - 11  # MRR sel
3199       - 12  # MRR sel
3200       - 13  # MRR sel
3201   data: "vpp-compare-testbeds-mrr"
3202   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3203   filter: "'NIC_Intel-X710' and 'MRR' and '2C'"
3204   parameters:
3205   - "name"
3206   - "parent"
3207   - "result"
3208
3209 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 4c mrr
3210 -
3211   type: "table"
3212   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 4c mrr"
3213   algorithm: "table_performance_comparison"
3214   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-4c-mrr"
3215   reference:
3216     title: "3-Node Hsw"
3217     data:
3218       csit-vpp-perf-verify-1810-3n-hsw:
3219       - 9   # MRR sel
3220   compare:
3221     title: "3-Node Skx"
3222     data:
3223       csit-vpp-perf-verify-1810-3n-skx:
3224       - 9   # MRR sel
3225       - 11  # MRR sel
3226       - 12  # MRR sel
3227       - 13  # MRR sel
3228   data: "vpp-compare-testbeds-mrr"
3229   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3230   filter: "'NIC_Intel-X710' and 'MRR' and '4C'"
3231   parameters:
3232   - "name"
3233   - "parent"
3234   - "result"
3235
3236 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c mrr
3237 -
3238   type: "table"
3239   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c mrr"
3240   algorithm: "table_performance_comparison"
3241   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-mrr"
3242   reference:
3243     title: "3-Node Skx"
3244     data:
3245       csit-vpp-perf-verify-1810-3n-skx:
3246       - 9   # MRR sel
3247       - 11  # MRR sel
3248       - 12  # MRR sel
3249       - 13  # MRR sel
3250   compare:
3251     title: "2-Node Skx"
3252     data:
3253       csit-vpp-perf-verify-1810-2n-skx:
3254       - 8   # MRR sel
3255       - 10  # MRR sel
3256       - 11  # MRR sel
3257       - 12  # MRR sel
3258   data: "vpp-compare-topologies-mrr"
3259   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3260   filter: "'MRR' and '1C'"
3261   parameters:
3262   - "name"
3263   - "parent"
3264   - "result"
3265
3266 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c mrr
3267 -
3268   type: "table"
3269   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c mrr"
3270   algorithm: "table_performance_comparison"
3271   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-mrr"
3272   reference:
3273     title: "3-Node Skx"
3274     data:
3275       csit-vpp-perf-verify-1810-3n-skx:
3276       - 9   # MRR sel
3277       - 11  # MRR sel
3278       - 12  # MRR sel
3279       - 13  # MRR sel
3280   compare:
3281     title: "2-Node Skx"
3282     data:
3283       csit-vpp-perf-verify-1810-2n-skx:
3284       - 8   # MRR sel
3285       - 10  # MRR sel
3286       - 11  # MRR sel
3287       - 12  # MRR sel
3288   data: "vpp-compare-topologies-mrr"
3289   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3290   filter: "'MRR' and '2C'"
3291   parameters:
3292   - "name"
3293   - "parent"
3294   - "result"
3295
3296 # VPP Comparison Across Topologies 3n-skx to 2n-skx 4c mrr
3297 -
3298   type: "table"
3299   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 4c mrr"
3300   algorithm: "table_performance_comparison"
3301   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-4c-mrr"
3302   reference:
3303     title: "3-Node Skx"
3304     data:
3305       csit-vpp-perf-verify-1810-3n-skx:
3306       - 9   # MRR sel
3307       - 11  # MRR sel
3308       - 12  # MRR sel
3309       - 13  # MRR sel
3310   compare:
3311     title: "2-Node Skx"
3312     data:
3313       csit-vpp-perf-verify-1810-2n-skx:
3314       - 8   # MRR sel
3315       - 10  # MRR sel
3316       - 11  # MRR sel
3317       - 12  # MRR sel
3318   data: "vpp-compare-topologies-mrr"
3319   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3320   filter: "'MRR' and '4C'"
3321   parameters:
3322   - "name"
3323   - "parent"
3324   - "result"
3325
3326 # Detailed Test Results - VPP Performance Results 3n-hsw
3327 -
3328   type: "table"
3329   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
3330   algorithm: "table_merged_details"
3331   output-file-ext: ".csv"
3332   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
3333   columns:
3334   -
3335     title: "Name"
3336     data: "data name"
3337   -
3338     title: "Status"
3339     data: "data msg"
3340   rows: "generated"
3341   data: "vpp-perf-results-3n-hsw"
3342   filter: "not 'NDRCHK' and not 'PDRCHK'"
3343   parameters:
3344   - "name"
3345   - "parent"
3346   - "msg"
3347
3348 # Detailed Test Results - VPP Performance Results 3n-skx
3349 -
3350   type: "table"
3351   title: "Detailed Test Results - VPP Performance Results 3n-skx"
3352   algorithm: "table_merged_details"
3353   output-file-ext: ".csv"
3354   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
3355   columns:
3356   -
3357     title: "Name"
3358     data: "data name"
3359   -
3360     title: "Status"
3361     data: "data msg"
3362   rows: "generated"
3363   data: "vpp-perf-results-3n-skx"
3364   filter: "not 'NDRCHK' and not 'PDRCHK'"
3365   parameters:
3366   - "name"
3367   - "parent"
3368   - "msg"
3369
3370 # Detailed Test Results - VPP Performance Results 2n-skx
3371 -
3372   type: "table"
3373   title: "Detailed Test Results - VPP Performance Results 2n-skx"
3374   algorithm: "table_merged_details"
3375   output-file-ext: ".csv"
3376   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
3377   columns:
3378   -
3379     title: "Name"
3380     data: "data name"
3381   -
3382     title: "Status"
3383     data: "data msg"
3384   rows: "generated"
3385   data: "vpp-perf-results-2n-skx"
3386   filter: "not 'NDRCHK' and not 'PDRCHK'"
3387   parameters:
3388   - "name"
3389   - "parent"
3390   - "msg"
3391
3392 # Detailed Test Results - VPP Performance Results 2n-dnv
3393 -
3394   type: "table"
3395   title: "Detailed Test Results - VPP Performance Results 2n-dnv"
3396   algorithm: "table_details"
3397   output-file-ext: ".csv"
3398   output-file: "{DIR[DTR,PERF,VPP,2N,DNV]}/vpp_performance_results_2n_dnv"
3399   columns:
3400   -
3401     title: "Name"
3402     data: "data name"
3403   -
3404     title: "Status"
3405     data: "data msg"
3406   rows: "generated"
3407   data: "intel-dnv-vpp"
3408   filter: "'NDRPDR'"
3409   parameters:
3410   - "name"
3411   - "parent"
3412   - "msg"
3413
3414 # Test configuration - VPP Performance Test Configs 3n-hsw
3415 -
3416   type: "table"
3417   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
3418   algorithm: "table_merged_details"
3419   output-file-ext: ".csv"
3420   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
3421   columns:
3422   -
3423     title: "Name"
3424     data: "data name"
3425   -
3426     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3427     data: "data vat-history"
3428   rows: "generated"
3429   data: "vpp-perf-results-3n-hsw"
3430   filter: "not 'NDRCHK' and not 'PDRCHK'"
3431   parameters:
3432   - "parent"
3433   - "name"
3434   - "vat-history"
3435
3436 # Test configuration - VPP Performance Test Configs 3n-skx
3437 -
3438   type: "table"
3439   title: "Test configuration - VPP Performance Test Configs 3n-skx"
3440   algorithm: "table_merged_details"
3441   output-file-ext: ".csv"
3442   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
3443   columns:
3444   -
3445     title: "Name"
3446     data: "data name"
3447   -
3448     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3449     data: "data vat-history"
3450   rows: "generated"
3451   data: "vpp-perf-results-3n-skx"
3452   filter: "not 'NDRCHK' and not 'PDRCHK'"
3453   parameters:
3454   - "parent"
3455   - "name"
3456   - "vat-history"
3457
3458 # Test configuration - VPP Performance Test Configs 2n-skx
3459 -
3460   type: "table"
3461   title: "Test configuration - VPP Performance Test Configs 2n-skx"
3462   algorithm: "table_merged_details"
3463   output-file-ext: ".csv"
3464   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
3465   columns:
3466   -
3467     title: "Name"
3468     data: "data name"
3469   -
3470     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3471     data: "data vat-history"
3472   rows: "generated"
3473   data: "vpp-perf-results-2n-skx"
3474   filter: "not 'NDRCHK' and not 'PDRCHK'"
3475   parameters:
3476   - "parent"
3477   - "name"
3478   - "vat-history"
3479
3480 # Test configuration - VPP Performance Test Configs 2n-dnv
3481 -
3482   type: "table"
3483   title: "Test configuration - VPP Performance Test Configs 2n-dnv"
3484   algorithm: "table_details"
3485   output-file-ext: ".csv"
3486   output-file: "{DIR[DTC,PERF,VPP,2N,DNV]}/vpp_test_configuration_2n_dnv"
3487   columns:
3488   -
3489     title: "Name"
3490     data: "data name"
3491   -
3492     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3493     data: "data vat-history"
3494   rows: "generated"
3495   data: "intel-dnv-vpp"
3496   filter: "'NDRPDR'"
3497   parameters:
3498   - "parent"
3499   - "name"
3500   - "vat-history"
3501
3502 # Test Operational Data - VPP Performance Operational Data 3n-hsw
3503 -
3504   type: "table"
3505   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
3506   algorithm: "table_merged_details"
3507   output-file-ext: ".csv"
3508   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
3509   columns:
3510   -
3511     title: "Name"
3512     data: "data name"
3513   -
3514     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
3515     data: "data show-run"
3516   rows: "generated"
3517   data: "vpp-perf-results-3n-hsw"
3518   filter: "not 'NDRCHK' and not 'PDRCHK'"
3519   parameters:
3520   - "parent"
3521   - "name"
3522   - "show-run"
3523
3524 # Test Operational Data - VPP Performance Operational Data 3n-skx
3525 -
3526   type: "table"
3527   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
3528   algorithm: "table_merged_details"
3529   output-file-ext: ".csv"
3530   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
3531   columns:
3532   -
3533     title: "Name"
3534     data: "data name"
3535   -
3536     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
3537     data: "data show-run"
3538   rows: "generated"
3539   data: "vpp-perf-results-3n-skx"
3540   filter: "not 'NDRCHK' and not 'PDRCHK'"
3541   parameters:
3542   - "parent"
3543   - "name"
3544   - "show-run"
3545
3546 # Test Operational Data - VPP Performance Operational Data 2n-skx
3547 -
3548   type: "table"
3549   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
3550   algorithm: "table_merged_details"
3551   output-file-ext: ".csv"
3552   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
3553   columns:
3554   -
3555     title: "Name"
3556     data: "data name"
3557   -
3558     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
3559     data: "data show-run"
3560   rows: "generated"
3561   data: "vpp-perf-results-2n-skx"
3562   filter: "not 'NDRCHK' and not 'PDRCHK'"
3563   parameters:
3564   - "parent"
3565   - "name"
3566   - "show-run"
3567
3568 # Test Operational Data - VPP Performance Operational Data 2n-dnv
3569 -
3570   type: "table"
3571   title: "Test Operational Data - VPP Performance Operational Data 2n-dnv"
3572   algorithm: "table_details"
3573   output-file-ext: ".csv"
3574   output-file: "{DIR[DTO,PERF,VPP,2N,DNV]}/vpp_test_operational_2n_dnv"
3575   columns:
3576   -
3577     title: "Name"
3578     data: "data name"
3579   -
3580     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
3581     data: "data show-run"
3582   rows: "generated"
3583   data: "intel-dnv-vpp"
3584   filter: "'NDRPDR'"
3585   parameters:
3586   - "parent"
3587   - "name"
3588   - "show-run"
3589
3590 # Detailed Test Results - VPP MRR Results 3n-hsw
3591 -
3592   type: "table"
3593   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
3594   algorithm: "table_details"
3595   output-file-ext: ".csv"
3596   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
3597   columns:
3598   -
3599     title: "Name"
3600     data: "data name"
3601   -
3602     title: "Status"
3603     data: "data msg"
3604   rows: "generated"
3605   data: "vpp-mrr-results-3n-hsw"
3606   filter: "'MRR'"
3607   parameters:
3608   - "name"
3609   - "parent"
3610   - "msg"
3611
3612 # Detailed Test Results - VPP MRR Results 3n-skx
3613 -
3614   type: "table"
3615   title: "Detailed Test Results - VPP MRR Results 3n-skx"
3616   algorithm: "table_details"
3617   output-file-ext: ".csv"
3618   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
3619   columns:
3620   -
3621     title: "Name"
3622     data: "data name"
3623   -
3624     title: "Status"
3625     data: "data msg"
3626   rows: "generated"
3627   data: "vpp-mrr-results-3n-skx"
3628   filter: "'MRR'"
3629   parameters:
3630   - "name"
3631   - "parent"
3632   - "msg"
3633
3634 # Detailed Test Results - VPP MRR Results 2n-skx
3635 -
3636   type: "table"
3637   title: "Detailed Test Results - VPP MRR Results 2n-skx"
3638   algorithm: "table_details"
3639   output-file-ext: ".csv"
3640   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
3641   columns:
3642   -
3643     title: "Name"
3644     data: "data name"
3645   -
3646     title: "Status"
3647     data: "data msg"
3648   rows: "generated"
3649   data: "vpp-mrr-results-2n-skx"
3650   filter: "'MRR'"
3651   parameters:
3652   - "name"
3653   - "parent"
3654   - "msg"
3655
3656 # Detailed Test Results - VPP MRR Results 2n-dnv
3657 -
3658   type: "table"
3659   title: "Detailed Test Results - VPP MRR Results 2n-dnv"
3660   algorithm: "table_details"
3661   output-file-ext: ".csv"
3662   output-file: "{DIR[DTR,MRR,VPP,2N,DNV]}/vpp_mrr_results_2n_dnv"
3663   columns:
3664   -
3665     title: "Name"
3666     data: "data name"
3667   -
3668     title: "Status"
3669     data: "data msg"
3670   rows: "generated"
3671   data: "intel-dnv-vpp"
3672   filter: "'MRR'"
3673   parameters:
3674   - "name"
3675   - "parent"
3676   - "msg"
3677
3678 # Test configuration - VPP MRR Test Configs 3n-hsw
3679 -
3680   type: "table"
3681   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
3682   algorithm: "table_details"
3683   output-file-ext: ".csv"
3684   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
3685   columns:
3686   -
3687     title: "Name"
3688     data: "data name"
3689   -
3690     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3691     data: "data vat-history"
3692   rows: "generated"
3693   data: "vpp-mrr-results-3n-hsw"
3694   filter: "'MRR'"
3695   parameters:
3696   - "parent"
3697   - "name"
3698   - "vat-history"
3699
3700 # Test configuration - VPP MRR Test Configs 3n-skx
3701 -
3702   type: "table"
3703   title: "Test configuration - VPP MRR Test Configs 3n-skx"
3704   algorithm: "table_details"
3705   output-file-ext: ".csv"
3706   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
3707   columns:
3708   -
3709     title: "Name"
3710     data: "data name"
3711   -
3712     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3713     data: "data vat-history"
3714   rows: "generated"
3715   data: "vpp-mrr-results-3n-skx"
3716   filter: "'MRR'"
3717   parameters:
3718   - "parent"
3719   - "name"
3720   - "vat-history"
3721
3722 # Test configuration - VPP MRR Test Configs 2n-skx
3723 -
3724   type: "table"
3725   title: "Test configuration - VPP MRR Test Configs 2n-skx"
3726   algorithm: "table_details"
3727   output-file-ext: ".csv"
3728   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
3729   columns:
3730   -
3731     title: "Name"
3732     data: "data name"
3733   -
3734     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3735     data: "data vat-history"
3736   rows: "generated"
3737   data: "vpp-mrr-results-2n-skx"
3738   filter: "'MRR'"
3739   parameters:
3740   - "parent"
3741   - "name"
3742   - "vat-history"
3743
3744 # Test configuration - VPP MRR Test Configs 2n-dnv
3745 -
3746   type: "table"
3747   title: "Test configuration - VPP MRR Test Configs 2n-dnv"
3748   algorithm: "table_details"
3749   output-file-ext: ".csv"
3750   output-file: "{DIR[DTC,MRR,VPP,2N,DNV]}/vpp_mrr_test_configuration_2n_dnv"
3751   columns:
3752   -
3753     title: "Name"
3754     data: "data name"
3755   -
3756     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3757     data: "data vat-history"
3758   rows: "generated"
3759   data: "intel-dnv-vpp"
3760   filter: "'MRR'"
3761   parameters:
3762   - "parent"
3763   - "name"
3764   - "vat-history"
3765
3766 # Detailed Test Results - VPP Functional Results - Ubuntu
3767 -
3768   type: "table"
3769   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
3770   algorithm: "table_details"
3771   output-file-ext: ".csv"
3772   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
3773   columns:
3774   -
3775     title: "Name"
3776     data: "data name"
3777   -
3778     title: "Documentation"
3779     data: "data doc"
3780   -
3781     title: "Status"
3782     data: "data status"
3783   rows: "generated"
3784   data: "vpp-func-results-ubuntu"
3785   filter: "all"
3786   parameters:
3787   - "name"
3788   - "parent"
3789   - "doc"
3790   - "status"
3791
3792 # Detailed Test Results - VPP Functional Results - CentOS
3793 -
3794   type: "table"
3795   title: "Detailed Test Results - VPP Functional Results - CentOS"
3796   algorithm: "table_details"
3797   output-file-ext: ".csv"
3798   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
3799   columns:
3800   -
3801     title: "Name"
3802     data: "data name"
3803   -
3804     title: "Documentation"
3805     data: "data doc"
3806   -
3807     title: "Status"
3808     data: "data status"
3809   rows: "generated"
3810   data:
3811     "vpp-func-results-centos"
3812   filter: "all"
3813   parameters:
3814   - "name"
3815   - "parent"
3816   - "doc"
3817   - "status"
3818
3819 # Test configuration - VPP Functional Test Configs - Ubuntu
3820 -
3821   type: "table"
3822   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
3823   algorithm: "table_details"
3824   output-file-ext: ".csv"
3825   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
3826   columns:
3827   -
3828     title: "Name"
3829     data: "data name"
3830   -
3831     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3832     data: "data vat-history"
3833   rows: "generated"
3834   data: "vpp-func-results-ubuntu"
3835   filter: "all"
3836   parameters:
3837   - "parent"
3838   - "name"
3839   - "vat-history"
3840
3841 # Test configuration - VPP Functional Test Configs - CentOS
3842 -
3843   type: "table"
3844   title: "Test configuration - VPP Functional Test Configs - CentOS"
3845   algorithm: "table_details"
3846   output-file-ext: ".csv"
3847   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
3848   columns:
3849   -
3850     title: "Name"
3851     data: "data name"
3852   -
3853     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3854     data: "data vat-history"
3855   rows: "generated"
3856   data: "vpp-func-results-centos"
3857   filter: "all"
3858   parameters:
3859   - "parent"
3860   - "name"
3861   - "vat-history"
3862
3863 # Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw
3864 -
3865   type: "table"
3866   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
3867   algorithm: "table_details"
3868   output-file-ext: ".csv"
3869   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
3870   columns:
3871   -
3872     title: "Name"
3873     data: "data name"
3874   -
3875     title: "Status"
3876     data: "data msg"
3877   rows: "generated"
3878   data: "ligato-perf-results-3n-hsw"
3879   filter: "all"
3880   parameters:
3881   - "name"
3882   - "parent"
3883   - "msg"
3884
3885 # Detailed Test Results - VPP Device Results - Ubuntu
3886 -
3887   type: "table"
3888   title: "Detailed Test Results - VPP Device Results - Ubuntu"
3889   algorithm: "table_details"
3890   output-file-ext: ".csv"
3891   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
3892   columns:
3893   -
3894     title: "Name"
3895     data: "data name"
3896   -
3897     title: "Documentation"
3898     data: "data doc"
3899   -
3900     title: "Status"
3901     data: "data status"
3902   rows: "generated"
3903   data: "vpp-device-results-ubuntu"
3904   filter: "all"
3905   parameters:
3906   - "name"
3907   - "parent"
3908   - "doc"
3909   - "status"
3910
3911 # Test configuration - VPP Device Test Configs - Ubuntu
3912 -
3913   type: "table"
3914   title: "Test configuration - VPP Device Test Configs - Ubuntu"
3915   algorithm: "table_details"
3916   output-file-ext: ".csv"
3917   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
3918   columns:
3919   -
3920     title: "Name"
3921     data: "data name"
3922   -
3923     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3924     data: "data vat-history"
3925   rows: "generated"
3926   data: "vpp-device-results-ubuntu"
3927   filter: "all"
3928   parameters:
3929   - "parent"
3930   - "name"
3931   - "vat-history"
3932
3933 ################################################################################
3934
3935 # DPDK Performance Changes 3n-hsw 1t1c pdr
3936 -
3937   type: "table"
3938   title: "DPDK Performance Changes 3n-hsw 1t1c pdr"
3939   algorithm: "table_performance_comparison"
3940   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-pdr"
3941   history:
3942     -
3943       title: "rls1804"
3944       data:
3945         csit-dpdk-perf-1804-all:
3946         - 4
3947         - 5
3948         - 6
3949         - 7
3950         - 8
3951         - 9
3952         - 10
3953         - 11
3954         - 12
3955         - 13
3956   reference:
3957     title: "rls1807"
3958     data:
3959       csit-dpdk-perf-verify-1807-3n-hsw:
3960       - 11
3961       - 12  # full
3962       - 14
3963       - 15
3964       - 16
3965       - 17
3966       - 20
3967       - 21
3968       - 22
3969       - 23
3970   compare:
3971     title: "rls1810"
3972     data:
3973       csit-dpdk-perf-verify-1810-3n-hsw:
3974       - 1   # NDRPDR sel
3975       - 2   # NDRPDR sel
3976       - 3   # NDRPDR sel
3977       - 4   # NDRPDR sel
3978       - 5   # NDRPDR sel
3979       - 6   # NDRPDR sel
3980       - 7   # NDRPDR sel
3981       - 8   # NDRPDR sel
3982       - 9   # NDRPDR sel
3983       - 10  # NDRPDR sel
3984   data: "dpdk-performance-changes-3n-hsw"
3985   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3986   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3987   parameters:
3988   - "name"
3989   - "parent"
3990   - "throughput"
3991
3992 # DPDK Performance Changes 3n-hsw 2t2c pdr
3993 -
3994   type: "table"
3995   title: "DPDK Performance Changes 3n-hsw 2t2c pdr"
3996   algorithm: "table_performance_comparison"
3997   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-2t2c-pdr"
3998   history:
3999     -
4000       title: "rls1804"
4001       data:
4002         csit-dpdk-perf-1804-all:
4003         - 4
4004         - 5
4005         - 6
4006         - 7
4007         - 8
4008         - 9
4009         - 10
4010         - 11
4011         - 12
4012         - 13
4013   reference:
4014     title: "rls1807"
4015     data:
4016       csit-dpdk-perf-verify-1807-3n-hsw:
4017       - 11
4018       - 12  # full
4019       - 14
4020       - 15
4021       - 16
4022       - 17
4023       - 20
4024       - 21
4025       - 22
4026       - 23
4027   compare:
4028     title: "rls1810"
4029     data:
4030       csit-dpdk-perf-verify-1810-3n-hsw:
4031       - 1   # NDRPDR sel
4032       - 2   # NDRPDR sel
4033       - 3   # NDRPDR sel
4034       - 4   # NDRPDR sel
4035       - 5   # NDRPDR sel
4036       - 6   # NDRPDR sel
4037       - 7   # NDRPDR sel
4038       - 8   # NDRPDR sel
4039       - 9   # NDRPDR sel
4040       - 10  # NDRPDR sel
4041   data: "dpdk-performance-changes-3n-hsw"
4042   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
4043   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
4044   parameters:
4045   - "name"
4046   - "parent"
4047   - "throughput"
4048
4049 # DPDK Performance Changes 3n-hsw 1t1c ndr
4050 -
4051   type: "table"
4052   title: "DPDK Performance Changes 3n-hsw 1t1c ndr"
4053   algorithm: "table_performance_comparison"
4054   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-ndr"