CSIT-1351: Add Denverton results to report
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
37     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
38     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
39     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
40     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
41     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
42     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
43     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
44     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
45     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
46     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
47     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
49
50     # Detailed test configurations
51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
52     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
53     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
54     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
55     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
56     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
57     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
58     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
59     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
60     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
61
62     # Detailed tests operational data
63     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
64     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
65     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
66     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
67
68     # .css patch file to fix tables generated by Sphinx
69     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
70     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
71
72   urls:
73     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
74     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
75     URL[VIRL,DNV]: "http://10.30.51.28/download/denverton/intel_denverton_vpp_release_1810.tar.gz"
76     URL[NEXUS]: "https://docs.fd.io/csit"
77     DIR[NEXUS]: "report/_static/archive"
78
79   make-dirs:
80   # List the directories which are created while preparing the environment.
81   # All directories MUST be defined in "paths" section.
82   - "DIR[WORKING,DATA]"
83   - "DIR[STATIC,VPP]"
84   - "DIR[STATIC,DPDK]"
85   - "DIR[STATIC,ARCH]"
86   - "DIR[BUILD,LATEX]"
87   - "DIR[WORKING,SRC]"
88   - "DIR[WORKING,SRC,STATIC]"
89
90   remove-dirs:
91   # List the directories which are deleted while cleaning the environment.
92   # All directories MUST be defined in "paths" section.
93   #- "DIR[BUILD,HTML]"
94   - "DIR[WORKING,DATA]"
95
96   build-dirs:
97   # List the directories where the results (build) is stored.
98   # All directories MUST be defined in "paths" section.
99   - "DIR[BUILD,HTML]"
100   - "DIR[BUILD,LATEX]"
101
102 -
103   type: "configuration"
104
105   limits:
106     nic:
107       x520: 24460000
108       x710: 35800000
109       xxv710: 35800000
110       xl710: 35800000
111
112     link:
113       10ge: 14880952.38
114       25ge: 37202380.95
115       40ge: 59523809.52
116       100ge: 148809523.81
117
118     pci:
119       pci-g3-x8: 74404761.90
120       pci-g3-x16: 148809523.81
121
122   data-sets:
123
124     # Denverton:
125     intel-dnv-vpp:
126       intel-dnv-vpp-release-1810:
127       - 1
128
129     # VPP Performance
130     vpp-performance-changes-3n-hsw:
131       csit-vpp-perf-1804-all:
132       - 21  # sel
133       - 22  # sel
134       - 23  # sel
135       - 24  # sel
136       - 27  # sel
137       - 28  # sel
138       - 29  # sel
139       - 30  # sel
140       - 31  # sel
141       - 35  # sel
142       csit-vpp-perf-verify-1807-3n-hsw:
143       - 11  # NDRPDR full 1
144       - 22  # NDRPDR full 2
145       - 45  # NDRPDR full 3
146       - 46  # NDRPDR full 4
147       - 15  # NDRPDR sel
148       - 16  # NDRPDR sel
149       - 19  # NDRPDR sel
150       - 18  # NDRPDR sel
151       - 20  # NDRPDR sel
152       - 38  # NDRPDR sel
153       - 40  # NDRPDR sel
154       - 44  # NDRPDR sel
155       - 47  # NDRPDR sel
156       csit-vpp-perf-verify-1810-3n-hsw:
157       - 8   # NDRPDR sel
158       - 12  # NDRPDR sel
159       - 14  # NDRPDR sel
160       - 18  # NDRPDR sel
161       - 23  # NDRPDR sel
162       - 25  # NDRPDR sel
163       - 38  # NDRPDR sel
164       - 39  # NDRPDR sel
165       - 41  # NDRPDR sel
166       - 42  # NDRPDR sel
167
168     vpp-performance-changes-3n-skx:
169       csit-vpp-perf-verify-1807-3n-skx:
170       - 33  # NDRPDR sel
171       - 35  # NDRPDR sel
172       - 37  # NDRPDR sel
173       - 38  # NDRPDR sel
174       - 39  # NDRPDR sel
175       - 43  # NDRPDR sel
176       - 44  # NDRPDR sel
177       - 49  # NDRPDR sel
178       - 50  # NDRPDR sel
179       - 56  # NDRPDR sel
180       csit-vpp-perf-verify-1810-3n-skx:
181       - 10  # NDRPDR sel
182       - 14  # NDRPDR sel
183       - 15  # NDRPDR sel
184       - 16  # NDRPDR sel
185       - 17  # NDRPDR sel
186       - 19  # NDRPDR sel
187       - 20  # NDRPDR sel
188       - 21  # NDRPDR sel
189       - 22  # NDRPDR sel
190       - 25  # NDRPDR sel
191
192     vpp-performance-changes-2n-skx:
193       csit-vpp-perf-verify-1807-2n-skx:
194       - 26  # NDRPDR sel
195       - 28  # NDRPDR sel
196       - 29  # NDRPDR sel
197       - 30  # NDRPDR sel
198       - 34  # NDRPDR sel
199       - 35  # NDRPDR sel
200       - 36  # NDRPDR sel
201       - 39  # NDRPDR sel
202       - 40  # NDRPDR sel
203       - 42  # NDRPDR sel
204       csit-vpp-perf-verify-1810-2n-skx:
205       - 9   # NDRPDR sel
206       - 13  # NDRPDR sel
207       - 14  # NDRPDR sel
208       - 19  # NDRPDR sel
209       - 20  # NDRPDR sel
210       - 21  # NDRPDR sel
211       - 22  # NDRPDR sel
212       - 23  # NDRPDR sel
213       - 24  # NDRPDR sel
214       - 27  # NDRPDR sel
215
216     vpp-compare-testbeds:
217       csit-vpp-perf-verify-1810-3n-hsw:
218       - 8   # NDRPDR sel
219       - 12  # NDRPDR sel
220       - 14  # NDRPDR sel
221       - 18  # NDRPDR sel
222       - 23  # NDRPDR sel
223       - 25  # NDRPDR sel
224       - 38  # NDRPDR sel
225       - 39  # NDRPDR sel
226       - 41  # NDRPDR sel
227       - 42  # NDRPDR sel
228       csit-vpp-perf-verify-1810-3n-skx:
229       - 24  # NDRPDR full
230       - 10  # NDRPDR sel
231       - 14  # NDRPDR sel
232       - 15  # NDRPDR sel
233       - 16  # NDRPDR sel
234       - 17  # NDRPDR sel
235       - 19  # NDRPDR sel
236       - 20  # NDRPDR sel
237       - 21  # NDRPDR sel
238       - 22  # NDRPDR sel
239       - 25  # NDRPDR sel
240
241     vpp-compare-testbeds-mrr:
242       csit-vpp-perf-verify-1810-3n-hsw:
243       - 9   # MRR sel
244       csit-vpp-perf-verify-1810-3n-skx:
245       - 9   # MRR sel
246       - 11  # MRR sel
247       - 12  # MRR sel
248       - 13  # MRR sel
249
250     vpp-compare-topologies:
251       csit-vpp-perf-verify-1810-3n-skx:
252       - 10  # NDRPDR sel
253       - 14  # NDRPDR sel
254       - 15  # NDRPDR sel
255       - 16  # NDRPDR sel
256       - 17  # NDRPDR sel
257       - 19  # NDRPDR sel
258       - 20  # NDRPDR sel
259       - 21  # NDRPDR sel
260       - 22  # NDRPDR sel
261       - 25  # NDRPDR sel
262       csit-vpp-perf-verify-1810-2n-skx:
263       - 9   # NDRPDR sel
264       - 13  # NDRPDR sel
265       - 14  # NDRPDR sel
266       - 19  # NDRPDR sel
267       - 20  # NDRPDR sel
268       - 21  # NDRPDR sel
269       - 22  # NDRPDR sel
270       - 23  # NDRPDR sel
271       - 24  # NDRPDR sel
272       - 27  # NDRPDR sel
273
274     vpp-compare-topologies-mrr:
275       csit-vpp-perf-verify-1810-3n-skx:
276       - 9   # MRR sel
277       - 11  # MRR sel
278       - 12  # MRR sel
279       - 13  # MRR sel
280       csit-vpp-perf-verify-1810-2n-skx:
281       - 8   # MRR sel
282       - 10  # MRR sel
283       - 11  # MRR sel
284       - 12  # MRR sel
285
286     vpp-performance-changes-3n-hsw-mrr:
287       csit-vpp-perf-check-1804:
288       - 6   # mrr - sel
289       - 13  # mrr - sel
290       - 14  # mrr - sel
291       - 15  # mrr - sel
292       - 16  # mrr - sel
293       - 17  # mrr - sel
294       - 19  # mrr - sel
295       - 20  # mrr - sel
296       - 21  # mrr - sel
297       - 22  # mrr - sel
298       csit-vpp-perf-verify-1807-3n-hsw:
299       - 8   # MRR full
300       - 9   # MRR sel
301       - 21  # MRR sel
302       - 31  # MRR sel
303       - 33  # MRR sel
304       - 36  # MRR sel
305       - 41  # MRR sel
306       - 42  # MRR sel
307       - 48  # MRR sel
308       csit-vpp-perf-verify-1810-3n-hsw:
309       - 9   # MRR sel
310
311     vpp-performance-changes-3n-skx-mrr:
312       csit-vpp-perf-verify-1807-3n-skx:
313       - 28  # MRR sel
314       - 32  # MRR sel
315       - 36  # MRR sel
316       - 42  # MRR sel
317       - 47  # MRR sel
318       - 48  # MRR sel
319       - 51  # MRR sel
320       - 52  # MRR sel
321       - 53  # MRR sel
322       - 54  # MRR sel
323       csit-vpp-perf-verify-1810-3n-skx:
324       - 9   # MRR sel
325       - 11  # MRR sel
326       - 12  # MRR sel
327       - 13  # MRR sel
328
329     vpp-performance-changes-2n-skx-mrr:
330       csit-vpp-perf-verify-1807-2n-skx:
331       - 31  # MRR sel
332       - 33  # MRR sel
333       - 37  # MRR sel
334       - 38  # MRR sel
335       - 41  # MRR sel
336       - 43  # MRR sel
337       - 44  # MRR sel
338       - 45  # MRR sel
339       - 46  # MRR sel
340       - 47  # MRR sel
341       csit-vpp-perf-verify-1810-2n-skx:
342       - 8   # MRR sel
343       - 10  # MRR sel
344       - 11  # MRR sel
345       - 12  # MRR sel
346
347     vpp-perf-results-3n-hsw:
348       csit-vpp-perf-verify-1810-3n-hsw:
349       - 20  # NDRPDR full
350       - 21  # NDRPDR full
351       - 22  # NDRPDR full
352       - 27  # NDRPDR full
353
354     vpp-perf-results-3n-skx:
355       csit-vpp-perf-verify-1810-3n-skx:
356       - 23  # NDRPDR full
357       - 24  # NDRPDR full
358
359     vpp-perf-results-2n-skx:
360       csit-vpp-perf-verify-1810-2n-skx:
361       - 25  # NDRPDR full
362       - 26  # NDRPDR full
363
364     vpp-mrr-results-3n-hsw:
365       csit-vpp-perf-verify-1810-3n-hsw:
366       - 9   # MRR sel
367
368     vpp-mrr-results-3n-skx:
369       csit-vpp-perf-verify-1810-3n-skx:
370       - 9   # MRR sel
371
372     vpp-mrr-results-2n-skx:
373       csit-vpp-perf-verify-1810-2n-skx:
374       - 8   # MRR sel
375
376     plot-throughput-speedup-analysis-3n-hsw:
377       csit-vpp-perf-verify-1810-3n-hsw:
378       - 8   # NDRPDR sel
379       - 12  # NDRPDR sel
380       - 14  # NDRPDR sel
381       - 18  # NDRPDR sel
382       - 23  # NDRPDR sel
383       - 25  # NDRPDR sel
384       - 38  # NDRPDR sel
385       - 39  # NDRPDR sel
386       - 41  # NDRPDR sel
387       - 42  # NDRPDR sel
388
389     plot-throughput-speedup-analysis-3n-skx:
390       csit-vpp-perf-verify-1810-3n-skx:
391       - 24  # NDRPDR full
392       - 10  # NDRPDR sel
393       - 14  # NDRPDR sel
394       - 15  # NDRPDR sel
395       - 16  # NDRPDR sel
396       - 17  # NDRPDR sel
397       - 19  # NDRPDR sel
398       - 20  # NDRPDR sel
399       - 21  # NDRPDR sel
400       - 22  # NDRPDR sel
401       - 25  # NDRPDR sel
402
403     plot-throughput-speedup-analysis-2n-skx:
404       csit-vpp-perf-verify-1810-2n-skx:
405       - 9   # NDRPDR sel
406       - 13  # NDRPDR sel
407       - 14  # NDRPDR sel
408       - 19  # NDRPDR sel
409       - 20  # NDRPDR sel
410       - 21  # NDRPDR sel
411       - 22  # NDRPDR sel
412       - 23  # NDRPDR sel
413       - 24  # NDRPDR sel
414       - 27  # NDRPDR sel
415
416     plot-vpp-throughput-latency-3n-hsw:
417       csit-vpp-perf-verify-1810-3n-hsw:
418       - 8   # NDRPDR sel
419       - 12  # NDRPDR sel
420       - 14  # NDRPDR sel
421       - 18  # NDRPDR sel
422       - 23  # NDRPDR sel
423       - 25  # NDRPDR sel
424       - 38  # NDRPDR sel
425       - 39  # NDRPDR sel
426       - 41  # NDRPDR sel
427       - 42  # NDRPDR sel
428
429     plot-vpp-throughput-latency-3n-skx:
430       csit-vpp-perf-verify-1810-3n-skx:
431       - 24  # NDRPDR full
432       - 10  # NDRPDR sel
433       - 14  # NDRPDR sel
434       - 15  # NDRPDR sel
435       - 16  # NDRPDR sel
436       - 17  # NDRPDR sel
437       - 19  # NDRPDR sel
438       - 20  # NDRPDR sel
439       - 21  # NDRPDR sel
440       - 22  # NDRPDR sel
441       - 25  # NDRPDR sel
442
443     plot-vpp-throughput-latency-2n-skx:
444       csit-vpp-perf-verify-1810-2n-skx:
445       - 9   # NDRPDR sel
446       - 13  # NDRPDR sel
447       - 14  # NDRPDR sel
448       - 19  # NDRPDR sel
449       - 20  # NDRPDR sel
450       - 21  # NDRPDR sel
451       - 22  # NDRPDR sel
452       - 23  # NDRPDR sel
453       - 24  # NDRPDR sel
454       - 27  # NDRPDR sel
455
456     plot-vpp-http-server-performance:
457       csit-vpp-perf-verify-1810-3n-hsw:
458       - 28  # WRK
459       - 29  # WRK
460       - 30  # WRK
461       - 31  # WRK
462       - 32  # WRK
463       - 33  # WRK
464       - 34  # WRK
465       - 35  # WRK
466       - 36  # WRK
467       - 37  # WRK
468
469     # VPP Functional
470     vpp-func-results-ubuntu:
471       csit-vpp-functional-1810-ubuntu1604-virl:
472       - 44
473
474     vpp-func-results-centos:
475       csit-vpp-functional-1810-centos7-virl:
476       - 44
477
478     vpp-device-results-ubuntu:
479       csit-vpp-device-1810-ubuntu1804-1n-skx:
480       - 2
481
482     # VPP Ligato
483     ligato-perf-results-3n-hsw:
484       csit-ligato-perf-verify-1810-3n-hsw:
485       - 5   # full
486
487     plot-ligato-throughput-speedup-analysis-3n-hsw:
488       csit-ligato-perf-verify-1810-3n-hsw:
489       - 5   # full
490       - 6   # sel
491       - 8   # sel
492       - 9   # sel
493       - 11  # sel
494       - 12  # sel
495       - 13  # sel
496       - 14  # sel
497       - 16  # sel
498       - 17  # sel
499       - 18  # sel
500
501     plot-ligato-throughput-latency-3n-hsw:
502       csit-ligato-perf-verify-1810-3n-hsw:
503       - 5   # full
504       - 6   # sel
505       - 8   # sel
506       - 9   # sel
507       - 11  # sel
508       - 12  # sel
509       - 13  # sel
510       - 14  # sel
511       - 16  # sel
512       - 17  # sel
513       - 18  # sel
514
515     # DPDK Performance
516     dpdk-performance-changes-3n-hsw:
517       csit-dpdk-perf-1804-all:
518       - 4
519       - 5
520       - 6
521       - 7
522       - 8
523       - 9
524       - 10
525       - 11
526       - 12
527       - 13
528       csit-dpdk-perf-verify-1807-3n-hsw:
529       - 11
530       - 12  # full
531       - 14
532       - 15
533       - 16
534       - 17
535       - 20
536       - 21
537       - 22
538       - 23
539       csit-dpdk-perf-verify-1810-3n-hsw:
540       - 1   # NDRPDR sel
541       - 2   # NDRPDR sel
542       - 3   # NDRPDR sel
543       - 4   # NDRPDR sel
544       - 5   # NDRPDR sel
545       - 6   # NDRPDR sel
546       - 7   # NDRPDR sel
547       - 8   # NDRPDR sel
548       - 9   # NDRPDR sel
549       - 10  # NDRPDR sel
550
551     dpdk-performance-changes-3n-skx:
552       csit-dpdk-perf-verify-1807-3n-skx:
553       - 1   # NDRPDR sel
554       - 2   # NDRPDR sel
555       - 3   # NDRPDR sel
556       - 6   # NDRPDR sel
557       - 7   # NDRPDR sel
558       - 8   # NDRPDR sel
559       - 9   # NDRPDR sel
560       - 10  # NDRPDR sel
561       - 11  # NDRPDR sel
562       - 12  # NDRPDR sel
563       csit-dpdk-perf-verify-1810-3n-skx:
564       - 3   # NDRPDR sel
565       - 4   # NDRPDR sel
566       - 6   # NDRPDR sel
567       - 7   # NDRPDR sel
568       - 8   # NDRPDR sel
569       - 9   # NDRPDR sel
570       - 10  # NDRPDR sel
571       - 11  # NDRPDR sel
572       - 12  # NDRPDR sel
573       - 13  # NDRPDR sel
574
575     dpdk-compare-testbeds:
576       csit-dpdk-perf-verify-1810-3n-skx:
577       - 3   # NDRPDR sel
578       - 4   # NDRPDR sel
579       - 6   # NDRPDR sel
580       - 7   # NDRPDR sel
581       - 8   # NDRPDR sel
582       - 9   # NDRPDR sel
583       - 10  # NDRPDR sel
584       - 11  # NDRPDR sel
585       - 12  # NDRPDR sel
586       - 13  # NDRPDR sel
587       csit-dpdk-perf-verify-1810-3n-hsw:
588       - 1   # NDRPDR sel
589       - 2   # NDRPDR sel
590       - 3   # NDRPDR sel
591       - 4   # NDRPDR sel
592       - 5   # NDRPDR sel
593       - 6   # NDRPDR sel
594       - 7   # NDRPDR sel
595       - 8   # NDRPDR sel
596       - 9   # NDRPDR sel
597       - 10  # NDRPDR sel
598
599     dpdk-compare-topologies:
600       csit-dpdk-perf-verify-1810-3n-skx:
601       - 3   # NDRPDR sel
602       - 4   # NDRPDR sel
603       - 6   # NDRPDR sel
604       - 7   # NDRPDR sel
605       - 8   # NDRPDR sel
606       - 9   # NDRPDR sel
607       - 10  # NDRPDR sel
608       - 11  # NDRPDR sel
609       - 12  # NDRPDR sel
610       - 13  # NDRPDR sel
611       csit-dpdk-perf-verify-1810-2n-skx:
612       - 3   # NDRPDR sel
613       - 4   # NDRPDR sel
614       - 5   # NDRPDR sel
615       - 7   # NDRPDR sel
616       - 8   # NDRPDR sel
617       - 9   # NDRPDR sel
618       - 10  # NDRPDR sel
619       - 11  # NDRPDR sel
620       - 12  # NDRPDR sel
621       - 13  # NDRPDR sel
622
623     dpdk-perf-results-3n-hsw:
624       csit-dpdk-perf-verify-1810-3n-hsw:
625       - 1
626
627     dpdk-perf-results-3n-skx:
628       csit-dpdk-perf-verify-1810-3n-skx:
629       - 3   # NDRPDR sel
630
631     dpdk-perf-results-2n-skx:
632       csit-dpdk-perf-verify-1810-2n-skx:
633       - 3
634
635     plot-dpdk-throughput-latency-3n-hsw:
636       csit-dpdk-perf-verify-1810-3n-hsw:
637       - 1   # NDRPDR sel
638       - 2   # NDRPDR sel
639       - 3   # NDRPDR sel
640       - 4   # NDRPDR sel
641       - 5   # NDRPDR sel
642       - 6   # NDRPDR sel
643       - 7   # NDRPDR sel
644       - 8   # NDRPDR sel
645       - 9   # NDRPDR sel
646       - 10  # NDRPDR sel
647
648     plot-dpdk-throughput-latency-3n-skx:
649       csit-dpdk-perf-verify-1810-3n-skx:
650       - 3   # NDRPDR sel
651       - 4   # NDRPDR sel
652       - 6   # NDRPDR sel
653       - 7   # NDRPDR sel
654       - 8   # NDRPDR sel
655       - 9   # NDRPDR sel
656       - 10  # NDRPDR sel
657       - 11  # NDRPDR sel
658       - 12  # NDRPDR sel
659       - 13  # NDRPDR sel
660
661     plot-dpdk-throughput-latency-2n-skx:
662       csit-dpdk-perf-verify-1810-2n-skx:
663       - 3   # NDRPDR sel
664       - 4   # NDRPDR sel
665       - 5   # NDRPDR sel
666       - 7   # NDRPDR sel
667       - 8   # NDRPDR sel
668       - 9   # NDRPDR sel
669       - 10  # NDRPDR sel
670       - 11  # NDRPDR sel
671       - 12  # NDRPDR sel
672       - 13  # NDRPDR sel
673
674     # HoneyComb Functional
675     hc-func-results:
676       csit-hc2vpp-verify-func-1810-ubuntu1604:
677       - 3
678
679     # NSH SFC Functional
680     nsh-func-results:
681       csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
682       - 1
683
684     # DMM Functional
685     dmm-func-results:
686       csit-dmm-functional-1810-ubuntu1604-virl:
687       - 1
688
689   plot-layouts:
690
691     plot-cps:
692       titlefont:
693         size: 18
694       xaxis:
695         title: "<b>Test Cases [Index]</b>"
696         titlefont:
697           size: 16
698         autorange: True
699         fixedrange: False
700         gridcolor: "rgb(230, 230, 230)"
701         linecolor: "rgb(220, 220, 220)"
702         linewidth: 1
703         showgrid: True
704         showline: True
705         showticklabels: True
706         tickcolor: "rgb(220, 220, 220)"
707         tickmode: "linear"
708         tickfont:
709           size: 16
710         zeroline: False
711       yaxis:
712         title: "<b>Connections Per Second [cps]</b>"
713         titlefont:
714           size: 16
715         gridcolor: "rgb(230, 230, 230)"
716         hoverformat: ".4s"
717         linecolor: "rgb(220, 220, 220)"
718         linewidth: 1
719         rangemode: "tozero"
720         showgrid: True
721         showline: True
722         showticklabels: True
723         tickcolor: "rgb(220, 220, 220)"
724         tickformat: ".3s"
725         tickfont:
726           size: 16
727         zeroline: False
728       boxmode: "group"
729       boxgroupgap: 0.5
730       autosize: False
731       margin:
732         t: 50
733         b: 20
734         l: 80
735         r: 20
736       showlegend: True
737       legend:
738         orientation: "h"
739         font:
740           size: 16
741       width: 700
742       height: 800
743
744     plot-rps:
745       titlefont:
746         size: 18
747       xaxis:
748         title: "<b>Test Cases [Index]</b>"
749         titlefont:
750           size: 16
751         autorange: True
752         fixedrange: False
753         gridcolor: "rgb(230, 230, 230)"
754         linecolor: "rgb(220, 220, 220)"
755         linewidth: 1
756         showgrid: True
757         showline: True
758         showticklabels: True
759         tickcolor: "rgb(220, 220, 220)"
760         tickmode: "linear"
761         tickfont:
762           size: 16
763         zeroline: False
764       yaxis:
765         title: "<b>Requests Per Second [rps]</b>"
766         titlefont:
767           size: 16
768         gridcolor: "rgb(230, 230, 230)"
769         hoverformat: ".4s"
770         linecolor: "rgb(220, 220, 220)"
771         linewidth: 1
772         rangemode: "tozero"
773         showgrid: True
774         showline: True
775         showticklabels: True
776         tickcolor: "rgb(230, 230, 230)"
777         tickformat: ".3s"
778         tickfont:
779           size: 16
780         zeroline: False
781       boxmode: "group"
782       boxgroupgap: 0.5
783       autosize: False
784       margin:
785         t: 50
786         b: 20
787         l: 80
788         r: 20
789       showlegend: True
790       legend:
791         orientation: "h"
792         font:
793           size: 16
794       width: 700
795       height: 800
796
797     plot-throughput:
798       titlefont:
799         size: 18
800       xaxis:
801         title: "<b>Test Cases [Index]</b>"
802         titlefont:
803           size: 16
804         autorange: True
805         fixedrange: False
806         gridcolor: "rgb(230, 230, 230)"
807         linecolor: "rgb(220, 220, 220)"
808         linewidth: 1
809         showgrid: True
810         showline: True
811         showticklabels: True
812         tickcolor: "rgb(220, 220, 220)"
813         tickmode: "linear"
814         tickfont:
815           size: 16
816         zeroline: False
817       yaxis:
818         title: "<b>Packet Throughput [Mpps]</b>"
819         titlefont:
820           size: 16
821         gridcolor: "rgb(230, 230, 230)"
822         hoverformat: ".4s"
823         tickformat: ".3s"
824         linecolor: "rgb(220, 220, 220)"
825         linewidth: 1
826         showgrid: True
827         showline: True
828         showticklabels: True
829         tickcolor: "rgb(220, 220, 220)"
830         tickfont:
831           size: 16
832         zeroline: False
833         range: [0,50]
834       boxmode: "group"
835       boxgroupgap: 0.5
836       autosize: False
837       margin:
838         t: 50
839         b: 20
840         l: 80
841         r: 20
842       showlegend: True
843       legend:
844         orientation: "h"
845         font:
846           size: 16
847       width: 700
848       height: 900
849
850     plot-throughput-speedup-analysis:
851       titlefont:
852         size: 18
853       xaxis:
854         title: "<b>Number of Cores [Qty]</b>"
855         titlefont:
856           size: 16
857         autorange: True
858         fixedrange: False
859         gridcolor: "rgb(230, 230, 230)"
860         linecolor: "rgb(220, 220, 220)"
861         linewidth: 1
862         showgrid: True
863         showline: True
864         showticklabels: True
865         tickcolor: "rgb(238, 238, 238)"
866         tickmode: "linear"
867         tickfont:
868           size: 16
869         zeroline: False
870       yaxis:
871         title: "<b>Packet Throughput [Mpps]</b>"
872         titlefont:
873           size: 16
874         type: "linear"
875         gridcolor: "rgb(230, 230, 230)"
876         hoverformat: ".4s"
877         linecolor: "rgb(220, 220, 220)"
878         linewidth: 1
879         showgrid: True
880         showline: True
881         showticklabels: True
882         tickcolor: "rgb(220, 220, 220)"
883         tickformat: ".4s"
884         tickfont:
885           size: 16
886         zeroline: True
887         rangemode: "tozero"
888         # range: [0,100]
889       legend:
890         orientation: "h"
891         font:
892           size: 16
893         xanchor: "left"
894         yanchor: "top"
895         x: 0
896         y: -0.2
897         bgcolor: "rgba(255, 255, 255, 0)"
898         bordercolor: "rgba(255, 255, 255, 0)"
899         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
900       autosize: False
901       margin:
902           't': 50
903           'b': 150
904           'l': 85
905           'r': 10
906       showlegend: True
907       width: 700
908       height: 700
909       hoverlabel:
910         namelength: -1
911       annotations: [
912         {
913           text: "_ _          __          ...",
914           align: "left",
915           showarrow: False,
916           xref: "paper",
917           yref: "paper",
918           xanchor: "left",
919           yanchor: "top",
920           x: 0,
921           y: -0.13,
922           font: {
923             family: "Consolas, Courier New",
924             size: 15
925           },
926         },
927         {
928           text: "    Perfect     Measured     Limit",
929           align: "left",
930           showarrow: False,
931           xref: "paper",
932           yref: "paper",
933           xanchor: "left",
934           yanchor: "top",
935           x: 0,
936           y: -0.15,
937           font: {
938             family: "Consolas, Courier New",
939             size: 15
940           },
941         },
942       ]
943
944     plot-latency:
945       titlefont:
946         size: 18
947       xaxis:
948         title: "<b>Direction</b>"
949         titlefont:
950           size: 16
951         autorange: True
952         fixedrange: False
953         gridcolor: "rgb(230, 230, 230)"
954         linecolor: "rgb(220, 220, 220)"
955         linewidth: 1
956         showgrid: True
957         showline: True
958         showticklabels: False
959         tickcolor: "rgb(220, 220, 220)"
960         tickmode: "linear"
961         tickfont:
962           size: 16
963         zeroline: False
964       yaxis:
965         title: "<b>Packet Latency [uSec]</b>"
966         titlefont:
967           size: 16
968         type: "linear"
969         gridcolor: "rgb(230, 230, 230)"
970         hoverformat: ".4s"
971         linecolor: "rgb(220, 220, 220)"
972         linewidth: 1
973         showgrid: True
974         showline: True
975         showticklabels: True
976         tickcolor: "rgb(220, 220, 220)"
977         tickformat: ".4s"
978         tickfont:
979           size: 16
980         zeroline: True
981         rangemode: "tozero"
982       legend:
983         orientation: "h"
984         font:
985           size: 16
986         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
987       autosize: False
988       margin:
989           't': 50
990           'b': 150
991           'l': 80
992           'r': 10
993       showlegend: True
994       width: 700
995       height: 700
996       hoverlabel:
997         namelength: -1
998
999 -
1000   type: "static"
1001   src-path: "{DIR[RST]}"
1002   dst-path: "{DIR[WORKING,SRC]}"
1003
1004 -
1005   type: "input"
1006   general:
1007     file-name: "robot-plugin.zip"
1008     file-format: ".zip"
1009     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
1010     extract: "robot-plugin/output.xml"
1011
1012   builds:
1013
1014     intel-dnv-vpp-release-1810:
1015     - 1
1016
1017     csit-vpp-perf-1804-all:
1018     - 21  # sel
1019     - 22  # sel
1020     - 23  # sel
1021     - 24  # sel
1022     - 27  # sel
1023     - 28  # sel
1024     - 29  # sel
1025     - 30  # sel
1026     - 31  # sel
1027     - 35  # sel
1028     csit-vpp-perf-verify-1807-3n-hsw:
1029     - 8   # MRR full
1030     - 9   # MRR sel
1031     - 21  # MRR sel
1032     - 31  # MRR sel
1033     - 33  # MRR sel
1034     - 36  # MRR sel
1035     - 41  # MRR sel
1036     - 42  # MRR sel
1037     - 48  # MRR sel
1038     - 11  # NDRPDR full 1
1039     - 22  # NDRPDR full 2
1040     - 45  # NDRPDR full 3
1041     - 46  # NDRPDR full 4
1042     - 15  # NDRPDR sel
1043     - 16  # NDRPDR sel
1044     - 19  # NDRPDR sel
1045     - 18  # NDRPDR sel
1046     - 20  # NDRPDR sel
1047     - 38  # NDRPDR sel
1048     - 40  # NDRPDR sel
1049     - 44  # NDRPDR sel
1050     - 47  # NDRPDR sel
1051     - 24  # WRK
1052     - 25  # WRK
1053     - 23  # WRK
1054     - 26  # WRK
1055     - 27  # WRK
1056     - 28  # WRK
1057     - 29  # WRK
1058     - 30  # WRK
1059     - 32  # WRK
1060     - 35  # WRK
1061     csit-vpp-perf-verify-1810-3n-hsw:
1062     - 9   # MRR sel
1063     - 20  # NDRPDR full
1064     - 21  # NDRPDR full
1065     - 22  # NDRPDR full
1066     - 27  # NDRPDR full
1067     - 8   # NDRPDR sel
1068     - 12  # NDRPDR sel
1069     - 14  # NDRPDR sel
1070     - 18  # NDRPDR sel
1071     - 23  # NDRPDR sel
1072     - 25  # NDRPDR sel
1073     - 38  # NDRPDR sel
1074     - 39  # NDRPDR sel
1075     - 41  # NDRPDR sel
1076     - 42  # NDRPDR sel
1077     - 28  # WRK
1078     - 29  # WRK
1079     - 30  # WRK
1080     - 31  # WRK
1081     - 32  # WRK
1082     - 33  # WRK
1083     - 34  # WRK
1084     - 35  # WRK
1085     - 36  # WRK
1086     - 37  # WRK
1087     csit-vpp-perf-verify-1807-3n-skx:
1088     - 31  # MRR full
1089     - 28  # MRR sel
1090     - 32  # MRR sel
1091     - 36  # MRR sel
1092     - 42  # MRR sel
1093     - 47  # MRR sel
1094     - 48  # MRR sel
1095     - 51  # MRR sel
1096     - 52  # MRR sel
1097     - 53  # MRR sel
1098     - 54  # MRR sel
1099     - 40  # NDRPDR full 1
1100     - 41  # NDRPDR full 2
1101     - 33  # NDRPDR sel
1102     - 35  # NDRPDR sel
1103     - 37  # NDRPDR sel
1104     - 38  # NDRPDR sel
1105     - 39  # NDRPDR sel
1106     - 43  # NDRPDR sel
1107     - 44  # NDRPDR sel
1108     - 49  # NDRPDR sel
1109     - 50  # NDRPDR sel
1110     - 56  # NDRPDR sel
1111     csit-vpp-perf-verify-1810-3n-skx:
1112     - 9   # MRR sel
1113     - 11  # MRR sel
1114     - 12  # MRR sel
1115     - 13  # MRR sel
1116     - 23  # NDRPDR full
1117     - 24  # NDRPDR full
1118     - 10  # NDRPDR sel
1119     - 14  # NDRPDR sel
1120     - 15  # NDRPDR sel
1121     - 16  # NDRPDR sel
1122     - 17  # NDRPDR sel
1123     - 19  # NDRPDR sel
1124     - 20  # NDRPDR sel
1125     - 21  # NDRPDR sel
1126     - 22  # NDRPDR sel
1127     - 25  # NDRPDR sel
1128     csit-vpp-perf-verify-1807-2n-skx:
1129     - 27  # MRR full
1130     - 31  # MRR sel
1131     - 33  # MRR sel
1132     - 37  # MRR sel
1133     - 38  # MRR sel
1134     - 41  # MRR sel
1135     - 43  # MRR sel
1136     - 44  # MRR sel
1137     - 45  # MRR sel
1138     - 46  # MRR sel
1139     - 47  # MRR sel
1140     - 32  # NDRPDR full
1141     - 26  # NDRPDR sel
1142     - 28  # NDRPDR sel
1143     - 29  # NDRPDR sel
1144     - 30  # NDRPDR sel
1145     - 34  # NDRPDR sel
1146     - 35  # NDRPDR sel
1147     - 36  # NDRPDR sel
1148     - 39  # NDRPDR sel
1149     - 40  # NDRPDR sel
1150     - 42  # NDRPDR sel
1151     csit-vpp-perf-verify-1810-2n-skx:
1152     - 8   # MRR sel
1153     - 10  # MRR sel
1154     - 11  # MRR sel
1155     - 12  # MRR sel
1156     - 25  # NDRPDR full
1157     - 26  # NDRPDR full
1158     - 9   # NDRPDR sel
1159     - 13  # NDRPDR sel
1160     - 14  # NDRPDR sel
1161     - 19  # NDRPDR sel
1162     - 20  # NDRPDR sel
1163     - 21  # NDRPDR sel
1164     - 22  # NDRPDR sel
1165     - 23  # NDRPDR sel
1166     - 24  # NDRPDR sel
1167     - 27  # NDRPDR sel
1168     csit-vpp-perf-check-1804:
1169     - 5   # mrr - full
1170     - 6   # mrr - sel
1171     - 13  # mrr - sel
1172     - 14  # mrr - sel
1173     - 15  # mrr - sel
1174     - 16  # mrr - sel
1175     - 17  # mrr - sel
1176     - 19  # mrr - sel
1177     - 20  # mrr - sel
1178     - 21  # mrr - sel
1179     - 22  # mrr - sel
1180     csit-ligato-perf-verify-1810-3n-hsw:
1181     - 5   # full
1182     - 6   # sel
1183     - 8   # sel
1184     - 9   # sel
1185     - 11  # sel
1186     - 12  # sel
1187     - 13  # sel
1188     - 14  # sel
1189     - 16  # sel
1190     - 17  # sel
1191     - 18  # sel
1192     csit-dpdk-perf-1804-all:
1193     - 4
1194     - 5
1195     - 6
1196     - 7
1197     - 8
1198     - 9
1199     - 10
1200     - 11
1201     - 12
1202     - 13
1203     csit-dpdk-perf-verify-1807-3n-hsw:
1204     - 11
1205     - 12  # full
1206     - 14
1207     - 15
1208     - 16
1209     - 17
1210     - 20
1211     - 21
1212     - 22
1213     - 23
1214     csit-dpdk-perf-verify-1810-3n-hsw:
1215     - 1   # NDRPDR sel
1216     - 2   # NDRPDR sel
1217     - 3   # NDRPDR sel
1218     - 4   # NDRPDR sel
1219     - 5   # NDRPDR sel
1220     - 6   # NDRPDR sel
1221     - 7   # NDRPDR sel
1222     - 8   # NDRPDR sel
1223     - 9   # NDRPDR sel
1224     - 10  # NDRPDR sel
1225     csit-dpdk-perf-verify-1807-3n-skx:
1226     - 1   # NDRPDR sel
1227     - 2   # NDRPDR sel
1228     - 3   # NDRPDR sel
1229     - 6   # NDRPDR sel
1230     - 7   # NDRPDR sel
1231     - 8   # NDRPDR sel
1232     - 9   # NDRPDR sel
1233     - 10  # NDRPDR sel
1234     - 11  # NDRPDR sel
1235     - 12  # NDRPDR sel
1236     csit-dpdk-perf-verify-1810-3n-skx:
1237     - 3   # NDRPDR sel
1238     - 4   # NDRPDR sel
1239     - 6   # NDRPDR sel
1240     - 7   # NDRPDR sel
1241     - 8   # NDRPDR sel
1242     - 9   # NDRPDR sel
1243     - 10  # NDRPDR sel
1244     - 11  # NDRPDR sel
1245     - 12  # NDRPDR sel
1246     - 13  # NDRPDR sel
1247     csit-dpdk-perf-verify-1810-2n-skx:
1248     - 3   # NDRPDR sel
1249     - 4   # NDRPDR sel
1250     - 5   # NDRPDR sel
1251     - 7   # NDRPDR sel
1252     - 8   # NDRPDR sel
1253     - 9   # NDRPDR sel
1254     - 10  # NDRPDR sel
1255     - 11  # NDRPDR sel
1256     - 12  # NDRPDR sel
1257     - 13  # NDRPDR sel
1258
1259     csit-vpp-functional-1810-ubuntu1604-virl:
1260     - 44
1261     csit-vpp-functional-1810-centos7-virl:
1262     - 44
1263     csit-vpp-device-1810-ubuntu1804-1n-skx:
1264     - 2
1265     csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
1266     - 1
1267     csit-dmm-functional-1810-ubuntu1604-virl:
1268     - 1
1269     csit-hc2vpp-verify-func-1810-ubuntu1604:
1270     - 3
1271
1272 -
1273   type: "output"
1274   output: "report"
1275   format:
1276     html:
1277     - full
1278 #    pdf:
1279 #    - minimal
1280
1281 ################################################################################
1282 ###                               T A B L E S                                ###
1283 ################################################################################
1284
1285 ################################################################################
1286 # VPP
1287
1288 # VPP Performance Changes 3n-hsw 1t1c pdr 
1289 -
1290   type: "table"
1291   title: "VPP Performance Changes 3n-hsw 1t1c pdr"
1292   algorithm: "table_performance_comparison"
1293   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-pdr"
1294   history:
1295     -
1296       title: "rls1804"
1297       data:
1298         csit-vpp-perf-1804-all:
1299         - 21  # sel
1300         - 22  # sel
1301         - 23  # sel
1302         - 24  # sel
1303         - 27  # sel
1304         - 28  # sel
1305         - 29  # sel
1306         - 30  # sel
1307         - 31  # sel
1308         - 35  # sel
1309   reference:
1310     title: "rls1807"
1311     data:
1312       csit-vpp-perf-verify-1807-3n-hsw:
1313       - 11  # NDRPDR full 1
1314       - 22  # NDRPDR full 2
1315       - 45  # NDRPDR full 3
1316       - 46  # NDRPDR full 4
1317       - 15  # NDRPDR sel
1318       - 16  # NDRPDR sel
1319       - 19  # NDRPDR sel
1320       - 18  # NDRPDR sel
1321       - 20  # NDRPDR sel
1322       - 38  # NDRPDR sel
1323       - 40  # NDRPDR sel
1324       - 44  # NDRPDR sel
1325       - 47  # NDRPDR sel
1326   compare:
1327     title: "rls1810"
1328     data:
1329       csit-vpp-perf-verify-1810-3n-hsw:
1330       - 8   # NDRPDR sel
1331       - 12  # NDRPDR sel
1332       - 14  # NDRPDR sel
1333       - 18  # NDRPDR sel
1334       - 23  # NDRPDR sel
1335       - 25  # NDRPDR sel
1336       - 38  # NDRPDR sel
1337       - 39  # NDRPDR sel
1338       - 41  # NDRPDR sel
1339       - 42  # NDRPDR sel
1340   data: "vpp-performance-changes-3n-hsw"
1341   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1342   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1343   parameters:
1344   - "name"
1345   - "parent"
1346   - "throughput"
1347
1348 # VPP Performance Changes 3n-hsw 2t2c pdr
1349 -
1350   type: "table"
1351   title: "VPP Performance Changes 3n-hsw 2t2c pdr"
1352   algorithm: "table_performance_comparison"
1353   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-pdr"
1354   history:
1355     -
1356       title: "rls1804"
1357       data:
1358         csit-vpp-perf-1804-all:
1359         - 21  # sel
1360         - 22  # sel
1361         - 23  # sel
1362         - 24  # sel
1363         - 27  # sel
1364         - 28  # sel
1365         - 29  # sel
1366         - 30  # sel
1367         - 31  # sel
1368         - 35  # sel
1369   reference:
1370     title: "rls1807"
1371     data:
1372       csit-vpp-perf-verify-1807-3n-hsw:
1373       - 11  # NDRPDR full 1
1374       - 22  # NDRPDR full 2
1375       - 45  # NDRPDR full 3
1376       - 46  # NDRPDR full 4
1377       - 15  # NDRPDR sel
1378       - 16  # NDRPDR sel
1379       - 19  # NDRPDR sel
1380       - 18  # NDRPDR sel
1381       - 20  # NDRPDR sel
1382       - 38  # NDRPDR sel
1383       - 40  # NDRPDR sel
1384       - 44  # NDRPDR sel
1385       - 47  # NDRPDR sel
1386   compare:
1387     title: "rls1810"
1388     data:
1389       csit-vpp-perf-verify-1810-3n-hsw:
1390       - 8   # NDRPDR sel
1391       - 12  # NDRPDR sel
1392       - 14  # NDRPDR sel
1393       - 18  # NDRPDR sel
1394       - 23  # NDRPDR sel
1395       - 25  # NDRPDR sel
1396       - 38  # NDRPDR sel
1397       - 39  # NDRPDR sel
1398       - 41  # NDRPDR sel
1399       - 42  # NDRPDR sel
1400   data: "vpp-performance-changes-3n-hsw"
1401   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1402   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1403   parameters:
1404   - "name"
1405   - "parent"
1406   - "throughput"
1407
1408 # VPP Performance Changes 3n-hsw 1t1c ndr
1409 -
1410   type: "table"
1411   title: "VPP Performance Changes 3n-hsw 1t1c ndr"
1412   algorithm: "table_performance_comparison"
1413   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-ndr"
1414   history:
1415     -
1416       title: "rls1804"
1417       data:
1418         csit-vpp-perf-1804-all:
1419         - 21  # sel
1420         - 22  # sel
1421         - 23  # sel
1422         - 24  # sel
1423         - 27  # sel
1424         - 28  # sel
1425         - 29  # sel
1426         - 30  # sel
1427         - 31  # sel
1428         - 35  # sel
1429   reference:
1430     title: "rls1807"
1431     data:
1432       csit-vpp-perf-verify-1807-3n-hsw:
1433       - 11  # NDRPDR full 1
1434       - 22  # NDRPDR full 2
1435       - 45  # NDRPDR full 3
1436       - 46  # NDRPDR full 4
1437       - 15  # NDRPDR sel
1438       - 16  # NDRPDR sel
1439       - 19  # NDRPDR sel
1440       - 18  # NDRPDR sel
1441       - 20  # NDRPDR sel
1442       - 38  # NDRPDR sel
1443       - 40  # NDRPDR sel
1444       - 44  # NDRPDR sel
1445       - 47  # NDRPDR sel
1446   compare:
1447     title: "rls1810"
1448     data:
1449       csit-vpp-perf-verify-1810-3n-hsw:
1450       - 8   # NDRPDR sel
1451       - 12  # NDRPDR sel
1452       - 14  # NDRPDR sel
1453       - 18  # NDRPDR sel
1454       - 23  # NDRPDR sel
1455       - 25  # NDRPDR sel
1456       - 38  # NDRPDR sel
1457       - 39  # NDRPDR sel
1458       - 41  # NDRPDR sel
1459       - 42  # NDRPDR sel
1460   data: "vpp-performance-changes-3n-hsw"
1461   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1462   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1463   parameters:
1464   - "name"
1465   - "parent"
1466   - "throughput"
1467
1468 # VPP Performance Changes 3n-hsw 2t2c ndr
1469 -
1470   type: "table"
1471   title: "VPP Performance Changes 3n-hsw 2t2c ndr"
1472   algorithm: "table_performance_comparison"
1473   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-ndr"
1474   history:
1475     -
1476       title: "rls1804"
1477       data:
1478         csit-vpp-perf-1804-all:
1479         - 21  # sel
1480         - 22  # sel
1481         - 23  # sel
1482         - 24  # sel
1483         - 27  # sel
1484         - 28  # sel
1485         - 29  # sel
1486         - 30  # sel
1487         - 31  # sel
1488         - 35  # sel
1489   reference:
1490     title: "rls1807"
1491     data:
1492       csit-vpp-perf-verify-1807-3n-hsw:
1493       - 11  # NDRPDR full 1
1494       - 22  # NDRPDR full 2
1495       - 45  # NDRPDR full 3
1496       - 46  # NDRPDR full 4
1497       - 15  # NDRPDR sel
1498       - 16  # NDRPDR sel
1499       - 19  # NDRPDR sel
1500       - 18  # NDRPDR sel
1501       - 20  # NDRPDR sel
1502       - 38  # NDRPDR sel
1503       - 40  # NDRPDR sel
1504       - 44  # NDRPDR sel
1505       - 47  # NDRPDR sel
1506   compare:
1507     title: "rls1810"
1508     data:
1509       csit-vpp-perf-verify-1810-3n-hsw:
1510       - 8   # NDRPDR sel
1511       - 12  # NDRPDR sel
1512       - 14  # NDRPDR sel
1513       - 18  # NDRPDR sel
1514       - 23  # NDRPDR sel
1515       - 25  # NDRPDR sel
1516       - 38  # NDRPDR sel
1517       - 39  # NDRPDR sel
1518       - 41  # NDRPDR sel
1519       - 42  # NDRPDR sel
1520   data: "vpp-performance-changes-3n-hsw"
1521   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1522   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1523   parameters:
1524   - "name"
1525   - "parent"
1526   - "throughput"
1527
1528 # VPP Performance Changes 3n-skx 2t1c pdr 
1529 -
1530   type: "table"
1531   title: "VPP Performance Changes 3n-skx 2t1c pdr"
1532   algorithm: "table_performance_comparison"
1533   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
1534   reference:
1535     title: "rls1807"
1536     data:
1537       csit-vpp-perf-verify-1807-3n-skx:
1538       - 33  # NDRPDR sel
1539       - 35  # NDRPDR sel
1540       - 37  # NDRPDR sel
1541       - 38  # NDRPDR sel
1542       - 39  # NDRPDR sel
1543       - 43  # NDRPDR sel
1544       - 44  # NDRPDR sel
1545       - 49  # NDRPDR sel
1546       - 50  # NDRPDR sel
1547       - 56  # NDRPDR sel
1548   compare:
1549     title: "rls1810"
1550     data:
1551       csit-vpp-perf-verify-1810-3n-skx:
1552       - 10  # NDRPDR sel
1553       - 14  # NDRPDR sel
1554       - 15  # NDRPDR sel
1555       - 16  # NDRPDR sel
1556       - 17  # NDRPDR sel
1557       - 19  # NDRPDR sel
1558       - 20  # NDRPDR sel
1559       - 21  # NDRPDR sel
1560       - 22  # NDRPDR sel
1561       - 25  # NDRPDR sel
1562   data: "vpp-performance-changes-3n-skx"
1563   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1564   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1565   parameters:
1566   - "name"
1567   - "parent"
1568   - "throughput"
1569
1570 # VPP Performance Changes 3n-skx 4t2c pdr
1571 -
1572   type: "table"
1573   title: "VPP Performance Changes 3n-skx 4t2c pdr"
1574   algorithm: "table_performance_comparison"
1575   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
1576   reference:
1577     title: "rls1807"
1578     data:
1579       csit-vpp-perf-verify-1807-3n-skx:
1580       - 33  # NDRPDR sel
1581       - 35  # NDRPDR sel
1582       - 37  # NDRPDR sel
1583       - 38  # NDRPDR sel
1584       - 39  # NDRPDR sel
1585       - 43  # NDRPDR sel
1586       - 44  # NDRPDR sel
1587       - 49  # NDRPDR sel
1588       - 50  # NDRPDR sel
1589       - 56  # NDRPDR sel
1590   compare:
1591     title: "rls1810"
1592     data:
1593       csit-vpp-perf-verify-1810-3n-skx:
1594       - 10  # NDRPDR sel
1595       - 14  # NDRPDR sel
1596       - 15  # NDRPDR sel
1597       - 16  # NDRPDR sel
1598       - 17  # NDRPDR sel
1599       - 19  # NDRPDR sel
1600       - 20  # NDRPDR sel
1601       - 21  # NDRPDR sel
1602       - 22  # NDRPDR sel
1603       - 25  # NDRPDR sel
1604   data: "vpp-performance-changes-3n-skx"
1605   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1606   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1607   parameters:
1608   - "name"
1609   - "parent"
1610   - "throughput"
1611
1612 # VPP Performance Changes 3n-skx 2t1c ndr
1613 -
1614   type: "table"
1615   title: "VPP Performance Changes 3n-skx 2t1c ndr"
1616   algorithm: "table_performance_comparison"
1617   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
1618   reference:
1619     title: "rls1807"
1620     data:
1621       csit-vpp-perf-verify-1807-3n-skx:
1622       - 33  # NDRPDR sel
1623       - 35  # NDRPDR sel
1624       - 37  # NDRPDR sel
1625       - 38  # NDRPDR sel
1626       - 39  # NDRPDR sel
1627       - 43  # NDRPDR sel
1628       - 44  # NDRPDR sel
1629       - 49  # NDRPDR sel
1630       - 50  # NDRPDR sel
1631       - 56  # NDRPDR sel
1632   compare:
1633     title: "rls1810"
1634     data:
1635       csit-vpp-perf-verify-1810-3n-skx:
1636       - 10  # NDRPDR sel
1637       - 14  # NDRPDR sel
1638       - 15  # NDRPDR sel
1639       - 16  # NDRPDR sel
1640       - 17  # NDRPDR sel
1641       - 19  # NDRPDR sel
1642       - 20  # NDRPDR sel
1643       - 21  # NDRPDR sel
1644       - 22  # NDRPDR sel
1645       - 25  # NDRPDR sel
1646   data: "vpp-performance-changes-3n-skx"
1647   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1648   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1649   parameters:
1650   - "name"
1651   - "parent"
1652   - "throughput"
1653
1654 # VPP Performance Changes 3n-skx 4t2c ndr
1655 -
1656   type: "table"
1657   title: "VPP Performance Changes 3n-skx 4t2c ndr"
1658   algorithm: "table_performance_comparison"
1659   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
1660   reference:
1661     title: "rls1807"
1662     data:
1663       csit-vpp-perf-verify-1807-3n-skx:
1664       - 33  # NDRPDR sel
1665       - 35  # NDRPDR sel
1666       - 37  # NDRPDR sel
1667       - 38  # NDRPDR sel
1668       - 39  # NDRPDR sel
1669       - 43  # NDRPDR sel
1670       - 44  # NDRPDR sel
1671       - 49  # NDRPDR sel
1672       - 50  # NDRPDR sel
1673       - 56  # NDRPDR sel
1674   compare:
1675     title: "rls1810"
1676     data:
1677       csit-vpp-perf-verify-1810-3n-skx:
1678       - 10  # NDRPDR sel
1679       - 14  # NDRPDR sel
1680       - 15  # NDRPDR sel
1681       - 16  # NDRPDR sel
1682       - 17  # NDRPDR sel
1683       - 19  # NDRPDR sel
1684       - 20  # NDRPDR sel
1685       - 21  # NDRPDR sel
1686       - 22  # NDRPDR sel
1687       - 25  # NDRPDR sel
1688   data: "vpp-performance-changes-3n-skx"
1689   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1690   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1691   parameters:
1692   - "name"
1693   - "parent"
1694   - "throughput"
1695
1696 # VPP Performance Changes 2n-skx 2t1c pdr 
1697 -
1698   type: "table"
1699   title: "VPP Performance Changes 2n-skx 2t1c pdr"
1700   algorithm: "table_performance_comparison"
1701   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
1702   reference:
1703     title: "rls1807"
1704     data:
1705       csit-vpp-perf-verify-1807-2n-skx:
1706       - 26  # NDRPDR sel
1707       - 28  # NDRPDR sel
1708       - 29  # NDRPDR sel
1709       - 30  # NDRPDR sel
1710       - 34  # NDRPDR sel
1711       - 35  # NDRPDR sel
1712       - 36  # NDRPDR sel
1713       - 39  # NDRPDR sel
1714       - 40  # NDRPDR sel
1715       - 42  # NDRPDR sel
1716   compare:
1717     title: "rls1810"
1718     data:
1719       csit-vpp-perf-verify-1810-2n-skx:
1720       - 9   # NDRPDR sel
1721       - 13  # NDRPDR sel
1722       - 14  # NDRPDR sel
1723       - 19  # NDRPDR sel
1724       - 20  # NDRPDR sel
1725       - 21  # NDRPDR sel
1726       - 22  # NDRPDR sel
1727       - 23  # NDRPDR sel
1728       - 24  # NDRPDR sel
1729       - 27  # NDRPDR sel
1730   data: "vpp-performance-changes-2n-skx"
1731   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1732   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1733   parameters:
1734   - "name"
1735   - "parent"
1736   - "throughput"
1737
1738 # VPP Performance Changes 2n-skx 4t2c pdr
1739 -
1740   type: "table"
1741   title: "VPP Performance Changes 2n-skx 4t2c pdr"
1742   algorithm: "table_performance_comparison"
1743   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
1744   reference:
1745     title: "rls1807"
1746     data:
1747       csit-vpp-perf-verify-1807-2n-skx:
1748       - 26  # NDRPDR sel
1749       - 28  # NDRPDR sel
1750       - 29  # NDRPDR sel
1751       - 30  # NDRPDR sel
1752       - 34  # NDRPDR sel
1753       - 35  # NDRPDR sel
1754       - 36  # NDRPDR sel
1755       - 39  # NDRPDR sel
1756       - 40  # NDRPDR sel
1757       - 42  # NDRPDR sel
1758   compare:
1759     title: "rls1810"
1760     data:
1761       csit-vpp-perf-verify-1810-2n-skx:
1762       - 9   # NDRPDR sel
1763       - 13  # NDRPDR sel
1764       - 14  # NDRPDR sel
1765       - 19  # NDRPDR sel
1766       - 20  # NDRPDR sel
1767       - 21  # NDRPDR sel
1768       - 22  # NDRPDR sel
1769       - 23  # NDRPDR sel
1770       - 24  # NDRPDR sel
1771       - 27  # NDRPDR sel
1772   data: "vpp-performance-changes-2n-skx"
1773   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1774   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1775   parameters:
1776   - "name"
1777   - "parent"
1778   - "throughput"
1779
1780 # VPP Performance Changes 2n-skx 2t1c ndr
1781 -
1782   type: "table"
1783   title: "VPP Performance Changes 2n-skx 2t1c ndr"
1784   algorithm: "table_performance_comparison"
1785   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
1786   reference:
1787     title: "rls1807"
1788     data:
1789       csit-vpp-perf-verify-1807-2n-skx:
1790       - 26  # NDRPDR sel
1791       - 28  # NDRPDR sel
1792       - 29  # NDRPDR sel
1793       - 30  # NDRPDR sel
1794       - 34  # NDRPDR sel
1795       - 35  # NDRPDR sel
1796       - 36  # NDRPDR sel
1797       - 39  # NDRPDR sel
1798       - 40  # NDRPDR sel
1799       - 42  # NDRPDR sel
1800   compare:
1801     title: "rls1810"
1802     data:
1803       csit-vpp-perf-verify-1810-2n-skx:
1804       - 9   # NDRPDR sel
1805       - 13  # NDRPDR sel
1806       - 14  # NDRPDR sel
1807       - 19  # NDRPDR sel
1808       - 20  # NDRPDR sel
1809       - 21  # NDRPDR sel
1810       - 22  # NDRPDR sel
1811       - 23  # NDRPDR sel
1812       - 24  # NDRPDR sel
1813       - 27  # NDRPDR sel
1814   data: "vpp-performance-changes-2n-skx"
1815   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1816   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1817   parameters:
1818   - "name"
1819   - "parent"
1820   - "throughput"
1821
1822 # VPP Performance Changes 2n-skx 4t2c ndr
1823 -
1824   type: "table"
1825   title: "VPP Performance Changes 2n-skx 4t2c ndr"
1826   algorithm: "table_performance_comparison"
1827   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
1828   reference:
1829     title: "rls1807"
1830     data:
1831       csit-vpp-perf-verify-1807-2n-skx:
1832       - 26  # NDRPDR sel
1833       - 28  # NDRPDR sel
1834       - 29  # NDRPDR sel
1835       - 30  # NDRPDR sel
1836       - 34  # NDRPDR sel
1837       - 35  # NDRPDR sel
1838       - 36  # NDRPDR sel
1839       - 39  # NDRPDR sel
1840       - 40  # NDRPDR sel
1841       - 42  # NDRPDR sel
1842   compare:
1843     title: "rls1810"
1844     data:
1845       csit-vpp-perf-verify-1810-2n-skx:
1846       - 9   # NDRPDR sel
1847       - 13  # NDRPDR sel
1848       - 14  # NDRPDR sel
1849       - 19  # NDRPDR sel
1850       - 20  # NDRPDR sel
1851       - 21  # NDRPDR sel
1852       - 22  # NDRPDR sel
1853       - 23  # NDRPDR sel
1854       - 24  # NDRPDR sel
1855       - 27  # NDRPDR sel
1856   data: "vpp-performance-changes-2n-skx"
1857   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1858   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1859   parameters:
1860   - "name"
1861   - "parent"
1862   - "throughput"
1863
1864 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr
1865 -
1866   type: "table"
1867   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
1868   algorithm: "table_performance_comparison"
1869   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
1870   reference:
1871     title: "3-Node Hsw"
1872     data:
1873       csit-vpp-perf-verify-1810-3n-hsw:
1874       - 8   # NDRPDR sel
1875       - 12  # NDRPDR sel
1876       - 14  # NDRPDR sel
1877       - 18  # NDRPDR sel
1878       - 23  # NDRPDR sel
1879       - 25  # NDRPDR sel
1880       - 38  # NDRPDR sel
1881       - 39  # NDRPDR sel
1882       - 41  # NDRPDR sel
1883       - 42  # NDRPDR sel
1884   compare:
1885     title: "3-Node Skx"
1886     data:
1887       csit-vpp-perf-verify-1810-3n-skx:
1888       - 10  # NDRPDR sel
1889       - 14  # NDRPDR sel
1890       - 15  # NDRPDR sel
1891       - 16  # NDRPDR sel
1892       - 17  # NDRPDR sel
1893       - 19  # NDRPDR sel
1894       - 20  # NDRPDR sel
1895       - 21  # NDRPDR sel
1896       - 22  # NDRPDR sel
1897       - 25  # NDRPDR sel
1898   data: "vpp-compare-testbeds"
1899   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1900   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1901   parameters:
1902   - "name"
1903   - "parent"
1904   - "throughput"
1905
1906 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr
1907 -
1908   type: "table"
1909   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx pdr"
1910   algorithm: "table_performance_comparison"
1911   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-pdr"
1912   reference:
1913     title: "3-Node Hsw"
1914     data:
1915       csit-vpp-perf-verify-1810-3n-hsw:
1916       - 8   # NDRPDR sel
1917       - 12  # NDRPDR sel
1918       - 14  # NDRPDR sel
1919       - 18  # NDRPDR sel
1920       - 23  # NDRPDR sel
1921       - 25  # NDRPDR sel
1922       - 38  # NDRPDR sel
1923       - 39  # NDRPDR sel
1924       - 41  # NDRPDR sel
1925       - 42  # NDRPDR sel
1926   compare:
1927     title: "3-Node Skx"
1928     data:
1929       csit-vpp-perf-verify-1810-3n-skx:
1930       - 10  # NDRPDR sel
1931       - 14  # NDRPDR sel
1932       - 15  # NDRPDR sel
1933       - 16  # NDRPDR sel
1934       - 17  # NDRPDR sel
1935       - 19  # NDRPDR sel
1936       - 20  # NDRPDR sel
1937       - 21  # NDRPDR sel
1938       - 22  # NDRPDR sel
1939       - 25  # NDRPDR sel
1940   data: "vpp-compare-testbeds"
1941   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1942   filter: "'NIC_Intel-X710' and 'NDRPDR'"
1943   parameters:
1944   - "name"
1945   - "parent"
1946   - "throughput"
1947
1948 # VPP Comparison Across Topologies 3n-skx to 2n-skx ndr
1949 -
1950   type: "table"
1951   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx ndr"
1952   algorithm: "table_performance_comparison"
1953   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-ndr"
1954   reference:
1955     title: "3-Node Skx"
1956     data:
1957       csit-vpp-perf-verify-1810-3n-skx:
1958       - 10  # NDRPDR sel
1959       - 14  # NDRPDR sel
1960       - 15  # NDRPDR sel
1961       - 16  # NDRPDR sel
1962       - 17  # NDRPDR sel
1963       - 19  # NDRPDR sel
1964       - 20  # NDRPDR sel
1965       - 21  # NDRPDR sel
1966       - 22  # NDRPDR sel
1967       - 25  # NDRPDR sel
1968   compare:
1969     title: "2-Node Skx"
1970     data:
1971       csit-vpp-perf-verify-1810-2n-skx:
1972       - 9   # NDRPDR sel
1973       - 13  # NDRPDR sel
1974       - 14  # NDRPDR sel
1975       - 19  # NDRPDR sel
1976       - 20  # NDRPDR sel
1977       - 21  # NDRPDR sel
1978       - 22  # NDRPDR sel
1979       - 23  # NDRPDR sel
1980       - 24  # NDRPDR sel
1981       - 27  # NDRPDR sel
1982   data: "vpp-compare-topologies"
1983   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1984   filter: "'NDRPDR'"
1985   parameters:
1986   - "name"
1987   - "parent"
1988   - "throughput"
1989
1990 # VPP Comparison Across Topologies 3n-skx to 2n-skx pdr
1991 -
1992   type: "table"
1993   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx pdr"
1994   algorithm: "table_performance_comparison"
1995   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-pdr"
1996   reference:
1997     title: "3-Node Skx"
1998     data:
1999       csit-vpp-perf-verify-1810-3n-skx:
2000       - 10  # NDRPDR sel
2001       - 14  # NDRPDR sel
2002       - 15  # NDRPDR sel
2003       - 16  # NDRPDR sel
2004       - 17  # NDRPDR sel
2005       - 19  # NDRPDR sel
2006       - 20  # NDRPDR sel
2007       - 21  # NDRPDR sel
2008       - 22  # NDRPDR sel
2009       - 25  # NDRPDR sel
2010   compare:
2011     title: "2-Node Skx"
2012     data:
2013       csit-vpp-perf-verify-1810-2n-skx:
2014       - 9   # NDRPDR sel
2015       - 13  # NDRPDR sel
2016       - 14  # NDRPDR sel
2017       - 19  # NDRPDR sel
2018       - 20  # NDRPDR sel
2019       - 21  # NDRPDR sel
2020       - 22  # NDRPDR sel
2021       - 23  # NDRPDR sel
2022       - 24  # NDRPDR sel
2023       - 27  # NDRPDR sel
2024   data: "vpp-compare-topologies"
2025   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2026   filter: "'NDRPDR'"
2027   parameters:
2028   - "name"
2029   - "parent"
2030   - "throughput"
2031
2032 # VPP Performance Changes 3n-hsw 1t1c MRR
2033 -
2034   type: "table"
2035   title: "VPP Performance Changes 3n-hsw 1t1c MRR"
2036   algorithm: "table_performance_comparison"
2037   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-mrr"
2038   history:
2039     -
2040       title: "rls1804"
2041       data:
2042         csit-vpp-perf-check-1804:
2043         - 6   # mrr - sel
2044         - 13  # mrr - sel
2045         - 14  # mrr - sel
2046         - 15  # mrr - sel
2047         - 16  # mrr - sel
2048         - 17  # mrr - sel
2049         - 19  # mrr - sel
2050         - 20  # mrr - sel
2051         - 21  # mrr - sel
2052         - 22  # mrr - sel
2053   reference:
2054     title: "rls1807"
2055     data:
2056       csit-vpp-perf-verify-1807-3n-hsw:
2057       - 8   # MRR full
2058       - 9   # MRR sel
2059       - 21  # MRR sel
2060       - 31  # MRR sel
2061       - 33  # MRR sel
2062       - 36  # MRR sel
2063       - 41  # MRR sel
2064       - 42  # MRR sel
2065       - 48  # MRR sel
2066   compare:
2067     title: "rls1810"
2068     data:
2069       csit-vpp-perf-verify-1810-3n-hsw:
2070       - 9   # MRR sel
2071   data: "vpp-performance-changes-3n-hsw-mrr"
2072   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2073   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2074   parameters:
2075   - "name"
2076   - "parent"
2077   - "result"
2078
2079 # VPP Performance Changes 3n-hsw 2t2c MRR
2080 -
2081   type: "table"
2082   title: "VPP Performance Changes 3n-hsw 2t2c MRR"
2083   algorithm: "table_performance_comparison"
2084   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-mrr"
2085   history:
2086     -
2087       title: "rls1804"
2088       data:
2089         csit-vpp-perf-check-1804:
2090         - 6   # mrr - sel
2091         - 13  # mrr - sel
2092         - 14  # mrr - sel
2093         - 15  # mrr - sel
2094         - 16  # mrr - sel
2095         - 17  # mrr - sel
2096         - 19  # mrr - sel
2097         - 20  # mrr - sel
2098         - 21  # mrr - sel
2099         - 22  # mrr - sel
2100   reference:
2101     title: "rls1807"
2102     data:
2103       csit-vpp-perf-verify-1807-3n-hsw:
2104       - 8   # MRR full
2105       - 9   # MRR sel
2106       - 21  # MRR sel
2107       - 31  # MRR sel
2108       - 33  # MRR sel
2109       - 36  # MRR sel
2110       - 41  # MRR sel
2111       - 42  # MRR sel
2112       - 48  # MRR sel
2113   compare:
2114     title: "rls1810"
2115     data:
2116       csit-vpp-perf-verify-1810-3n-hsw:
2117       - 9   # MRR sel
2118   data: "vpp-performance-changes-3n-hsw-mrr"
2119   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2120   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2121   parameters:
2122   - "name"
2123   - "parent"
2124   - "result"
2125
2126 # VPP Performance Changes 3n-hsw 4t4c MRR
2127 -
2128   type: "table"
2129   title: "VPP Performance Changes 3n-hsw 4t4c MRR"
2130   algorithm: "table_performance_comparison"
2131   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-mrr"
2132   history:
2133     -
2134       title: "rls1804"
2135       data:
2136         csit-vpp-perf-check-1804:
2137         - 6   # mrr - sel
2138         - 13  # mrr - sel
2139         - 14  # mrr - sel
2140         - 15  # mrr - sel
2141         - 16  # mrr - sel
2142         - 17  # mrr - sel
2143         - 19  # mrr - sel
2144         - 20  # mrr - sel
2145         - 21  # mrr - sel
2146         - 22  # mrr - sel
2147   reference:
2148     title: "rls1807"
2149     data:
2150       csit-vpp-perf-verify-1807-3n-hsw:
2151       - 8   # MRR full
2152       - 9   # MRR sel
2153       - 21  # MRR sel
2154       - 31  # MRR sel
2155       - 33  # MRR sel
2156       - 36  # MRR sel
2157       - 41  # MRR sel
2158       - 42  # MRR sel
2159       - 48  # MRR sel
2160   compare:
2161     title: "rls1810"
2162     data:
2163       csit-vpp-perf-verify-1810-3n-hsw:
2164       - 9   # MRR sel
2165   data: "vpp-performance-changes-3n-hsw-mrr"
2166   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2167   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2168   parameters:
2169   - "name"
2170   - "parent"
2171   - "result"
2172
2173 # VPP Performance Changes 3n-skx 2t1c MRR
2174 -
2175   type: "table"
2176   title: "VPP Performance Changes 3n-skx 2t1c MRR"
2177   algorithm: "table_performance_comparison"
2178   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2179   reference:
2180     title: "rls1807"
2181     data:
2182       csit-vpp-perf-verify-1807-3n-skx:
2183       - 28  # MRR sel
2184       - 32  # MRR sel
2185       - 36  # MRR sel
2186       - 42  # MRR sel
2187       - 47  # MRR sel
2188       - 48  # MRR sel
2189       - 51  # MRR sel
2190       - 52  # MRR sel
2191       - 53  # MRR sel
2192   compare:
2193     title: "rls1810"
2194     data:
2195       csit-vpp-perf-verify-1810-3n-skx:
2196       - 9   # MRR sel
2197       - 11  # MRR sel
2198       - 12  # MRR sel
2199       - 13  # MRR sel
2200   data: "vpp-performance-changes-3n-skx-mrr"
2201   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2202   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2203   parameters:
2204   - "name"
2205   - "parent"
2206   - "result"
2207
2208 # VPP Performance Changes 3n-skx 4t2c MRR
2209 -
2210   type: "table"
2211   title: "VPP Performance Changes 3n-skx 4t2c MRR"
2212   algorithm: "table_performance_comparison"
2213   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
2214   reference:
2215     title: "rls1807"
2216     data:
2217       csit-vpp-perf-verify-1807-3n-skx:
2218       - 28  # MRR sel
2219       - 32  # MRR sel
2220       - 36  # MRR sel
2221       - 42  # MRR sel
2222       - 47  # MRR sel
2223       - 48  # MRR sel
2224       - 51  # MRR sel
2225       - 52  # MRR sel
2226       - 53  # MRR sel
2227   compare:
2228     title: "rls1810"
2229     data:
2230       csit-vpp-perf-verify-1810-3n-skx:
2231       - 9   # MRR sel
2232       - 11  # MRR sel
2233       - 12  # MRR sel
2234       - 13  # MRR sel
2235   data: "vpp-performance-changes-3n-skx-mrr"
2236   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2237   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2238   parameters:
2239   - "name"
2240   - "parent"
2241   - "result"
2242
2243 # VPP Performance Changes 3n-skx 8t4c MRR
2244 -
2245   type: "table"
2246   title: "VPP Performance Changes 3n-skx 8t4c MRR"
2247   algorithm: "table_performance_comparison"
2248   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
2249   reference:
2250     title: "rls1807"
2251     data:
2252       csit-vpp-perf-verify-1807-3n-skx:
2253       - 28  # MRR sel
2254       - 32  # MRR sel
2255       - 36  # MRR sel
2256       - 42  # MRR sel
2257       - 47  # MRR sel
2258       - 48  # MRR sel
2259       - 51  # MRR sel
2260       - 52  # MRR sel
2261       - 53  # MRR sel
2262   compare:
2263     title: "rls1810"
2264     data:
2265       csit-vpp-perf-verify-1810-3n-skx:
2266       - 9   # MRR sel
2267       - 11  # MRR sel
2268       - 12  # MRR sel
2269       - 13  # MRR sel
2270   data: "vpp-performance-changes-3n-skx-mrr"
2271   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2272   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2273   parameters:
2274   - "name"
2275   - "parent"
2276   - "result"
2277
2278 # VPP Performance Changes 2n-skx 2t1c MRR
2279 -
2280   type: "table"
2281   title: "VPP Performance Changes 2n-skx 2t1c MRR"
2282   algorithm: "table_performance_comparison"
2283   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
2284   reference:
2285     title: "rls1807"
2286     data:
2287       csit-vpp-perf-verify-1807-2n-skx:
2288       - 31  # MRR sel
2289       - 33  # MRR sel
2290       - 37  # MRR sel
2291       - 38  # MRR sel
2292       - 41  # MRR sel
2293       - 43  # MRR sel
2294       - 44  # MRR sel
2295       - 45  # MRR sel
2296       - 46  # MRR sel
2297       - 47  # MRR sel
2298   compare:
2299     title: "rls1810"
2300     data:
2301       csit-vpp-perf-verify-1810-2n-skx:
2302       - 8   # MRR sel
2303       - 10  # MRR sel
2304       - 11  # MRR sel
2305       - 12  # MRR sel
2306   data: "vpp-performance-changes-2n-skx-mrr"
2307   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2308   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2309   parameters:
2310   - "name"
2311   - "parent"
2312   - "result"
2313
2314 # VPP Performance Changes 2n-skx 4t2c MRR
2315 -
2316   type: "table"
2317   title: "VPP Performance Changes 2n-skx 4t2c MRR"
2318   algorithm: "table_performance_comparison"
2319   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
2320   reference:
2321     title: "rls1807"
2322     data:
2323       csit-vpp-perf-verify-1807-2n-skx:
2324       - 31  # MRR sel
2325       - 33  # MRR sel
2326       - 37  # MRR sel
2327       - 38  # MRR sel
2328       - 41  # MRR sel
2329       - 43  # MRR sel
2330       - 44  # MRR sel
2331       - 45  # MRR sel
2332       - 46  # MRR sel
2333       - 47  # MRR sel
2334   compare:
2335     title: "rls1810"
2336     data:
2337       csit-vpp-perf-verify-1810-2n-skx:
2338       - 8   # MRR sel
2339       - 10  # MRR sel
2340       - 11  # MRR sel
2341       - 12  # MRR sel
2342   data: "vpp-performance-changes-2n-skx-mrr"
2343   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2344   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2345   parameters:
2346   - "name"
2347   - "parent"
2348   - "result"
2349
2350 # VPP Performance Changes 2n-skx 8t4c MRR
2351 -
2352   type: "table"
2353   title: "VPP Performance Changes 2n-skx 8t4c MRR"
2354   algorithm: "table_performance_comparison"
2355   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
2356   reference:
2357     title: "rls1807"
2358     data:
2359       csit-vpp-perf-verify-1807-2n-skx:
2360       - 31  # MRR sel
2361       - 33  # MRR sel
2362       - 37  # MRR sel
2363       - 38  # MRR sel
2364       - 41  # MRR sel
2365       - 43  # MRR sel
2366       - 44  # MRR sel
2367       - 45  # MRR sel
2368       - 46  # MRR sel
2369       - 47  # MRR sel
2370   compare:
2371     title: "rls1810"
2372     data:
2373       csit-vpp-perf-verify-1810-2n-skx:
2374       - 8   # MRR sel
2375       - 10  # MRR sel
2376       - 11  # MRR sel
2377       - 12  # MRR sel
2378   data: "vpp-performance-changes-2n-skx-mrr"
2379   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2380   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2381   parameters:
2382   - "name"
2383   - "parent"
2384   - "result"
2385
2386 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr
2387 -
2388   type: "table"
2389   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx mrr"
2390   algorithm: "table_performance_comparison"
2391   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-mrr"
2392   reference:
2393     title: "3-Node Hsw"
2394     data:
2395       csit-vpp-perf-verify-1810-3n-hsw:
2396       - 9   # MRR sel
2397   compare:
2398     title: "3-Node Skx"
2399     data:
2400       csit-vpp-perf-verify-1810-3n-skx:
2401       - 9   # MRR sel
2402       - 11  # MRR sel
2403       - 12  # MRR sel
2404       - 13  # MRR sel
2405   data: "vpp-compare-testbeds-mrr"
2406   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2407   filter: "'NIC_Intel-X710' and 'MRR'"
2408   parameters:
2409   - "name"
2410   - "parent"
2411   - "result"
2412
2413 # VPP Comparison Across Topologies 3n-skx to 2n-skx mrr
2414 -
2415   type: "table"
2416   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx mrr"
2417   algorithm: "table_performance_comparison"
2418   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-mrr"
2419   reference:
2420     title: "3-Node Skx"
2421     data:
2422       csit-vpp-perf-verify-1810-3n-skx:
2423       - 9   # MRR sel
2424       - 11  # MRR sel
2425       - 12  # MRR sel
2426       - 13  # MRR sel
2427   compare:
2428     title: "2-Node Skx"
2429     data:
2430       csit-vpp-perf-verify-1810-2n-skx:
2431       - 8   # MRR sel
2432       - 10  # MRR sel
2433       - 11  # MRR sel
2434       - 12  # MRR sel
2435   data: "vpp-compare-topologies-mrr"
2436   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2437   filter: "'MRR'"
2438   parameters:
2439   - "name"
2440   - "parent"
2441   - "result"
2442
2443 # Detailed Test Results - VPP Performance Results 3n-hsw
2444 -
2445   type: "table"
2446   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
2447   algorithm: "table_merged_details"
2448   output-file-ext: ".csv"
2449   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
2450   columns:
2451   -
2452     title: "Name"
2453     data: "data name"
2454   -
2455     title: "Status"
2456     data: "data msg"
2457   rows: "generated"
2458   data: "vpp-perf-results-3n-hsw"
2459   filter: "not 'NDRCHK' and not 'PDRCHK'"
2460   parameters:
2461   - "name"
2462   - "parent"
2463   - "msg"
2464
2465 # Detailed Test Results - VPP Performance Results 3n-skx
2466 -
2467   type: "table"
2468   title: "Detailed Test Results - VPP Performance Results 3n-skx"
2469   algorithm: "table_merged_details"
2470   output-file-ext: ".csv"
2471   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
2472   columns:
2473   -
2474     title: "Name"
2475     data: "data name"
2476   -
2477     title: "Status"
2478     data: "data msg"
2479   rows: "generated"
2480   data: "vpp-perf-results-3n-skx"
2481   filter: "not 'NDRCHK' and not 'PDRCHK'"
2482   parameters:
2483   - "name"
2484   - "parent"
2485   - "msg"
2486
2487 # Detailed Test Results - VPP Performance Results 2n-skx
2488 -
2489   type: "table"
2490   title: "Detailed Test Results - VPP Performance Results 2n-skx"
2491   algorithm: "table_merged_details"
2492   output-file-ext: ".csv"
2493   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
2494   columns:
2495   -
2496     title: "Name"
2497     data: "data name"
2498   -
2499     title: "Status"
2500     data: "data msg"
2501   rows: "generated"
2502   data: "vpp-perf-results-2n-skx"
2503   filter: "not 'NDRCHK' and not 'PDRCHK'"
2504   parameters:
2505   - "name"
2506   - "parent"
2507   - "msg"
2508
2509 # Detailed Test Results - VPP Performance Results 2n-dnv
2510 -
2511   type: "table"
2512   title: "Detailed Test Results - VPP Performance Results 2n-dnv"
2513   algorithm: "table_merged_details"
2514   output-file-ext: ".csv"
2515   output-file: "{DIR[DTR,PERF,VPP,2N,DNV]}/vpp_performance_results_2n_dnv"
2516   columns:
2517   -
2518     title: "Name"
2519     data: "data name"
2520   -
2521     title: "Status"
2522     data: "data msg"
2523   rows: "generated"
2524   data: "intel-dnv-vpp"
2525   filter: "'NDRPDR'"
2526   parameters:
2527   - "name"
2528   - "parent"
2529   - "msg"
2530
2531 # Test configuration - VPP Performance Test Configs 3n-hsw
2532 -
2533   type: "table"
2534   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
2535   algorithm: "table_merged_details"
2536   output-file-ext: ".csv"
2537   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
2538   columns:
2539   -
2540     title: "Name"
2541     data: "data name"
2542   -
2543     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2544     data: "data vat-history"
2545   rows: "generated"
2546   data: "vpp-perf-results-3n-hsw"
2547   filter: "not 'NDRCHK' and not 'PDRCHK'"
2548   parameters:
2549   - "parent"
2550   - "name"
2551   - "vat-history"
2552
2553 # Test configuration - VPP Performance Test Configs 3n-skx
2554 -
2555   type: "table"
2556   title: "Test configuration - VPP Performance Test Configs 3n-skx"
2557   algorithm: "table_merged_details"
2558   output-file-ext: ".csv"
2559   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
2560   columns:
2561   -
2562     title: "Name"
2563     data: "data name"
2564   -
2565     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2566     data: "data vat-history"
2567   rows: "generated"
2568   data: "vpp-perf-results-3n-skx"
2569   filter: "not 'NDRCHK' and not 'PDRCHK'"
2570   parameters:
2571   - "parent"
2572   - "name"
2573   - "vat-history"
2574
2575 # Test configuration - VPP Performance Test Configs 2n-skx
2576 -
2577   type: "table"
2578   title: "Test configuration - VPP Performance Test Configs 2n-skx"
2579   algorithm: "table_merged_details"
2580   output-file-ext: ".csv"
2581   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
2582   columns:
2583   -
2584     title: "Name"
2585     data: "data name"
2586   -
2587     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2588     data: "data vat-history"
2589   rows: "generated"
2590   data: "vpp-perf-results-2n-skx"
2591   filter: "not 'NDRCHK' and not 'PDRCHK'"
2592   parameters:
2593   - "parent"
2594   - "name"
2595   - "vat-history"
2596
2597 # Test Operational Data - VPP Performance Operational Data 3n-hsw
2598 -
2599   type: "table"
2600   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
2601   algorithm: "table_merged_details"
2602   output-file-ext: ".csv"
2603   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
2604   columns:
2605   -
2606     title: "Name"
2607     data: "data name"
2608   -
2609     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2610     data: "data show-run"
2611   rows: "generated"
2612   data: "vpp-perf-results-3n-hsw"
2613   filter: "not 'NDRCHK' and not 'PDRCHK'"
2614   parameters:
2615   - "parent"
2616   - "name"
2617   - "show-run"
2618
2619 # Test Operational Data - VPP Performance Operational Data 3n-skx
2620 -
2621   type: "table"
2622   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
2623   algorithm: "table_merged_details"
2624   output-file-ext: ".csv"
2625   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
2626   columns:
2627   -
2628     title: "Name"
2629     data: "data name"
2630   -
2631     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2632     data: "data show-run"
2633   rows: "generated"
2634   data: "vpp-perf-results-3n-skx"
2635   filter: "not 'NDRCHK' and not 'PDRCHK'"
2636   parameters:
2637   - "parent"
2638   - "name"
2639   - "show-run"
2640
2641 # Test Operational Data - VPP Performance Operational Data 2n-skx
2642 -
2643   type: "table"
2644   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
2645   algorithm: "table_merged_details"
2646   output-file-ext: ".csv"
2647   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
2648   columns:
2649   -
2650     title: "Name"
2651     data: "data name"
2652   -
2653     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
2654     data: "data show-run"
2655   rows: "generated"
2656   data: "vpp-perf-results-2n-skx"
2657   filter: "not 'NDRCHK' and not 'PDRCHK'"
2658   parameters:
2659   - "parent"
2660   - "name"
2661   - "show-run"
2662
2663 # Detailed Test Results - VPP MRR Results 3n-hsw
2664 -
2665   type: "table"
2666   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
2667   algorithm: "table_details"
2668   output-file-ext: ".csv"
2669   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
2670   columns:
2671   -
2672     title: "Name"
2673     data: "data name"
2674   -
2675     title: "Status"
2676     data: "data msg"
2677   rows: "generated"
2678   data: "vpp-mrr-results-3n-hsw"
2679   filter: "'MRR'"
2680   parameters:
2681   - "name"
2682   - "parent"
2683   - "msg"
2684
2685 # Detailed Test Results - VPP MRR Results 3n-skx
2686 -
2687   type: "table"
2688   title: "Detailed Test Results - VPP MRR Results 3n-skx"
2689   algorithm: "table_details"
2690   output-file-ext: ".csv"
2691   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
2692   columns:
2693   -
2694     title: "Name"
2695     data: "data name"
2696   -
2697     title: "Status"
2698     data: "data msg"
2699   rows: "generated"
2700   data: "vpp-mrr-results-3n-skx"
2701   filter: "'MRR'"
2702   parameters:
2703   - "name"
2704   - "parent"
2705   - "msg"
2706
2707 # Detailed Test Results - VPP MRR Results 2n-skx
2708 -
2709   type: "table"
2710   title: "Detailed Test Results - VPP MRR Results 2n-skx"
2711   algorithm: "table_details"
2712   output-file-ext: ".csv"
2713   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
2714   columns:
2715   -
2716     title: "Name"
2717     data: "data name"
2718   -
2719     title: "Status"
2720     data: "data msg"
2721   rows: "generated"
2722   data: "vpp-mrr-results-2n-skx"
2723   filter: "'MRR'"
2724   parameters:
2725   - "name"
2726   - "parent"
2727   - "msg"
2728
2729 # Detailed Test Results - VPP MRR Results 2n-dnv
2730 -
2731   type: "table"
2732   title: "Detailed Test Results - VPP MRR Results 2n-dnv"
2733   algorithm: "table_details"
2734   output-file-ext: ".csv"
2735   output-file: "{DIR[DTR,MRR,VPP,2N,DNV]}/vpp_mrr_results_2n_dnv"
2736   columns:
2737   -
2738     title: "Name"
2739     data: "data name"
2740   -
2741     title: "Status"
2742     data: "data msg"
2743   rows: "generated"
2744   data: "intel-dnv-vpp"
2745   filter: "'MRR'"
2746   parameters:
2747   - "name"
2748   - "parent"
2749   - "msg"
2750
2751 # Test configuration - VPP MRR Test Configs 3n-hsw
2752 -
2753   type: "table"
2754   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
2755   algorithm: "table_details"
2756   output-file-ext: ".csv"
2757   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
2758   columns:
2759   -
2760     title: "Name"
2761     data: "data name"
2762   -
2763     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2764     data: "data vat-history"
2765   rows: "generated"
2766   data: "vpp-mrr-results-3n-hsw"
2767   filter: "'MRR'"
2768   parameters:
2769   - "parent"
2770   - "name"
2771   - "vat-history"
2772
2773 # Test configuration - VPP MRR Test Configs 3n-skx
2774 -
2775   type: "table"
2776   title: "Test configuration - VPP MRR Test Configs 3n-skx"
2777   algorithm: "table_details"
2778   output-file-ext: ".csv"
2779   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
2780   columns:
2781   -
2782     title: "Name"
2783     data: "data name"
2784   -
2785     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2786     data: "data vat-history"
2787   rows: "generated"
2788   data: "vpp-mrr-results-3n-skx"
2789   filter: "'MRR'"
2790   parameters:
2791   - "parent"
2792   - "name"
2793   - "vat-history"
2794
2795 # Test configuration - VPP MRR Test Configs 2n-skx
2796 -
2797   type: "table"
2798   title: "Test configuration - VPP MRR Test Configs 2n-skx"
2799   algorithm: "table_details"
2800   output-file-ext: ".csv"
2801   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
2802   columns:
2803   -
2804     title: "Name"
2805     data: "data name"
2806   -
2807     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2808     data: "data vat-history"
2809   rows: "generated"
2810   data: "vpp-mrr-results-2n-skx"
2811   filter: "'MRR'"
2812   parameters:
2813   - "parent"
2814   - "name"
2815   - "vat-history"
2816
2817 # Detailed Test Results - VPP Functional Results - Ubuntu
2818 -
2819   type: "table"
2820   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
2821   algorithm: "table_details"
2822   output-file-ext: ".csv"
2823   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
2824   columns:
2825   -
2826     title: "Name"
2827     data: "data name"
2828   -
2829     title: "Documentation"
2830     data: "data doc"
2831   -
2832     title: "Status"
2833     data: "data status"
2834   rows: "generated"
2835   data: "vpp-func-results-ubuntu"
2836   filter: "all"
2837   parameters:
2838   - "name"
2839   - "parent"
2840   - "doc"
2841   - "status"
2842
2843 # Detailed Test Results - VPP Functional Results - CentOS
2844 -
2845   type: "table"
2846   title: "Detailed Test Results - VPP Functional Results - CentOS"
2847   algorithm: "table_details"
2848   output-file-ext: ".csv"
2849   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
2850   columns:
2851   -
2852     title: "Name"
2853     data: "data name"
2854   -
2855     title: "Documentation"
2856     data: "data doc"
2857   -
2858     title: "Status"
2859     data: "data status"
2860   rows: "generated"
2861   data:
2862     "vpp-func-results-centos"
2863   filter: "all"
2864   parameters:
2865   - "name"
2866   - "parent"
2867   - "doc"
2868   - "status"
2869
2870 # Test configuration - VPP Functional Test Configs - Ubuntu
2871 -
2872   type: "table"
2873   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
2874   algorithm: "table_details"
2875   output-file-ext: ".csv"
2876   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
2877   columns:
2878   -
2879     title: "Name"
2880     data: "data name"
2881   -
2882     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2883     data: "data vat-history"
2884   rows: "generated"
2885   data: "vpp-func-results-ubuntu"
2886   filter: "all"
2887   parameters:
2888   - "parent"
2889   - "name"
2890   - "vat-history"
2891
2892 # Test configuration - VPP Functional Test Configs - CentOS
2893 -
2894   type: "table"
2895   title: "Test configuration - VPP Functional Test Configs - CentOS"
2896   algorithm: "table_details"
2897   output-file-ext: ".csv"
2898   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
2899   columns:
2900   -
2901     title: "Name"
2902     data: "data name"
2903   -
2904     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2905     data: "data vat-history"
2906   rows: "generated"
2907   data: "vpp-func-results-centos"
2908   filter: "all"
2909   parameters:
2910   - "parent"
2911   - "name"
2912   - "vat-history"
2913
2914 # Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw
2915 -
2916   type: "table"
2917   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
2918   algorithm: "table_details"
2919   output-file-ext: ".csv"
2920   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
2921   columns:
2922   -
2923     title: "Name"
2924     data: "data name"
2925   -
2926     title: "Status"
2927     data: "data msg"
2928   rows: "generated"
2929   data: "ligato-perf-results-3n-hsw"
2930   filter: "all"
2931   parameters:
2932   - "name"
2933   - "parent"
2934   - "msg"
2935
2936 # Detailed Test Results - VPP Device Results - Ubuntu
2937 -
2938   type: "table"
2939   title: "Detailed Test Results - VPP Device Results - Ubuntu"
2940   algorithm: "table_details"
2941   output-file-ext: ".csv"
2942   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
2943   columns:
2944   -
2945     title: "Name"
2946     data: "data name"
2947   -
2948     title: "Documentation"
2949     data: "data doc"
2950   -
2951     title: "Status"
2952     data: "data status"
2953   rows: "generated"
2954   data: "vpp-device-results-ubuntu"
2955   filter: "all"
2956   parameters:
2957   - "name"
2958   - "parent"
2959   - "doc"
2960   - "status"
2961
2962 # Test configuration - VPP Device Test Configs - Ubuntu
2963 -
2964   type: "table"
2965   title: "Test configuration - VPP Device Test Configs - Ubuntu"
2966   algorithm: "table_details"
2967   output-file-ext: ".csv"
2968   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
2969   columns:
2970   -
2971     title: "Name"
2972     data: "data name"
2973   -
2974     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
2975     data: "data vat-history"
2976   rows: "generated"
2977   data: "vpp-device-results-ubuntu"
2978   filter: "all"
2979   parameters:
2980   - "parent"
2981   - "name"
2982   - "vat-history"
2983
2984 ################################################################################
2985
2986 # DPDK Performance Changes 3n-hsw 1t1c pdr
2987 -
2988   type: "table"
2989   title: "DPDK Performance Changes 3n-hsw 1t1c pdr"
2990   algorithm: "table_performance_comparison"
2991   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-pdr"
2992   history:
2993     -
2994       title: "rls1804"
2995       data:
2996         csit-dpdk-perf-1804-all:
2997         - 4
2998         - 5
2999         - 6
3000         - 7
3001         - 8
3002         - 9
3003         - 10
3004         - 11
3005         - 12
3006         - 13
3007   reference:
3008     title: "rls1807"
3009     data:
3010       csit-dpdk-perf-verify-1807-3n-hsw:
3011       - 11
3012       - 12  # full
3013       - 14
3014       - 15
3015       - 16
3016       - 17
3017       - 20
3018       - 21
3019       - 22
3020       - 23
3021   compare:
3022     title: "rls1810"
3023     data:
3024       csit-dpdk-perf-verify-1810-3n-hsw:
3025       - 1   # NDRPDR sel
3026       - 2   # NDRPDR sel
3027       - 3   # NDRPDR sel
3028       - 4   # NDRPDR sel
3029       - 5   # NDRPDR sel
3030       - 6   # NDRPDR sel
3031       - 7   # NDRPDR sel
3032       - 8   # NDRPDR sel
3033       - 9   # NDRPDR sel
3034       - 10  # NDRPDR sel
3035   data: "dpdk-performance-changes-3n-hsw"
3036   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3037   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3038   parameters:
3039   - "name"
3040   - "parent"
3041   - "throughput"
3042
3043 # DPDK Performance Changes 3n-hsw 2t2c pdr
3044 -
3045   type: "table"
3046   title: "DPDK Performance Changes 3n-hsw 2t2c pdr"
3047   algorithm: "table_performance_comparison"
3048   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-2t2c-pdr"
3049   history:
3050     -
3051       title: "rls1804"
3052       data:
3053         csit-dpdk-perf-1804-all:
3054         - 4
3055         - 5
3056         - 6
3057         - 7
3058         - 8
3059         - 9
3060         - 10
3061         - 11
3062         - 12
3063         - 13
3064   reference:
3065     title: "rls1807"
3066     data:
3067       csit-dpdk-perf-verify-1807-3n-hsw:
3068       - 11
3069       - 12  # full
3070       - 14
3071       - 15
3072       - 16
3073       - 17
3074       - 20
3075       - 21
3076       - 22
3077       - 23
3078   compare:
3079     title: "rls1810"
3080     data:
3081       csit-dpdk-perf-verify-1810-3n-hsw:
3082       - 1   # NDRPDR sel
3083       - 2   # NDRPDR sel
3084       - 3   # NDRPDR sel
3085       - 4   # NDRPDR sel
3086       - 5   # NDRPDR sel
3087       - 6   # NDRPDR sel
3088       - 7   # NDRPDR sel
3089       - 8   # NDRPDR sel
3090       - 9   # NDRPDR sel
3091       - 10  # NDRPDR sel
3092   data: "dpdk-performance-changes-3n-hsw"
3093   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3094   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3095   parameters:
3096   - "name"
3097   - "parent"
3098   - "throughput"
3099
3100 # DPDK Performance Changes 3n-hsw 1t1c ndr
3101 -
3102   type: "table"
3103   title: "DPDK Performance Changes 3n-hsw 1t1c ndr"
3104   algorithm: "table_performance_comparison"
3105   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-ndr"
3106   history:
3107     -
3108       title: "rls1804"
3109       data:
3110         csit-dpdk-perf-1804-all:
3111         - 4
3112         - 5
3113         - 6
3114         - 7
3115         - 8
3116         - 9
3117         - 10
3118         - 11
3119         - 12
3120         - 13
3121   reference:
3122     title: "rls1807"
3123     data:
3124       csit-dpdk-perf-verify-1807-3n-hsw:
3125       - 11
3126       - 12  # full
3127       - 14
3128       - 15
3129       - 16
3130       - 17
3131       - 20
3132       - 21
3133       - 22
3134       - 23
3135   compare:
3136     title: "rls1810"
3137     data:
3138       csit-dpdk-perf-verify-1810-3n-hsw:
3139       - 1   # NDRPDR sel
3140       - 2   # NDRPDR sel
3141       - 3   # NDRPDR sel
3142       - 4   # NDRPDR sel
3143       - 5   # NDRPDR sel
3144       - 6   # NDRPDR sel
3145       - 7   # NDRPDR sel
3146       - 8   # NDRPDR sel
3147       - 9   # NDRPDR sel
3148       - 10  # NDRPDR sel
3149   data: "dpdk-performance-changes-3n-hsw"
3150   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3151   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3152   parameters:
3153   - "name"
3154   - "parent"
3155   - "throughput"
3156
3157 # DPDK Performance Changes 3n-hsw 2t2c ndr
3158 -
3159   type: "table"
3160   title: "DPDK Performance Changes 3n-hsw 2t2c ndr"
3161   algorithm: "table_performance_comparison"
3162   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-2t2c-ndr"
3163   history:
3164     -
3165       title: "rls1804"
3166       data:
3167         csit-dpdk-perf-1804-all:
3168         - 4
3169         - 5
3170         - 6
3171         - 7
3172         - 8
3173         - 9
3174         - 10
3175         - 11
3176         - 12
3177         - 13
3178   reference:
3179     title: "rls1807"
3180     data:
3181       csit-dpdk-perf-verify-1807-3n-hsw:
3182       - 11
3183       - 12  # full
3184       - 14
3185       - 15
3186       - 16
3187       - 17
3188       - 20
3189       - 21
3190       - 22
3191       - 23
3192   compare:
3193     title: "rls1810"
3194     data:
3195       csit-dpdk-perf-verify-1810-3n-hsw:
3196       - 1   # NDRPDR sel
3197       - 2   # NDRPDR sel
3198       - 3   # NDRPDR sel
3199       - 4   # NDRPDR sel
3200       - 5   # NDRPDR sel
3201       - 6   # NDRPDR sel
3202       - 7   # NDRPDR sel
3203       - 8   # NDRPDR sel
3204       - 9   # NDRPDR sel
3205       - 10  # NDRPDR sel
3206   data: "dpdk-performance-changes-3n-hsw"
3207   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3208   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3209   parameters:
3210   - "name"
3211   - "parent"
3212   - "throughput"
3213
3214 # DPDK Performance Changes 3n-skx 2t1c pdr
3215 -
3216   type: "table"
3217   title: "DPDK Performance Changes 3n-skx 2t1c pdr"
3218   algorithm: "table_performance_comparison"
3219   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-2t1c-pdr"
3220   reference:
3221     title: "rls1807"
3222     data:
3223       csit-dpdk-perf-verify-1807-3n-skx:
3224       - 1   # NDRPDR sel
3225       - 2   # NDRPDR sel
3226       - 3   # NDRPDR sel
3227       - 6   # NDRPDR sel
3228       - 7   # NDRPDR sel
3229       - 8   # NDRPDR sel
3230       - 9   # NDRPDR sel
3231       - 10  # NDRPDR sel
3232       - 11  # NDRPDR sel
3233       - 12  # NDRPDR sel
3234   compare:
3235     title: "rls1810"
3236     data:
3237       csit-dpdk-perf-verify-1810-3n-skx:
3238       - 3   # NDRPDR sel
3239       - 4   # NDRPDR sel
3240       - 6   # NDRPDR sel
3241       - 7   # NDRPDR sel
3242       - 8   # NDRPDR sel
3243       - 9   # NDRPDR sel
3244       - 10  # NDRPDR sel
3245       - 11  # NDRPDR sel
3246       - 12  # NDRPDR sel
3247       - 13  # NDRPDR sel
3248   data: "dpdk-performance-changes-3n-skx"
3249   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3250   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3251   parameters:
3252   - "name"
3253   - "parent"
3254   - "throughput"
3255
3256 # DPDK Performance Changes 3n-skx 4t2c pdr
3257 -
3258   type: "table"
3259   title: "DPDK Performance Changes 3n-skx 4t2c pdr"
3260   algorithm: "table_performance_comparison"
3261   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-4t2c-pdr"
3262   reference:
3263     title: "rls1807"
3264     data:
3265       csit-dpdk-perf-verify-1807-3n-skx:
3266       - 1   # NDRPDR sel
3267       - 2   # NDRPDR sel
3268       - 3   # NDRPDR sel
3269       - 6   # NDRPDR sel
3270       - 7   # NDRPDR sel
3271       - 8   # NDRPDR sel
3272       - 9   # NDRPDR sel
3273       - 10  # NDRPDR sel
3274       - 11  # NDRPDR sel
3275       - 12  # NDRPDR sel
3276   compare:
3277     title: "rls1810"
3278     data:
3279       csit-dpdk-perf-verify-1810-3n-skx:
3280       - 3   # NDRPDR sel
3281       - 4   # NDRPDR sel
3282       - 6   # NDRPDR sel
3283       - 7   # NDRPDR sel
3284       - 8   # NDRPDR sel
3285       - 9   # NDRPDR sel
3286       - 10  # NDRPDR sel
3287       - 11  # NDRPDR sel
3288       - 12  # NDRPDR sel
3289       - 13  # NDRPDR sel
3290   data: "dpdk-performance-changes-3n-skx"
3291   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3292   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3293   parameters:
3294   - "name"
3295   - "parent"
3296   - "throughput"
3297
3298 # DPDK Performance Changes 3n-skx 2t1c ndr
3299 -
3300   type: "table"
3301   title: "DPDK Performance Changes 3n-skx 2t1c ndr"
3302   algorithm: "table_performance_comparison"
3303   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-2t1c-ndr"
3304   reference:
3305     title: "rls1807"
3306     data:
3307       csit-dpdk-perf-verify-1807-3n-skx:
3308       - 1   # NDRPDR sel
3309       - 2   # NDRPDR sel
3310       - 3   # NDRPDR sel
3311       - 6   # NDRPDR sel
3312       - 7   # NDRPDR sel
3313       - 8   # NDRPDR sel
3314       - 9   # NDRPDR sel
3315       - 10  # NDRPDR sel
3316       - 11  # NDRPDR sel
3317       - 12  # NDRPDR sel
3318   compare:
3319     title: "rls1810"
3320     data:
3321       csit-dpdk-perf-verify-1810-3n-skx:
3322       - 3   # NDRPDR sel
3323       - 4   # NDRPDR sel
3324       - 6   # NDRPDR sel
3325       - 7   # NDRPDR sel
3326       - 8   # NDRPDR sel
3327       - 9   # NDRPDR sel
3328       - 10  # NDRPDR sel
3329       - 11  # NDRPDR sel
3330       - 12  # NDRPDR sel
3331       - 13  # NDRPDR sel
3332   data: "dpdk-performance-changes-3n-skx"
3333   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3334   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3335   parameters:
3336   - "name"
3337   - "parent"
3338   - "throughput"
3339
3340 # DPDK Performance Changes 3n-skx 4t2c ndr
3341 -
3342   type: "table"
3343   title: "DPDK Performance Changes 3n-skx 4t2c ndr"
3344   algorithm: "table_performance_comparison"
3345   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-4t2c-ndr"
3346   reference:
3347     title: "rls1807"
3348     data:
3349       csit-dpdk-perf-verify-1807-3n-skx:
3350       - 1   # NDRPDR sel
3351       - 2   # NDRPDR sel
3352       - 3   # NDRPDR sel
3353       - 6   # NDRPDR sel
3354       - 7   # NDRPDR sel
3355       - 8   # NDRPDR sel
3356       - 9   # NDRPDR sel
3357       - 10  # NDRPDR sel
3358       - 11  # NDRPDR sel
3359       - 12  # NDRPDR sel
3360   compare:
3361     title: "rls1810"
3362     data:
3363       csit-dpdk-perf-verify-1810-3n-skx:
3364       - 3   # NDRPDR sel
3365       - 4   # NDRPDR sel
3366       - 6   # NDRPDR sel
3367       - 7   # NDRPDR sel
3368       - 8   # NDRPDR sel
3369       - 9   # NDRPDR sel
3370       - 10  # NDRPDR sel
3371       - 11  # NDRPDR sel
3372       - 12  # NDRPDR sel
3373       - 13  # NDRPDR sel
3374   data: "dpdk-performance-changes-3n-skx"
3375   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3376   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3377   parameters:
3378   - "name"
3379   - "parent"
3380   - "throughput"
3381
3382 # DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr
3383 -
3384   type: "table"
3385   title: "DPDK Comparison Across Testbeds 3n-hsw to 3n-skx ndr"
3386   algorithm: "table_performance_comparison"
3387   output-file: "{DIR[STATIC,DPDK]}/performance-compare-testbeds-3n-hsw-3n-skx-ndr"
3388   reference:
3389     title: "3-Node Hsw"
3390     data:
3391       csit-dpdk-perf-verify-1810-3n-hsw:
3392       - 1   # NDRPDR sel
3393       - 2   # NDRPDR sel
3394       - 3   # NDRPDR sel
3395       - 4   # NDRPDR sel
3396       - 5   # NDRPDR sel
3397       - 6   # NDRPDR sel
3398       - 7   # NDRPDR sel
3399       - 8   # NDRPDR sel
3400       - 9   # NDRPDR sel
3401       - 10  # NDRPDR sel
3402   compare:
3403     title: "3-Node Skx"
3404     data:
3405       csit-dpdk-perf-verify-1810-3n-skx:
3406       - 3   # NDRPDR sel
3407       - 4   # NDRPDR sel
3408       - 6   # NDRPDR sel
3409       - 7   # NDRPDR sel
3410       - 8   # NDRPDR sel
3411       - 9   # NDRPDR sel
3412       - 10  # NDRPDR sel
3413       - 11  # NDRPDR sel
3414       - 12  # NDRPDR sel
3415       - 13  # NDRPDR sel
3416   data: "dpdk-compare-testbeds"
3417   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3418   filter: "'NIC_Intel-X710' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3419   parameters:
3420   - "name"
3421   - "parent"
3422   - "throughput"
3423
3424 # DPDK Comparison Across Topologies 3n-skx to 2n-skx ndr
3425 -
3426   type: "table"
3427   title: "DPDK Comparison Across Topologies 3n-skx to 2n-skx ndr"
3428   algorithm: "table_performance_comparison"
3429   output-file: "{DIR[STATIC,DPDK]}/performance-compare-topologies-3n-skx-2n-skx-ndr"
3430   reference:
3431     title: "3-Node Skx"
3432     data:
3433       csit-dpdk-perf-verify-1810-3n-skx:
3434       - 3   # NDRPDR sel
3435       - 4   # NDRPDR sel
3436       - 6   # NDRPDR sel
3437       - 7   # NDRPDR sel
3438       - 8   # NDRPDR sel
3439       - 9   # NDRPDR sel
3440       - 10  # NDRPDR sel
3441       - 11  # NDRPDR sel
3442       - 12  # NDRPDR sel
3443       - 13  # NDRPDR sel
3444   compare:
3445     title: "2-Node Skx"
3446     data:
3447       csit-dpdk-perf-verify-1810-2n-skx: