df0b20bfea87e891b1222490fabb6a035ea968ab
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
37     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
38     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
39     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
40     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
41     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
42     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
43     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
44     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
45     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
46     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
47     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
49
50     # Detailed test configurations
51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
52     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
53     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
54     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
55     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
56     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
57     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
58     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
59     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
60     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
61     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
62     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
63
64     # Detailed tests operational data
65     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
66     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
67     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
68     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
69     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
70
71     # .css patch file to fix tables generated by Sphinx
72     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
73     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
74
75   urls:
76     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
77     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
78     URL[VIRL,DNV]: "http://10.30.51.28/download/denverton/1810/robot-plugin.zip"
79     # URL[VIRL,DNV]: "http://download.it/from/nexus"
80     URL[NEXUS]: "https://docs.fd.io/csit"
81     DIR[NEXUS]: "report/_static/archive"
82
83   make-dirs:
84   # List the directories which are created while preparing the environment.
85   # All directories MUST be defined in "paths" section.
86   - "DIR[WORKING,DATA]"
87   - "DIR[STATIC,VPP]"
88   - "DIR[STATIC,DPDK]"
89   - "DIR[STATIC,ARCH]"
90   - "DIR[BUILD,LATEX]"
91   - "DIR[WORKING,SRC]"
92   - "DIR[WORKING,SRC,STATIC]"
93
94   remove-dirs:
95   # List the directories which are deleted while cleaning the environment.
96   # All directories MUST be defined in "paths" section.
97   #- "DIR[BUILD,HTML]"
98   - "DIR[WORKING,DATA]"
99
100   build-dirs:
101   # List the directories where the results (build) is stored.
102   # All directories MUST be defined in "paths" section.
103   - "DIR[BUILD,HTML]"
104   - "DIR[BUILD,LATEX]"
105
106 -
107   type: "configuration"
108
109   limits:
110     nic:
111       x520: 24460000
112       x553: 29761905
113       x710: 35800000
114       xxv710: 35800000
115       xl710: 35800000
116
117     link:
118       10ge: 14880952.38
119       25ge: 37202380.95
120       40ge: 59523809.52
121       100ge: 148809523.81
122
123     pci:
124       pci-g3-x8: 74404761.90
125       pci-g3-x16: 148809523.81
126
127   data-sets:
128
129     # Denverton:
130     intel-dnv-vpp:
131       # TODO: Replace with new data
132       intel-dnv-vpp-release-1810:
133       - 1
134
135     # VPP Performance
136     vpp-performance-changes-3n-hsw:
137       csit-vpp-perf-verify-1807-3n-hsw:
138       - 11  # NDRPDR full 1
139       - 22  # NDRPDR full 2
140       - 45  # NDRPDR full 3
141       - 46  # NDRPDR full 4
142       - 15  # NDRPDR sel
143       - 16  # NDRPDR sel
144       - 19  # NDRPDR sel
145       - 18  # NDRPDR sel
146       - 20  # NDRPDR sel
147       - 38  # NDRPDR sel
148       - 40  # NDRPDR sel
149       - 44  # NDRPDR sel
150       - 47  # NDRPDR sel
151       csit-vpp-perf-verify-1810-3n-hsw:
152       - 8   # NDRPDR sel
153       - 12  # NDRPDR sel
154       - 14  # NDRPDR sel
155       - 18  # NDRPDR sel
156       - 23  # NDRPDR sel
157       - 25  # NDRPDR sel
158       - 38  # NDRPDR sel
159       - 39  # NDRPDR sel
160       - 41  # NDRPDR sel
161       - 42  # NDRPDR sel
162       # TODO Add new data
163       csit-vpp-perf-verify-1901-3n-hsw:
164       - 10  # NDRPDR sel
165       - 19  # NDRPDR sel
166
167     vpp-nic-comparison-3n-hsw:
168       # TODO: Add new data
169       csit-vpp-perf-verify-1901-3n-hsw:
170       - 10  # NDRPDR sel
171       - 19  # NDRPDR sel
172
173     vpp-performance-changes-3n-skx:
174       csit-vpp-perf-verify-1807-3n-skx:
175       - 33  # NDRPDR sel
176       - 35  # NDRPDR sel
177       - 37  # NDRPDR sel
178       - 38  # NDRPDR sel
179       - 39  # NDRPDR sel
180       - 43  # NDRPDR sel
181       - 44  # NDRPDR sel
182       - 49  # NDRPDR sel
183       - 50  # NDRPDR sel
184       - 56  # NDRPDR sel
185       csit-vpp-perf-verify-1810-3n-skx:
186       - 10  # NDRPDR sel
187       - 14  # NDRPDR sel
188       - 15  # NDRPDR sel
189       - 16  # NDRPDR sel
190       - 17  # NDRPDR sel
191       - 19  # NDRPDR sel
192       - 20  # NDRPDR sel
193       - 21  # NDRPDR sel
194       - 22  # NDRPDR sel
195       - 25  # NDRPDR sel
196       # TODO Add new data:
197       csit-vpp-perf-verify-1901-3n-skx:
198       - 28  # NDRPDR sel
199       - 18  # NDRPDR sel
200       - 19  # NDRPDR sel
201       - 20  # NDRPDR sel
202
203     vpp-nic-comparison-3n-skx:
204       # TODO: Add new data
205       csit-vpp-perf-verify-1901-3n-skx:
206       - 28  # NDRPDR sel
207       - 18  # NDRPDR sel
208       - 19  # NDRPDR sel
209       - 20  # NDRPDR sel
210
211     vpp-performance-changes-2n-skx:
212       csit-vpp-perf-verify-1807-2n-skx:
213       - 26  # NDRPDR sel
214       - 28  # NDRPDR sel
215       - 29  # NDRPDR sel
216       - 30  # NDRPDR sel
217       - 34  # NDRPDR sel
218       - 35  # NDRPDR sel
219       - 36  # NDRPDR sel
220       - 39  # NDRPDR sel
221       - 40  # NDRPDR sel
222       - 42  # NDRPDR sel
223       csit-vpp-perf-verify-1810-2n-skx:
224       - 9   # NDRPDR sel
225       - 13  # NDRPDR sel
226       - 14  # NDRPDR sel
227       - 19  # NDRPDR sel
228       - 20  # NDRPDR sel
229       - 21  # NDRPDR sel
230       - 22  # NDRPDR sel
231       - 23  # NDRPDR sel
232       - 24  # NDRPDR sel
233       - 27  # NDRPDR sel
234       # TODO Add new data:
235       csit-vpp-perf-verify-1901-2n-skx:
236       - 5   # NDRPDR sel
237       - 10  # NDRPDR sel fails
238       - 12  # NDRPDR sel
239       - 13  # NDRPDR sel
240       - 16  # NDRPDR sel fails
241
242     vpp-nic-comparison-2n-skx:
243       # TODO: Add new data
244       csit-vpp-perf-verify-1901-2n-skx:
245       - 5   # NDRPDR sel
246       - 10  # NDRPDR sel fails
247       - 12  # NDRPDR sel
248       - 13  # NDRPDR sel
249       - 16  # NDRPDR sel fails
250
251     vpp-compare-testbeds:
252       # TODO: Add new data
253       csit-vpp-perf-verify-1901-3n-hsw:
254       - 10  # NDRPDR sel
255       - 19  # NDRPDR sel
256       # TODO: Add new data
257       csit-vpp-perf-verify-1901-3n-skx:
258       - 28  # NDRPDR sel
259       - 18  # NDRPDR sel
260       - 19  # NDRPDR sel
261       - 20  # NDRPDR sel
262
263     vpp-compare-testbeds-mrr:
264       # TODO: Add new data
265       csit-vpp-perf-verify-1901-3n-hsw:
266       - 35  # MRR sel
267       # TODO: Add new data
268       csit-vpp-perf-verify-1901-3n-skx:
269       - 32  # MRR sel
270
271     vpp-compare-topologies:
272       # TODO: Add new data
273       csit-vpp-perf-verify-1901-3n-skx:
274       - 28  # NDRPDR sel
275       - 18  # NDRPDR sel
276       - 19  # NDRPDR sel
277       - 20  # NDRPDR sel
278       # TODO: Add new data
279       csit-vpp-perf-verify-1901-2n-skx:
280       - 5   # NDRPDR sel
281       - 10  # NDRPDR sel fails
282       - 12  # NDRPDR sel
283       - 13  # NDRPDR sel
284       - 16  # NDRPDR sel fails
285
286     vpp-compare-topologies-mrr:
287       # TODO: Add new data
288       csit-vpp-perf-verify-1901-3n-skx:
289       - 32  # MRR sel
290       # TODO: Add new data
291       csit-vpp-perf-verify-1901-2n-skx:
292       - 22  # MRR sel
293
294     vpp-performance-changes-3n-hsw-mrr:
295       csit-vpp-perf-verify-1807-3n-hsw:
296       - 8   # MRR full
297       - 9   # MRR sel
298       - 21  # MRR sel
299       - 31  # MRR sel
300       - 33  # MRR sel
301       - 36  # MRR sel
302       - 41  # MRR sel
303       - 42  # MRR sel
304       - 48  # MRR sel
305       csit-vpp-perf-verify-1810-3n-hsw:
306       - 9   # MRR sel
307       # TODO: Add new data
308       csit-vpp-perf-verify-1901-3n-hsw:
309       - 35  # MRR sel
310
311     vpp-nic-comparison-3n-hsw-mrr:
312       # TODO: Add new data
313       csit-vpp-perf-verify-1901-3n-hsw:
314       - 35  # MRR sel
315
316     vpp-performance-changes-3n-skx-mrr:
317       csit-vpp-perf-verify-1807-3n-skx:
318       - 28  # MRR sel
319       - 32  # MRR sel
320       - 36  # MRR sel
321       - 42  # MRR sel
322       - 47  # MRR sel
323       - 48  # MRR sel
324       - 51  # MRR sel
325       - 52  # MRR sel
326       - 53  # MRR sel
327       - 54  # MRR sel
328       csit-vpp-perf-verify-1810-3n-skx:
329       - 9   # MRR sel
330       - 11  # MRR sel
331       - 12  # MRR sel
332       - 13  # MRR sel
333       # TODO: Add new data
334       csit-vpp-perf-verify-1901-3n-skx:
335       - 32  # MRR sel
336
337     vpp-nic-comparison-3n-skx-mrr:
338       # TODO: Replace with new data
339       csit-vpp-perf-verify-1901-3n-skx:
340       - 32  # MRR sel
341
342     vpp-performance-changes-2n-skx-mrr:
343       csit-vpp-perf-verify-1807-2n-skx:
344       - 31  # MRR sel
345       - 33  # MRR sel
346       - 37  # MRR sel
347       - 38  # MRR sel
348       - 41  # MRR sel
349       - 43  # MRR sel
350       - 44  # MRR sel
351       - 45  # MRR sel
352       - 46  # MRR sel
353       - 47  # MRR sel
354       csit-vpp-perf-verify-1810-2n-skx:
355       - 8   # MRR sel
356       - 10  # MRR sel
357       - 11  # MRR sel
358       - 12  # MRR sel
359       # TODO: Add new data
360       csit-vpp-perf-verify-1901-2n-skx:
361       - 22  # MRR sel
362
363     vpp-nic-comparison-2n-skx-mrr:
364       # TODO: Add new data
365       csit-vpp-perf-verify-1901-2n-skx:
366       - 22  # MRR sel
367
368     vpp-perf-results-3n-hsw:
369       # TODO: Replace with FULL data
370       csit-vpp-perf-verify-1901-3n-hsw:
371       - 19  # NDRPDR sel
372
373     vpp-perf-results-3n-skx:
374       # TODO: Replace with FULL data
375       csit-vpp-perf-verify-1901-3n-skx:
376       - 28  # NDRPDR sel
377
378     vpp-perf-results-2n-skx:
379       # TODO: Replace with FULL data
380       csit-vpp-perf-verify-1901-2n-skx:
381       - 13  # NDRPDR sel
382
383     vpp-mrr-results-3n-hsw:
384       # TODO: Replace with FULL data
385       csit-vpp-perf-verify-1901-3n-hsw:
386       - 35  # MRR sel
387
388     vpp-mrr-results-3n-skx:
389       # TODO: Replace with FULL data
390       csit-vpp-perf-verify-1901-3n-skx:
391       - 32  # MRR sel
392
393     vpp-mrr-results-2n-skx:
394       # TODO: Replace with FULL data
395       csit-vpp-perf-verify-1901-2n-skx:
396       - 22  # MRR sel
397
398     plot-throughput-speedup-analysis-3n-hsw:
399       # TODO: Add new data
400       csit-vpp-perf-verify-1901-3n-hsw:
401       - 10  # NDRPDR sel
402       - 19  # NDRPDR sel
403
404     plot-throughput-speedup-analysis-3n-skx:
405       # TODO: Add new data
406       csit-vpp-perf-verify-1901-3n-skx:
407       - 28  # NDRPDR sel
408       - 18  # NDRPDR sel
409       - 19  # NDRPDR sel
410       - 20  # NDRPDR sel
411
412     plot-throughput-speedup-analysis-2n-skx:
413       # TODO: Add new data
414       csit-vpp-perf-verify-1901-2n-skx:
415       - 5   # NDRPDR sel
416       - 10  # NDRPDR sel fails
417       - 12  # NDRPDR sel
418       - 13  # NDRPDR sel
419       - 16  # NDRPDR sel fails
420
421     plot-vpp-throughput-latency-3n-hsw:
422       # TODO: Add new data
423       csit-vpp-perf-verify-1901-3n-hsw:
424       - 10  # NDRPDR sel
425       - 19  # NDRPDR sel
426
427     plot-vpp-soak-2n-skx:
428       # TODO: Replace with new data
429       # csit-vpp-perf-verify-1901-2n-skx:
430       csit-vpp-perf-verify-master-2n-skx:
431       - 248  # SOAK sel
432       - 251  # SOAK sel
433
434     plot-vpp-vsc-2n-skx:
435       # TODO: Replace with new data
436       # csit-vpp-perf-verify-1901-2n-skx:
437       csit-vpp-perf-verify-master-2n-skx:
438       - 237
439       - 243
440
441     plot-vpp-csc-2n-skx:
442       # TODO: Replace with new data
443       # csit-vpp-perf-verify-1901-2n-skx:
444       csit-vpp-perf-verify-master-2n-skx:
445       - 226
446       - 231
447       - 233
448
449     plot-vpp-csp-2n-skx:
450       # TODO: Replace with new data
451       # csit-vpp-perf-verify-1901-2n-skx:
452       csit-vpp-perf-verify-master-2n-skx:
453       - 247
454
455     plot-vpp-throughput-latency-3n-skx:
456       # TODO: Add new data
457       csit-vpp-perf-verify-1901-3n-skx:
458       - 28  # NDRPDR sel
459       - 18  # NDRPDR sel
460       - 19  # NDRPDR sel
461       - 20  # NDRPDR sel
462
463     plot-vpp-throughput-latency-2n-skx:
464       # TODO: Add new data
465       csit-vpp-perf-verify-1901-2n-skx:
466       - 5   # NDRPDR sel
467       - 10  # NDRPDR sel fails
468       - 12  # NDRPDR sel
469       - 13  # NDRPDR sel
470       - 16  # NDRPDR sel fails
471
472     plot-vpp-http-server-performance:
473       # TODO: Replace with new data
474       # csit-vpp-perf-verify-1901-3n-hsw:
475       csit-vpp-perf-verify-1810-3n-hsw:
476       - 28  # WRK
477       - 29  # WRK
478       - 30  # WRK
479       - 31  # WRK
480       - 32  # WRK
481       - 33  # WRK
482       - 34  # WRK
483       - 35  # WRK
484       - 36  # WRK
485       - 37  # WRK
486
487     # VPP Functional
488     vpp-func-results-ubuntu:
489       csit-vpp-functional-1901-ubuntu1604-virl:
490       - 48
491
492     vpp-func-results-centos:
493       csit-vpp-functional-1901-centos7-virl:
494       - 50
495
496     vpp-device-results-ubuntu:
497       csit-vpp-device-1901-ubuntu1804-1n-skx:
498       - 49
499
500     # VPP Ligato
501     ligato-perf-results-3n-hsw:
502       # TODO: Replace with new data
503       # csit-ligato-perf-verify-1901-3n-hsw:
504       csit-ligato-perf-verify-1810-3n-hsw:
505       - 5   # full
506
507     plot-ligato-throughput-speedup-analysis-3n-hsw:
508       # TODO: Replace with new data
509       # csit-ligato-perf-verify-1901-3n-hsw:
510       csit-ligato-perf-verify-1810-3n-hsw:
511       - 5   # full
512       - 6   # sel
513       - 8   # sel
514       - 9   # sel
515       - 11  # sel
516       - 12  # sel
517       - 13  # sel
518       - 14  # sel
519       - 16  # sel
520       - 17  # sel
521       - 18  # sel
522
523     plot-ligato-throughput-latency-3n-hsw:
524       # TODO: Replace with new data
525       # csit-ligato-perf-verify-1901-3n-hsw:
526       csit-ligato-perf-verify-1810-3n-hsw:
527       - 5   # full
528       - 6   # sel
529       - 8   # sel
530       - 9   # sel
531       - 11  # sel
532       - 12  # sel
533       - 13  # sel
534       - 14  # sel
535       - 16  # sel
536       - 17  # sel
537       - 18  # sel
538
539     # DPDK Performance
540     dpdk-performance-changes-3n-hsw:
541       csit-dpdk-perf-verify-1807-3n-hsw:
542       - 11
543       - 12  # full
544       - 14
545       - 15
546       - 16
547       - 17
548       - 20
549       - 21
550       - 22
551       - 23
552       csit-dpdk-perf-verify-1810-3n-hsw:
553       - 1   # NDRPDR sel
554       - 2   # NDRPDR sel
555       - 3   # NDRPDR sel
556       - 4   # NDRPDR sel
557       - 5   # NDRPDR sel
558       - 6   # NDRPDR sel
559       - 7   # NDRPDR sel
560       - 8   # NDRPDR sel
561       - 9   # NDRPDR sel
562       - 10  # NDRPDR sel
563       # TODO: Add new data
564       csit-dpdk-perf-verify-1901-3n-hsw:
565       - 3   # NDRPDR sel
566       - 4   # NDRPDR sel
567       - 6   # NDRPDR sel
568
569     dpdk-performance-changes-3n-skx:
570       csit-dpdk-perf-verify-1807-3n-skx:
571       - 1   # NDRPDR sel
572       - 2   # NDRPDR sel
573       - 3   # NDRPDR sel
574       - 6   # NDRPDR sel
575       - 7   # NDRPDR sel
576       - 8   # NDRPDR sel
577       - 9   # NDRPDR sel
578       - 10  # NDRPDR sel
579       - 11  # NDRPDR sel
580       - 12  # NDRPDR sel
581       csit-dpdk-perf-verify-1810-3n-skx:
582       - 3   # NDRPDR sel
583       - 4   # NDRPDR sel
584       - 6   # NDRPDR sel
585       - 7   # NDRPDR sel
586       - 8   # NDRPDR sel
587       - 9   # NDRPDR sel
588       - 10  # NDRPDR sel
589       - 11  # NDRPDR sel
590       - 12  # NDRPDR sel
591       - 13  # NDRPDR sel
592       # TODO: Add new data
593       # csit-dpdk-perf-verify-1901-3n-skx:
594
595     dpdk-compare-testbeds:
596       # TODO: Replace with new data
597       # csit-dpdk-perf-verify-1901-3n-skx:
598       csit-dpdk-perf-verify-1810-3n-skx:
599       - 3   # NDRPDR sel
600       - 4   # NDRPDR sel
601       - 6   # NDRPDR sel
602       - 7   # NDRPDR sel
603       - 8   # NDRPDR sel
604       - 9   # NDRPDR sel
605       - 10  # NDRPDR sel
606       - 11  # NDRPDR sel
607       - 12  # NDRPDR sel
608       - 13  # NDRPDR sel
609       # TODO: Add new data
610       csit-dpdk-perf-verify-1901-3n-hsw:
611       - 3   # NDRPDR sel
612       - 4   # NDRPDR sel
613       - 6   # NDRPDR sel
614
615     dpdk-compare-topologies:
616       # TODO: Replace with new data
617       # csit-dpdk-perf-verify-1901-3n-skx:
618       csit-dpdk-perf-verify-1810-3n-skx:
619       - 3   # NDRPDR sel
620       - 4   # NDRPDR sel
621       - 6   # NDRPDR sel
622       - 7   # NDRPDR sel
623       - 8   # NDRPDR sel
624       - 9   # NDRPDR sel
625       - 10  # NDRPDR sel
626       - 11  # NDRPDR sel
627       - 12  # NDRPDR sel
628       - 13  # NDRPDR sel
629       # TODO: Add new data
630       csit-dpdk-perf-verify-1901-2n-skx:
631       - 2   # NDRPDR sel
632
633     dpdk-perf-results-3n-hsw:
634       # TODO: Replace with FULL data
635       csit-dpdk-perf-verify-1901-3n-hsw:
636       - 6   # NDRPDR sel
637
638     dpdk-perf-results-3n-skx:
639       # TODO: Replace with new data
640       # csit-dpdk-perf-verify-1901-3n-skx:
641       csit-dpdk-perf-verify-1810-3n-skx:
642       - 3   # NDRPDR sel
643
644     dpdk-perf-results-2n-skx:
645       # TODO: Replace with FULL data
646       csit-dpdk-perf-verify-1901-2n-skx:
647       - 2   # NDRPDR sel
648
649     plot-dpdk-throughput-latency-3n-hsw:
650       # TODO: Replace with new data
651       csit-dpdk-perf-verify-1901-3n-hsw:
652       - 3   # NDRPDR sel
653       - 4   # NDRPDR sel
654       - 6   # NDRPDR sel
655
656     plot-dpdk-throughput-latency-3n-skx:
657       # TODO: Replace with new data
658       # csit-dpdk-perf-verify-1901-3n-skx:
659       csit-dpdk-perf-verify-1810-3n-skx:
660       - 3   # NDRPDR sel
661       - 4   # NDRPDR sel
662       - 6   # NDRPDR sel
663       - 7   # NDRPDR sel
664       - 8   # NDRPDR sel
665       - 9   # NDRPDR sel
666       - 10  # NDRPDR sel
667       - 11  # NDRPDR sel
668       - 12  # NDRPDR sel
669       - 13  # NDRPDR sel
670
671     plot-dpdk-throughput-latency-2n-skx:
672       # TODO: Add new data
673       csit-dpdk-perf-verify-1901-2n-skx:
674       - 2   # NDRPDR sel
675
676     # HoneyComb Functional
677     hc-func-results:
678       # TODO: Replace with new data
679       # csit-hc2vpp-verify-func-1901-ubuntu1604:
680       csit-hc2vpp-verify-func-1810-ubuntu1604:
681       - 3
682
683     # NSH SFC Functional
684     nsh-func-results:
685       # TODO: Replace with new data
686       # csit-nsh_sfc-verify-func-1901-ubuntu1604-virl:
687       csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
688       - 1
689
690     # DMM Functional
691     dmm-func-results:
692       # TODO: Replace with new data
693       # csit-dmm-functional-1901-ubuntu1604-virl:
694       csit-dmm-functional-1810-ubuntu1604-virl:
695       - 1
696
697   plot-layouts:
698
699     plot-soak-throughput:
700       titlefont:
701         size: 18
702       xaxis:
703         title: "<b>Test Cases [Index]</b>"
704         titlefont:
705           size: 16
706         autorange: True
707         fixedrange: False
708         gridcolor: "rgb(230, 230, 230)"
709         linecolor: "rgb(220, 220, 220)"
710         linewidth: 1
711         showgrid: True
712         showline: True
713         showticklabels: True
714         tickcolor: "rgb(220, 220, 220)"
715         tickmode: "linear"
716         tickfont:
717           size: 16
718         zeroline: False
719       yaxis:
720         title: "<b>Packet Throughput [Mpps]</b>"
721         titlefont:
722           size: 16
723         gridcolor: "rgb(230, 230, 230)"
724         hoverformat: ".4s"
725         tickformat: ".3s"
726         linecolor: "rgb(220, 220, 220)"
727         linewidth: 1
728         showgrid: True
729         showline: True
730         showticklabels: True
731         tickcolor: "rgb(220, 220, 220)"
732         tickfont:
733           size: 16
734         zeroline: False
735         range: [0,50]
736       autosize: False
737       margin:
738         t: 50
739         b: 0
740         l: 80
741         r: 20
742       showlegend: True
743       legend:
744         orientation: "h"
745         font:
746           size: 16
747       width: 700
748       height: 900
749
750     plot-service-density:
751       titlefont:
752         size: 18
753       xaxis:
754         side: "top"
755         autorange: True
756         fixedrange: False
757         showgrid: False
758         showline: False
759         showticklabels: False
760         ticks: ""
761         ticklen: 0
762         tickwidth: 0
763         zeroline: False
764       yaxis:
765         autorange: "reversed"
766         showgrid: False
767         showline: False
768         showticklabels: False
769         ticks: ""
770         ticklen: 0
771         tickwidth: 0
772         zeroline: False
773       autosize: True
774       showlegend: False
775       width: 700
776       height: 700
777
778     plot-cps:
779       titlefont:
780         size: 18
781       xaxis:
782         title: "<b>Test Cases [Index]</b>"
783         titlefont:
784           size: 16
785         autorange: True
786         fixedrange: False
787         gridcolor: "rgb(230, 230, 230)"
788         linecolor: "rgb(220, 220, 220)"
789         linewidth: 1
790         showgrid: True
791         showline: True
792         showticklabels: True
793         tickcolor: "rgb(220, 220, 220)"
794         tickmode: "linear"
795         tickfont:
796           size: 16
797         zeroline: False
798       yaxis:
799         title: "<b>Connections Per Second [cps]</b>"
800         titlefont:
801           size: 16
802         gridcolor: "rgb(230, 230, 230)"
803         hoverformat: ".4s"
804         linecolor: "rgb(220, 220, 220)"
805         linewidth: 1
806         rangemode: "tozero"
807         showgrid: True
808         showline: True
809         showticklabels: True
810         tickcolor: "rgb(220, 220, 220)"
811         tickformat: ".3s"
812         tickfont:
813           size: 16
814         zeroline: False
815       boxmode: "group"
816       boxgroupgap: 0.5
817       autosize: False
818       margin:
819         t: 50
820         b: 20
821         l: 80
822         r: 20
823       showlegend: True
824       legend:
825         orientation: "h"
826         font:
827           size: 16
828       width: 700
829       height: 800
830
831     plot-rps:
832       titlefont:
833         size: 18
834       xaxis:
835         title: "<b>Test Cases [Index]</b>"
836         titlefont:
837           size: 16
838         autorange: True
839         fixedrange: False
840         gridcolor: "rgb(230, 230, 230)"
841         linecolor: "rgb(220, 220, 220)"
842         linewidth: 1
843         showgrid: True
844         showline: True
845         showticklabels: True
846         tickcolor: "rgb(220, 220, 220)"
847         tickmode: "linear"
848         tickfont:
849           size: 16
850         zeroline: False
851       yaxis:
852         title: "<b>Requests Per Second [rps]</b>"
853         titlefont:
854           size: 16
855         gridcolor: "rgb(230, 230, 230)"
856         hoverformat: ".4s"
857         linecolor: "rgb(220, 220, 220)"
858         linewidth: 1
859         rangemode: "tozero"
860         showgrid: True
861         showline: True
862         showticklabels: True
863         tickcolor: "rgb(230, 230, 230)"
864         tickformat: ".3s"
865         tickfont:
866           size: 16
867         zeroline: False
868       boxmode: "group"
869       boxgroupgap: 0.5
870       autosize: False
871       margin:
872         t: 50
873         b: 20
874         l: 80
875         r: 20
876       showlegend: True
877       legend:
878         orientation: "h"
879         font:
880           size: 16
881       width: 700
882       height: 800
883
884     plot-throughput:
885       titlefont:
886         size: 18
887       xaxis:
888         title: "<b>Test Cases [Index]</b>"
889         titlefont:
890           size: 16
891         autorange: True
892         fixedrange: False
893         gridcolor: "rgb(230, 230, 230)"
894         linecolor: "rgb(220, 220, 220)"
895         linewidth: 1
896         showgrid: True
897         showline: True
898         showticklabels: True
899         tickcolor: "rgb(220, 220, 220)"
900         tickmode: "linear"
901         tickfont:
902           size: 16
903         zeroline: False
904       yaxis:
905         title: "<b>Packet Throughput [Mpps]</b>"
906         titlefont:
907           size: 16
908         gridcolor: "rgb(230, 230, 230)"
909         hoverformat: ".4s"
910         tickformat: ".3s"
911         linecolor: "rgb(220, 220, 220)"
912         linewidth: 1
913         showgrid: True
914         showline: True
915         showticklabels: True
916         tickcolor: "rgb(220, 220, 220)"
917         tickfont:
918           size: 16
919         zeroline: False
920         range: [0,50]
921       boxmode: "group"
922       boxgroupgap: 0.5
923       autosize: False
924       margin:
925         t: 50
926         b: 0
927         l: 80
928         r: 20
929       showlegend: True
930       legend:
931         orientation: "h"
932         font:
933           size: 16
934       width: 700
935       height: 900
936
937     plot-throughput-speedup-analysis:
938       titlefont:
939         size: 18
940       xaxis:
941         title: "<b>Number of Cores [Qty]</b>"
942         titlefont:
943           size: 16
944         autorange: True
945         fixedrange: False
946         gridcolor: "rgb(230, 230, 230)"
947         linecolor: "rgb(220, 220, 220)"
948         linewidth: 1
949         showgrid: True
950         showline: True
951         showticklabels: True
952         tickcolor: "rgb(238, 238, 238)"
953         tickmode: "linear"
954         tickfont:
955           size: 16
956         zeroline: False
957       yaxis:
958         title: "<b>Packet Throughput [Mpps]</b>"
959         titlefont:
960           size: 16
961         type: "linear"
962         gridcolor: "rgb(230, 230, 230)"
963         hoverformat: ".4s"
964         linecolor: "rgb(220, 220, 220)"
965         linewidth: 1
966         showgrid: True
967         showline: True
968         showticklabels: True
969         tickcolor: "rgb(220, 220, 220)"
970         tickformat: ".4s"
971         tickfont:
972           size: 16
973         zeroline: True
974         rangemode: "tozero"
975         range: [0,100]
976       legend:
977         orientation: "h"
978         font:
979           size: 16
980         xanchor: "left"
981         yanchor: "top"
982         x: 0
983         y: -0.2
984         bgcolor: "rgba(255, 255, 255, 0)"
985         bordercolor: "rgba(255, 255, 255, 0)"
986         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
987       autosize: False
988       margin:
989           't': 50
990           'b': 150
991           'l': 85
992           'r': 10
993       showlegend: True
994       width: 700
995       height: 700
996       hoverlabel:
997         namelength: -1
998       annotations: [
999         {
1000           text: "_ _          __          ...",
1001           align: "left",
1002           showarrow: False,
1003           xref: "paper",
1004           yref: "paper",
1005           xanchor: "left",
1006           yanchor: "top",
1007           x: 0,
1008           y: -0.13,
1009           font: {
1010             family: "Consolas, Courier New",
1011             size: 15
1012           },
1013         },
1014         {
1015           text: "    Perfect     Measured     Limit",
1016           align: "left",
1017           showarrow: False,
1018           xref: "paper",
1019           yref: "paper",
1020           xanchor: "left",
1021           yanchor: "top",
1022           x: 0,
1023           y: -0.15,
1024           font: {
1025             family: "Consolas, Courier New",
1026             size: 15
1027           },
1028         },
1029       ]
1030
1031     plot-latency:
1032       titlefont:
1033         size: 18
1034       xaxis:
1035         title: "<b>Direction</b>"
1036         titlefont:
1037           size: 16
1038         autorange: True
1039         fixedrange: False
1040         gridcolor: "rgb(230, 230, 230)"
1041         linecolor: "rgb(220, 220, 220)"
1042         linewidth: 1
1043         showgrid: True
1044         showline: True
1045         showticklabels: False
1046         tickcolor: "rgb(220, 220, 220)"
1047         tickmode: "linear"
1048         tickfont:
1049           size: 16
1050         zeroline: False
1051       yaxis:
1052         title: "<b>Packet Latency [uSec]</b>"
1053         titlefont:
1054           size: 16
1055         type: "linear"
1056         gridcolor: "rgb(230, 230, 230)"
1057         hoverformat: ".4s"
1058         linecolor: "rgb(220, 220, 220)"
1059         linewidth: 1
1060         showgrid: True
1061         showline: True
1062         showticklabels: True
1063         tickcolor: "rgb(220, 220, 220)"
1064         tickformat: ".4s"
1065         tickfont:
1066           size: 16
1067         zeroline: True
1068         rangemode: "tozero"
1069       legend:
1070         orientation: "h"
1071         font:
1072           size: 16
1073         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
1074       autosize: False
1075       margin:
1076           't': 50
1077           'b': 150
1078           'l': 80
1079           'r': 10
1080       showlegend: True
1081       width: 700
1082       height: 700
1083       hoverlabel:
1084         namelength: -1
1085
1086 -
1087   type: "static"
1088   src-path: "{DIR[RST]}"
1089   dst-path: "{DIR[WORKING,SRC]}"
1090
1091 -
1092   type: "input"
1093   general:
1094     file-name: "robot-plugin.zip"
1095     file-format: ".zip"
1096     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
1097     extract: "robot-plugin/output.xml"
1098
1099   builds:
1100
1101     intel-dnv-vpp-release-1810:
1102     - 1
1103
1104     csit-vpp-perf-verify-1807-3n-hsw:
1105     - 8   # MRR full
1106     - 9   # MRR sel
1107     - 21  # MRR sel
1108     - 31  # MRR sel
1109     - 33  # MRR sel
1110     - 36  # MRR sel
1111     - 41  # MRR sel
1112     - 42  # MRR sel
1113     - 48  # MRR sel
1114     - 11  # NDRPDR full 1
1115     - 22  # NDRPDR full 2
1116     - 45  # NDRPDR full 3
1117     - 46  # NDRPDR full 4
1118     - 15  # NDRPDR sel
1119     - 16  # NDRPDR sel
1120     - 19  # NDRPDR sel
1121     - 18  # NDRPDR sel
1122     - 20  # NDRPDR sel
1123     - 38  # NDRPDR sel
1124     - 40  # NDRPDR sel
1125     - 44  # NDRPDR sel
1126     - 47  # NDRPDR sel
1127     - 24  # WRK
1128     - 25  # WRK
1129     - 23  # WRK
1130     - 26  # WRK
1131     - 27  # WRK
1132     - 28  # WRK
1133     - 29  # WRK
1134     - 30  # WRK
1135     - 32  # WRK
1136     - 35  # WRK
1137     csit-vpp-perf-verify-1810-3n-hsw:
1138     - 9   # MRR sel
1139     - 20  # NDRPDR full
1140     - 21  # NDRPDR full
1141     - 22  # NDRPDR full
1142     - 27  # NDRPDR full
1143     - 8   # NDRPDR sel
1144     - 12  # NDRPDR sel
1145     - 14  # NDRPDR sel
1146     - 18  # NDRPDR sel
1147     - 23  # NDRPDR sel
1148     - 25  # NDRPDR sel
1149     - 38  # NDRPDR sel
1150     - 39  # NDRPDR sel
1151     - 41  # NDRPDR sel
1152     - 42  # NDRPDR sel
1153     - 28  # WRK
1154     - 29  # WRK
1155     - 30  # WRK
1156     - 31  # WRK
1157     - 32  # WRK
1158     - 33  # WRK
1159     - 34  # WRK
1160     - 35  # WRK
1161     - 36  # WRK
1162     - 37  # WRK
1163     csit-vpp-perf-verify-1901-3n-hsw:
1164     - 35  # MRR sel
1165     - 10  # NDRPDR sel
1166     - 19  # NDRPDR sel
1167     csit-vpp-perf-verify-1807-3n-skx:
1168     - 31  # MRR full
1169     - 28  # MRR sel
1170     - 32  # MRR sel
1171     - 36  # MRR sel
1172     - 42  # MRR sel
1173     - 47  # MRR sel
1174     - 48  # MRR sel
1175     - 51  # MRR sel
1176     - 52  # MRR sel
1177     - 53  # MRR sel
1178     - 54  # MRR sel
1179     - 40  # NDRPDR full 1
1180     - 41  # NDRPDR full 2
1181     - 33  # NDRPDR sel
1182     - 35  # NDRPDR sel
1183     - 37  # NDRPDR sel
1184     - 38  # NDRPDR sel
1185     - 39  # NDRPDR sel
1186     - 43  # NDRPDR sel
1187     - 44  # NDRPDR sel
1188     - 49  # NDRPDR sel
1189     - 50  # NDRPDR sel
1190     - 56  # NDRPDR sel
1191     csit-vpp-perf-verify-1810-3n-skx:
1192     - 9   # MRR sel
1193     - 11  # MRR sel
1194     - 12  # MRR sel
1195     - 13  # MRR sel
1196     - 23  # NDRPDR full
1197     - 24  # NDRPDR full
1198     - 10  # NDRPDR sel
1199     - 14  # NDRPDR sel
1200     - 15  # NDRPDR sel
1201     - 16  # NDRPDR sel
1202     - 17  # NDRPDR sel
1203     - 19  # NDRPDR sel
1204     - 20  # NDRPDR sel
1205     - 21  # NDRPDR sel
1206     - 22  # NDRPDR sel
1207     - 25  # NDRPDR sel
1208     csit-vpp-perf-verify-1901-3n-skx:
1209     - 32  # MRR sel
1210     - 28  # NDRPDR sel
1211     - 18  # NDRPDR sel
1212     - 19  # NDRPDR sel
1213     - 20  # NDRPDR sel
1214     csit-vpp-perf-verify-1807-2n-skx:
1215     - 27  # MRR full
1216     - 31  # MRR sel
1217     - 33  # MRR sel
1218     - 37  # MRR sel
1219     - 38  # MRR sel
1220     - 41  # MRR sel
1221     - 43  # MRR sel
1222     - 44  # MRR sel
1223     - 45  # MRR sel
1224     - 46  # MRR sel
1225     - 47  # MRR sel
1226     - 32  # NDRPDR full
1227     - 26  # NDRPDR sel
1228     - 28  # NDRPDR sel
1229     - 29  # NDRPDR sel
1230     - 30  # NDRPDR sel
1231     - 34  # NDRPDR sel
1232     - 35  # NDRPDR sel
1233     - 36  # NDRPDR sel
1234     - 39  # NDRPDR sel
1235     - 40  # NDRPDR sel
1236     - 42  # NDRPDR sel
1237     csit-vpp-perf-verify-1810-2n-skx:
1238     - 8   # MRR sel
1239     - 10  # MRR sel
1240     - 11  # MRR sel
1241     - 12  # MRR sel
1242     - 25  # NDRPDR full
1243     - 26  # NDRPDR full
1244     - 9   # NDRPDR sel
1245     - 13  # NDRPDR sel
1246     - 14  # NDRPDR sel
1247     - 19  # NDRPDR sel
1248     - 20  # NDRPDR sel
1249     - 21  # NDRPDR sel
1250     - 22  # NDRPDR sel
1251     - 23  # NDRPDR sel
1252     - 24  # NDRPDR sel
1253     - 27  # NDRPDR sel
1254     csit-vpp-perf-verify-1901-2n-skx:
1255     - 22  # MRR sel
1256     - 5   # NDRPDR sel
1257     - 10  # NDRPDR sel fails
1258     - 12  # NDRPDR sel
1259     - 13  # NDRPDR sel
1260     - 16  # NDRPDR sel fails
1261     csit-vpp-perf-verify-master-2n-skx:
1262     - 248  # SOAK sel
1263     - 251  # SOAK sel
1264     - 237  # VSC
1265     - 226  # CSC
1266     - 231  # CSC
1267     - 233  # CSC
1268     - 243  # VSC
1269     - 247  # CSP
1270     csit-ligato-perf-verify-1810-3n-hsw:
1271     - 5   # full
1272     - 6   # sel
1273     - 8   # sel
1274     - 9   # sel
1275     - 11  # sel
1276     - 12  # sel
1277     - 13  # sel
1278     - 14  # sel
1279     - 16  # sel
1280     - 17  # sel
1281     - 18  # sel
1282     csit-dpdk-perf-verify-1807-3n-hsw:
1283     - 11
1284     - 12  # full
1285     - 14
1286     - 15
1287     - 16
1288     - 17
1289     - 20
1290     - 21
1291     - 22
1292     - 23
1293     csit-dpdk-perf-verify-1810-3n-hsw:
1294     - 1   # NDRPDR sel
1295     - 2   # NDRPDR sel
1296     - 3   # NDRPDR sel
1297     - 4   # NDRPDR sel
1298     - 5   # NDRPDR sel
1299     - 6   # NDRPDR sel
1300     - 7   # NDRPDR sel
1301     - 8   # NDRPDR sel
1302     - 9   # NDRPDR sel
1303     - 10  # NDRPDR sel
1304     csit-dpdk-perf-verify-1901-3n-hsw:
1305     - 3   # NDRPDR sel
1306     - 4   # NDRPDR sel
1307     - 6   # NDRPDR sel
1308     csit-dpdk-perf-verify-1807-3n-skx:
1309     - 1   # NDRPDR sel
1310     - 2   # NDRPDR sel
1311     - 3   # NDRPDR sel
1312     - 6   # NDRPDR sel
1313     - 7   # NDRPDR sel
1314     - 8   # NDRPDR sel
1315     - 9   # NDRPDR sel
1316     - 10  # NDRPDR sel
1317     - 11  # NDRPDR sel
1318     - 12  # NDRPDR sel
1319     csit-dpdk-perf-verify-1810-3n-skx:
1320     - 3   # NDRPDR sel
1321     - 4   # NDRPDR sel
1322     - 6   # NDRPDR sel
1323     - 7   # NDRPDR sel
1324     - 8   # NDRPDR sel
1325     - 9   # NDRPDR sel
1326     - 10  # NDRPDR sel
1327     - 11  # NDRPDR sel
1328     - 12  # NDRPDR sel
1329     - 13  # NDRPDR sel
1330 #    csit-dpdk-perf-verify-1810-2n-skx:
1331 #    - 3   # NDRPDR sel
1332 #    - 4   # NDRPDR sel
1333 #    - 5   # NDRPDR sel
1334 #    - 7   # NDRPDR sel
1335 #    - 8   # NDRPDR sel
1336 #    - 9   # NDRPDR sel
1337 #    - 10  # NDRPDR sel
1338 #    - 11  # NDRPDR sel
1339 #    - 12  # NDRPDR sel
1340 #    - 13  # NDRPDR sel
1341     csit-dpdk-perf-verify-1901-2n-skx:
1342     - 2   # NDRPDR sel
1343     csit-vpp-functional-1901-ubuntu1604-virl:
1344     - 48
1345     csit-vpp-functional-1901-centos7-virl:
1346     - 50
1347     csit-vpp-device-1901-ubuntu1804-1n-skx:
1348     - 49
1349     csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
1350     - 1
1351     csit-dmm-functional-1810-ubuntu1604-virl:
1352     - 1
1353     csit-hc2vpp-verify-func-1810-ubuntu1604:
1354     - 3
1355
1356 -
1357   type: "output"
1358   output: "report"
1359   format:
1360     html:
1361     - full
1362 #    pdf:
1363 #    - minimal
1364
1365 ################################################################################
1366 ###                               T A B L E S                                ###
1367 ################################################################################
1368
1369
1370 # VPP Compare NICs 3n-hsw 1t1c ndr
1371 -
1372   type: "table"
1373   title: "VPP Compare NICs 3n-hsw 1t1c ndr"
1374   algorithm: "table_nics_comparison"
1375   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-nics-ndr"
1376   reference:
1377     title: "Intel-x520"
1378     nic: "NIC_Intel-X520-DA2"
1379   compare:
1380     title: "Intel-x710"
1381     nic: "NIC_Intel-X710"
1382   data: "vpp-nic-comparison-3n-hsw"
1383   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1384   filter: "'1T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1385   parameters:
1386   - "name"
1387   - "parent"
1388   - "throughput"
1389   - "tags"
1390
1391 # VPP Compare NICs 3n-hsw 2t2c ndr
1392 -
1393   type: "table"
1394   title: "VPP Compare NICs 3n-hsw 2t2c ndr"
1395   algorithm: "table_nics_comparison"
1396   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-nics-ndr"
1397   reference:
1398     title: "Intel-x520"
1399     nic: "NIC_Intel-X520-DA2"
1400   compare:
1401     title: "Intel-x710"
1402     nic: "NIC_Intel-X710"
1403   data: "vpp-nic-comparison-3n-hsw"
1404   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1405   filter: "'2T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1406   parameters:
1407   - "name"
1408   - "parent"
1409   - "throughput"
1410   - "tags"
1411
1412 # VPP Compare NICs 3n-hsw 1t1c pdr
1413 -
1414   type: "table"
1415   title: "VPP Compare NICs 3n-hsw 1t1c pdr"
1416   algorithm: "table_nics_comparison"
1417   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-nics-pdr"
1418   reference:
1419     title: "Intel-x520"
1420     nic: "NIC_Intel-X520-DA2"
1421   compare:
1422     title: "Intel-x710"
1423     nic: "NIC_Intel-X710"
1424   data: "vpp-nic-comparison-3n-hsw"
1425   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1426   filter: "'1T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1427   parameters:
1428   - "name"
1429   - "parent"
1430   - "throughput"
1431   - "tags"
1432
1433 # VPP Compare NICs 3n-hsw 2t2c pdr
1434 -
1435   type: "table"
1436   title: "VPP Compare NICs 3n-hsw 2t2c pdr"
1437   algorithm: "table_nics_comparison"
1438   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-nics-pdr"
1439   reference:
1440     title: "Intel-x520"
1441     nic: "NIC_Intel-X520-DA2"
1442   compare:
1443     title: "Intel-x710"
1444     nic: "NIC_Intel-X710"
1445   data: "vpp-nic-comparison-3n-hsw"
1446   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1447   filter: "'2T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1448   parameters:
1449   - "name"
1450   - "parent"
1451   - "throughput"
1452   - "tags"
1453
1454 # VPP Compare NICs 3n-hsw 1t1c mrr
1455 -
1456   type: "table"
1457   title: "VPP Compare NICs 3n-hsw 1t1c mrr"
1458   algorithm: "table_nics_comparison"
1459   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-nics-mrr"
1460   reference:
1461     title: "Intel-x520"
1462     nic: "NIC_Intel-X520-DA2"
1463   compare:
1464     title: "Intel-x710"
1465     nic: "NIC_Intel-X710"
1466   data: "vpp-nic-comparison-3n-hsw-mrr"
1467   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1468   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1469   parameters:
1470   - "name"
1471   - "parent"
1472   - "result"
1473   - "tags"
1474
1475 # VPP Compare NICs 3n-hsw 2t2c mrr
1476 -
1477   type: "table"
1478   title: "VPP Compare NICs 3n-hsw 2t2c mrr"
1479   algorithm: "table_nics_comparison"
1480   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-nics-mrr"
1481   reference:
1482     title: "Intel-x520"
1483     nic: "NIC_Intel-X520-DA2"
1484   compare:
1485     title: "Intel-x710"
1486     nic: "NIC_Intel-X710"
1487   data: "vpp-nic-comparison-3n-hsw-mrr"
1488   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1489   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1490   parameters:
1491   - "name"
1492   - "parent"
1493   - "result"
1494   - "tags"
1495
1496 # VPP Compare NICs 3n-hsw 4t4c mrr
1497 -
1498   type: "table"
1499   title: "VPP Compare NICs 3n-hsw 4t4c mrr"
1500   algorithm: "table_nics_comparison"
1501   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-nics-mrr"
1502   reference:
1503     title: "Intel-x520"
1504     nic: "NIC_Intel-X520-DA2"
1505   compare:
1506     title: "Intel-x710"
1507     nic: "NIC_Intel-X710"
1508   data: "vpp-nic-comparison-3n-hsw-mrr"
1509   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1510   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1511   parameters:
1512   - "name"
1513   - "parent"
1514   - "result"
1515   - "tags"
1516
1517 # VPP Compare NICs 3n-skx 2t1c ndr
1518 -
1519   type: "table"
1520   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1521   algorithm: "table_nics_comparison"
1522   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1523   reference:
1524     title: "Intel-x710"
1525     nic: "NIC_Intel-X710"
1526   compare:
1527     title: "Intel-xxv710"
1528     nic: "NIC_Intel-XXV710"
1529   data: "vpp-nic-comparison-3n-skx"
1530   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1531   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1532   parameters:
1533   - "name"
1534   - "parent"
1535   - "throughput"
1536   - "tags"
1537
1538 # VPP Compare NICs 3n-skx 4t2c ndr
1539 -
1540   type: "table"
1541   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1542   algorithm: "table_nics_comparison"
1543   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1544   reference:
1545     title: "Intel-x710"
1546     nic: "NIC_Intel-X710"
1547   compare:
1548     title: "Intel-xxv710"
1549     nic: "NIC_Intel-XXV710"
1550   data: "vpp-nic-comparison-3n-skx"
1551   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1552   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1553   parameters:
1554   - "name"
1555   - "parent"
1556   - "throughput"
1557   - "tags"
1558
1559 # VPP Compare NICs 3n-skx 2t1c pdr
1560 -
1561   type: "table"
1562   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1563   algorithm: "table_nics_comparison"
1564   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1565   reference:
1566     title: "Intel-x710"
1567     nic: "NIC_Intel-X710"
1568   compare:
1569     title: "Intel-xxv710"
1570     nic: "NIC_Intel-XXV710"
1571   data: "vpp-nic-comparison-3n-skx"
1572   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1573   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1574   parameters:
1575   - "name"
1576   - "parent"
1577   - "throughput"
1578   - "tags"
1579
1580  # VPP Compare NICs 3n-skx 4t2c pdr
1581 -
1582   type: "table"
1583   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1584   algorithm: "table_nics_comparison"
1585   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1586   reference:
1587     title: "Intel-x710"
1588     nic: "NIC_Intel-X710"
1589   compare:
1590     title: "Intel-xxv710"
1591     nic: "NIC_Intel-XXV710"
1592   data: "vpp-nic-comparison-3n-skx"
1593   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1594   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1595   parameters:
1596   - "name"
1597   - "parent"
1598   - "throughput"
1599   - "tags"
1600
1601 # VPP Compare NICs 3n-skx 2t1c mrr
1602 -
1603   type: "table"
1604   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1605   algorithm: "table_nics_comparison"
1606   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1607   reference:
1608     title: "Intel-x710"
1609     nic: "NIC_Intel-X710"
1610   compare:
1611     title: "Intel-xxv710"
1612     nic: "NIC_Intel-XXV710"
1613   data: "vpp-nic-comparison-3n-skx-mrr"
1614   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1615   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1616   parameters:
1617   - "name"
1618   - "parent"
1619   - "result"
1620   - "tags"
1621
1622 # VPP Compare NICs 3n-skx 4t2c mrr
1623 -
1624   type: "table"
1625   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1626   algorithm: "table_nics_comparison"
1627   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1628   reference:
1629     title: "Intel-x710"
1630     nic: "NIC_Intel-X710"
1631   compare:
1632     title: "Intel-xxv710"
1633     nic: "NIC_Intel-XXV710"
1634   data: "vpp-nic-comparison-3n-skx-mrr"
1635   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1636   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1637   parameters:
1638   - "name"
1639   - "parent"
1640   - "result"
1641   - "tags"
1642
1643  # VPP Compare NICs 3n-skx 8t4c mrr
1644 -
1645   type: "table"
1646   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1647   algorithm: "table_nics_comparison"
1648   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1649   reference:
1650     title: "Intel-x710"
1651     nic: "NIC_Intel-X710"
1652   compare:
1653     title: "Intel-xxv710"
1654     nic: "NIC_Intel-XXV710"
1655   data: "vpp-nic-comparison-3n-skx-mrr"
1656   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1657   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1658   parameters:
1659   - "name"
1660   - "parent"
1661   - "result"
1662   - "tags"
1663
1664 # VPP Compare NICs 2n-skx 2t1c ndr
1665 -
1666   type: "table"
1667   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1668   algorithm: "table_nics_comparison"
1669   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1670   reference:
1671     title: "Intel-x710"
1672     nic: "NIC_Intel-X710"
1673   compare:
1674     title: "Intel-xxv710"
1675     nic: "NIC_Intel-XXV710"
1676   data: "vpp-nic-comparison-2n-skx"
1677   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1678   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1679   parameters:
1680   - "name"
1681   - "parent"
1682   - "throughput"
1683   - "tags"
1684
1685 # VPP Compare NICs 2n-skx 4t2c ndr
1686 -
1687   type: "table"
1688   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1689   algorithm: "table_nics_comparison"
1690   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1691   reference:
1692     title: "Intel-x710"
1693     nic: "NIC_Intel-X710"
1694   compare:
1695     title: "Intel-xxv710"
1696     nic: "NIC_Intel-XXV710"
1697   data: "vpp-nic-comparison-2n-skx"
1698   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1699   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1700   parameters:
1701   - "name"
1702   - "parent"
1703   - "throughput"
1704   - "tags"
1705
1706  # VPP Compare NICs 2n-skx 2t1c pdr
1707 -
1708   type: "table"
1709   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1710   algorithm: "table_nics_comparison"
1711   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1712   reference:
1713     title: "Intel-x710"
1714     nic: "NIC_Intel-X710"
1715   compare:
1716     title: "Intel-xxv710"
1717     nic: "NIC_Intel-XXV710"
1718   data: "vpp-nic-comparison-2n-skx"
1719   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1720   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1721   parameters:
1722   - "name"
1723   - "parent"
1724   - "throughput"
1725   - "tags"
1726
1727 # VPP Compare NICs 2n-skx 4t2c pdr
1728 -
1729   type: "table"
1730   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1731   algorithm: "table_nics_comparison"
1732   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1733   reference:
1734     title: "Intel-x710"
1735     nic: "NIC_Intel-X710"
1736   compare:
1737     title: "Intel-xxv710"
1738     nic: "NIC_Intel-XXV710"
1739   data: "vpp-nic-comparison-2n-skx"
1740   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1741   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1742   parameters:
1743   - "name"
1744   - "parent"
1745   - "throughput"
1746   - "tags"
1747
1748 # VPP Compare NICs 2n-skx 2t1c mrr
1749 -
1750   type: "table"
1751   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1752   algorithm: "table_nics_comparison"
1753   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1754   reference:
1755     title: "Intel-x710"
1756     nic: "NIC_Intel-X710"
1757   compare:
1758     title: "Intel-xxv710"
1759     nic: "NIC_Intel-XXV710"
1760   data: "vpp-nic-comparison-2n-skx-mrr"
1761   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1762   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1763   parameters:
1764   - "name"
1765   - "parent"
1766   - "result"
1767   - "tags"
1768
1769 # VPP Compare NICs 2n-skx 4t2c mrr
1770 -
1771   type: "table"
1772   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1773   algorithm: "table_nics_comparison"
1774   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1775   reference:
1776     title: "Intel-x710"
1777     nic: "NIC_Intel-X710"
1778   compare:
1779     title: "Intel-xxv710"
1780     nic: "NIC_Intel-XXV710"
1781   data: "vpp-nic-comparison-2n-skx-mrr"
1782   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1783   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1784   parameters:
1785   - "name"
1786   - "parent"
1787   - "result"
1788   - "tags"
1789
1790 # VPP Compare NICs 2n-skx 8t4c mrr
1791 -
1792   type: "table"
1793   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1794   algorithm: "table_nics_comparison"
1795   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1796   reference:
1797     title: "Intel-x710"
1798     nic: "NIC_Intel-X710"
1799   compare:
1800     title: "Intel-xxv710"
1801     nic: "NIC_Intel-XXV710"
1802   data: "vpp-nic-comparison-2n-skx-mrr"
1803   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1804   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1805   parameters:
1806   - "name"
1807   - "parent"
1808   - "result"
1809   - "tags"
1810
1811 ################################################################################
1812 # VPP
1813
1814 # VPP Performance Changes 3n-hsw 1t1c pdr
1815 -
1816   type: "table"
1817   title: "VPP Performance Changes 3n-hsw 1t1c pdr"
1818   algorithm: "table_performance_comparison"
1819   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-pdr"
1820   history:
1821     -
1822       title: "rls1807"
1823       data:
1824         csit-vpp-perf-verify-1807-3n-hsw:
1825         - 11  # NDRPDR full 1
1826         - 22  # NDRPDR full 2
1827         - 45  # NDRPDR full 3
1828         - 46  # NDRPDR full 4
1829         - 15  # NDRPDR sel
1830         - 16  # NDRPDR sel
1831         - 19  # NDRPDR sel
1832         - 18  # NDRPDR sel
1833         - 20  # NDRPDR sel
1834         - 38  # NDRPDR sel
1835         - 40  # NDRPDR sel
1836         - 44  # NDRPDR sel
1837   reference:
1838     title: "rls1810"
1839     data:
1840       csit-vpp-perf-verify-1810-3n-hsw:
1841       - 8   # NDRPDR sel
1842       - 12  # NDRPDR sel
1843       - 14  # NDRPDR sel
1844       - 18  # NDRPDR sel
1845       - 23  # NDRPDR sel
1846       - 25  # NDRPDR sel
1847       - 38  # NDRPDR sel
1848       - 39  # NDRPDR sel
1849       - 41  # NDRPDR sel
1850       - 42  # NDRPDR sel
1851   compare:
1852     title: "rls1901"
1853     data:
1854       # TODO: Add new data:
1855       csit-vpp-perf-verify-1901-3n-hsw:
1856       - 10  # NDRPDR sel
1857       - 19  # NDRPDR sel
1858   data: "vpp-performance-changes-3n-hsw"
1859   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1860   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1861   parameters:
1862   - "name"
1863   - "parent"
1864   - "throughput"
1865
1866 # VPP Performance Changes 3n-hsw 2t2c pdr
1867 -
1868   type: "table"
1869   title: "VPP Performance Changes 3n-hsw 2t2c pdr"
1870   algorithm: "table_performance_comparison"
1871   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-pdr"
1872   history:
1873     -
1874       title: "rls1807"
1875       data:
1876         csit-vpp-perf-verify-1807-3n-hsw:
1877         - 11  # NDRPDR full 1
1878         - 22  # NDRPDR full 2
1879         - 45  # NDRPDR full 3
1880         - 46  # NDRPDR full 4
1881         - 15  # NDRPDR sel
1882         - 16  # NDRPDR sel
1883         - 19  # NDRPDR sel
1884         - 18  # NDRPDR sel
1885         - 20  # NDRPDR sel
1886         - 38  # NDRPDR sel
1887         - 40  # NDRPDR sel
1888         - 44  # NDRPDR sel
1889         - 47  # NDRPDR sel
1890   reference:
1891     title: "rls1810"
1892     data:
1893       csit-vpp-perf-verify-1810-3n-hsw:
1894       - 8   # NDRPDR sel
1895       - 12  # NDRPDR sel
1896       - 14  # NDRPDR sel
1897       - 18  # NDRPDR sel
1898       - 23  # NDRPDR sel
1899       - 25  # NDRPDR sel
1900       - 38  # NDRPDR sel
1901       - 39  # NDRPDR sel
1902       - 41  # NDRPDR sel
1903       - 42  # NDRPDR sel
1904   compare:
1905     title: "rls1901"
1906     data:
1907       # TODO: Add new data:
1908       csit-vpp-perf-verify-1901-3n-hsw:
1909       - 10  # NDRPDR sel
1910       - 19  # NDRPDR sel
1911   data: "vpp-performance-changes-3n-hsw"
1912   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1913   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1914   parameters:
1915   - "name"
1916   - "parent"
1917   - "throughput"
1918
1919 # VPP Performance Changes 3n-hsw 1t1c ndr
1920 -
1921   type: "table"
1922   title: "VPP Performance Changes 3n-hsw 1t1c ndr"
1923   algorithm: "table_performance_comparison"
1924   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-ndr"
1925   history:
1926     -
1927       title: "rls1807"
1928       data:
1929         csit-vpp-perf-verify-1807-3n-hsw:
1930         - 11  # NDRPDR full 1
1931         - 22  # NDRPDR full 2
1932         - 45  # NDRPDR full 3
1933         - 46  # NDRPDR full 4
1934         - 15  # NDRPDR sel
1935         - 16  # NDRPDR sel
1936         - 19  # NDRPDR sel
1937         - 18  # NDRPDR sel
1938         - 20  # NDRPDR sel
1939         - 38  # NDRPDR sel
1940         - 40  # NDRPDR sel
1941         - 44  # NDRPDR sel
1942         - 47  # NDRPDR sel
1943   reference:
1944     title: "rls1810"
1945     data:
1946       csit-vpp-perf-verify-1810-3n-hsw:
1947       - 8   # NDRPDR sel
1948       - 12  # NDRPDR sel
1949       - 14  # NDRPDR sel
1950       - 18  # NDRPDR sel
1951       - 23  # NDRPDR sel
1952       - 25  # NDRPDR sel
1953       - 38  # NDRPDR sel
1954       - 39  # NDRPDR sel
1955       - 41  # NDRPDR sel
1956       - 42  # NDRPDR sel
1957   compare:
1958     title: "rls1901"
1959     data:
1960       # TODO: Add new data:
1961       csit-vpp-perf-verify-1901-3n-hsw:
1962       - 10  # NDRPDR sel
1963       - 19  # NDRPDR sel
1964   data: "vpp-performance-changes-3n-hsw"
1965   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1966   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1967   parameters:
1968   - "name"
1969   - "parent"
1970   - "throughput"
1971
1972 # VPP Performance Changes 3n-hsw 2t2c ndr
1973 -
1974   type: "table"
1975   title: "VPP Performance Changes 3n-hsw 2t2c ndr"
1976   algorithm: "table_performance_comparison"
1977   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-ndr"
1978   history:
1979     -
1980       title: "rls1807"
1981       data:
1982         csit-vpp-perf-verify-1807-3n-hsw:
1983         - 11  # NDRPDR full 1
1984         - 22  # NDRPDR full 2
1985         - 45  # NDRPDR full 3
1986         - 46  # NDRPDR full 4
1987         - 15  # NDRPDR sel
1988         - 16  # NDRPDR sel
1989         - 19  # NDRPDR sel
1990         - 18  # NDRPDR sel
1991         - 20  # NDRPDR sel
1992         - 38  # NDRPDR sel
1993         - 40  # NDRPDR sel
1994         - 44  # NDRPDR sel
1995         - 47  # NDRPDR sel
1996   reference:
1997     title: "rls1810"
1998     data:
1999       csit-vpp-perf-verify-1810-3n-hsw:
2000       - 8   # NDRPDR sel
2001       - 12  # NDRPDR sel
2002       - 14  # NDRPDR sel
2003       - 18  # NDRPDR sel
2004       - 23  # NDRPDR sel
2005       - 25  # NDRPDR sel
2006       - 38  # NDRPDR sel
2007       - 39  # NDRPDR sel
2008       - 41  # NDRPDR sel
2009       - 42  # NDRPDR sel
2010   compare:
2011     title: "rls1901"
2012     data:
2013       # TODO: Add new data:
2014       csit-vpp-perf-verify-1901-3n-hsw:
2015       - 10  # NDRPDR sel
2016       - 19  # NDRPDR sel
2017   data: "vpp-performance-changes-3n-hsw"
2018   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2019   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2020   parameters:
2021   - "name"
2022   - "parent"
2023   - "throughput"
2024
2025 # VPP Performance Changes 3n-skx 2t1c pdr
2026 -
2027   type: "table"
2028   title: "VPP Performance Changes 3n-skx 2t1c pdr"
2029   algorithm: "table_performance_comparison"
2030   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
2031   history:
2032     -
2033       title: "rls1807"
2034       data:
2035         csit-vpp-perf-verify-1807-3n-skx:
2036         - 33  # NDRPDR sel
2037         - 35  # NDRPDR sel
2038         - 37  # NDRPDR sel
2039         - 38  # NDRPDR sel
2040         - 39  # NDRPDR sel
2041         - 43  # NDRPDR sel
2042         - 44  # NDRPDR sel
2043         - 49  # NDRPDR sel
2044         - 50  # NDRPDR sel
2045         - 56  # NDRPDR sel
2046   reference:
2047     title: "rls1810"
2048     data:
2049       csit-vpp-perf-verify-1810-3n-skx:
2050       - 10  # NDRPDR sel
2051       - 14  # NDRPDR sel
2052       - 15  # NDRPDR sel
2053       - 16  # NDRPDR sel
2054       - 17  # NDRPDR sel
2055       - 19  # NDRPDR sel
2056       - 20  # NDRPDR sel
2057       - 21  # NDRPDR sel
2058       - 22  # NDRPDR sel
2059       - 25  # NDRPDR sel
2060   compare:
2061     title: "rls1901"
2062     data:
2063       # TODO: Add new data:
2064       csit-vpp-perf-verify-1901-3n-skx:
2065       - 28  # NDRPDR sel
2066       - 18  # NDRPDR sel
2067       - 19  # NDRPDR sel
2068       - 20  # NDRPDR sel
2069   data: "vpp-performance-changes-3n-skx"
2070   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2071   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2072   parameters:
2073   - "name"
2074   - "parent"
2075   - "throughput"
2076
2077 # VPP Performance Changes 3n-skx 4t2c pdr
2078 -
2079   type: "table"
2080   title: "VPP Performance Changes 3n-skx 4t2c pdr"
2081   algorithm: "table_performance_comparison"
2082   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
2083   history:
2084     -
2085       title: "rls1807"
2086       data:
2087         csit-vpp-perf-verify-1807-3n-skx:
2088         - 33  # NDRPDR sel
2089         - 35  # NDRPDR sel
2090         - 37  # NDRPDR sel
2091         - 38  # NDRPDR sel
2092         - 39  # NDRPDR sel
2093         - 43  # NDRPDR sel
2094         - 44  # NDRPDR sel
2095         - 49  # NDRPDR sel
2096         - 50  # NDRPDR sel
2097         - 56  # NDRPDR sel
2098   reference:
2099     title: "rls1810"
2100     data:
2101       csit-vpp-perf-verify-1810-3n-skx:
2102       - 10  # NDRPDR sel
2103       - 14  # NDRPDR sel
2104       - 15  # NDRPDR sel
2105       - 16  # NDRPDR sel
2106       - 17  # NDRPDR sel
2107       - 19  # NDRPDR sel
2108       - 20  # NDRPDR sel
2109       - 21  # NDRPDR sel
2110       - 22  # NDRPDR sel
2111       - 25  # NDRPDR sel
2112   compare:
2113     title: "rls1901"
2114     data:
2115       # TODO: Add new data:
2116       csit-vpp-perf-verify-1901-3n-skx:
2117       - 28  # NDRPDR sel
2118       - 18  # NDRPDR sel
2119       - 19  # NDRPDR sel
2120       - 20  # NDRPDR sel
2121   data: "vpp-performance-changes-3n-skx"
2122   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2123   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2124   parameters:
2125   - "name"
2126   - "parent"
2127   - "throughput"
2128
2129 # VPP Performance Changes 3n-skx 2t1c ndr
2130 -
2131   type: "table"
2132   title: "VPP Performance Changes 3n-skx 2t1c ndr"
2133   algorithm: "table_performance_comparison"
2134   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
2135   history:
2136     -
2137       title: "rls1807"
2138       data:
2139         csit-vpp-perf-verify-1807-3n-skx:
2140         - 33  # NDRPDR sel
2141         - 35  # NDRPDR sel
2142         - 37  # NDRPDR sel
2143         - 38  # NDRPDR sel
2144         - 39  # NDRPDR sel
2145         - 43  # NDRPDR sel
2146         - 44  # NDRPDR sel
2147         - 49  # NDRPDR sel
2148         - 50  # NDRPDR sel
2149         - 56  # NDRPDR sel
2150   reference:
2151     title: "rls1810"
2152     data:
2153       csit-vpp-perf-verify-1810-3n-skx:
2154       - 10  # NDRPDR sel
2155       - 14  # NDRPDR sel
2156       - 15  # NDRPDR sel
2157       - 16  # NDRPDR sel
2158       - 17  # NDRPDR sel
2159       - 19  # NDRPDR sel
2160       - 20  # NDRPDR sel
2161       - 21  # NDRPDR sel
2162       - 22  # NDRPDR sel
2163       - 25  # NDRPDR sel
2164   compare:
2165     title: "rls1901"
2166     data:
2167       # TODO: Add new data:
2168       csit-vpp-perf-verify-1901-3n-skx:
2169       - 28  # NDRPDR sel
2170       - 18  # NDRPDR sel
2171       - 19  # NDRPDR sel
2172       - 20  # NDRPDR sel
2173   data: "vpp-performance-changes-3n-skx"
2174   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2175   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2176   parameters:
2177   - "name"
2178   - "parent"
2179   - "throughput"
2180
2181 # VPP Performance Changes 3n-skx 4t2c ndr
2182 -
2183   type: "table"
2184   title: "VPP Performance Changes 3n-skx 4t2c ndr"
2185   algorithm: "table_performance_comparison"
2186   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
2187   history:
2188     -
2189       title: "rls1807"
2190       data:
2191         csit-vpp-perf-verify-1807-3n-skx:
2192         - 33  # NDRPDR sel
2193         - 35  # NDRPDR sel
2194         - 37  # NDRPDR sel
2195         - 38  # NDRPDR sel
2196         - 39  # NDRPDR sel
2197         - 43  # NDRPDR sel
2198         - 44  # NDRPDR sel
2199         - 49  # NDRPDR sel
2200         - 50  # NDRPDR sel
2201         - 56  # NDRPDR sel
2202   reference:
2203     title: "rls1810"
2204     data:
2205       csit-vpp-perf-verify-1810-3n-skx:
2206       - 10  # NDRPDR sel
2207       - 14  # NDRPDR sel
2208       - 15  # NDRPDR sel
2209       - 16  # NDRPDR sel
2210       - 17  # NDRPDR sel
2211       - 19  # NDRPDR sel
2212       - 20  # NDRPDR sel
2213       - 21  # NDRPDR sel
2214       - 22  # NDRPDR sel
2215       - 25  # NDRPDR sel
2216   compare:
2217     title: "rls1901"
2218     data:
2219       # TODO: Add new data:
2220       csit-vpp-perf-verify-1901-3n-skx:
2221       - 28  # NDRPDR sel
2222       - 18  # NDRPDR sel
2223       - 19  # NDRPDR sel
2224       - 20  # NDRPDR sel
2225   data: "vpp-performance-changes-3n-skx"
2226   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2227   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2228   parameters:
2229   - "name"
2230   - "parent"
2231   - "throughput"
2232
2233 # VPP Performance Changes 2n-skx 2t1c pdr
2234 -
2235   type: "table"
2236   title: "VPP Performance Changes 2n-skx 2t1c pdr"
2237   algorithm: "table_performance_comparison"
2238   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
2239   history:
2240     -
2241       title: "rls1807"
2242       data:
2243         csit-vpp-perf-verify-1807-2n-skx:
2244         - 26  # NDRPDR sel
2245         - 28  # NDRPDR sel
2246         - 29  # NDRPDR sel
2247         - 30  # NDRPDR sel
2248         - 34  # NDRPDR sel
2249         - 35  # NDRPDR sel
2250         - 36  # NDRPDR sel
2251         - 39  # NDRPDR sel
2252         - 40  # NDRPDR sel
2253         - 42  # NDRPDR sel
2254   reference:
2255     title: "rls1810"
2256     data:
2257       csit-vpp-perf-verify-1810-2n-skx:
2258       - 9   # NDRPDR sel
2259       - 13  # NDRPDR sel
2260       - 14  # NDRPDR sel
2261       - 19  # NDRPDR sel
2262       - 20  # NDRPDR sel
2263       - 21  # NDRPDR sel
2264       - 22  # NDRPDR sel
2265       - 23  # NDRPDR sel
2266       - 24  # NDRPDR sel
2267       - 27  # NDRPDR sel
2268   compare:
2269     title: "rls1901"
2270     data:
2271       # TODO: Add new data:
2272       csit-vpp-perf-verify-1901-2n-skx:
2273       - 5   # NDRPDR sel
2274       - 10  # NDRPDR sel fails
2275       - 12  # NDRPDR sel
2276       - 13  # NDRPDR sel
2277       - 16  # NDRPDR sel fails
2278   data: "vpp-performance-changes-2n-skx"
2279   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2280   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2281   parameters:
2282   - "name"
2283   - "parent"
2284   - "throughput"
2285
2286 # VPP Performance Changes 2n-skx 4t2c pdr
2287 -
2288   type: "table"
2289   title: "VPP Performance Changes 2n-skx 4t2c pdr"
2290   algorithm: "table_performance_comparison"
2291   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
2292   history:
2293     - title: "rls1807"
2294       data:
2295         csit-vpp-perf-verify-1807-2n-skx:
2296         - 26  # NDRPDR sel
2297         - 28  # NDRPDR sel
2298         - 29  # NDRPDR sel
2299         - 30  # NDRPDR sel
2300         - 34  # NDRPDR sel
2301         - 35  # NDRPDR sel
2302         - 36  # NDRPDR sel
2303         - 39  # NDRPDR sel
2304         - 40  # NDRPDR sel
2305         - 42  # NDRPDR sel
2306   reference:
2307     title: "rls1810"
2308     data:
2309       csit-vpp-perf-verify-1810-2n-skx:
2310       - 9   # NDRPDR sel
2311       - 13  # NDRPDR sel
2312       - 14  # NDRPDR sel
2313       - 19  # NDRPDR sel
2314       - 20  # NDRPDR sel
2315       - 21  # NDRPDR sel
2316       - 22  # NDRPDR sel
2317       - 23  # NDRPDR sel
2318       - 24  # NDRPDR sel
2319       - 27  # NDRPDR sel
2320   compare:
2321     title: "rls1901"
2322     data:
2323       # TODO: Add new data:
2324       csit-vpp-perf-verify-1901-2n-skx:
2325       - 5   # NDRPDR sel
2326       - 10  # NDRPDR sel fails
2327       - 12  # NDRPDR sel
2328       - 13  # NDRPDR sel
2329       - 16  # NDRPDR sel fails
2330   data: "vpp-performance-changes-2n-skx"
2331   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2332   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2333   parameters:
2334   - "name"
2335   - "parent"
2336   - "throughput"
2337
2338 # VPP Performance Changes 2n-skx 2t1c ndr
2339 -
2340   type: "table"
2341   title: "VPP Performance Changes 2n-skx 2t1c ndr"
2342   algorithm: "table_performance_comparison"
2343   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
2344   history:
2345     - title: "rls1807"
2346       data:
2347         csit-vpp-perf-verify-1807-2n-skx:
2348         - 26  # NDRPDR sel
2349         - 28  # NDRPDR sel
2350         - 29  # NDRPDR sel
2351         - 30  # NDRPDR sel
2352         - 34  # NDRPDR sel
2353         - 35  # NDRPDR sel
2354         - 36  # NDRPDR sel
2355         - 39  # NDRPDR sel
2356         - 40  # NDRPDR sel
2357         - 42  # NDRPDR sel
2358   reference:
2359     title: "rls1810"
2360     data:
2361       csit-vpp-perf-verify-1810-2n-skx:
2362       - 9   # NDRPDR sel
2363       - 13  # NDRPDR sel
2364       - 14  # NDRPDR sel
2365       - 19  # NDRPDR sel
2366       - 20  # NDRPDR sel
2367       - 21  # NDRPDR sel
2368       - 22  # NDRPDR sel
2369       - 23  # NDRPDR sel
2370       - 24  # NDRPDR sel
2371       - 27  # NDRPDR sel
2372   compare:
2373     title: "rls1901"
2374     data:
2375       # TODO: Add new data:
2376       csit-vpp-perf-verify-1901-2n-skx:
2377       - 5   # NDRPDR sel
2378       - 10  # NDRPDR sel fails
2379       - 12  # NDRPDR sel
2380       - 13  # NDRPDR sel
2381       - 16  # NDRPDR sel fails
2382   data: "vpp-performance-changes-2n-skx"
2383   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2384   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2385   parameters:
2386   - "name"
2387   - "parent"
2388   - "throughput"
2389
2390 # VPP Performance Changes 2n-skx 4t2c ndr
2391 -
2392   type: "table"
2393   title: "VPP Performance Changes 2n-skx 4t2c ndr"
2394   algorithm: "table_performance_comparison"
2395   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
2396   history:
2397     - title: "rls1807"
2398       data:
2399         csit-vpp-perf-verify-1807-2n-skx:
2400         - 26  # NDRPDR sel
2401         - 28  # NDRPDR sel
2402         - 29  # NDRPDR sel
2403         - 30  # NDRPDR sel
2404         - 34  # NDRPDR sel
2405         - 35  # NDRPDR sel
2406         - 36  # NDRPDR sel
2407         - 39  # NDRPDR sel
2408         - 40  # NDRPDR sel
2409         - 42  # NDRPDR sel
2410   reference:
2411     title: "rls1810"
2412     data:
2413       csit-vpp-perf-verify-1810-2n-skx:
2414       - 9   # NDRPDR sel
2415       - 13  # NDRPDR sel
2416       - 14  # NDRPDR sel
2417       - 19  # NDRPDR sel
2418       - 20  # NDRPDR sel
2419       - 21  # NDRPDR sel
2420       - 22  # NDRPDR sel
2421       - 23  # NDRPDR sel
2422       - 24  # NDRPDR sel
2423       - 27  # NDRPDR sel
2424   compare:
2425     title: "rls1901"
2426     data:
2427       # TODO: Add new data:
2428       csit-vpp-perf-verify-1901-2n-skx:
2429       - 5   # NDRPDR sel
2430       - 10  # NDRPDR sel fails
2431       - 12  # NDRPDR sel
2432       - 13  # NDRPDR sel
2433       - 16  # NDRPDR sel fails
2434   data: "vpp-performance-changes-2n-skx"
2435   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2436   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2437   parameters:
2438   - "name"
2439   - "parent"
2440   - "throughput"
2441
2442 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c ndr
2443 -
2444   type: "table"
2445   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c ndr"
2446   algorithm: "table_performance_comparison"
2447   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-ndr"
2448   reference:
2449     title: "3-Node Hsw"
2450     data:
2451       # TODO: Add new data:
2452       csit-vpp-perf-verify-1901-3n-hsw:
2453       - 10  # NDRPDR sel
2454       - 19  # NDRPDR sel
2455   compare:
2456     title: "3-Node Skx"
2457     data:
2458       # TODO: Add new data:
2459       csit-vpp-perf-verify-1901-3n-skx:
2460       - 28  # NDRPDR sel
2461       - 18  # NDRPDR sel
2462       - 19  # NDRPDR sel
2463       - 20  # NDRPDR sel
2464   data: "vpp-compare-testbeds"
2465   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2466   filter: "'NIC_Intel-X710' and 'NDRPDR' and '1C'"
2467   parameters:
2468   - "name"
2469   - "parent"
2470   - "throughput"
2471
2472 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c ndr
2473 -
2474   type: "table"
2475   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c ndr"
2476   algorithm: "table_performance_comparison"
2477   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-ndr"
2478   reference:
2479     title: "3-Node Hsw"
2480     data:
2481       # TODO: Add new data:
2482       csit-vpp-perf-verify-1901-3n-hsw:
2483       - 10  # NDRPDR sel
2484       - 19  # NDRPDR sel
2485   compare:
2486     title: "3-Node Skx"
2487     data:
2488       # TODO: Add new data:
2489       csit-vpp-perf-verify-1901-3n-skx:
2490       - 28  # NDRPDR sel
2491       - 18  # NDRPDR sel
2492       - 19  # NDRPDR sel
2493       - 20  # NDRPDR sel
2494   data: "vpp-compare-testbeds"
2495   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2496   filter: "'NIC_Intel-X710' and 'NDRPDR' and '2C'"
2497   parameters:
2498   - "name"
2499   - "parent"
2500   - "throughput"
2501
2502 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c pdr
2503 -
2504   type: "table"
2505   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c pdr"
2506   algorithm: "table_performance_comparison"
2507   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-pdr"
2508   reference:
2509     title: "3-Node Hsw"
2510     data:
2511       # TODO: Add new data:
2512       csit-vpp-perf-verify-1901-3n-hsw:
2513       - 10  # NDRPDR sel
2514       - 19  # NDRPDR sel
2515   compare:
2516     title: "3-Node Skx"
2517     data:
2518       # TODO: Add new data:
2519       csit-vpp-perf-verify-1901-3n-skx:
2520       - 28  # NDRPDR sel
2521       - 18  # NDRPDR sel
2522       - 19  # NDRPDR sel
2523       - 20  # NDRPDR sel
2524   data: "vpp-compare-testbeds"
2525   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2526   filter: "'NIC_Intel-X710' and 'NDRPDR' and '1C'"
2527   parameters:
2528   - "name"
2529   - "parent"
2530   - "throughput"
2531
2532 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c pdr
2533 -
2534   type: "table"
2535   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c pdr"
2536   algorithm: "table_performance_comparison"
2537   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-pdr"
2538   reference:
2539     title: "3-Node Hsw"
2540     data:
2541       # TODO: Add new data:
2542       csit-vpp-perf-verify-1901-3n-hsw:
2543       - 10  # NDRPDR sel
2544       - 19  # NDRPDR sel
2545   compare:
2546     title: "3-Node Skx"
2547     data:
2548       # TODO: Add new data:
2549       csit-vpp-perf-verify-1901-3n-skx:
2550       - 28  # NDRPDR sel
2551       - 18  # NDRPDR sel
2552       - 19  # NDRPDR sel
2553       - 20  # NDRPDR sel
2554   data: "vpp-compare-testbeds"
2555   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2556   filter: "'NIC_Intel-X710' and 'NDRPDR' and '2C'"
2557   parameters:
2558   - "name"
2559   - "parent"
2560   - "throughput"
2561
2562 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
2563 -
2564   type: "table"
2565   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
2566   algorithm: "table_performance_comparison"
2567   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
2568   reference:
2569     title: "3-Node Skx"
2570     data:
2571       # TODO: Add new data:
2572       csit-vpp-perf-verify-1901-3n-skx:
2573       - 28  # NDRPDR sel
2574       - 18  # NDRPDR sel
2575       - 19  # NDRPDR sel
2576       - 20  # NDRPDR sel
2577   compare:
2578     title: "2-Node Skx"
2579     data:
2580       # TODO: Add new data:
2581       csit-vpp-perf-verify-1901-2n-skx:
2582       - 5   # NDRPDR sel
2583       - 10  # NDRPDR sel fails
2584       - 12  # NDRPDR sel
2585       - 13  # NDRPDR sel
2586       - 16  # NDRPDR sel fails
2587   data: "vpp-compare-topologies"
2588   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2589   filter: "'NDRPDR' and '1C'"
2590   parameters:
2591   - "name"
2592   - "parent"
2593   - "throughput"
2594
2595 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
2596 -
2597   type: "table"
2598   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
2599   algorithm: "table_performance_comparison"
2600   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
2601   reference:
2602     title: "3-Node Skx"
2603     data:
2604       # TODO: Add new data:
2605       csit-vpp-perf-verify-1901-3n-skx:
2606       - 28  # NDRPDR sel
2607       - 18  # NDRPDR sel
2608       - 19  # NDRPDR sel
2609       - 20  # NDRPDR sel
2610   compare:
2611     title: "2-Node Skx"
2612     data:
2613       # TODO: Add new data:
2614       csit-vpp-perf-verify-1901-2n-skx:
2615       - 5   # NDRPDR sel
2616       - 10  # NDRPDR sel fails
2617       - 12  # NDRPDR sel
2618       - 13  # NDRPDR sel
2619       - 16  # NDRPDR sel fails
2620   data: "vpp-compare-topologies"
2621   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2622   filter: "'NDRPDR' and '2C'"
2623   parameters:
2624   - "name"
2625   - "parent"
2626   - "throughput"
2627
2628 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
2629 -
2630   type: "table"
2631   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
2632   algorithm: "table_performance_comparison"
2633   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
2634   reference:
2635     title: "3-Node Skx"
2636     data:
2637       # TODO: Add new data:
2638       csit-vpp-perf-verify-1901-3n-skx:
2639       - 28  # NDRPDR sel
2640       - 18  # NDRPDR sel
2641       - 19  # NDRPDR sel
2642       - 20  # NDRPDR sel
2643   compare:
2644     title: "2-Node Skx"
2645     data:
2646       # TODO: Add new data:
2647       csit-vpp-perf-verify-1901-2n-skx:
2648       - 5   # NDRPDR sel
2649       - 10  # NDRPDR sel fails
2650       - 12  # NDRPDR sel
2651       - 13  # NDRPDR sel
2652       - 16  # NDRPDR sel fails
2653   data: "vpp-compare-topologies"
2654   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2655   filter: "'NDRPDR' and '1C'"
2656   parameters:
2657   - "name"
2658   - "parent"
2659   - "throughput"
2660
2661 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
2662 -
2663   type: "table"
2664   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
2665   algorithm: "table_performance_comparison"
2666   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
2667   reference:
2668     title: "3-Node Skx"
2669     data:
2670       # TODO: Add new data:
2671       csit-vpp-perf-verify-1901-3n-skx:
2672       - 28  # NDRPDR sel
2673       - 18  # NDRPDR sel
2674       - 19  # NDRPDR sel
2675       - 20  # NDRPDR sel
2676   compare:
2677     title: "2-Node Skx"
2678     data:
2679       # TODO: Add new data:
2680       csit-vpp-perf-verify-1901-2n-skx:
2681       - 5   # NDRPDR sel
2682       - 10  # NDRPDR sel fails
2683       - 12  # NDRPDR sel
2684       - 13  # NDRPDR sel
2685       - 16  # NDRPDR sel fails
2686   data: "vpp-compare-topologies"
2687   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2688   filter: "'NDRPDR' and '2C'"
2689   parameters:
2690   - "name"
2691   - "parent"
2692   - "throughput"
2693
2694 # VPP Performance Changes 3n-hsw 1t1c MRR
2695 -
2696   type: "table"
2697   title: "VPP Performance Changes 3n-hsw 1t1c MRR"
2698   algorithm: "table_performance_comparison"
2699   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-mrr"
2700   history:
2701     -
2702       title: "rls1807"
2703       data:
2704         csit-vpp-perf-verify-1807-3n-hsw:
2705         - 8   # MRR full
2706         - 9   # MRR sel
2707         - 21  # MRR sel
2708         - 31  # MRR sel
2709         - 33  # MRR sel
2710         - 36  # MRR sel
2711         - 41  # MRR sel
2712         - 42  # MRR sel
2713         - 48  # MRR sel
2714   reference:
2715     title: "rls1810"
2716     data:
2717       csit-vpp-perf-verify-1810-3n-hsw:
2718       - 9   # MRR sel
2719   compare:
2720     title: "rls1901"
2721     data:
2722       # TODO: Add new data
2723       csit-vpp-perf-verify-1901-3n-hsw:
2724       - 35  # MRR sel
2725   data: "vpp-performance-changes-3n-hsw-mrr"
2726   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2727   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2728   parameters:
2729   - "name"
2730   - "parent"
2731   - "result"
2732
2733 # VPP Performance Changes 3n-hsw 2t2c MRR
2734 -
2735   type: "table"
2736   title: "VPP Performance Changes 3n-hsw 2t2c MRR"
2737   algorithm: "table_performance_comparison"
2738   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-mrr"
2739   history:
2740     -
2741       title: "rls1807"
2742       data:
2743         csit-vpp-perf-verify-1807-3n-hsw:
2744         - 8   # MRR full
2745         - 9   # MRR sel
2746         - 21  # MRR sel
2747         - 31  # MRR sel
2748         - 33  # MRR sel
2749         - 36  # MRR sel
2750         - 41  # MRR sel
2751         - 42  # MRR sel
2752         - 48  # MRR sel
2753   reference:
2754     title: "rls1810"
2755     data:
2756       csit-vpp-perf-verify-1810-3n-hsw:
2757       - 9   # MRR sel
2758   compare:
2759     title: "rls1901"
2760     data:
2761       # TODO: Add new data
2762       csit-vpp-perf-verify-1901-3n-hsw:
2763       - 35  # MRR sel
2764   data: "vpp-performance-changes-3n-hsw-mrr"
2765   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2766   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2767   parameters:
2768   - "name"
2769   - "parent"
2770   - "result"
2771
2772 # VPP Performance Changes 3n-hsw 4t4c MRR
2773 -
2774   type: "table"
2775   title: "VPP Performance Changes 3n-hsw 4t4c MRR"
2776   algorithm: "table_performance_comparison"
2777   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-mrr"
2778   history:
2779     -
2780       title: "rls1807"
2781       data:
2782         csit-vpp-perf-verify-1807-3n-hsw:
2783         - 8   # MRR full
2784         - 9   # MRR sel
2785         - 21  # MRR sel
2786         - 31  # MRR sel
2787         - 33  # MRR sel
2788         - 36  # MRR sel
2789         - 41  # MRR sel
2790         - 42  # MRR sel
2791         - 48  # MRR sel
2792   reference:
2793     title: "rls1810"
2794     data:
2795       csit-vpp-perf-verify-1810-3n-hsw:
2796       - 9   # MRR sel
2797   compare:
2798     title: "rls1901"
2799     data:
2800       # TODO: Add new data
2801       csit-vpp-perf-verify-1901-3n-hsw:
2802       - 35  # MRR sel
2803   data: "vpp-performance-changes-3n-hsw-mrr"
2804   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2805   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2806   parameters:
2807   - "name"
2808   - "parent"
2809   - "result"
2810
2811 # VPP Performance Changes 3n-skx 2t1c MRR
2812 -
2813   type: "table"
2814   title: "VPP Performance Changes 3n-skx 2t1c MRR"
2815   algorithm: "table_performance_comparison"
2816   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2817   history:
2818     -
2819       title: "rls1807"
2820       data:
2821         csit-vpp-perf-verify-1807-3n-skx:
2822         - 28  # MRR sel
2823         - 32  # MRR sel
2824         - 36  # MRR sel
2825         - 42  # MRR sel
2826         - 47  # MRR sel
2827         - 48  # MRR sel
2828         - 51  # MRR sel
2829         - 52  # MRR sel
2830         - 53  # MRR sel
2831   reference:
2832     title: "rls1810"
2833     data:
2834       csit-vpp-perf-verify-1810-3n-skx:
2835       - 9   # MRR sel
2836       - 11  # MRR sel
2837       - 12  # MRR sel
2838       - 13  # MRR sel
2839   compare:
2840     title: "rls1901"
2841     data:
2842       # TODO: Add new data
2843       csit-vpp-perf-verify-1901-3n-skx:
2844       - 32  # MRR sel
2845   data: "vpp-performance-changes-3n-skx-mrr"
2846   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2847   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2848   parameters:
2849   - "name"
2850   - "parent"
2851   - "result"
2852
2853 # VPP Performance Changes 3n-skx 4t2c MRR
2854 -
2855   type: "table"
2856   title: "VPP Performance Changes 3n-skx 4t2c MRR"
2857   algorithm: "table_performance_comparison"
2858   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
2859   history:
2860     -
2861       title: "rls1807"
2862       data:
2863         csit-vpp-perf-verify-1807-3n-skx:
2864         - 28  # MRR sel
2865         - 32  # MRR sel
2866         - 36  # MRR sel
2867         - 42  # MRR sel
2868         - 47  # MRR sel
2869         - 48  # MRR sel
2870         - 51  # MRR sel
2871         - 52  # MRR sel
2872         - 53  # MRR sel
2873   reference:
2874     title: "rls1810"
2875     data:
2876       csit-vpp-perf-verify-1810-3n-skx:
2877       - 9   # MRR sel
2878       - 11  # MRR sel
2879       - 12  # MRR sel
2880       - 13  # MRR sel
2881   compare:
2882     title: "rls1901"
2883     data:
2884       # TODO: Add new data
2885       csit-vpp-perf-verify-1901-3n-skx:
2886       - 32  # MRR sel
2887   data: "vpp-performance-changes-3n-skx-mrr"
2888   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2889   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2890   parameters:
2891   - "name"
2892   - "parent"
2893   - "result"
2894
2895 # VPP Performance Changes 3n-skx 8t4c MRR
2896 -
2897   type: "table"
2898   title: "VPP Performance Changes 3n-skx 8t4c MRR"
2899   algorithm: "table_performance_comparison"
2900   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
2901   history:
2902     -
2903       title: "rls1807"
2904       data:
2905         csit-vpp-perf-verify-1807-3n-skx:
2906         - 28  # MRR sel
2907         - 32  # MRR sel
2908         - 36  # MRR sel
2909         - 42  # MRR sel
2910         - 47  # MRR sel
2911         - 48  # MRR sel
2912         - 51  # MRR sel
2913         - 52  # MRR sel
2914         - 53  # MRR sel
2915   reference:
2916     title: "rls1810"
2917     data:
2918       csit-vpp-perf-verify-1810-3n-skx:
2919       - 9   # MRR sel
2920       - 11  # MRR sel
2921       - 12  # MRR sel
2922       - 13  # MRR sel
2923   compare:
2924     title: "rls1901"
2925     data:
2926       # TODO: Add new data
2927       csit-vpp-perf-verify-1901-3n-skx:
2928       - 32  # MRR sel
2929   data: "vpp-performance-changes-3n-skx-mrr"
2930   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2931   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2932   parameters:
2933   - "name"
2934   - "parent"
2935   - "result"
2936
2937 # VPP Performance Changes 2n-skx 2t1c MRR
2938 -
2939   type: "table"
2940   title: "VPP Performance Changes 2n-skx 2t1c MRR"
2941   algorithm: "table_performance_comparison"
2942   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
2943   history:
2944     -
2945       title: "rls1807"
2946       data:
2947         csit-vpp-perf-verify-1807-2n-skx:
2948         - 31  # MRR sel
2949         - 33  # MRR sel
2950         - 37  # MRR sel
2951         - 38  # MRR sel
2952         - 41  # MRR sel
2953         - 43  # MRR sel
2954         - 44  # MRR sel
2955         - 45  # MRR sel
2956         - 46  # MRR sel
2957         - 47  # MRR sel
2958   reference:
2959     title: "rls1810"
2960     data:
2961       csit-vpp-perf-verify-1810-2n-skx:
2962       - 8   # MRR sel
2963       - 10  # MRR sel
2964       - 11  # MRR sel
2965       - 12  # MRR sel
2966   compare:
2967     title: "rls1901"
2968     data:
2969       # TODO: Add new data
2970       csit-vpp-perf-verify-1901-2n-skx:
2971       - 22  # MRR sel
2972   data: "vpp-performance-changes-2n-skx-mrr"
2973   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2974   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2975   parameters:
2976   - "name"
2977   - "parent"
2978   - "result"
2979
2980 # VPP Performance Changes 2n-skx 4t2c MRR
2981 -
2982   type: "table"
2983   title: "VPP Performance Changes 2n-skx 4t2c MRR"
2984   algorithm: "table_performance_comparison"
2985   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
2986   history:
2987     -
2988       title: "rls1807"
2989       data:
2990         csit-vpp-perf-verify-1807-2n-skx:
2991         - 31  # MRR sel
2992         - 33  # MRR sel
2993         - 37  # MRR sel
2994         - 38  # MRR sel
2995         - 41  # MRR sel
2996         - 43  # MRR sel
2997         - 44  # MRR sel
2998         - 45  # MRR sel
2999         - 46  # MRR sel
3000         - 47  # MRR sel
3001   reference:
3002     title: "rls1810"
3003     data:
3004       csit-vpp-perf-verify-1810-2n-skx:
3005       - 8   # MRR sel
3006       - 10  # MRR sel
3007       - 11  # MRR sel
3008       - 12  # MRR sel
3009   compare:
3010     title: "rls1901"
3011     data:
3012       # TODO: Add new data
3013       csit-vpp-perf-verify-1901-2n-skx:
3014       - 22  # MRR sel
3015   data: "vpp-performance-changes-2n-skx-mrr"
3016   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3017   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3018   parameters:
3019   - "name"
3020   - "parent"
3021   - "result"
3022
3023 # VPP Performance Changes 2n-skx 8t4c MRR
3024 -
3025   type: "table"
3026   title: "VPP Performance Changes 2n-skx 8t4c MRR"
3027   algorithm: "table_performance_comparison"
3028   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
3029   history:
3030     -
3031       title: "rls1807"
3032       data:
3033         csit-vpp-perf-verify-1807-2n-skx:
3034         - 31  # MRR sel
3035         - 33  # MRR sel
3036         - 37  # MRR sel
3037         - 38  # MRR sel
3038         - 41  # MRR sel
3039         - 43  # MRR sel
3040         - 44  # MRR sel
3041         - 45  # MRR sel
3042         - 46  # MRR sel
3043         - 47  # MRR sel
3044   reference:
3045     title: "rls1810"
3046     data:
3047       csit-vpp-perf-verify-1810-2n-skx:
3048       - 8   # MRR sel
3049       - 10  # MRR sel
3050       - 11  # MRR sel
3051       - 12  # MRR sel
3052   compare:
3053     title: "rls1901"
3054     data:
3055       # TODO: Add new data
3056       csit-vpp-perf-verify-1901-2n-skx:
3057       - 22  # MRR sel
3058   data: "vpp-performance-changes-2n-skx-mrr"
3059   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3060   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3061   parameters:
3062   - "name"
3063   - "parent"
3064   - "result"
3065
3066 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c mrr
3067 -
3068   type: "table"
3069   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c mrr"
3070   algorithm: "table_performance_comparison"
3071   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-mrr"
3072   reference:
3073     title: "3-Node Hsw"
3074     data:
3075       # TODO: Add new data
3076       csit-vpp-perf-verify-1901-3n-hsw:
3077       - 35  # MRR sel
3078   compare:
3079     title: "3-Node Skx"
3080     data:
3081       # TODO: Add new data
3082       csit-vpp-perf-verify-1901-3n-skx:
3083       - 32  # MRR sel
3084   data: "vpp-compare-testbeds-mrr"
3085   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3086   filter: "'NIC_Intel-X710' and 'MRR' and '1C'"
3087   parameters:
3088   - "name"
3089   - "parent"
3090   - "result"
3091
3092 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c mrr
3093 -
3094   type: "table"
3095   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c mrr"
3096   algorithm: "table_performance_comparison"
3097   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-mrr"
3098   reference:
3099     title: "3-Node Hsw"
3100     data:
3101       # TODO: Add new data
3102       csit-vpp-perf-verify-1901-3n-hsw:
3103       - 35  # MRR sel
3104   compare:
3105     title: "3-Node Skx"
3106     data:
3107       # TODO: Add new data
3108       csit-vpp-perf-verify-1901-3n-skx:
3109       - 32  # MRR sel
3110   data: "vpp-compare-testbeds-mrr"
3111   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3112   filter: "'NIC_Intel-X710' and 'MRR' and '2C'"
3113   parameters:
3114   - "name"
3115   - "parent"
3116   - "result"
3117
3118 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 4c mrr
3119 -
3120   type: "table"
3121   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 4c mrr"
3122   algorithm: "table_performance_comparison"
3123   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-4c-mrr"
3124   reference:
3125     title: "3-Node Hsw"
3126     data:
3127       # TODO: Add new data
3128       csit-vpp-perf-verify-1901-3n-hsw:
3129       - 35  # MRR sel
3130   compare:
3131     title: "3-Node Skx"
3132     data:
3133       # TODO: Add new data
3134       csit-vpp-perf-verify-1901-3n-skx:
3135       - 32  # MRR sel
3136   data: "vpp-compare-testbeds-mrr"
3137   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3138   filter: "'NIC_Intel-X710' and 'MRR' and '4C'"
3139   parameters:
3140   - "name"
3141   - "parent"
3142   - "result"
3143
3144 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c mrr
3145 -
3146   type: "table"
3147   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c mrr"
3148   algorithm: "table_performance_comparison"
3149   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-mrr"
3150   reference:
3151     title: "3-Node Skx"
3152     data:
3153       # TODO: Add new data
3154       csit-vpp-perf-verify-1901-3n-skx:
3155       - 32  # MRR sel
3156   compare:
3157     title: "2-Node Skx"
3158     data:
3159       # TODO: Add new data
3160       csit-vpp-perf-verify-1901-2n-skx:
3161       - 22  # MRR sel
3162   data: "vpp-compare-topologies-mrr"
3163   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3164   filter: "'MRR' and '1C'"
3165   parameters:
3166   - "name"
3167   - "parent"
3168   - "result"
3169
3170 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c mrr
3171 -
3172   type: "table"
3173   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c mrr"
3174   algorithm: "table_performance_comparison"
3175   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-mrr"
3176   reference:
3177     title: "3-Node Skx"
3178     data:
3179       # TODO: Add new data
3180       csit-vpp-perf-verify-1901-3n-skx:
3181       - 32  # MRR sel
3182   compare:
3183     title: "2-Node Skx"
3184     data:
3185       # TODO: Add new data
3186       csit-vpp-perf-verify-1901-2n-skx:
3187       - 22  # MRR sel
3188   data: "vpp-compare-topologies-mrr"
3189   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3190   filter: "'MRR' and '2C'"
3191   parameters:
3192   - "name"
3193   - "parent"
3194   - "result"
3195
3196 # VPP Comparison Across Topologies 3n-skx to 2n-skx 4c mrr
3197 -
3198   type: "table"
3199   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 4c mrr"
3200   algorithm: "table_performance_comparison"
3201   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-4c-mrr"
3202   reference:
3203     title: "3-Node Skx"
3204     data:
3205       # TODO: Add new data
3206       csit-vpp-perf-verify-1901-3n-skx:
3207       - 32  # MRR sel
3208   compare:
3209     title: "2-Node Skx"
3210     data:
3211       # TODO: Add new data
3212       csit-vpp-perf-verify-1901-2n-skx:
3213       - 22  # MRR sel
3214   data: "vpp-compare-topologies-mrr"
3215   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3216   filter: "'MRR' and '4C'"
3217   parameters:
3218   - "name"
3219   - "parent"
3220   - "result"
3221
3222 # Detailed Test Results - VPP Performance Results 3n-hsw
3223 -
3224   type: "table"
3225   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
3226   algorithm: "table_merged_details"
3227   output-file-ext: ".csv"
3228   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
3229   columns:
3230   -
3231     title: "Name"
3232     data: "data name"
3233   -
3234     title: "Status"
3235     data: "data msg"
3236   rows: "generated"
3237   data: "vpp-perf-results-3n-hsw"
3238   filter: "not 'NDRCHK' and not 'PDRCHK'"
3239   parameters:
3240   - "name"
3241   - "parent"
3242   - "msg"
3243
3244 # Detailed Test Results - VPP Performance Results 3n-skx
3245 -
3246   type: "table"
3247   title: "Detailed Test Results - VPP Performance Results 3n-skx"
3248   algorithm: "table_merged_details"
3249   output-file-ext: ".csv"
3250   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
3251   columns:
3252   -
3253     title: "Name"
3254     data: "data name"
3255   -
3256     title: "Status"
3257     data: "data msg"
3258   rows: "generated"
3259   data: "vpp-perf-results-3n-skx"
3260   filter: "not 'NDRCHK' and not 'PDRCHK'"
3261   parameters:
3262   - "name"
3263   - "parent"
3264   - "msg"
3265
3266 # Detailed Test Results - VPP Performance Results 2n-skx
3267 -
3268   type: "table"
3269   title: "Detailed Test Results - VPP Performance Results 2n-skx"
3270   algorithm: "table_merged_details"
3271   output-file-ext: ".csv"
3272   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
3273   columns:
3274   -
3275     title: "Name"
3276     data: "data name"
3277   -
3278     title: "Status"
3279     data: "data msg"
3280   rows: "generated"
3281   data: "vpp-perf-results-2n-skx"
3282   filter: "not 'NDRCHK' and not 'PDRCHK'"
3283   parameters:
3284   - "name"
3285   - "parent"
3286   - "msg"
3287
3288 # Detailed Test Results - VPP Performance Results 2n-dnv
3289 -
3290   type: "table"
3291   title: "Detailed Test Results - VPP Performance Results 2n-dnv"
3292   algorithm: "table_details"
3293   output-file-ext: ".csv"
3294   output-file: "{DIR[DTR,PERF,VPP,2N,DNV]}/vpp_performance_results_2n_dnv"
3295   columns:
3296   -
3297     title: "Name"
3298     data: "data name"
3299   -
3300     title: "Status"
3301     data: "data msg"
3302   rows: "generated"
3303   data: "intel-dnv-vpp"
3304   filter: "'NDRPDR'"
3305   parameters:
3306   - "name"
3307   - "parent"
3308   - "msg"
3309
3310 # Test configuration - VPP Performance Test Configs 3n-hsw
3311 -
3312   type: "table"
3313   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
3314   algorithm: "table_merged_details"
3315   output-file-ext: ".csv"
3316   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
3317   columns:
3318   -
3319     title: "Name"
3320     data: "data name"
3321   -
3322     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3323     data: "data vat-history"
3324   rows: "generated"
3325   data: "vpp-perf-results-3n-hsw"
3326   filter: "not 'NDRCHK' and not 'PDRCHK'"
3327   parameters:
3328   - "parent"
3329   - "name"
3330   - "vat-history"
3331
3332 # Test configuration - VPP Performance Test Configs 3n-skx
3333 -
3334   type: "table"
3335   title: "Test configuration - VPP Performance Test Configs 3n-skx"
3336   algorithm: "table_merged_details"
3337   output-file-ext: ".csv"
3338   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
3339   columns:
3340   -
3341     title: "Name"
3342     data: "data name"
3343   -
3344     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3345     data: "data vat-history"
3346   rows: "generated"
3347   data: "vpp-perf-results-3n-skx"
3348   filter: "not 'NDRCHK' and not 'PDRCHK'"
3349   parameters:
3350   - "parent"
3351   - "name"
3352   - "vat-history"
3353
3354 # Test configuration - VPP Performance Test Configs 2n-skx
3355 -
3356   type: "table"
3357   title: "Test configuration - VPP Performance Test Configs 2n-skx"
3358   algorithm: "table_merged_details"
3359   output-file-ext: ".csv"
3360   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
3361   columns:
3362   -
3363     title: "Name"
3364     data: "data name"
3365   -
3366     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3367     data: "data vat-history"
3368   rows: "generated"
3369   data: "vpp-perf-results-2n-skx"
3370   filter: "not 'NDRCHK' and not 'PDRCHK'"
3371   parameters:
3372   - "parent"
3373   - "name"
3374   - "vat-history"
3375
3376 # Test configuration - VPP Performance Test Configs 2n-dnv
3377 -
3378   type: "table"
3379   title: "Test configuration - VPP Performance Test Configs 2n-dnv"
3380   algorithm: "table_details"
3381   output-file-ext: ".csv"
3382   output-file: "{DIR[DTC,PERF,VPP,2N,DNV]}/vpp_test_configuration_2n_dnv"
3383   columns:
3384   -
3385     title: "Name"
3386     data: "data name"
3387   -
3388     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3389     data: "data vat-history"
3390   rows: "generated"
3391   data: "intel-dnv-vpp"
3392   filter: "'NDRPDR'"
3393   parameters:
3394   - "parent"
3395   - "name"
3396   - "vat-history"
3397
3398 # Test Operational Data - VPP Performance Operational Data 3n-hsw
3399 -
3400   type: "table"
3401   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
3402   algorithm: "table_merged_details"
3403   output-file-ext: ".csv"
3404   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
3405   columns:
3406   -
3407     title: "Name"
3408     data: "data name"
3409   -
3410     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
3411     data: "data show-run"
3412   rows: "generated"
3413   data: "vpp-perf-results-3n-hsw"
3414   filter: "not 'NDRCHK' and not 'PDRCHK'"
3415   parameters:
3416   - "parent"
3417   - "name"
3418   - "show-run"
3419
3420 # Test Operational Data - VPP Performance Operational Data 3n-skx
3421 -
3422   type: "table"
3423   title: "Test Operational Data - VPP Performance Operational Data 3n-skx"
3424   algorithm: "table_merged_details"
3425   output-file-ext: ".csv"
3426   output-file: "{DIR[DTO,PERF,VPP,3N,SKX]}/vpp_test_operational_3n_skx"
3427   columns:
3428   -
3429     title: "Name"
3430     data: "data name"
3431   -
3432     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
3433     data: "data show-run"
3434   rows: "generated"
3435   data: "vpp-perf-results-3n-skx"
3436   filter: "not 'NDRCHK' and not 'PDRCHK'"
3437   parameters:
3438   - "parent"
3439   - "name"
3440   - "show-run"
3441
3442 # Test Operational Data - VPP Performance Operational Data 2n-skx
3443 -
3444   type: "table"
3445   title: "Test Operational Data - VPP Performance Operational Data 2n-skx"
3446   algorithm: "table_merged_details"
3447   output-file-ext: ".csv"
3448   output-file: "{DIR[DTO,PERF,VPP,2N,SKX]}/vpp_test_operational_2n_skx"
3449   columns:
3450   -
3451     title: "Name"
3452     data: "data name"
3453   -
3454     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
3455     data: "data show-run"
3456   rows: "generated"
3457   data: "vpp-perf-results-2n-skx"
3458   filter: "not 'NDRCHK' and not 'PDRCHK'"
3459   parameters:
3460   - "parent"
3461   - "name"
3462   - "show-run"
3463
3464 # Test Operational Data - VPP Performance Operational Data 2n-dnv
3465 -
3466   type: "table"
3467   title: "Test Operational Data - VPP Performance Operational Data 2n-dnv"
3468   algorithm: "table_details"
3469   output-file-ext: ".csv"
3470   output-file: "{DIR[DTO,PERF,VPP,2N,DNV]}/vpp_test_operational_2n_dnv"
3471   columns:
3472   -
3473     title: "Name"
3474     data: "data name"
3475   -
3476     title: "VPP Operational Data - Outputs of 'show runtime' at NDR packet rate"
3477     data: "data show-run"
3478   rows: "generated"
3479   data: "intel-dnv-vpp"
3480   filter: "'NDRPDR'"
3481   parameters:
3482   - "parent"
3483   - "name"
3484   - "show-run"
3485
3486 # Detailed Test Results - VPP MRR Results 3n-hsw
3487 -
3488   type: "table"
3489   title: "Detailed Test Results - VPP MRR Results 3n-hsw"
3490   algorithm: "table_details"
3491   output-file-ext: ".csv"
3492   output-file: "{DIR[DTR,MRR,VPP,3N,HSW]}/vpp_mrr_results_3n_hsw"
3493   columns:
3494   -
3495     title: "Name"
3496     data: "data name"
3497   -
3498     title: "Status"
3499     data: "data msg"
3500   rows: "generated"
3501   data: "vpp-mrr-results-3n-hsw"
3502   filter: "'MRR'"
3503   parameters:
3504   - "name"
3505   - "parent"
3506   - "msg"
3507
3508 # Detailed Test Results - VPP MRR Results 3n-skx
3509 -
3510   type: "table"
3511   title: "Detailed Test Results - VPP MRR Results 3n-skx"
3512   algorithm: "table_details"
3513   output-file-ext: ".csv"
3514   output-file: "{DIR[DTR,MRR,VPP,3N,SKX]}/vpp_mrr_results_3n_skx"
3515   columns:
3516   -
3517     title: "Name"
3518     data: "data name"
3519   -
3520     title: "Status"
3521     data: "data msg"
3522   rows: "generated"
3523   data: "vpp-mrr-results-3n-skx"
3524   filter: "'MRR'"
3525   parameters:
3526   - "name"
3527   - "parent"
3528   - "msg"
3529
3530 # Detailed Test Results - VPP MRR Results 2n-skx
3531 -
3532   type: "table"
3533   title: "Detailed Test Results - VPP MRR Results 2n-skx"
3534   algorithm: "table_details"
3535   output-file-ext: ".csv"
3536   output-file: "{DIR[DTR,MRR,VPP,2N,SKX]}/vpp_mrr_results_2n_skx"
3537   columns:
3538   -
3539     title: "Name"
3540     data: "data name"
3541   -
3542     title: "Status"
3543     data: "data msg"
3544   rows: "generated"
3545   data: "vpp-mrr-results-2n-skx"
3546   filter: "'MRR'"
3547   parameters:
3548   - "name"
3549   - "parent"
3550   - "msg"
3551
3552 # Detailed Test Results - VPP MRR Results 2n-dnv
3553 -
3554   type: "table"
3555   title: "Detailed Test Results - VPP MRR Results 2n-dnv"
3556   algorithm: "table_details"
3557   output-file-ext: ".csv"
3558   output-file: "{DIR[DTR,MRR,VPP,2N,DNV]}/vpp_mrr_results_2n_dnv"
3559   columns:
3560   -
3561     title: "Name"
3562     data: "data name"
3563   -
3564     title: "Status"
3565     data: "data msg"
3566   rows: "generated"
3567   data: "intel-dnv-vpp"
3568   filter: "'MRR'"
3569   parameters:
3570   - "name"
3571   - "parent"
3572   - "msg"
3573
3574 # Test configuration - VPP MRR Test Configs 3n-hsw
3575 -
3576   type: "table"
3577   title: "Test configuration - VPP MRR Test Configs 3n-hsw"
3578   algorithm: "table_details"
3579   output-file-ext: ".csv"
3580   output-file: "{DIR[DTC,MRR,VPP,3N,HSW]}/vpp_mrr_test_configuration_3n_hsw"
3581   columns:
3582   -
3583     title: "Name"
3584     data: "data name"
3585   -
3586     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3587     data: "data vat-history"
3588   rows: "generated"
3589   data: "vpp-mrr-results-3n-hsw"
3590   filter: "'MRR'"
3591   parameters:
3592   - "parent"
3593   - "name"
3594   - "vat-history"
3595
3596 # Test configuration - VPP MRR Test Configs 3n-skx
3597 -
3598   type: "table"
3599   title: "Test configuration - VPP MRR Test Configs 3n-skx"
3600   algorithm: "table_details"
3601   output-file-ext: ".csv"
3602   output-file: "{DIR[DTC,MRR,VPP,3N,SKX]}/vpp_mrr_test_configuration_3n_skx"
3603   columns:
3604   -
3605     title: "Name"
3606     data: "data name"
3607   -
3608     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3609     data: "data vat-history"
3610   rows: "generated"
3611   data: "vpp-mrr-results-3n-skx"
3612   filter: "'MRR'"
3613   parameters:
3614   - "parent"
3615   - "name"
3616   - "vat-history"
3617
3618 # Test configuration - VPP MRR Test Configs 2n-skx
3619 -
3620   type: "table"
3621   title: "Test configuration - VPP MRR Test Configs 2n-skx"
3622   algorithm: "table_details"
3623   output-file-ext: ".csv"
3624   output-file: "{DIR[DTC,MRR,VPP,2N,SKX]}/vpp_mrr_test_configuration_2n_skx"
3625   columns:
3626   -
3627     title: "Name"
3628     data: "data name"
3629   -
3630     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3631     data: "data vat-history"
3632   rows: "generated"
3633   data: "vpp-mrr-results-2n-skx"
3634   filter: "'MRR'"
3635   parameters:
3636   - "parent"
3637   - "name"
3638   - "vat-history"
3639
3640 # Test configuration - VPP MRR Test Configs 2n-dnv
3641 -
3642   type: "table"
3643   title: "Test configuration - VPP MRR Test Configs 2n-dnv"
3644   algorithm: "table_details"
3645   output-file-ext: ".csv"
3646   output-file: "{DIR[DTC,MRR,VPP,2N,DNV]}/vpp_mrr_test_configuration_2n_dnv"
3647   columns:
3648   -
3649     title: "Name"
3650     data: "data name"
3651   -
3652     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3653     data: "data vat-history"
3654   rows: "generated"
3655   data: "intel-dnv-vpp"
3656   filter: "'MRR'"
3657   parameters:
3658   - "parent"
3659   - "name"
3660   - "vat-history"
3661
3662 # Detailed Test Results - VPP Functional Results - Ubuntu
3663 -
3664   type: "table"
3665   title: "Detailed Test Results - VPP Functional Results - Ubuntu"
3666   algorithm: "table_details"
3667   output-file-ext: ".csv"
3668   output-file: "{DIR[DTR,FUNC,VPP,UBUNTU]}/vpp_functional_results_ubuntu"
3669   columns:
3670   -
3671     title: "Name"
3672     data: "data name"
3673   -
3674     title: "Documentation"
3675     data: "data doc"
3676   -
3677     title: "Status"
3678     data: "data status"
3679   rows: "generated"
3680   data: "vpp-func-results-ubuntu"
3681   filter: "all"
3682   parameters:
3683   - "name"
3684   - "parent"
3685   - "doc"
3686   - "status"
3687
3688 # Detailed Test Results - VPP Functional Results - CentOS
3689 -
3690   type: "table"
3691   title: "Detailed Test Results - VPP Functional Results - CentOS"
3692   algorithm: "table_details"
3693   output-file-ext: ".csv"
3694   output-file: "{DIR[DTR,FUNC,VPP,CENTOS]}/vpp_functional_results_centos"
3695   columns:
3696   -
3697     title: "Name"
3698     data: "data name"
3699   -
3700     title: "Documentation"
3701     data: "data doc"
3702   -
3703     title: "Status"
3704     data: "data status"
3705   rows: "generated"
3706   data:
3707     "vpp-func-results-centos"
3708   filter: "all"
3709   parameters:
3710   - "name"
3711   - "parent"
3712   - "doc"
3713   - "status"
3714
3715 # Test configuration - VPP Functional Test Configs - Ubuntu
3716 -
3717   type: "table"
3718   title: "Test configuration - VPP Functional Test Configs - Ubuntu"
3719   algorithm: "table_details"
3720   output-file-ext: ".csv"
3721   output-file: "{DIR[DTC,FUNC,VPP,UBUNTU]}/vpp_functional_configuration_ubuntu"
3722   columns:
3723   -
3724     title: "Name"
3725     data: "data name"
3726   -
3727     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3728     data: "data vat-history"
3729   rows: "generated"
3730   data: "vpp-func-results-ubuntu"
3731   filter: "all"
3732   parameters:
3733   - "parent"
3734   - "name"
3735   - "vat-history"
3736
3737 # Test configuration - VPP Functional Test Configs - CentOS
3738 -
3739   type: "table"
3740   title: "Test configuration - VPP Functional Test Configs - CentOS"
3741   algorithm: "table_details"
3742   output-file-ext: ".csv"
3743   output-file: "{DIR[DTC,FUNC,VPP,CENTOS]}/vpp_functional_configuration_centos"
3744   columns:
3745   -
3746     title: "Name"
3747     data: "data name"
3748   -
3749     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3750     data: "data vat-history"
3751   rows: "generated"
3752   data: "vpp-func-results-centos"
3753   filter: "all"
3754   parameters:
3755   - "parent"
3756   - "name"
3757   - "vat-history"
3758
3759 # Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw
3760 -
3761   type: "table"
3762   title: "Detailed Test Results - Container Orchestrated Topologies Performance Results 3n-hsw"
3763   algorithm: "table_details"
3764   output-file-ext: ".csv"
3765   output-file: "{DIR[DTR,PERF,COT,3N,HSW]}/cot_performance_results_3n_hsw"
3766   columns:
3767   -
3768     title: "Name"
3769     data: "data name"
3770   -
3771     title: "Status"
3772     data: "data msg"
3773   rows: "generated"
3774   data: "ligato-perf-results-3n-hsw"
3775   filter: "all"
3776   parameters:
3777   - "name"
3778   - "parent"
3779   - "msg"
3780
3781 # Detailed Test Results - VPP Device Results - Ubuntu
3782 -
3783   type: "table"
3784   title: "Detailed Test Results - VPP Device Results - Ubuntu"
3785   algorithm: "table_details"
3786   output-file-ext: ".csv"
3787   output-file: "{DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_results_ubuntu"
3788   columns:
3789   -
3790     title: "Name"
3791     data: "data name"
3792   -
3793     title: "Documentation"
3794     data: "data doc"
3795   -
3796     title: "Status"
3797     data: "data status"
3798   rows: "generated"
3799   data: "vpp-device-results-ubuntu"
3800   filter: "all"
3801   parameters:
3802   - "name"
3803   - "parent"
3804   - "doc"
3805   - "status"
3806
3807 # Test configuration - VPP Device Test Configs - Ubuntu
3808 -
3809   type: "table"
3810   title: "Test configuration - VPP Device Test Configs - Ubuntu"
3811   algorithm: "table_details"
3812   output-file-ext: ".csv"
3813   output-file: "{DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]}/vpp_device_configuration_ubuntu"
3814   columns:
3815   -
3816     title: "Name"
3817     data: "data name"
3818   -
3819     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3820     data: "data vat-history"
3821   rows: "generated"
3822   data: "vpp-device-results-ubuntu"
3823   filter: "all"
3824   parameters:
3825   - "parent"
3826   - "name"
3827   - "vat-history"
3828
3829 ################################################################################
3830
3831 # DPDK Performance Changes 3n-hsw 1t1c pdr
3832 -
3833   type: "table"
3834   title: "DPDK Performance Changes 3n-hsw 1t1c pdr"
3835   algorithm: "table_performance_comparison"
3836   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-pdr"
3837   history:
3838     -
3839       title: "rls1807"
3840       data:
3841         csit-dpdk-perf-verify-1807-3n-hsw:
3842         - 11
3843         - 12  # full
3844         - 14
3845         - 15
3846         - 16
3847         - 17
3848         - 20
3849         - 21
3850         - 22
3851         - 23
3852   reference:
3853     title: "rls1810"
3854     data:
3855       csit-dpdk-perf-verify-1810-3n-hsw:
3856       - 1   # NDRPDR sel
3857       - 2   # NDRPDR sel
3858       - 3   # NDRPDR sel
3859       - 4   # NDRPDR sel
3860       - 5   # NDRPDR sel
3861       - 6   # NDRPDR sel
3862       - 7   # NDRPDR sel
3863       - 8   # NDRPDR sel
3864       - 9   # NDRPDR sel
3865       - 10  # NDRPDR sel
3866   compare:
3867     title: "rls1901"
3868     data:
3869       # TODO: Add new data
3870       csit-dpdk-perf-verify-1901-3n-hsw:
3871       - 3   # NDRPDR sel
3872       - 4   # NDRPDR sel
3873       - 6   # NDRPDR sel
3874   data: "dpdk-performance-changes-3n-hsw"
3875   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3876   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3877   parameters:
3878   - "name"
3879   - "parent"
3880   - "throughput"
3881
3882 # DPDK Performance Changes 3n-hsw 2t2c pdr
3883 -
3884   type: "table"
3885   title: "DPDK Performance Changes 3n-hsw 2t2c pdr"
3886   algorithm: "table_performance_comparison"
3887   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-2t2c-pdr"
3888   history:
3889     -
3890       title: "rls1807"
3891       data:
3892         csit-dpdk-perf-verify-1807-3n-hsw:
3893         - 11
3894         - 12  # full
3895         - 14
3896         - 15
3897         - 16
3898         - 17
3899         - 20
3900         - 21
3901         - 22
3902         - 23
3903   reference:
3904     title: "rls1810"
3905     data:
3906       csit-dpdk-perf-verify-1810-3n-hsw:
3907       - 1   # NDRPDR sel
3908       - 2   # NDRPDR sel
3909       - 3   # NDRPDR sel
3910       - 4   # NDRPDR sel
3911       - 5   # NDRPDR sel
3912       - 6   # NDRPDR sel
3913       - 7   # NDRPDR sel
3914       - 8   # NDRPDR sel
3915       - 9   # NDRPDR sel
3916       - 10  # NDRPDR sel
3917   compare:
3918     title: "rls1901"
3919     data:
3920       # TODO: Add new data
3921       csit-dpdk-perf-verify-1901-3n-hsw:
3922       - 3   # NDRPDR sel
3923       - 4   # NDRPDR sel
3924       - 6   # NDRPDR sel
3925   data: "dpdk-performance-changes-3n-hsw"
3926   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3927   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3928   parameters:
3929   - "name"
3930   - "parent"
3931   - "throughput"
3932
3933 # DPDK Performance Changes 3n-hsw 1t1c ndr
3934 -
3935   type: "table"
3936   title: "DPDK Performance Changes 3n-hsw 1t1c ndr"
3937   algorithm: "table_performance_comparison"
3938   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-1t1c-ndr"
3939   history:
3940     -
3941       title: "rls1807"
3942       data:
3943         csit-dpdk-perf-verify-1807-3n-hsw:
3944         - 11
3945         - 12  # full
3946         - 14
3947         - 15
3948         - 16
3949         - 17
3950         - 20
3951         - 21
3952         - 22
3953         - 23
3954   reference:
3955     title: "rls1810"
3956     data:
3957       csit-dpdk-perf-verify-1810-3n-hsw:
3958       - 1   # NDRPDR sel
3959       - 2   # NDRPDR sel
3960       - 3   # NDRPDR sel
3961       - 4   # NDRPDR sel
3962       - 5   # NDRPDR sel
3963       - 6   # NDRPDR sel
3964       - 7   # NDRPDR sel
3965       - 8   # NDRPDR sel
3966       - 9   # NDRPDR sel
3967       - 10  # NDRPDR sel
3968   compare:
3969     title: "rls1901"
3970     data:
3971       # TODO: Add new data
3972       csit-dpdk-perf-verify-1901-3n-hsw:
3973       - 3   # NDRPDR sel
3974       - 4   # NDRPDR sel
3975       - 6   # NDRPDR sel
3976   data: "dpdk-performance-changes-3n-hsw"
3977   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3978   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3979   parameters:
3980   - "name"
3981   - "parent"
3982   - "throughput"
3983
3984 # DPDK Performance Changes 3n-hsw 2t2c ndr
3985 -
3986   type: "table"
3987   title: "DPDK Performance Changes 3n-hsw 2t2c ndr"
3988   algorithm: "table_performance_comparison"
3989   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-hsw-2t2c-ndr"
3990   history:
3991     -
3992       title: "rls1807"
3993       data:
3994         csit-dpdk-perf-verify-1807-3n-hsw:
3995         - 11
3996         - 12  # full
3997         - 14
3998         - 15
3999         - 16
4000         - 17
4001         - 20
4002         - 21
4003         - 22
4004         - 23
4005   reference:
4006     title: "rls1810"
4007     data:
4008       csit-dpdk-perf-verify-1810-3n-hsw:
4009       - 1   # NDRPDR sel
4010       - 2   # NDRPDR sel
4011       - 3   # NDRPDR sel
4012       - 4   # NDRPDR sel
4013       - 5   # NDRPDR sel
4014       - 6   # NDRPDR sel
4015       - 7   # NDRPDR sel
4016       - 8   # NDRPDR sel
4017       - 9   # NDRPDR sel
4018       - 10  # NDRPDR sel
4019   compare:
4020     title: "rls1901"
4021     data:
4022       # TODO: Add new data
4023       csit-dpdk-perf-verify-1901-3n-hsw:
4024       - 3   # NDRPDR sel
4025       - 4   # NDRPDR sel
4026       - 6   # NDRPDR sel
4027   data: "dpdk-performance-changes-3n-hsw"
4028   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
4029   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
4030   parameters:
4031   - "name"
4032   - "parent"
4033   - "throughput"
4034
4035 # DPDK Performance Changes 3n-skx 2t1c pdr
4036 -
4037   type: "table"
4038   title: "DPDK Performance Changes 3n-skx 2t1c pdr"
4039   algorithm: "table_performance_comparison"
4040   output-file: "{DIR[STATIC,DPDK]}/performance-changes-3n-skx-2t1c-pdr"
4041   history:
4042     -
4043       title: "rls1807"
4044       data:
4045         csit-dpdk-perf-verify-1807-3n-skx:
4046         - 1   # NDRPDR sel
4047         - 2   # NDRPDR sel
4048         - 3   # NDRPDR sel
4049         - 6   # NDRPDR sel
4050         - 7   # NDRPDR sel
4051         - 8   # NDRPDR sel
4052         - 9   # NDRPDR sel
4053         - 10  # NDRPDR sel
4054