Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 -
2   type: "environment"
3
4   paths:
5     # Top level directories:
6     ## Working directory
7     DIR[WORKING]: "_tmp"
8     ## Build directories
9     DIR[BUILD,HTML]: "_build"
10     DIR[BUILD,LATEX]: "_build_latex"
11
12     # Static .rst files
13     DIR[RST]: "../../../docs/report"
14
15     # Working directories
16     ## Input data files (.zip, .xml)
17     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
18     ## Static source files from git
19     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
20     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
21
22     # Static html content
23     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
24     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
25     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
26     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
27
28     # Detailed test results
29     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
30     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
31     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
32     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
33     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
34     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
35     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
36     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
37     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
38     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
39     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
40     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
41     DIR[DTR,PERF,COT,3N,HSW]: "{DIR[DTR]}/cot_performance_results_3n_hsw"
42     DIR[DTR,FUNC,VPP,UBUNTU]: "{DIR[DTR]}/vpp_functional_results_ubuntu"
43     DIR[DTR,FUNC,VPP,CENTOS]: "{DIR[DTR]}/vpp_functional_results_centos"
44     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
45     DIR[DTR,FUNC,HC]: "{DIR[DTR]}/honeycomb_functional_results"
46     DIR[DTR,FUNC,NSHSFC]: "{DIR[DTR]}/nshsfc_functional_results"
47     DIR[DTR,FUNC,DMM]: "{DIR[DTR]}/dmm_functional_results"
48     DIR[DTR,PERF,VPP,IMPRV]: "{DIR[WORKING,SRC]}/vpp_performance_tests/performance_improvements"
49
50     # Detailed test configurations
51     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
52     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
53     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
54     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
55     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
56     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
57     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
58     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
59     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
60     DIR[DTC,FUNC,VPP,UBUNTU]: "{DIR[DTC]}/vpp_functional_configuration_ubuntu"
61     DIR[DTC,FUNC,VPP,CENTOS]: "{DIR[DTC]}/vpp_functional_configuration_centos"
62     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
63
64     # Detailed tests operational data
65     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
66     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
67     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
68     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
69     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
70
71     # .css patch file to fix tables generated by Sphinx
72     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
73     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
74
75   urls:
76     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
77     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
78     URL[VIRL,DNV]: "http://10.30.51.28/download/denverton/1810/robot-plugin.zip"
79     # URL[VIRL,DNV]: "http://download.it/from/nexus"
80     URL[NEXUS]: "https://docs.fd.io/csit"
81     DIR[NEXUS]: "report/_static/archive"
82
83   make-dirs:
84   # List the directories which are created while preparing the environment.
85   # All directories MUST be defined in "paths" section.
86   - "DIR[WORKING,DATA]"
87   - "DIR[STATIC,VPP]"
88   - "DIR[STATIC,DPDK]"
89   - "DIR[STATIC,ARCH]"
90   - "DIR[BUILD,LATEX]"
91   - "DIR[WORKING,SRC]"
92   - "DIR[WORKING,SRC,STATIC]"
93
94   remove-dirs:
95   # List the directories which are deleted while cleaning the environment.
96   # All directories MUST be defined in "paths" section.
97   #- "DIR[BUILD,HTML]"
98   - "DIR[WORKING,DATA]"
99
100   build-dirs:
101   # List the directories where the results (build) is stored.
102   # All directories MUST be defined in "paths" section.
103   - "DIR[BUILD,HTML]"
104   - "DIR[BUILD,LATEX]"
105
106 -
107   type: "configuration"
108
109   limits:
110     nic:
111       x520: 24460000
112       x553: 29761905
113       x710: 35800000
114       xxv710: 35800000
115       xl710: 35800000
116
117     link:
118       10ge: 14880952.38
119       25ge: 37202380.95
120       40ge: 59523809.52
121       100ge: 148809523.81
122
123     pci:
124       pci-g3-x8: 74404761.90
125       pci-g3-x16: 148809523.81
126
127   data-sets:
128
129     # Denverton:
130     intel-dnv-vpp:
131       # TODO: Replace with new data
132       intel-dnv-vpp-release-1810:
133       - 1
134
135     # VPP Performance
136     vpp-performance-changes-3n-hsw:
137       csit-vpp-perf-verify-1807-3n-hsw:
138       - 11  # NDRPDR full 1
139       - 22  # NDRPDR full 2
140       - 45  # NDRPDR full 3
141       - 46  # NDRPDR full 4
142       - 15  # NDRPDR sel
143       - 16  # NDRPDR sel
144       - 19  # NDRPDR sel
145       - 18  # NDRPDR sel
146       - 20  # NDRPDR sel
147       - 38  # NDRPDR sel
148       - 40  # NDRPDR sel
149       - 44  # NDRPDR sel
150       - 47  # NDRPDR sel
151       csit-vpp-perf-verify-1810-3n-hsw:
152       - 8   # NDRPDR sel
153       - 12  # NDRPDR sel
154       - 14  # NDRPDR sel
155       - 18  # NDRPDR sel
156       - 23  # NDRPDR sel
157       - 25  # NDRPDR sel
158       - 38  # NDRPDR sel
159       - 39  # NDRPDR sel
160       - 41  # NDRPDR sel
161       - 42  # NDRPDR sel
162       # TODO Add new data
163       csit-vpp-perf-verify-1901-3n-hsw:
164       - 10  # NDRPDR sel
165       - 18  # NDRPDR sel F
166       - 19  # NDRPDR sel
167
168     vpp-nic-comparison-3n-hsw:
169       # TODO: Add new data
170       csit-vpp-perf-verify-1901-3n-hsw:
171       - 10  # NDRPDR sel
172       - 18  # NDRPDR sel F
173       - 19  # NDRPDR sel
174
175     vpp-performance-changes-3n-skx:
176       csit-vpp-perf-verify-1807-3n-skx:
177       - 33  # NDRPDR sel
178       - 35  # NDRPDR sel
179       - 37  # NDRPDR sel
180       - 38  # NDRPDR sel
181       - 39  # NDRPDR sel
182       - 43  # NDRPDR sel
183       - 44  # NDRPDR sel
184       - 49  # NDRPDR sel
185       - 50  # NDRPDR sel
186       - 56  # NDRPDR sel
187       csit-vpp-perf-verify-1810-3n-skx:
188       - 10  # NDRPDR sel
189       - 14  # NDRPDR sel
190       - 15  # NDRPDR sel
191       - 16  # NDRPDR sel
192       - 17  # NDRPDR sel
193       - 19  # NDRPDR sel
194       - 20  # NDRPDR sel
195       - 21  # NDRPDR sel
196       - 22  # NDRPDR sel
197       - 25  # NDRPDR sel
198       # TODO Add new data:
199       csit-vpp-perf-verify-1901-3n-skx:
200       - 18  # NDRPDR sel
201       - 19  # NDRPDR sel
202       - 20  # NDRPDR sel
203       - 28  # NDRPDR sel
204       - 31  # NDRPDR sel
205
206     vpp-nic-comparison-3n-skx:
207       # TODO: Add new data
208       csit-vpp-perf-verify-1901-3n-skx:
209       - 18  # NDRPDR sel
210       - 19  # NDRPDR sel
211       - 20  # NDRPDR sel
212       - 28  # NDRPDR sel
213       - 31  # NDRPDR sel
214
215     vpp-performance-changes-2n-skx:
216       csit-vpp-perf-verify-1807-2n-skx:
217       - 26  # NDRPDR sel
218       - 28  # NDRPDR sel
219       - 29  # NDRPDR sel
220       - 30  # NDRPDR sel
221       - 34  # NDRPDR sel
222       - 35  # NDRPDR sel
223       - 36  # NDRPDR sel
224       - 39  # NDRPDR sel
225       - 40  # NDRPDR sel
226       - 42  # NDRPDR sel
227       csit-vpp-perf-verify-1810-2n-skx:
228       - 9   # NDRPDR sel
229       - 13  # NDRPDR sel
230       - 14  # NDRPDR sel
231       - 19  # NDRPDR sel
232       - 20  # NDRPDR sel
233       - 21  # NDRPDR sel
234       - 22  # NDRPDR sel
235       - 23  # NDRPDR sel
236       - 24  # NDRPDR sel
237       - 27  # NDRPDR sel
238       # TODO Add new data:
239       csit-vpp-perf-verify-1901-2n-skx:
240       - 5   # NDRPDR sel
241       - 10  # NDRPDR sel fails
242       - 12  # NDRPDR sel
243       - 13  # NDRPDR sel
244       - 16  # NDRPDR sel fails
245
246     vpp-nic-comparison-2n-skx:
247       # TODO: Add new data
248       csit-vpp-perf-verify-1901-2n-skx:
249       - 5   # NDRPDR sel
250       - 10  # NDRPDR sel fails
251       - 12  # NDRPDR sel
252       - 13  # NDRPDR sel
253       - 16  # NDRPDR sel fails
254
255     vpp-compare-testbeds:
256       # TODO: Add new data
257       csit-vpp-perf-verify-1901-3n-hsw:
258       - 10  # NDRPDR sel
259       - 19  # NDRPDR sel
260       # TODO: Add new data
261       csit-vpp-perf-verify-1901-3n-skx:
262       - 18  # NDRPDR sel
263       - 19  # NDRPDR sel
264       - 20  # NDRPDR sel
265       - 28  # NDRPDR sel
266       - 31  # NDRPDR sel
267
268     vpp-compare-testbeds-mrr:
269       # TODO: Add new data
270       csit-vpp-perf-verify-1901-3n-hsw:
271       - 35  # MRR sel
272       # TODO: Add new data
273       csit-vpp-perf-verify-1901-3n-skx:
274       - 32  # MRR sel
275
276     vpp-compare-topologies:
277       # TODO: Add new data
278       csit-vpp-perf-verify-1901-3n-skx:
279       - 18  # NDRPDR sel
280       - 19  # NDRPDR sel
281       - 20  # NDRPDR sel
282       - 28  # NDRPDR sel
283       - 31  # NDRPDR sel
284       # TODO: Add new data
285       csit-vpp-perf-verify-1901-2n-skx:
286       - 5   # NDRPDR sel
287       - 10  # NDRPDR sel fails
288       - 12  # NDRPDR sel
289       - 13  # NDRPDR sel
290       - 16  # NDRPDR sel fails
291
292     vpp-compare-topologies-mrr:
293       # TODO: Add new data
294       csit-vpp-perf-verify-1901-3n-skx:
295       - 32  # MRR sel
296       # TODO: Add new data
297       csit-vpp-perf-verify-1901-2n-skx:
298       - 22  # MRR sel
299
300     vpp-performance-changes-3n-hsw-mrr:
301       csit-vpp-perf-verify-1807-3n-hsw:
302       - 8   # MRR full
303       - 9   # MRR sel
304       - 21  # MRR sel
305       - 31  # MRR sel
306       - 33  # MRR sel
307       - 36  # MRR sel
308       - 41  # MRR sel
309       - 42  # MRR sel
310       - 48  # MRR sel
311       csit-vpp-perf-verify-1810-3n-hsw:
312       - 9   # MRR sel
313       # TODO: Add new data
314       csit-vpp-perf-verify-1901-3n-hsw:
315       - 35  # MRR sel
316
317     vpp-nic-comparison-3n-hsw-mrr:
318       # TODO: Add new data
319       csit-vpp-perf-verify-1901-3n-hsw:
320       - 35  # MRR sel
321
322     vpp-performance-changes-3n-skx-mrr:
323       csit-vpp-perf-verify-1807-3n-skx:
324       - 28  # MRR sel
325       - 32  # MRR sel
326       - 36  # MRR sel
327       - 42  # MRR sel
328       - 47  # MRR sel
329       - 48  # MRR sel
330       - 51  # MRR sel
331       - 52  # MRR sel
332       - 53  # MRR sel
333       - 54  # MRR sel
334       csit-vpp-perf-verify-1810-3n-skx:
335       - 9   # MRR sel
336       - 11  # MRR sel
337       - 12  # MRR sel
338       - 13  # MRR sel
339       # TODO: Add new data
340       csit-vpp-perf-verify-1901-3n-skx:
341       - 32  # MRR sel
342
343     vpp-nic-comparison-3n-skx-mrr:
344       # TODO: Replace with new data
345       csit-vpp-perf-verify-1901-3n-skx:
346       - 32  # MRR sel
347
348     vpp-performance-changes-2n-skx-mrr:
349       csit-vpp-perf-verify-1807-2n-skx:
350       - 31  # MRR sel
351       - 33  # MRR sel
352       - 37  # MRR sel
353       - 38  # MRR sel
354       - 41  # MRR sel
355       - 43  # MRR sel
356       - 44  # MRR sel
357       - 45  # MRR sel
358       - 46  # MRR sel
359       - 47  # MRR sel
360       csit-vpp-perf-verify-1810-2n-skx:
361       - 8   # MRR sel
362       - 10  # MRR sel
363       - 11  # MRR sel
364       - 12  # MRR sel
365       # TODO: Add new data
366       csit-vpp-perf-verify-1901-2n-skx:
367       - 22  # MRR sel
368
369     vpp-nic-comparison-2n-skx-mrr:
370       # TODO: Add new data
371       csit-vpp-perf-verify-1901-2n-skx:
372       - 22  # MRR sel
373
374     vpp-perf-results-3n-hsw:
375       # TODO: Replace with FULL data
376       csit-vpp-perf-verify-1901-3n-hsw:
377       - 19  # NDRPDR sel
378
379     vpp-perf-results-3n-skx:
380       # TODO: Replace with FULL data
381       csit-vpp-perf-verify-1901-3n-skx:
382       - 28  # NDRPDR sel
383
384     vpp-perf-results-2n-skx:
385       # TODO: Replace with FULL data
386       csit-vpp-perf-verify-1901-2n-skx:
387       - 13  # NDRPDR sel
388
389     vpp-mrr-results-3n-hsw:
390       # TODO: Replace with FULL data
391       csit-vpp-perf-verify-1901-3n-hsw:
392       - 35  # MRR sel
393
394     vpp-mrr-results-3n-skx:
395       # TODO: Replace with FULL data
396       csit-vpp-perf-verify-1901-3n-skx:
397       - 32  # MRR sel
398
399     vpp-mrr-results-2n-skx:
400       # TODO: Replace with FULL data
401       csit-vpp-perf-verify-1901-2n-skx:
402       - 22  # MRR sel
403
404     plot-throughput-speedup-analysis-3n-hsw:
405       # TODO: Add new data
406       csit-vpp-perf-verify-1901-3n-hsw:
407       - 10  # NDRPDR sel
408       - 18  # NDRPDR sel F
409       - 19  # NDRPDR sel
410
411     plot-throughput-speedup-analysis-3n-skx:
412       # TODO: Add new data
413       csit-vpp-perf-verify-1901-3n-skx:
414       - 18  # NDRPDR sel
415       - 19  # NDRPDR sel
416       - 20  # NDRPDR sel
417       - 28  # NDRPDR sel
418       - 31  # NDRPDR sel
419
420     plot-throughput-speedup-analysis-2n-skx:
421       # TODO: Add new data
422       csit-vpp-perf-verify-1901-2n-skx:
423       - 5   # NDRPDR sel
424       - 10  # NDRPDR sel fails
425       - 12  # NDRPDR sel
426       - 13  # NDRPDR sel
427       - 16  # NDRPDR sel fails
428
429     plot-vpp-throughput-latency-3n-hsw:
430       # TODO: Add new data
431       csit-vpp-perf-verify-1901-3n-hsw:
432       - 10  # NDRPDR sel
433       - 18  # NDRPDR sel F
434       - 19  # NDRPDR sel
435
436     plot-vpp-soak-2n-skx:
437       # TODO: Replace with new data
438       # csit-vpp-perf-verify-1901-2n-skx:
439       csit-vpp-perf-verify-master-2n-skx:
440       - 248  # SOAK sel
441       - 251  # SOAK sel
442
443     plot-vpp-nfv-2n-skx:
444       # TODO: Add new data
445       csit-vpp-perf-verify-1901-2n-skx:
446       - 28  # NFV NDRPDR
447       - 29  # NFV NDRPDR
448       - 32  # NFV NDRPDR
449
450     plot-vpp-nfv-2n-skx-mrr:
451       # TODO: Add new data
452       csit-vpp-perf-verify-1901-2n-skx:
453       - 24  # NFV MRR
454       - 26  # NFV MRR
455       - 27  # NFV MRR
456
457     plot-vpp-throughput-latency-3n-skx:
458       # TODO: Add new data
459       csit-vpp-perf-verify-1901-3n-skx:
460       - 18  # NDRPDR sel
461       - 19  # NDRPDR sel
462       - 20  # NDRPDR sel
463       - 28  # NDRPDR sel
464       - 31  # NDRPDR sel
465
466     plot-vpp-throughput-latency-2n-skx:
467       # TODO: Add new data
468       csit-vpp-perf-verify-1901-2n-skx:
469       - 5   # NDRPDR sel
470       - 10  # NDRPDR sel fails
471       - 12  # NDRPDR sel
472       - 13  # NDRPDR sel
473       - 16  # NDRPDR sel fails
474
475     plot-vpp-http-server-performance:
476       # TODO: Replace with new data
477       # csit-vpp-perf-verify-1901-3n-hsw:
478       csit-vpp-perf-verify-1810-3n-hsw:
479       - 28  # WRK
480       - 29  # WRK
481       - 30  # WRK
482       - 31  # WRK
483       - 32  # WRK
484       - 33  # WRK
485       - 34  # WRK
486       - 35  # WRK
487       - 36  # WRK
488       - 37  # WRK
489
490     # VPP Functional
491     vpp-func-results-ubuntu:
492       csit-vpp-functional-1901-ubuntu1604-virl:
493       - 48
494
495     vpp-func-results-centos:
496       csit-vpp-functional-1901-centos7-virl:
497       - 50
498
499     vpp-device-results-ubuntu:
500       csit-vpp-device-1901-ubuntu1804-1n-skx:
501       - 49
502
503     # VPP Ligato
504     ligato-perf-results-3n-hsw:
505       # TODO: Replace with new data
506       # csit-ligato-perf-verify-1901-3n-hsw:
507       csit-ligato-perf-verify-1810-3n-hsw:
508       - 5   # full
509
510     plot-ligato-throughput-speedup-analysis-3n-hsw:
511       # TODO: Replace with new data
512       # csit-ligato-perf-verify-1901-3n-hsw:
513       csit-ligato-perf-verify-1810-3n-hsw:
514       - 5   # full
515       - 6   # sel
516       - 8   # sel
517       - 9   # sel
518       - 11  # sel
519       - 12  # sel
520       - 13  # sel
521       - 14  # sel
522       - 16  # sel
523       - 17  # sel
524       - 18  # sel
525
526     plot-ligato-throughput-latency-3n-hsw:
527       # TODO: Replace with new data
528       # csit-ligato-perf-verify-1901-3n-hsw:
529       csit-ligato-perf-verify-1810-3n-hsw:
530       - 5   # full
531       - 6   # sel
532       - 8   # sel
533       - 9   # sel
534       - 11  # sel
535       - 12  # sel
536       - 13  # sel
537       - 14  # sel
538       - 16  # sel
539       - 17  # sel
540       - 18  # sel
541
542     # DPDK Performance
543     dpdk-performance-changes-3n-hsw:
544       csit-dpdk-perf-verify-1807-3n-hsw:
545       - 11
546       - 12  # full
547       - 14
548       - 15
549       - 16
550       - 17
551       - 20
552       - 21
553       - 22
554       - 23
555       csit-dpdk-perf-verify-1810-3n-hsw:
556       - 1   # NDRPDR sel
557       - 2   # NDRPDR sel
558       - 3   # NDRPDR sel
559       - 4   # NDRPDR sel
560       - 5   # NDRPDR sel
561       - 6   # NDRPDR sel
562       - 7   # NDRPDR sel
563       - 8   # NDRPDR sel
564       - 9   # NDRPDR sel
565       - 10  # NDRPDR sel
566       # TODO: Add new data
567       csit-dpdk-perf-verify-1901-3n-hsw:
568       - 3   # NDRPDR sel
569       - 4   # NDRPDR sel
570       - 5   # NDRPDR sel
571       - 6   # NDRPDR sel
572       - 7   # NDRPDR sel
573
574     dpdk-performance-changes-3n-skx:
575       csit-dpdk-perf-verify-1807-3n-skx:
576       - 1   # NDRPDR sel
577       - 2   # NDRPDR sel
578       - 3   # NDRPDR sel
579       - 6   # NDRPDR sel
580       - 7   # NDRPDR sel
581       - 8   # NDRPDR sel
582       - 9   # NDRPDR sel
583       - 10  # NDRPDR sel
584       - 11  # NDRPDR sel
585       - 12  # NDRPDR sel
586       csit-dpdk-perf-verify-1810-3n-skx:
587       - 3   # NDRPDR sel
588       - 4   # NDRPDR sel
589       - 6   # NDRPDR sel
590       - 7   # NDRPDR sel
591       - 8   # NDRPDR sel
592       - 9   # NDRPDR sel
593       - 10  # NDRPDR sel
594       - 11  # NDRPDR sel
595       - 12  # NDRPDR sel
596       - 13  # NDRPDR sel
597       # TODO: Add new data
598       # csit-dpdk-perf-verify-1901-3n-skx:
599
600     dpdk-compare-testbeds:
601       # TODO: Replace with new data
602       # csit-dpdk-perf-verify-1901-3n-skx:
603       csit-dpdk-perf-verify-1810-3n-skx:
604       - 3   # NDRPDR sel
605       - 4   # NDRPDR sel
606       - 6   # NDRPDR sel
607       - 7   # NDRPDR sel
608       - 8   # NDRPDR sel
609       - 9   # NDRPDR sel
610       - 10  # NDRPDR sel
611       - 11  # NDRPDR sel
612       - 12  # NDRPDR sel
613       - 13  # NDRPDR sel
614       # TODO: Add new data
615       csit-dpdk-perf-verify-1901-3n-hsw:
616       - 3   # NDRPDR sel
617       - 4   # NDRPDR sel
618       - 5   # NDRPDR sel
619       - 6   # NDRPDR sel
620       - 7   # NDRPDR sel
621
622     dpdk-compare-topologies:
623       # TODO: Replace with new data
624       # csit-dpdk-perf-verify-1901-3n-skx:
625       csit-dpdk-perf-verify-1810-3n-skx:
626       - 3   # NDRPDR sel
627       - 4   # NDRPDR sel
628       - 6   # NDRPDR sel
629       - 7   # NDRPDR sel
630       - 8   # NDRPDR sel
631       - 9   # NDRPDR sel
632       - 10  # NDRPDR sel
633       - 11  # NDRPDR sel
634       - 12  # NDRPDR sel
635       - 13  # NDRPDR sel
636       # TODO: Add new data
637       csit-dpdk-perf-verify-1901-2n-skx:
638       - 2   # NDRPDR sel
639
640     dpdk-perf-results-3n-hsw:
641       # TODO: Replace with FULL data
642       csit-dpdk-perf-verify-1901-3n-hsw:
643       - 6   # NDRPDR sel
644
645     dpdk-perf-results-3n-skx:
646       # TODO: Replace with new data
647       # csit-dpdk-perf-verify-1901-3n-skx:
648       csit-dpdk-perf-verify-1810-3n-skx:
649       - 3   # NDRPDR sel
650
651     dpdk-perf-results-2n-skx:
652       # TODO: Replace with FULL data
653       csit-dpdk-perf-verify-1901-2n-skx:
654       - 2   # NDRPDR sel
655
656     plot-dpdk-throughput-latency-3n-hsw:
657       # TODO: Replace with new data
658       csit-dpdk-perf-verify-1901-3n-hsw:
659       - 3   # NDRPDR sel
660       - 4   # NDRPDR sel
661       - 5   # NDRPDR sel
662       - 6   # NDRPDR sel
663       - 7   # NDRPDR sel
664
665     plot-dpdk-throughput-latency-3n-skx:
666       # TODO: Replace with new data
667       # csit-dpdk-perf-verify-1901-3n-skx:
668       csit-dpdk-perf-verify-1810-3n-skx:
669       - 3   # NDRPDR sel
670       - 4   # NDRPDR sel
671       - 6   # NDRPDR sel
672       - 7   # NDRPDR sel
673       - 8   # NDRPDR sel
674       - 9   # NDRPDR sel
675       - 10  # NDRPDR sel
676       - 11  # NDRPDR sel
677       - 12  # NDRPDR sel
678       - 13  # NDRPDR sel
679
680     plot-dpdk-throughput-latency-2n-skx:
681       # TODO: Add new data
682       csit-dpdk-perf-verify-1901-2n-skx:
683       - 2   # NDRPDR sel
684
685     # HoneyComb Functional
686     hc-func-results:
687       csit-hc2vpp-verify-func-1901-ubuntu1604:
688       - 3
689
690     # NSH SFC Functional
691     nsh-func-results:
692       # TODO: Replace with new data
693       # csit-nsh_sfc-verify-func-1901-ubuntu1604-virl:
694       csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
695       - 1
696
697     # DMM Functional
698     dmm-func-results:
699       # TODO: Replace with new data
700       # csit-dmm-functional-1901-ubuntu1604-virl:
701       csit-dmm-functional-1810-ubuntu1604-virl:
702       - 1
703
704   plot-layouts:
705
706     plot-soak-throughput:
707       titlefont:
708         size: 18
709       xaxis:
710         title: "<b>Test Cases [Index]</b>"
711         titlefont:
712           size: 16
713         autorange: True
714         fixedrange: False
715         gridcolor: "rgb(230, 230, 230)"
716         linecolor: "rgb(220, 220, 220)"
717         linewidth: 1
718         showgrid: True
719         showline: True
720         showticklabels: True
721         tickcolor: "rgb(220, 220, 220)"
722         tickmode: "linear"
723         tickfont:
724           size: 16
725         zeroline: False
726       yaxis:
727         title: "<b>Packet Throughput [Mpps]</b>"
728         titlefont:
729           size: 16
730         gridcolor: "rgb(230, 230, 230)"
731         hoverformat: ".4s"
732         tickformat: ".3s"
733         linecolor: "rgb(220, 220, 220)"
734         linewidth: 1
735         showgrid: True
736         showline: True
737         showticklabels: True
738         tickcolor: "rgb(220, 220, 220)"
739         tickfont:
740           size: 16
741         zeroline: False
742         range: [0,50]
743       autosize: False
744       margin:
745         t: 50
746         b: 0
747         l: 80
748         r: 20
749       showlegend: True
750       legend:
751         orientation: "h"
752         font:
753           size: 16
754       width: 700
755       height: 900
756
757     plot-service-density:
758       titlefont:
759         size: 18
760       xaxis:
761         side: "top"
762         autorange: True
763         fixedrange: False
764         showgrid: False
765         showline: False
766         showticklabels: False
767         ticks: ""
768         ticklen: 0
769         tickwidth: 0
770         zeroline: False
771       yaxis:
772         autorange: "reversed"
773         showgrid: False
774         showline: False
775         showticklabels: False
776         ticks: ""
777         ticklen: 0
778         tickwidth: 0
779         zeroline: False
780       autosize: True
781       showlegend: False
782       width: 700
783       height: 700
784
785     plot-cps:
786       titlefont:
787         size: 18
788       xaxis:
789         title: "<b>Test Cases [Index]</b>"
790         titlefont:
791           size: 16
792         autorange: True
793         fixedrange: False
794         gridcolor: "rgb(230, 230, 230)"
795         linecolor: "rgb(220, 220, 220)"
796         linewidth: 1
797         showgrid: True
798         showline: True
799         showticklabels: True
800         tickcolor: "rgb(220, 220, 220)"
801         tickmode: "linear"
802         tickfont:
803           size: 16
804         zeroline: False
805       yaxis:
806         title: "<b>Connections Per Second [cps]</b>"
807         titlefont:
808           size: 16
809         gridcolor: "rgb(230, 230, 230)"
810         hoverformat: ".4s"
811         linecolor: "rgb(220, 220, 220)"
812         linewidth: 1
813         rangemode: "tozero"
814         showgrid: True
815         showline: True
816         showticklabels: True
817         tickcolor: "rgb(220, 220, 220)"
818         tickformat: ".3s"
819         tickfont:
820           size: 16
821         zeroline: False
822       boxmode: "group"
823       boxgroupgap: 0.5
824       autosize: False
825       margin:
826         t: 50
827         b: 20
828         l: 80
829         r: 20
830       showlegend: True
831       legend:
832         orientation: "h"
833         font:
834           size: 16
835       width: 700
836       height: 800
837
838     plot-rps:
839       titlefont:
840         size: 18
841       xaxis:
842         title: "<b>Test Cases [Index]</b>"
843         titlefont:
844           size: 16
845         autorange: True
846         fixedrange: False
847         gridcolor: "rgb(230, 230, 230)"
848         linecolor: "rgb(220, 220, 220)"
849         linewidth: 1
850         showgrid: True
851         showline: True
852         showticklabels: True
853         tickcolor: "rgb(220, 220, 220)"
854         tickmode: "linear"
855         tickfont:
856           size: 16
857         zeroline: False
858       yaxis:
859         title: "<b>Requests Per Second [rps]</b>"
860         titlefont:
861           size: 16
862         gridcolor: "rgb(230, 230, 230)"
863         hoverformat: ".4s"
864         linecolor: "rgb(220, 220, 220)"
865         linewidth: 1
866         rangemode: "tozero"
867         showgrid: True
868         showline: True
869         showticklabels: True
870         tickcolor: "rgb(230, 230, 230)"
871         tickformat: ".3s"
872         tickfont:
873           size: 16
874         zeroline: False
875       boxmode: "group"
876       boxgroupgap: 0.5
877       autosize: False
878       margin:
879         t: 50
880         b: 20
881         l: 80
882         r: 20
883       showlegend: True
884       legend:
885         orientation: "h"
886         font:
887           size: 16
888       width: 700
889       height: 800
890
891     plot-throughput:
892       titlefont:
893         size: 18
894       xaxis:
895         title: "<b>Test Cases [Index]</b>"
896         titlefont:
897           size: 16
898         autorange: True
899         fixedrange: False
900         gridcolor: "rgb(230, 230, 230)"
901         linecolor: "rgb(220, 220, 220)"
902         linewidth: 1
903         showgrid: True
904         showline: True
905         showticklabels: True
906         tickcolor: "rgb(220, 220, 220)"
907         tickmode: "linear"
908         tickfont:
909           size: 16
910         zeroline: False
911       yaxis:
912         title: "<b>Packet Throughput [Mpps]</b>"
913         titlefont:
914           size: 16
915         gridcolor: "rgb(230, 230, 230)"
916         hoverformat: ".4s"
917         tickformat: ".3s"
918         linecolor: "rgb(220, 220, 220)"
919         linewidth: 1
920         showgrid: True
921         showline: True
922         showticklabels: True
923         tickcolor: "rgb(220, 220, 220)"
924         tickfont:
925           size: 16
926         zeroline: False
927         range: [0,50]
928       boxmode: "group"
929       boxgroupgap: 0.5
930       autosize: False
931       margin:
932         t: 50
933         b: 0
934         l: 80
935         r: 20
936       showlegend: True
937       legend:
938         orientation: "h"
939         font:
940           size: 16
941       width: 700
942       height: 900
943
944     plot-throughput-speedup-analysis:
945       titlefont:
946         size: 18
947       xaxis:
948         title: "<b>Number of Cores [Qty]</b>"
949         titlefont:
950           size: 16
951         autorange: True
952         fixedrange: False
953         gridcolor: "rgb(230, 230, 230)"
954         linecolor: "rgb(220, 220, 220)"
955         linewidth: 1
956         showgrid: True
957         showline: True
958         showticklabels: True
959         tickcolor: "rgb(238, 238, 238)"
960         tickmode: "linear"
961         tickfont:
962           size: 16
963         zeroline: False
964       yaxis:
965         title: "<b>Packet Throughput [Mpps]</b>"
966         titlefont:
967           size: 16
968         type: "linear"
969         gridcolor: "rgb(230, 230, 230)"
970         hoverformat: ".4s"
971         linecolor: "rgb(220, 220, 220)"
972         linewidth: 1
973         showgrid: True
974         showline: True
975         showticklabels: True
976         tickcolor: "rgb(220, 220, 220)"
977         tickformat: ".4s"
978         tickfont:
979           size: 16
980         zeroline: True
981         rangemode: "tozero"
982         range: [0,100]
983       legend:
984         orientation: "h"
985         font:
986           size: 16
987         xanchor: "left"
988         yanchor: "top"
989         x: 0
990         y: -0.2
991         bgcolor: "rgba(255, 255, 255, 0)"
992         bordercolor: "rgba(255, 255, 255, 0)"
993         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
994       autosize: False
995       margin:
996           't': 50
997           'b': 150
998           'l': 85
999           'r': 10
1000       showlegend: True
1001       width: 700
1002       height: 700
1003       hoverlabel:
1004         namelength: -1
1005       annotations: [
1006         {
1007           text: "_ _          __          ...",
1008           align: "left",
1009           showarrow: False,
1010           xref: "paper",
1011           yref: "paper",
1012           xanchor: "left",
1013           yanchor: "top",
1014           x: 0,
1015           y: -0.13,
1016           font: {
1017             family: "Consolas, Courier New",
1018             size: 15
1019           },
1020         },
1021         {
1022           text: "    Perfect     Measured     Limit",
1023           align: "left",
1024           showarrow: False,
1025           xref: "paper",
1026           yref: "paper",
1027           xanchor: "left",
1028           yanchor: "top",
1029           x: 0,
1030           y: -0.15,
1031           font: {
1032             family: "Consolas, Courier New",
1033             size: 15
1034           },
1035         },
1036       ]
1037
1038     plot-latency:
1039       titlefont:
1040         size: 18
1041       xaxis:
1042         title: "<b>Direction</b>"
1043         titlefont:
1044           size: 16
1045         autorange: True
1046         fixedrange: False
1047         gridcolor: "rgb(230, 230, 230)"
1048         linecolor: "rgb(220, 220, 220)"
1049         linewidth: 1
1050         showgrid: True
1051         showline: True
1052         showticklabels: False
1053         tickcolor: "rgb(220, 220, 220)"
1054         tickmode: "linear"
1055         tickfont:
1056           size: 16
1057         zeroline: False
1058       yaxis:
1059         title: "<b>Packet Latency [uSec]</b>"
1060         titlefont:
1061           size: 16
1062         type: "linear"
1063         gridcolor: "rgb(230, 230, 230)"
1064         hoverformat: ".4s"
1065         linecolor: "rgb(220, 220, 220)"
1066         linewidth: 1
1067         showgrid: True
1068         showline: True
1069         showticklabels: True
1070         tickcolor: "rgb(220, 220, 220)"
1071         tickformat: ".4s"
1072         tickfont:
1073           size: 16
1074         zeroline: True
1075         rangemode: "tozero"
1076       legend:
1077         orientation: "h"
1078         font:
1079           size: 16
1080         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
1081       autosize: False
1082       margin:
1083           't': 50
1084           'b': 150
1085           'l': 80
1086           'r': 10
1087       showlegend: True
1088       width: 700
1089       height: 700
1090       hoverlabel:
1091         namelength: -1
1092
1093 -
1094   type: "static"
1095   src-path: "{DIR[RST]}"
1096   dst-path: "{DIR[WORKING,SRC]}"
1097
1098 -
1099   type: "input"
1100   general:
1101     file-name: "robot-plugin.zip"
1102     file-format: ".zip"
1103     download-path: "{job}/{build}/robot/report/*zip*/{filename}"
1104     extract: "robot-plugin/output.xml"
1105
1106   builds:
1107
1108     intel-dnv-vpp-release-1810:
1109     - 1
1110
1111     csit-vpp-perf-verify-1807-3n-hsw:
1112     - 8   # MRR full
1113     - 9   # MRR sel
1114     - 21  # MRR sel
1115     - 31  # MRR sel
1116     - 33  # MRR sel
1117     - 36  # MRR sel
1118     - 41  # MRR sel
1119     - 42  # MRR sel
1120     - 48  # MRR sel
1121     - 11  # NDRPDR full 1
1122     - 22  # NDRPDR full 2
1123     - 45  # NDRPDR full 3
1124     - 46  # NDRPDR full 4
1125     - 15  # NDRPDR sel
1126     - 16  # NDRPDR sel
1127     - 19  # NDRPDR sel
1128     - 18  # NDRPDR sel
1129     - 20  # NDRPDR sel
1130     - 38  # NDRPDR sel
1131     - 40  # NDRPDR sel
1132     - 44  # NDRPDR sel
1133     - 47  # NDRPDR sel
1134     - 24  # WRK
1135     - 25  # WRK
1136     - 23  # WRK
1137     - 26  # WRK
1138     - 27  # WRK
1139     - 28  # WRK
1140     - 29  # WRK
1141     - 30  # WRK
1142     - 32  # WRK
1143     - 35  # WRK
1144     csit-vpp-perf-verify-1810-3n-hsw:
1145     - 9   # MRR sel
1146     - 20  # NDRPDR full
1147     - 21  # NDRPDR full
1148     - 22  # NDRPDR full
1149     - 27  # NDRPDR full
1150     - 8   # NDRPDR sel
1151     - 12  # NDRPDR sel
1152     - 14  # NDRPDR sel
1153     - 18  # NDRPDR sel
1154     - 23  # NDRPDR sel
1155     - 25  # NDRPDR sel
1156     - 38  # NDRPDR sel
1157     - 39  # NDRPDR sel
1158     - 41  # NDRPDR sel
1159     - 42  # NDRPDR sel
1160     - 28  # WRK
1161     - 29  # WRK
1162     - 30  # WRK
1163     - 31  # WRK
1164     - 32  # WRK
1165     - 33  # WRK
1166     - 34  # WRK
1167     - 35  # WRK
1168     - 36  # WRK
1169     - 37  # WRK
1170     csit-vpp-perf-verify-1901-3n-hsw:
1171     - 35  # MRR sel
1172     - 10  # NDRPDR sel
1173     - 18  # NDRPDR sel F
1174     - 19  # NDRPDR sel
1175     csit-vpp-perf-verify-1807-3n-skx:
1176     - 31  # MRR full
1177     - 28  # MRR sel
1178     - 32  # MRR sel
1179     - 36  # MRR sel
1180     - 42  # MRR sel
1181     - 47  # MRR sel
1182     - 48  # MRR sel
1183     - 51  # MRR sel
1184     - 52  # MRR sel
1185     - 53  # MRR sel
1186     - 54  # MRR sel
1187     - 40  # NDRPDR full 1
1188     - 41  # NDRPDR full 2
1189     - 33  # NDRPDR sel
1190     - 35  # NDRPDR sel
1191     - 37  # NDRPDR sel
1192     - 38  # NDRPDR sel
1193     - 39  # NDRPDR sel
1194     - 43  # NDRPDR sel
1195     - 44  # NDRPDR sel
1196     - 49  # NDRPDR sel
1197     - 50  # NDRPDR sel
1198     - 56  # NDRPDR sel
1199     csit-vpp-perf-verify-1810-3n-skx:
1200     - 9   # MRR sel
1201     - 11  # MRR sel
1202     - 12  # MRR sel
1203     - 13  # MRR sel
1204     - 23  # NDRPDR full
1205     - 24  # NDRPDR full
1206     - 10  # NDRPDR sel
1207     - 14  # NDRPDR sel
1208     - 15  # NDRPDR sel
1209     - 16  # NDRPDR sel
1210     - 17  # NDRPDR sel
1211     - 19  # NDRPDR sel
1212     - 20  # NDRPDR sel
1213     - 21  # NDRPDR sel
1214     - 22  # NDRPDR sel
1215     - 25  # NDRPDR sel
1216     csit-vpp-perf-verify-1901-3n-skx:
1217     - 32  # MRR sel
1218     - 18  # NDRPDR sel
1219     - 19  # NDRPDR sel
1220     - 20  # NDRPDR sel
1221     - 28  # NDRPDR sel
1222     - 31  # NDRPDR sel
1223     csit-vpp-perf-verify-1807-2n-skx:
1224     - 27  # MRR full
1225     - 31  # MRR sel
1226     - 33  # MRR sel
1227     - 37  # MRR sel
1228     - 38  # MRR sel
1229     - 41  # MRR sel
1230     - 43  # MRR sel
1231     - 44  # MRR sel
1232     - 45  # MRR sel
1233     - 46  # MRR sel
1234     - 47  # MRR sel
1235     - 32  # NDRPDR full
1236     - 26  # NDRPDR sel
1237     - 28  # NDRPDR sel
1238     - 29  # NDRPDR sel
1239     - 30  # NDRPDR sel
1240     - 34  # NDRPDR sel
1241     - 35  # NDRPDR sel
1242     - 36  # NDRPDR sel
1243     - 39  # NDRPDR sel
1244     - 40  # NDRPDR sel
1245     - 42  # NDRPDR sel
1246     csit-vpp-perf-verify-1810-2n-skx:
1247     - 8   # MRR sel
1248     - 10  # MRR sel
1249     - 11  # MRR sel
1250     - 12  # MRR sel
1251     - 25  # NDRPDR full
1252     - 26  # NDRPDR full
1253     - 9   # NDRPDR sel
1254     - 13  # NDRPDR sel
1255     - 14  # NDRPDR sel
1256     - 19  # NDRPDR sel
1257     - 20  # NDRPDR sel
1258     - 21  # NDRPDR sel
1259     - 22  # NDRPDR sel
1260     - 23  # NDRPDR sel
1261     - 24  # NDRPDR sel
1262     - 27  # NDRPDR sel
1263     csit-vpp-perf-verify-1901-2n-skx:
1264     - 22  # MRR sel
1265     - 5   # NDRPDR sel
1266     - 10  # NDRPDR sel fails
1267     - 12  # NDRPDR sel
1268     - 13  # NDRPDR sel
1269     - 16  # NDRPDR sel fails
1270     - 24  # NFV MRR
1271     - 26  # NFV MRR
1272     - 27  # NFV MRR
1273     - 28  # NFV NDRPDR
1274     - 29  # NFV NDRPDR
1275     - 32  # NFV NDRPDR
1276     csit-vpp-perf-verify-master-2n-skx:
1277     - 248  # SOAK sel
1278     - 251  # SOAK sel
1279     csit-ligato-perf-verify-1810-3n-hsw:
1280     - 5   # full
1281     - 6   # sel
1282     - 8   # sel
1283     - 9   # sel
1284     - 11  # sel
1285     - 12  # sel
1286     - 13  # sel
1287     - 14  # sel
1288     - 16  # sel
1289     - 17  # sel
1290     - 18  # sel
1291     # TODO: Add new data
1292     # csit-ligato-perf-verify-1901-3n-hsw:
1293     csit-dpdk-perf-verify-1807-3n-hsw:
1294     - 11
1295     - 12  # full
1296     - 14
1297     - 15
1298     - 16
1299     - 17
1300     - 20
1301     - 21
1302     - 22
1303     - 23
1304     csit-dpdk-perf-verify-1810-3n-hsw:
1305     - 1   # NDRPDR sel
1306     - 2   # NDRPDR sel
1307     - 3   # NDRPDR sel
1308     - 4   # NDRPDR sel
1309     - 5   # NDRPDR sel
1310     - 6   # NDRPDR sel
1311     - 7   # NDRPDR sel
1312     - 8   # NDRPDR sel
1313     - 9   # NDRPDR sel
1314     - 10  # NDRPDR sel
1315     csit-dpdk-perf-verify-1901-3n-hsw:
1316     - 3   # NDRPDR sel
1317     - 4   # NDRPDR sel
1318     - 5   # NDRPDR sel
1319     - 6   # NDRPDR sel
1320     - 7   # NDRPDR sel
1321     csit-dpdk-perf-verify-1807-3n-skx:
1322     - 1   # NDRPDR sel
1323     - 2   # NDRPDR sel
1324     - 3   # NDRPDR sel
1325     - 6   # NDRPDR sel
1326     - 7   # NDRPDR sel
1327     - 8   # NDRPDR sel
1328     - 9   # NDRPDR sel
1329     - 10  # NDRPDR sel
1330     - 11  # NDRPDR sel
1331     - 12  # NDRPDR sel
1332     csit-dpdk-perf-verify-1810-3n-skx:
1333     - 3   # NDRPDR sel
1334     - 4   # NDRPDR sel
1335     - 6   # NDRPDR sel
1336     - 7   # NDRPDR sel
1337     - 8   # NDRPDR sel
1338     - 9   # NDRPDR sel
1339     - 10  # NDRPDR sel
1340     - 11  # NDRPDR sel
1341     - 12  # NDRPDR sel
1342     - 13  # NDRPDR sel
1343 #    csit-dpdk-perf-verify-1810-2n-skx:
1344 #    - 3   # NDRPDR sel
1345 #    - 4   # NDRPDR sel
1346 #    - 5   # NDRPDR sel
1347 #    - 7   # NDRPDR sel
1348 #    - 8   # NDRPDR sel
1349 #    - 9   # NDRPDR sel
1350 #    - 10  # NDRPDR sel
1351 #    - 11  # NDRPDR sel
1352 #    - 12  # NDRPDR sel
1353 #    - 13  # NDRPDR sel
1354     csit-dpdk-perf-verify-1901-2n-skx:
1355     - 2   # NDRPDR sel
1356     csit-vpp-functional-1901-ubuntu1604-virl:
1357     - 48
1358     csit-vpp-functional-1901-centos7-virl:
1359     - 50
1360     csit-vpp-device-1901-ubuntu1804-1n-skx:
1361     - 49
1362     csit-nsh_sfc-verify-func-1810-ubuntu1604-virl:
1363     - 1
1364     csit-dmm-functional-1810-ubuntu1604-virl:
1365     - 1
1366     csit-hc2vpp-verify-func-1901-ubuntu1604:
1367     - 3
1368
1369 -
1370   type: "output"
1371   output: "report"
1372   format:
1373     html:
1374     - full
1375 #    pdf:
1376 #    - minimal
1377
1378 ################################################################################
1379 ###                               T A B L E S                                ###
1380 ################################################################################
1381
1382
1383 # VPP Compare NICs 3n-hsw 1t1c ndr
1384 -
1385   type: "table"
1386   title: "VPP Compare NICs 3n-hsw 1t1c ndr"
1387   algorithm: "table_nics_comparison"
1388   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-nics-ndr"
1389   reference:
1390     title: "Intel-x520"
1391     nic: "NIC_Intel-X520-DA2"
1392   compare:
1393     title: "Intel-x710"
1394     nic: "NIC_Intel-X710"
1395   data: "vpp-nic-comparison-3n-hsw"
1396   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1397   filter: "'1T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1398   parameters:
1399   - "name"
1400   - "parent"
1401   - "throughput"
1402   - "tags"
1403
1404 # VPP Compare NICs 3n-hsw 2t2c ndr
1405 -
1406   type: "table"
1407   title: "VPP Compare NICs 3n-hsw 2t2c ndr"
1408   algorithm: "table_nics_comparison"
1409   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-nics-ndr"
1410   reference:
1411     title: "Intel-x520"
1412     nic: "NIC_Intel-X520-DA2"
1413   compare:
1414     title: "Intel-x710"
1415     nic: "NIC_Intel-X710"
1416   data: "vpp-nic-comparison-3n-hsw"
1417   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1418   filter: "'2T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1419   parameters:
1420   - "name"
1421   - "parent"
1422   - "throughput"
1423   - "tags"
1424
1425 # VPP Compare NICs 3n-hsw 1t1c pdr
1426 -
1427   type: "table"
1428   title: "VPP Compare NICs 3n-hsw 1t1c pdr"
1429   algorithm: "table_nics_comparison"
1430   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-nics-pdr"
1431   reference:
1432     title: "Intel-x520"
1433     nic: "NIC_Intel-X520-DA2"
1434   compare:
1435     title: "Intel-x710"
1436     nic: "NIC_Intel-X710"
1437   data: "vpp-nic-comparison-3n-hsw"
1438   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1439   filter: "'1T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1440   parameters:
1441   - "name"
1442   - "parent"
1443   - "throughput"
1444   - "tags"
1445
1446 # VPP Compare NICs 3n-hsw 2t2c pdr
1447 -
1448   type: "table"
1449   title: "VPP Compare NICs 3n-hsw 2t2c pdr"
1450   algorithm: "table_nics_comparison"
1451   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-nics-pdr"
1452   reference:
1453     title: "Intel-x520"
1454     nic: "NIC_Intel-X520-DA2"
1455   compare:
1456     title: "Intel-x710"
1457     nic: "NIC_Intel-X710"
1458   data: "vpp-nic-comparison-3n-hsw"
1459   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1460   filter: "'2T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1461   parameters:
1462   - "name"
1463   - "parent"
1464   - "throughput"
1465   - "tags"
1466
1467 # VPP Compare NICs 3n-hsw 1t1c mrr
1468 -
1469   type: "table"
1470   title: "VPP Compare NICs 3n-hsw 1t1c mrr"
1471   algorithm: "table_nics_comparison"
1472   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-nics-mrr"
1473   reference:
1474     title: "Intel-x520"
1475     nic: "NIC_Intel-X520-DA2"
1476   compare:
1477     title: "Intel-x710"
1478     nic: "NIC_Intel-X710"
1479   data: "vpp-nic-comparison-3n-hsw-mrr"
1480   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1481   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1482   parameters:
1483   - "name"
1484   - "parent"
1485   - "result"
1486   - "tags"
1487
1488 # VPP Compare NICs 3n-hsw 2t2c mrr
1489 -
1490   type: "table"
1491   title: "VPP Compare NICs 3n-hsw 2t2c mrr"
1492   algorithm: "table_nics_comparison"
1493   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-nics-mrr"
1494   reference:
1495     title: "Intel-x520"
1496     nic: "NIC_Intel-X520-DA2"
1497   compare:
1498     title: "Intel-x710"
1499     nic: "NIC_Intel-X710"
1500   data: "vpp-nic-comparison-3n-hsw-mrr"
1501   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1502   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1503   parameters:
1504   - "name"
1505   - "parent"
1506   - "result"
1507   - "tags"
1508
1509 # VPP Compare NICs 3n-hsw 4t4c mrr
1510 -
1511   type: "table"
1512   title: "VPP Compare NICs 3n-hsw 4t4c mrr"
1513   algorithm: "table_nics_comparison"
1514   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-nics-mrr"
1515   reference:
1516     title: "Intel-x520"
1517     nic: "NIC_Intel-X520-DA2"
1518   compare:
1519     title: "Intel-x710"
1520     nic: "NIC_Intel-X710"
1521   data: "vpp-nic-comparison-3n-hsw-mrr"
1522   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1523   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1524   parameters:
1525   - "name"
1526   - "parent"
1527   - "result"
1528   - "tags"
1529
1530 # VPP Compare NICs 3n-skx 2t1c ndr
1531 -
1532   type: "table"
1533   title: "VPP Compare NICs 3n-skx 2t1c ndr"
1534   algorithm: "table_nics_comparison"
1535   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
1536   reference:
1537     title: "Intel-x710"
1538     nic: "NIC_Intel-X710"
1539   compare:
1540     title: "Intel-xxv710"
1541     nic: "NIC_Intel-XXV710"
1542   data: "vpp-nic-comparison-3n-skx"
1543   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1544   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1545   parameters:
1546   - "name"
1547   - "parent"
1548   - "throughput"
1549   - "tags"
1550
1551 # VPP Compare NICs 3n-skx 4t2c ndr
1552 -
1553   type: "table"
1554   title: "VPP Compare NICs 3n-skx 4t2c ndr"
1555   algorithm: "table_nics_comparison"
1556   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
1557   reference:
1558     title: "Intel-x710"
1559     nic: "NIC_Intel-X710"
1560   compare:
1561     title: "Intel-xxv710"
1562     nic: "NIC_Intel-XXV710"
1563   data: "vpp-nic-comparison-3n-skx"
1564   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1565   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1566   parameters:
1567   - "name"
1568   - "parent"
1569   - "throughput"
1570   - "tags"
1571
1572 # VPP Compare NICs 3n-skx 2t1c pdr
1573 -
1574   type: "table"
1575   title: "VPP Compare NICs 3n-skx 2t1c pdr"
1576   algorithm: "table_nics_comparison"
1577   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
1578   reference:
1579     title: "Intel-x710"
1580     nic: "NIC_Intel-X710"
1581   compare:
1582     title: "Intel-xxv710"
1583     nic: "NIC_Intel-XXV710"
1584   data: "vpp-nic-comparison-3n-skx"
1585   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1586   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1587   parameters:
1588   - "name"
1589   - "parent"
1590   - "throughput"
1591   - "tags"
1592
1593  # VPP Compare NICs 3n-skx 4t2c pdr
1594 -
1595   type: "table"
1596   title: "VPP Compare NICs 3n-skx 4t2c pdr"
1597   algorithm: "table_nics_comparison"
1598   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
1599   reference:
1600     title: "Intel-x710"
1601     nic: "NIC_Intel-X710"
1602   compare:
1603     title: "Intel-xxv710"
1604     nic: "NIC_Intel-XXV710"
1605   data: "vpp-nic-comparison-3n-skx"
1606   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1607   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1608   parameters:
1609   - "name"
1610   - "parent"
1611   - "throughput"
1612   - "tags"
1613
1614 # VPP Compare NICs 3n-skx 2t1c mrr
1615 -
1616   type: "table"
1617   title: "VPP Compare NICs 3n-skx 2t1c mrr"
1618   algorithm: "table_nics_comparison"
1619   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
1620   reference:
1621     title: "Intel-x710"
1622     nic: "NIC_Intel-X710"
1623   compare:
1624     title: "Intel-xxv710"
1625     nic: "NIC_Intel-XXV710"
1626   data: "vpp-nic-comparison-3n-skx-mrr"
1627   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1628   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1629   parameters:
1630   - "name"
1631   - "parent"
1632   - "result"
1633   - "tags"
1634
1635 # VPP Compare NICs 3n-skx 4t2c mrr
1636 -
1637   type: "table"
1638   title: "VPP Compare NICs 3n-skx 4t2c mrr"
1639   algorithm: "table_nics_comparison"
1640   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
1641   reference:
1642     title: "Intel-x710"
1643     nic: "NIC_Intel-X710"
1644   compare:
1645     title: "Intel-xxv710"
1646     nic: "NIC_Intel-XXV710"
1647   data: "vpp-nic-comparison-3n-skx-mrr"
1648   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1649   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1650   parameters:
1651   - "name"
1652   - "parent"
1653   - "result"
1654   - "tags"
1655
1656  # VPP Compare NICs 3n-skx 8t4c mrr
1657 -
1658   type: "table"
1659   title: "VPP Compare NICs 3n-skx 8t4c mrr"
1660   algorithm: "table_nics_comparison"
1661   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
1662   reference:
1663     title: "Intel-x710"
1664     nic: "NIC_Intel-X710"
1665   compare:
1666     title: "Intel-xxv710"
1667     nic: "NIC_Intel-XXV710"
1668   data: "vpp-nic-comparison-3n-skx-mrr"
1669   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1670   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1671   parameters:
1672   - "name"
1673   - "parent"
1674   - "result"
1675   - "tags"
1676
1677 # VPP Compare NICs 2n-skx 2t1c ndr
1678 -
1679   type: "table"
1680   title: "VPP Compare NICs 2n-skx 2t1c ndr"
1681   algorithm: "table_nics_comparison"
1682   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
1683   reference:
1684     title: "Intel-x710"
1685     nic: "NIC_Intel-X710"
1686   compare:
1687     title: "Intel-xxv710"
1688     nic: "NIC_Intel-XXV710"
1689   data: "vpp-nic-comparison-2n-skx"
1690   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1691   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1692   parameters:
1693   - "name"
1694   - "parent"
1695   - "throughput"
1696   - "tags"
1697
1698 # VPP Compare NICs 2n-skx 4t2c ndr
1699 -
1700   type: "table"
1701   title: "VPP Compare NICs 2n-skx 4t2c ndr"
1702   algorithm: "table_nics_comparison"
1703   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
1704   reference:
1705     title: "Intel-x710"
1706     nic: "NIC_Intel-X710"
1707   compare:
1708     title: "Intel-xxv710"
1709     nic: "NIC_Intel-XXV710"
1710   data: "vpp-nic-comparison-2n-skx"
1711   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1712   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1713   parameters:
1714   - "name"
1715   - "parent"
1716   - "throughput"
1717   - "tags"
1718
1719  # VPP Compare NICs 2n-skx 2t1c pdr
1720 -
1721   type: "table"
1722   title: "VPP Compare NICs 2n-skx 2t1c pdr"
1723   algorithm: "table_nics_comparison"
1724   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
1725   reference:
1726     title: "Intel-x710"
1727     nic: "NIC_Intel-X710"
1728   compare:
1729     title: "Intel-xxv710"
1730     nic: "NIC_Intel-XXV710"
1731   data: "vpp-nic-comparison-2n-skx"
1732   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1733   filter: "'2T1C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1734   parameters:
1735   - "name"
1736   - "parent"
1737   - "throughput"
1738   - "tags"
1739
1740 # VPP Compare NICs 2n-skx 4t2c pdr
1741 -
1742   type: "table"
1743   title: "VPP Compare NICs 2n-skx 4t2c pdr"
1744   algorithm: "table_nics_comparison"
1745   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
1746   reference:
1747     title: "Intel-x710"
1748     nic: "NIC_Intel-X710"
1749   compare:
1750     title: "Intel-xxv710"
1751     nic: "NIC_Intel-XXV710"
1752   data: "vpp-nic-comparison-2n-skx"
1753   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1754   filter: "'4T2C' and 'NDRPDR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1755   parameters:
1756   - "name"
1757   - "parent"
1758   - "throughput"
1759   - "tags"
1760
1761 # VPP Compare NICs 2n-skx 2t1c mrr
1762 -
1763   type: "table"
1764   title: "VPP Compare NICs 2n-skx 2t1c mrr"
1765   algorithm: "table_nics_comparison"
1766   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
1767   reference:
1768     title: "Intel-x710"
1769     nic: "NIC_Intel-X710"
1770   compare:
1771     title: "Intel-xxv710"
1772     nic: "NIC_Intel-XXV710"
1773   data: "vpp-nic-comparison-2n-skx-mrr"
1774   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1775   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1776   parameters:
1777   - "name"
1778   - "parent"
1779   - "result"
1780   - "tags"
1781
1782 # VPP Compare NICs 2n-skx 4t2c mrr
1783 -
1784   type: "table"
1785   title: "VPP Compare NICs 2n-skx 4t2c mrr"
1786   algorithm: "table_nics_comparison"
1787   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
1788   reference:
1789     title: "Intel-x710"
1790     nic: "NIC_Intel-X710"
1791   compare:
1792     title: "Intel-xxv710"
1793     nic: "NIC_Intel-XXV710"
1794   data: "vpp-nic-comparison-2n-skx-mrr"
1795   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1796   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1797   parameters:
1798   - "name"
1799   - "parent"
1800   - "result"
1801   - "tags"
1802
1803 # VPP Compare NICs 2n-skx 8t4c mrr
1804 -
1805   type: "table"
1806   title: "VPP Compare NICs 2n-skx 8t4c mrr"
1807   algorithm: "table_nics_comparison"
1808   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
1809   reference:
1810     title: "Intel-x710"
1811     nic: "NIC_Intel-X710"
1812   compare:
1813     title: "Intel-xxv710"
1814     nic: "NIC_Intel-XXV710"
1815   data: "vpp-nic-comparison-2n-skx-mrr"
1816   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
1817   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1818   parameters:
1819   - "name"
1820   - "parent"
1821   - "result"
1822   - "tags"
1823
1824 ################################################################################
1825 # VPP
1826
1827 # VPP Performance Changes 3n-hsw 1t1c pdr
1828 -
1829   type: "table"
1830   title: "VPP Performance Changes 3n-hsw 1t1c pdr"
1831   algorithm: "table_performance_comparison"
1832   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-pdr"
1833   history:
1834     -
1835       title: "rls1807"
1836       data:
1837         csit-vpp-perf-verify-1807-3n-hsw:
1838         - 11  # NDRPDR full 1
1839         - 22  # NDRPDR full 2
1840         - 45  # NDRPDR full 3
1841         - 46  # NDRPDR full 4
1842         - 15  # NDRPDR sel
1843         - 16  # NDRPDR sel
1844         - 19  # NDRPDR sel
1845         - 18  # NDRPDR sel
1846         - 20  # NDRPDR sel
1847         - 38  # NDRPDR sel
1848         - 40  # NDRPDR sel
1849         - 44  # NDRPDR sel
1850   reference:
1851     title: "rls1810"
1852     data:
1853       csit-vpp-perf-verify-1810-3n-hsw:
1854       - 8   # NDRPDR sel
1855       - 12  # NDRPDR sel
1856       - 14  # NDRPDR sel
1857       - 18  # NDRPDR sel
1858       - 23  # NDRPDR sel
1859       - 25  # NDRPDR sel
1860       - 38  # NDRPDR sel
1861       - 39  # NDRPDR sel
1862       - 41  # NDRPDR sel
1863       - 42  # NDRPDR sel
1864   compare:
1865     title: "rls1901"
1866     data:
1867       # TODO: Add new data:
1868       csit-vpp-perf-verify-1901-3n-hsw:
1869       - 10  # NDRPDR sel
1870       - 18  # NDRPDR sel F
1871       - 19  # NDRPDR sel
1872   data: "vpp-performance-changes-3n-hsw"
1873   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1874   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1875   parameters:
1876   - "name"
1877   - "parent"
1878   - "throughput"
1879
1880 # VPP Performance Changes 3n-hsw 2t2c pdr
1881 -
1882   type: "table"
1883   title: "VPP Performance Changes 3n-hsw 2t2c pdr"
1884   algorithm: "table_performance_comparison"
1885   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-pdr"
1886   history:
1887     -
1888       title: "rls1807"
1889       data:
1890         csit-vpp-perf-verify-1807-3n-hsw:
1891         - 11  # NDRPDR full 1
1892         - 22  # NDRPDR full 2
1893         - 45  # NDRPDR full 3
1894         - 46  # NDRPDR full 4
1895         - 15  # NDRPDR sel
1896         - 16  # NDRPDR sel
1897         - 19  # NDRPDR sel
1898         - 18  # NDRPDR sel
1899         - 20  # NDRPDR sel
1900         - 38  # NDRPDR sel
1901         - 40  # NDRPDR sel
1902         - 44  # NDRPDR sel
1903         - 47  # NDRPDR sel
1904   reference:
1905     title: "rls1810"
1906     data:
1907       csit-vpp-perf-verify-1810-3n-hsw:
1908       - 8   # NDRPDR sel
1909       - 12  # NDRPDR sel
1910       - 14  # NDRPDR sel
1911       - 18  # NDRPDR sel
1912       - 23  # NDRPDR sel
1913       - 25  # NDRPDR sel
1914       - 38  # NDRPDR sel
1915       - 39  # NDRPDR sel
1916       - 41  # NDRPDR sel
1917       - 42  # NDRPDR sel
1918   compare:
1919     title: "rls1901"
1920     data:
1921       # TODO: Add new data:
1922       csit-vpp-perf-verify-1901-3n-hsw:
1923       - 10  # NDRPDR sel
1924       - 18  # NDRPDR sel F
1925       - 19  # NDRPDR sel
1926   data: "vpp-performance-changes-3n-hsw"
1927   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
1928   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1929   parameters:
1930   - "name"
1931   - "parent"
1932   - "throughput"
1933
1934 # VPP Performance Changes 3n-hsw 1t1c ndr
1935 -
1936   type: "table"
1937   title: "VPP Performance Changes 3n-hsw 1t1c ndr"
1938   algorithm: "table_performance_comparison"
1939   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-ndr"
1940   history:
1941     -
1942       title: "rls1807"
1943       data:
1944         csit-vpp-perf-verify-1807-3n-hsw:
1945         - 11  # NDRPDR full 1
1946         - 22  # NDRPDR full 2
1947         - 45  # NDRPDR full 3
1948         - 46  # NDRPDR full 4
1949         - 15  # NDRPDR sel
1950         - 16  # NDRPDR sel
1951         - 19  # NDRPDR sel
1952         - 18  # NDRPDR sel
1953         - 20  # NDRPDR sel
1954         - 38  # NDRPDR sel
1955         - 40  # NDRPDR sel
1956         - 44  # NDRPDR sel
1957         - 47  # NDRPDR sel
1958   reference:
1959     title: "rls1810"
1960     data:
1961       csit-vpp-perf-verify-1810-3n-hsw:
1962       - 8   # NDRPDR sel
1963       - 12  # NDRPDR sel
1964       - 14  # NDRPDR sel
1965       - 18  # NDRPDR sel
1966       - 23  # NDRPDR sel
1967       - 25  # NDRPDR sel
1968       - 38  # NDRPDR sel
1969       - 39  # NDRPDR sel
1970       - 41  # NDRPDR sel
1971       - 42  # NDRPDR sel
1972   compare:
1973     title: "rls1901"
1974     data:
1975       # TODO: Add new data:
1976       csit-vpp-perf-verify-1901-3n-hsw:
1977       - 10  # NDRPDR sel
1978       - 18  # NDRPDR sel F
1979       - 19  # NDRPDR sel
1980   data: "vpp-performance-changes-3n-hsw"
1981   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
1982   filter: "'1T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
1983   parameters:
1984   - "name"
1985   - "parent"
1986   - "throughput"
1987
1988 # VPP Performance Changes 3n-hsw 2t2c ndr
1989 -
1990   type: "table"
1991   title: "VPP Performance Changes 3n-hsw 2t2c ndr"
1992   algorithm: "table_performance_comparison"
1993   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-ndr"
1994   history:
1995     -
1996       title: "rls1807"
1997       data:
1998         csit-vpp-perf-verify-1807-3n-hsw:
1999         - 11  # NDRPDR full 1
2000         - 22  # NDRPDR full 2
2001         - 45  # NDRPDR full 3
2002         - 46  # NDRPDR full 4
2003         - 15  # NDRPDR sel
2004         - 16  # NDRPDR sel
2005         - 19  # NDRPDR sel
2006         - 18  # NDRPDR sel
2007         - 20  # NDRPDR sel
2008         - 38  # NDRPDR sel
2009         - 40  # NDRPDR sel
2010         - 44  # NDRPDR sel
2011         - 47  # NDRPDR sel
2012   reference:
2013     title: "rls1810"
2014     data:
2015       csit-vpp-perf-verify-1810-3n-hsw:
2016       - 8   # NDRPDR sel
2017       - 12  # NDRPDR sel
2018       - 14  # NDRPDR sel
2019       - 18  # NDRPDR sel
2020       - 23  # NDRPDR sel
2021       - 25  # NDRPDR sel
2022       - 38  # NDRPDR sel
2023       - 39  # NDRPDR sel
2024       - 41  # NDRPDR sel
2025       - 42  # NDRPDR sel
2026   compare:
2027     title: "rls1901"
2028     data:
2029       # TODO: Add new data:
2030       csit-vpp-perf-verify-1901-3n-hsw:
2031       - 10  # NDRPDR sel
2032       - 18  # NDRPDR sel F
2033       - 19  # NDRPDR sel
2034   data: "vpp-performance-changes-3n-hsw"
2035   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2036   filter: "'2T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2037   parameters:
2038   - "name"
2039   - "parent"
2040   - "throughput"
2041
2042 # VPP Performance Changes 3n-skx 2t1c pdr
2043 -
2044   type: "table"
2045   title: "VPP Performance Changes 3n-skx 2t1c pdr"
2046   algorithm: "table_performance_comparison"
2047   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
2048   history:
2049     -
2050       title: "rls1807"
2051       data:
2052         csit-vpp-perf-verify-1807-3n-skx:
2053         - 33  # NDRPDR sel
2054         - 35  # NDRPDR sel
2055         - 37  # NDRPDR sel
2056         - 38  # NDRPDR sel
2057         - 39  # NDRPDR sel
2058         - 43  # NDRPDR sel
2059         - 44  # NDRPDR sel
2060         - 49  # NDRPDR sel
2061         - 50  # NDRPDR sel
2062         - 56  # NDRPDR sel
2063   reference:
2064     title: "rls1810"
2065     data:
2066       csit-vpp-perf-verify-1810-3n-skx:
2067       - 10  # NDRPDR sel
2068       - 14  # NDRPDR sel
2069       - 15  # NDRPDR sel
2070       - 16  # NDRPDR sel
2071       - 17  # NDRPDR sel
2072       - 19  # NDRPDR sel
2073       - 20  # NDRPDR sel
2074       - 21  # NDRPDR sel
2075       - 22  # NDRPDR sel
2076       - 25  # NDRPDR sel
2077   compare:
2078     title: "rls1901"
2079     data:
2080       # TODO: Add new data:
2081       csit-vpp-perf-verify-1901-3n-skx:
2082       - 18  # NDRPDR sel
2083       - 19  # NDRPDR sel
2084       - 20  # NDRPDR sel
2085       - 28  # NDRPDR sel
2086       - 31  # NDRPDR sel
2087   data: "vpp-performance-changes-3n-skx"
2088   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2089   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2090   parameters:
2091   - "name"
2092   - "parent"
2093   - "throughput"
2094
2095 # VPP Performance Changes 3n-skx 4t2c pdr
2096 -
2097   type: "table"
2098   title: "VPP Performance Changes 3n-skx 4t2c pdr"
2099   algorithm: "table_performance_comparison"
2100   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
2101   history:
2102     -
2103       title: "rls1807"
2104       data:
2105         csit-vpp-perf-verify-1807-3n-skx:
2106         - 33  # NDRPDR sel
2107         - 35  # NDRPDR sel
2108         - 37  # NDRPDR sel
2109         - 38  # NDRPDR sel
2110         - 39  # NDRPDR sel
2111         - 43  # NDRPDR sel
2112         - 44  # NDRPDR sel
2113         - 49  # NDRPDR sel
2114         - 50  # NDRPDR sel
2115         - 56  # NDRPDR sel
2116   reference:
2117     title: "rls1810"
2118     data:
2119       csit-vpp-perf-verify-1810-3n-skx:
2120       - 10  # NDRPDR sel
2121       - 14  # NDRPDR sel
2122       - 15  # NDRPDR sel
2123       - 16  # NDRPDR sel
2124       - 17  # NDRPDR sel
2125       - 19  # NDRPDR sel
2126       - 20  # NDRPDR sel
2127       - 21  # NDRPDR sel
2128       - 22  # NDRPDR sel
2129       - 25  # NDRPDR sel
2130   compare:
2131     title: "rls1901"
2132     data:
2133       # TODO: Add new data:
2134       csit-vpp-perf-verify-1901-3n-skx:
2135       - 18  # NDRPDR sel
2136       - 19  # NDRPDR sel
2137       - 20  # NDRPDR sel
2138       - 28  # NDRPDR sel
2139       - 31  # NDRPDR sel
2140   data: "vpp-performance-changes-3n-skx"
2141   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2142   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2143   parameters:
2144   - "name"
2145   - "parent"
2146   - "throughput"
2147
2148 # VPP Performance Changes 3n-skx 2t1c ndr
2149 -
2150   type: "table"
2151   title: "VPP Performance Changes 3n-skx 2t1c ndr"
2152   algorithm: "table_performance_comparison"
2153   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-ndr"
2154   history:
2155     -
2156       title: "rls1807"
2157       data:
2158         csit-vpp-perf-verify-1807-3n-skx:
2159         - 33  # NDRPDR sel
2160         - 35  # NDRPDR sel
2161         - 37  # NDRPDR sel
2162         - 38  # NDRPDR sel
2163         - 39  # NDRPDR sel
2164         - 43  # NDRPDR sel
2165         - 44  # NDRPDR sel
2166         - 49  # NDRPDR sel
2167         - 50  # NDRPDR sel
2168         - 56  # NDRPDR sel
2169   reference:
2170     title: "rls1810"
2171     data:
2172       csit-vpp-perf-verify-1810-3n-skx:
2173       - 10  # NDRPDR sel
2174       - 14  # NDRPDR sel
2175       - 15  # NDRPDR sel
2176       - 16  # NDRPDR sel
2177       - 17  # NDRPDR sel
2178       - 19  # NDRPDR sel
2179       - 20  # NDRPDR sel
2180       - 21  # NDRPDR sel
2181       - 22  # NDRPDR sel
2182       - 25  # NDRPDR sel
2183   compare:
2184     title: "rls1901"
2185     data:
2186       # TODO: Add new data:
2187       csit-vpp-perf-verify-1901-3n-skx:
2188       - 18  # NDRPDR sel
2189       - 19  # NDRPDR sel
2190       - 20  # NDRPDR sel
2191       - 28  # NDRPDR sel
2192       - 31  # NDRPDR sel
2193   data: "vpp-performance-changes-3n-skx"
2194   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2195   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2196   parameters:
2197   - "name"
2198   - "parent"
2199   - "throughput"
2200
2201 # VPP Performance Changes 3n-skx 4t2c ndr
2202 -
2203   type: "table"
2204   title: "VPP Performance Changes 3n-skx 4t2c ndr"
2205   algorithm: "table_performance_comparison"
2206   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-ndr"
2207   history:
2208     -
2209       title: "rls1807"
2210       data:
2211         csit-vpp-perf-verify-1807-3n-skx:
2212         - 33  # NDRPDR sel
2213         - 35  # NDRPDR sel
2214         - 37  # NDRPDR sel
2215         - 38  # NDRPDR sel
2216         - 39  # NDRPDR sel
2217         - 43  # NDRPDR sel
2218         - 44  # NDRPDR sel
2219         - 49  # NDRPDR sel
2220         - 50  # NDRPDR sel
2221         - 56  # NDRPDR sel
2222   reference:
2223     title: "rls1810"
2224     data:
2225       csit-vpp-perf-verify-1810-3n-skx:
2226       - 10  # NDRPDR sel
2227       - 14  # NDRPDR sel
2228       - 15  # NDRPDR sel
2229       - 16  # NDRPDR sel
2230       - 17  # NDRPDR sel
2231       - 19  # NDRPDR sel
2232       - 20  # NDRPDR sel
2233       - 21  # NDRPDR sel
2234       - 22  # NDRPDR sel
2235       - 25  # NDRPDR sel
2236   compare:
2237     title: "rls1901"
2238     data:
2239       # TODO: Add new data:
2240       csit-vpp-perf-verify-1901-3n-skx:
2241       - 18  # NDRPDR sel
2242       - 19  # NDRPDR sel
2243       - 20  # NDRPDR sel
2244       - 28  # NDRPDR sel
2245       - 31  # NDRPDR sel
2246   data: "vpp-performance-changes-3n-skx"
2247   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2248   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2249   parameters:
2250   - "name"
2251   - "parent"
2252   - "throughput"
2253
2254 # VPP Performance Changes 2n-skx 2t1c pdr
2255 -
2256   type: "table"
2257   title: "VPP Performance Changes 2n-skx 2t1c pdr"
2258   algorithm: "table_performance_comparison"
2259   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-pdr"
2260   history:
2261     -
2262       title: "rls1807"
2263       data:
2264         csit-vpp-perf-verify-1807-2n-skx:
2265         - 26  # NDRPDR sel
2266         - 28  # NDRPDR sel
2267         - 29  # NDRPDR sel
2268         - 30  # NDRPDR sel
2269         - 34  # NDRPDR sel
2270         - 35  # NDRPDR sel
2271         - 36  # NDRPDR sel
2272         - 39  # NDRPDR sel
2273         - 40  # NDRPDR sel
2274         - 42  # NDRPDR sel
2275   reference:
2276     title: "rls1810"
2277     data:
2278       csit-vpp-perf-verify-1810-2n-skx:
2279       - 9   # NDRPDR sel
2280       - 13  # NDRPDR sel
2281       - 14  # NDRPDR sel
2282       - 19  # NDRPDR sel
2283       - 20  # NDRPDR sel
2284       - 21  # NDRPDR sel
2285       - 22  # NDRPDR sel
2286       - 23  # NDRPDR sel
2287       - 24  # NDRPDR sel
2288       - 27  # NDRPDR sel
2289   compare:
2290     title: "rls1901"
2291     data:
2292       # TODO: Add new data:
2293       csit-vpp-perf-verify-1901-2n-skx:
2294       - 5   # NDRPDR sel
2295       - 10  # NDRPDR sel fails
2296       - 12  # NDRPDR sel
2297       - 13  # NDRPDR sel
2298       - 16  # NDRPDR sel fails
2299   data: "vpp-performance-changes-2n-skx"
2300   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2301   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2302   parameters:
2303   - "name"
2304   - "parent"
2305   - "throughput"
2306
2307 # VPP Performance Changes 2n-skx 4t2c pdr
2308 -
2309   type: "table"
2310   title: "VPP Performance Changes 2n-skx 4t2c pdr"
2311   algorithm: "table_performance_comparison"
2312   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-pdr"
2313   history:
2314     - title: "rls1807"
2315       data:
2316         csit-vpp-perf-verify-1807-2n-skx:
2317         - 26  # NDRPDR sel
2318         - 28  # NDRPDR sel
2319         - 29  # NDRPDR sel
2320         - 30  # NDRPDR sel
2321         - 34  # NDRPDR sel
2322         - 35  # NDRPDR sel
2323         - 36  # NDRPDR sel
2324         - 39  # NDRPDR sel
2325         - 40  # NDRPDR sel
2326         - 42  # NDRPDR sel
2327   reference:
2328     title: "rls1810"
2329     data:
2330       csit-vpp-perf-verify-1810-2n-skx:
2331       - 9   # NDRPDR sel
2332       - 13  # NDRPDR sel
2333       - 14  # NDRPDR sel
2334       - 19  # NDRPDR sel
2335       - 20  # NDRPDR sel
2336       - 21  # NDRPDR sel
2337       - 22  # NDRPDR sel
2338       - 23  # NDRPDR sel
2339       - 24  # NDRPDR sel
2340       - 27  # NDRPDR sel
2341   compare:
2342     title: "rls1901"
2343     data:
2344       # TODO: Add new data:
2345       csit-vpp-perf-verify-1901-2n-skx:
2346       - 5   # NDRPDR sel
2347       - 10  # NDRPDR sel fails
2348       - 12  # NDRPDR sel
2349       - 13  # NDRPDR sel
2350       - 16  # NDRPDR sel fails
2351   data: "vpp-performance-changes-2n-skx"
2352   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2353   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2354   parameters:
2355   - "name"
2356   - "parent"
2357   - "throughput"
2358
2359 # VPP Performance Changes 2n-skx 2t1c ndr
2360 -
2361   type: "table"
2362   title: "VPP Performance Changes 2n-skx 2t1c ndr"
2363   algorithm: "table_performance_comparison"
2364   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-ndr"
2365   history:
2366     - title: "rls1807"
2367       data:
2368         csit-vpp-perf-verify-1807-2n-skx:
2369         - 26  # NDRPDR sel
2370         - 28  # NDRPDR sel
2371         - 29  # NDRPDR sel
2372         - 30  # NDRPDR sel
2373         - 34  # NDRPDR sel
2374         - 35  # NDRPDR sel
2375         - 36  # NDRPDR sel
2376         - 39  # NDRPDR sel
2377         - 40  # NDRPDR sel
2378         - 42  # NDRPDR sel
2379   reference:
2380     title: "rls1810"
2381     data:
2382       csit-vpp-perf-verify-1810-2n-skx:
2383       - 9   # NDRPDR sel
2384       - 13  # NDRPDR sel
2385       - 14  # NDRPDR sel
2386       - 19  # NDRPDR sel
2387       - 20  # NDRPDR sel
2388       - 21  # NDRPDR sel
2389       - 22  # NDRPDR sel
2390       - 23  # NDRPDR sel
2391       - 24  # NDRPDR sel
2392       - 27  # NDRPDR sel
2393   compare:
2394     title: "rls1901"
2395     data:
2396       # TODO: Add new data:
2397       csit-vpp-perf-verify-1901-2n-skx:
2398       - 5   # NDRPDR sel
2399       - 10  # NDRPDR sel fails
2400       - 12  # NDRPDR sel
2401       - 13  # NDRPDR sel
2402       - 16  # NDRPDR sel fails
2403   data: "vpp-performance-changes-2n-skx"
2404   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2405   filter: "'2T1C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2406   parameters:
2407   - "name"
2408   - "parent"
2409   - "throughput"
2410
2411 # VPP Performance Changes 2n-skx 4t2c ndr
2412 -
2413   type: "table"
2414   title: "VPP Performance Changes 2n-skx 4t2c ndr"
2415   algorithm: "table_performance_comparison"
2416   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-ndr"
2417   history:
2418     - title: "rls1807"
2419       data:
2420         csit-vpp-perf-verify-1807-2n-skx:
2421         - 26  # NDRPDR sel
2422         - 28  # NDRPDR sel
2423         - 29  # NDRPDR sel
2424         - 30  # NDRPDR sel
2425         - 34  # NDRPDR sel
2426         - 35  # NDRPDR sel
2427         - 36  # NDRPDR sel
2428         - 39  # NDRPDR sel
2429         - 40  # NDRPDR sel
2430         - 42  # NDRPDR sel
2431   reference:
2432     title: "rls1810"
2433     data:
2434       csit-vpp-perf-verify-1810-2n-skx:
2435       - 9   # NDRPDR sel
2436       - 13  # NDRPDR sel
2437       - 14  # NDRPDR sel
2438       - 19  # NDRPDR sel
2439       - 20  # NDRPDR sel
2440       - 21  # NDRPDR sel
2441       - 22  # NDRPDR sel
2442       - 23  # NDRPDR sel
2443       - 24  # NDRPDR sel
2444       - 27  # NDRPDR sel
2445   compare:
2446     title: "rls1901"
2447     data:
2448       # TODO: Add new data:
2449       csit-vpp-perf-verify-1901-2n-skx:
2450       - 5   # NDRPDR sel
2451       - 10  # NDRPDR sel fails
2452       - 12  # NDRPDR sel
2453       - 13  # NDRPDR sel
2454       - 16  # NDRPDR sel fails
2455   data: "vpp-performance-changes-2n-skx"
2456   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2457   filter: "'4T2C' and ('NDRPDR' or 'NDRPDRDISC')" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2458   parameters:
2459   - "name"
2460   - "parent"
2461   - "throughput"
2462
2463 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c ndr
2464 -
2465   type: "table"
2466   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c ndr"
2467   algorithm: "table_performance_comparison"
2468   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-ndr"
2469   reference:
2470     title: "3-Node Hsw"
2471     data:
2472       # TODO: Add new data:
2473       csit-vpp-perf-verify-1901-3n-hsw:
2474       - 10  # NDRPDR sel
2475       - 18  # NDRPDR sel F
2476       - 19  # NDRPDR sel
2477   compare:
2478     title: "3-Node Skx"
2479     data:
2480       # TODO: Add new data:
2481       csit-vpp-perf-verify-1901-3n-skx:
2482       - 18  # NDRPDR sel
2483       - 19  # NDRPDR sel
2484       - 20  # NDRPDR sel
2485       - 28  # NDRPDR sel
2486       - 31  # NDRPDR sel
2487   data: "vpp-compare-testbeds"
2488   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2489   filter: "'NIC_Intel-X710' and 'NDRPDR' and '1C'"
2490   parameters:
2491   - "name"
2492   - "parent"
2493   - "throughput"
2494
2495 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c ndr
2496 -
2497   type: "table"
2498   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c ndr"
2499   algorithm: "table_performance_comparison"
2500   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-ndr"
2501   reference:
2502     title: "3-Node Hsw"
2503     data:
2504       # TODO: Add new data:
2505       csit-vpp-perf-verify-1901-3n-hsw:
2506       - 10  # NDRPDR sel
2507       - 18  # NDRPDR sel F
2508       - 19  # NDRPDR sel
2509   compare:
2510     title: "3-Node Skx"
2511     data:
2512       # TODO: Add new data:
2513       csit-vpp-perf-verify-1901-3n-skx:
2514       - 18  # NDRPDR sel
2515       - 19  # NDRPDR sel
2516       - 20  # NDRPDR sel
2517       - 28  # NDRPDR sel
2518       - 31  # NDRPDR sel
2519   data: "vpp-compare-testbeds"
2520   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2521   filter: "'NIC_Intel-X710' and 'NDRPDR' and '2C'"
2522   parameters:
2523   - "name"
2524   - "parent"
2525   - "throughput"
2526
2527 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c pdr
2528 -
2529   type: "table"
2530   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c pdr"
2531   algorithm: "table_performance_comparison"
2532   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-pdr"
2533   reference:
2534     title: "3-Node Hsw"
2535     data:
2536       # TODO: Add new data:
2537       csit-vpp-perf-verify-1901-3n-hsw:
2538       - 10  # NDRPDR sel
2539       - 18  # NDRPDR sel F
2540       - 19  # NDRPDR sel
2541   compare:
2542     title: "3-Node Skx"
2543     data:
2544       # TODO: Add new data:
2545       csit-vpp-perf-verify-1901-3n-skx:
2546       - 18  # NDRPDR sel
2547       - 19  # NDRPDR sel
2548       - 20  # NDRPDR sel
2549       - 28  # NDRPDR sel
2550       - 31  # NDRPDR sel
2551   data: "vpp-compare-testbeds"
2552   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2553   filter: "'NIC_Intel-X710' and 'NDRPDR' and '1C'"
2554   parameters:
2555   - "name"
2556   - "parent"
2557   - "throughput"
2558
2559 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c pdr
2560 -
2561   type: "table"
2562   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c pdr"
2563   algorithm: "table_performance_comparison"
2564   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-pdr"
2565   reference:
2566     title: "3-Node Hsw"
2567     data:
2568       # TODO: Add new data:
2569       csit-vpp-perf-verify-1901-3n-hsw:
2570       - 10  # NDRPDR sel
2571       - 18  # NDRPDR sel F
2572       - 19  # NDRPDR sel
2573   compare:
2574     title: "3-Node Skx"
2575     data:
2576       # TODO: Add new data:
2577       csit-vpp-perf-verify-1901-3n-skx:
2578       - 18  # NDRPDR sel
2579       - 19  # NDRPDR sel
2580       - 20  # NDRPDR sel
2581       - 28  # NDRPDR sel
2582       - 31  # NDRPDR sel
2583   data: "vpp-compare-testbeds"
2584   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2585   filter: "'NIC_Intel-X710' and 'NDRPDR' and '2C'"
2586   parameters:
2587   - "name"
2588   - "parent"
2589   - "throughput"
2590
2591 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr
2592 -
2593   type: "table"
2594   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c ndr"
2595   algorithm: "table_performance_comparison"
2596   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-ndr"
2597   reference:
2598     title: "3-Node Skx"
2599     data:
2600       # TODO: Add new data:
2601       csit-vpp-perf-verify-1901-3n-skx:
2602       - 18  # NDRPDR sel
2603       - 19  # NDRPDR sel
2604       - 20  # NDRPDR sel
2605       - 28  # NDRPDR sel
2606       - 31  # NDRPDR sel
2607   compare:
2608     title: "2-Node Skx"
2609     data:
2610       # TODO: Add new data:
2611       csit-vpp-perf-verify-1901-2n-skx:
2612       - 5   # NDRPDR sel
2613       - 10  # NDRPDR sel fails
2614       - 12  # NDRPDR sel
2615       - 13  # NDRPDR sel
2616       - 16  # NDRPDR sel fails
2617   data: "vpp-compare-topologies"
2618   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2619   filter: "'NDRPDR' and '1C'"
2620   parameters:
2621   - "name"
2622   - "parent"
2623   - "throughput"
2624
2625 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr
2626 -
2627   type: "table"
2628   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c ndr"
2629   algorithm: "table_performance_comparison"
2630   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-ndr"
2631   reference:
2632     title: "3-Node Skx"
2633     data:
2634       # TODO: Add new data:
2635       csit-vpp-perf-verify-1901-3n-skx:
2636       - 18  # NDRPDR sel
2637       - 19  # NDRPDR sel
2638       - 20  # NDRPDR sel
2639       - 28  # NDRPDR sel
2640       - 31  # NDRPDR sel
2641   compare:
2642     title: "2-Node Skx"
2643     data:
2644       # TODO: Add new data:
2645       csit-vpp-perf-verify-1901-2n-skx:
2646       - 5   # NDRPDR sel
2647       - 10  # NDRPDR sel fails
2648       - 12  # NDRPDR sel
2649       - 13  # NDRPDR sel
2650       - 16  # NDRPDR sel fails
2651   data: "vpp-compare-topologies"
2652   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2653   filter: "'NDRPDR' and '2C'"
2654   parameters:
2655   - "name"
2656   - "parent"
2657   - "throughput"
2658
2659 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr
2660 -
2661   type: "table"
2662   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c pdr"
2663   algorithm: "table_performance_comparison"
2664   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-pdr"
2665   reference:
2666     title: "3-Node Skx"
2667     data:
2668       # TODO: Add new data:
2669       csit-vpp-perf-verify-1901-3n-skx:
2670       - 18  # NDRPDR sel
2671       - 19  # NDRPDR sel
2672       - 20  # NDRPDR sel
2673       - 28  # NDRPDR sel
2674       - 31  # NDRPDR sel
2675   compare:
2676     title: "2-Node Skx"
2677     data:
2678       # TODO: Add new data:
2679       csit-vpp-perf-verify-1901-2n-skx:
2680       - 5   # NDRPDR sel
2681       - 10  # NDRPDR sel fails
2682       - 12  # NDRPDR sel
2683       - 13  # NDRPDR sel
2684       - 16  # NDRPDR sel fails
2685   data: "vpp-compare-topologies"
2686   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2687   filter: "'NDRPDR' and '1C'"
2688   parameters:
2689   - "name"
2690   - "parent"
2691   - "throughput"
2692
2693 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr
2694 -
2695   type: "table"
2696   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c pdr"
2697   algorithm: "table_performance_comparison"
2698   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-pdr"
2699   reference:
2700     title: "3-Node Skx"
2701     data:
2702       # TODO: Add new data:
2703       csit-vpp-perf-verify-1901-3n-skx:
2704       - 18  # NDRPDR sel
2705       - 19  # NDRPDR sel
2706       - 20  # NDRPDR sel
2707       - 28  # NDRPDR sel
2708       - 31  # NDRPDR sel
2709   compare:
2710     title: "2-Node Skx"
2711     data:
2712       # TODO: Add new data:
2713       csit-vpp-perf-verify-1901-2n-skx:
2714       - 5   # NDRPDR sel
2715       - 10  # NDRPDR sel fails
2716       - 12  # NDRPDR sel
2717       - 13  # NDRPDR sel
2718       - 16  # NDRPDR sel fails
2719   data: "vpp-compare-topologies"
2720   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2721   filter: "'NDRPDR' and '2C'"
2722   parameters:
2723   - "name"
2724   - "parent"
2725   - "throughput"
2726
2727 # VPP Performance Changes 3n-hsw 1t1c MRR
2728 -
2729   type: "table"
2730   title: "VPP Performance Changes 3n-hsw 1t1c MRR"
2731   algorithm: "table_performance_comparison"
2732   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-mrr"
2733   history:
2734     -
2735       title: "rls1807"
2736       data:
2737         csit-vpp-perf-verify-1807-3n-hsw:
2738         - 8   # MRR full
2739         - 9   # MRR sel
2740         - 21  # MRR sel
2741         - 31  # MRR sel
2742         - 33  # MRR sel
2743         - 36  # MRR sel
2744         - 41  # MRR sel
2745         - 42  # MRR sel
2746         - 48  # MRR sel
2747   reference:
2748     title: "rls1810"
2749     data:
2750       csit-vpp-perf-verify-1810-3n-hsw:
2751       - 9   # MRR sel
2752   compare:
2753     title: "rls1901"
2754     data:
2755       # TODO: Add new data
2756       csit-vpp-perf-verify-1901-3n-hsw:
2757       - 35  # MRR sel
2758   data: "vpp-performance-changes-3n-hsw-mrr"
2759   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2760   filter: "'1T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2761   parameters:
2762   - "name"
2763   - "parent"
2764   - "result"
2765
2766 # VPP Performance Changes 3n-hsw 2t2c MRR
2767 -
2768   type: "table"
2769   title: "VPP Performance Changes 3n-hsw 2t2c MRR"
2770   algorithm: "table_performance_comparison"
2771   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-mrr"
2772   history:
2773     -
2774       title: "rls1807"
2775       data:
2776         csit-vpp-perf-verify-1807-3n-hsw:
2777         - 8   # MRR full
2778         - 9   # MRR sel
2779         - 21  # MRR sel
2780         - 31  # MRR sel
2781         - 33  # MRR sel
2782         - 36  # MRR sel
2783         - 41  # MRR sel
2784         - 42  # MRR sel
2785         - 48  # MRR sel
2786   reference:
2787     title: "rls1810"
2788     data:
2789       csit-vpp-perf-verify-1810-3n-hsw:
2790       - 9   # MRR sel
2791   compare:
2792     title: "rls1901"
2793     data:
2794       # TODO: Add new data
2795       csit-vpp-perf-verify-1901-3n-hsw:
2796       - 35  # MRR sel
2797   data: "vpp-performance-changes-3n-hsw-mrr"
2798   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2799   filter: "'2T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2800   parameters:
2801   - "name"
2802   - "parent"
2803   - "result"
2804
2805 # VPP Performance Changes 3n-hsw 4t4c MRR
2806 -
2807   type: "table"
2808   title: "VPP Performance Changes 3n-hsw 4t4c MRR"
2809   algorithm: "table_performance_comparison"
2810   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-4t4c-mrr"
2811   history:
2812     -
2813       title: "rls1807"
2814       data:
2815         csit-vpp-perf-verify-1807-3n-hsw:
2816         - 8   # MRR full
2817         - 9   # MRR sel
2818         - 21  # MRR sel
2819         - 31  # MRR sel
2820         - 33  # MRR sel
2821         - 36  # MRR sel
2822         - 41  # MRR sel
2823         - 42  # MRR sel
2824         - 48  # MRR sel
2825   reference:
2826     title: "rls1810"
2827     data:
2828       csit-vpp-perf-verify-1810-3n-hsw:
2829       - 9   # MRR sel
2830   compare:
2831     title: "rls1901"
2832     data:
2833       # TODO: Add new data
2834       csit-vpp-perf-verify-1901-3n-hsw:
2835       - 35  # MRR sel
2836   data: "vpp-performance-changes-3n-hsw-mrr"
2837   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2838   filter: "'4T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2839   parameters:
2840   - "name"
2841   - "parent"
2842   - "result"
2843
2844 # VPP Performance Changes 3n-skx 2t1c MRR
2845 -
2846   type: "table"
2847   title: "VPP Performance Changes 3n-skx 2t1c MRR"
2848   algorithm: "table_performance_comparison"
2849   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-mrr"
2850   history:
2851     -
2852       title: "rls1807"
2853       data:
2854         csit-vpp-perf-verify-1807-3n-skx:
2855         - 28  # MRR sel
2856         - 32  # MRR sel
2857         - 36  # MRR sel
2858         - 42  # MRR sel
2859         - 47  # MRR sel
2860         - 48  # MRR sel
2861         - 51  # MRR sel
2862         - 52  # MRR sel
2863         - 53  # MRR sel
2864   reference:
2865     title: "rls1810"
2866     data:
2867       csit-vpp-perf-verify-1810-3n-skx:
2868       - 9   # MRR sel
2869       - 11  # MRR sel
2870       - 12  # MRR sel
2871       - 13  # MRR sel
2872   compare:
2873     title: "rls1901"
2874     data:
2875       # TODO: Add new data
2876       csit-vpp-perf-verify-1901-3n-skx:
2877       - 32  # MRR sel
2878   data: "vpp-performance-changes-3n-skx-mrr"
2879   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2880   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2881   parameters:
2882   - "name"
2883   - "parent"
2884   - "result"
2885
2886 # VPP Performance Changes 3n-skx 4t2c MRR
2887 -
2888   type: "table"
2889   title: "VPP Performance Changes 3n-skx 4t2c MRR"
2890   algorithm: "table_performance_comparison"
2891   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-mrr"
2892   history:
2893     -
2894       title: "rls1807"
2895       data:
2896         csit-vpp-perf-verify-1807-3n-skx:
2897         - 28  # MRR sel
2898         - 32  # MRR sel
2899         - 36  # MRR sel
2900         - 42  # MRR sel
2901         - 47  # MRR sel
2902         - 48  # MRR sel
2903         - 51  # MRR sel
2904         - 52  # MRR sel
2905         - 53  # MRR sel
2906   reference:
2907     title: "rls1810"
2908     data:
2909       csit-vpp-perf-verify-1810-3n-skx:
2910       - 9   # MRR sel
2911       - 11  # MRR sel
2912       - 12  # MRR sel
2913       - 13  # MRR sel
2914   compare:
2915     title: "rls1901"
2916     data:
2917       # TODO: Add new data
2918       csit-vpp-perf-verify-1901-3n-skx:
2919       - 32  # MRR sel
2920   data: "vpp-performance-changes-3n-skx-mrr"
2921   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2922   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2923   parameters:
2924   - "name"
2925   - "parent"
2926   - "result"
2927
2928 # VPP Performance Changes 3n-skx 8t4c MRR
2929 -
2930   type: "table"
2931   title: "VPP Performance Changes 3n-skx 8t4c MRR"
2932   algorithm: "table_performance_comparison"
2933   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-mrr"
2934   history:
2935     -
2936       title: "rls1807"
2937       data:
2938         csit-vpp-perf-verify-1807-3n-skx:
2939         - 28  # MRR sel
2940         - 32  # MRR sel
2941         - 36  # MRR sel
2942         - 42  # MRR sel
2943         - 47  # MRR sel
2944         - 48  # MRR sel
2945         - 51  # MRR sel
2946         - 52  # MRR sel
2947         - 53  # MRR sel
2948   reference:
2949     title: "rls1810"
2950     data:
2951       csit-vpp-perf-verify-1810-3n-skx:
2952       - 9   # MRR sel
2953       - 11  # MRR sel
2954       - 12  # MRR sel
2955       - 13  # MRR sel
2956   compare:
2957     title: "rls1901"
2958     data:
2959       # TODO: Add new data
2960       csit-vpp-perf-verify-1901-3n-skx:
2961       - 32  # MRR sel
2962   data: "vpp-performance-changes-3n-skx-mrr"
2963   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
2964   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
2965   parameters:
2966   - "name"
2967   - "parent"
2968   - "result"
2969
2970 # VPP Performance Changes 2n-skx 2t1c MRR
2971 -
2972   type: "table"
2973   title: "VPP Performance Changes 2n-skx 2t1c MRR"
2974   algorithm: "table_performance_comparison"
2975   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-mrr"
2976   history:
2977     -
2978       title: "rls1807"
2979       data:
2980         csit-vpp-perf-verify-1807-2n-skx:
2981         - 31  # MRR sel
2982         - 33  # MRR sel
2983         - 37  # MRR sel
2984         - 38  # MRR sel
2985         - 41  # MRR sel
2986         - 43  # MRR sel
2987         - 44  # MRR sel
2988         - 45  # MRR sel
2989         - 46  # MRR sel
2990         - 47  # MRR sel
2991   reference:
2992     title: "rls1810"
2993     data:
2994       csit-vpp-perf-verify-1810-2n-skx:
2995       - 8   # MRR sel
2996       - 10  # MRR sel
2997       - 11  # MRR sel
2998       - 12  # MRR sel
2999   compare:
3000     title: "rls1901"
3001     data:
3002       # TODO: Add new data
3003       csit-vpp-perf-verify-1901-2n-skx:
3004       - 22  # MRR sel
3005   data: "vpp-performance-changes-2n-skx-mrr"
3006   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3007   filter: "'2T1C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3008   parameters:
3009   - "name"
3010   - "parent"
3011   - "result"
3012
3013 # VPP Performance Changes 2n-skx 4t2c MRR
3014 -
3015   type: "table"
3016   title: "VPP Performance Changes 2n-skx 4t2c MRR"
3017   algorithm: "table_performance_comparison"
3018   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-mrr"
3019   history:
3020     -
3021       title: "rls1807"
3022       data:
3023         csit-vpp-perf-verify-1807-2n-skx:
3024         - 31  # MRR sel
3025         - 33  # MRR sel
3026         - 37  # MRR sel
3027         - 38  # MRR sel
3028         - 41  # MRR sel
3029         - 43  # MRR sel
3030         - 44  # MRR sel
3031         - 45  # MRR sel
3032         - 46  # MRR sel
3033         - 47  # MRR sel
3034   reference:
3035     title: "rls1810"
3036     data:
3037       csit-vpp-perf-verify-1810-2n-skx:
3038       - 8   # MRR sel
3039       - 10  # MRR sel
3040       - 11  # MRR sel
3041       - 12  # MRR sel
3042   compare:
3043     title: "rls1901"
3044     data:
3045       # TODO: Add new data
3046       csit-vpp-perf-verify-1901-2n-skx:
3047       - 22  # MRR sel
3048   data: "vpp-performance-changes-2n-skx-mrr"
3049   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3050   filter: "'4T2C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3051   parameters:
3052   - "name"
3053   - "parent"
3054   - "result"
3055
3056 # VPP Performance Changes 2n-skx 8t4c MRR
3057 -
3058   type: "table"
3059   title: "VPP Performance Changes 2n-skx 8t4c MRR"
3060   algorithm: "table_performance_comparison"
3061   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-mrr"
3062   history:
3063     -
3064       title: "rls1807"
3065       data:
3066         csit-vpp-perf-verify-1807-2n-skx:
3067         - 31  # MRR sel
3068         - 33  # MRR sel
3069         - 37  # MRR sel
3070         - 38  # MRR sel
3071         - 41  # MRR sel
3072         - 43  # MRR sel
3073         - 44  # MRR sel
3074         - 45  # MRR sel
3075         - 46  # MRR sel
3076         - 47  # MRR sel
3077   reference:
3078     title: "rls1810"
3079     data:
3080       csit-vpp-perf-verify-1810-2n-skx:
3081       - 8   # MRR sel
3082       - 10  # MRR sel
3083       - 11  # MRR sel
3084       - 12  # MRR sel
3085   compare:
3086     title: "rls1901"
3087     data:
3088       # TODO: Add new data
3089       csit-vpp-perf-verify-1901-2n-skx:
3090       - 22  # MRR sel
3091   data: "vpp-performance-changes-2n-skx-mrr"
3092   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3093   filter: "'8T4C' and 'MRR'" # "('NDRPDR' or 'NDRPDRDISC')" | "'MRR'"
3094   parameters:
3095   - "name"
3096   - "parent"
3097   - "result"
3098
3099 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c mrr
3100 -
3101   type: "table"
3102   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 1c mrr"
3103   algorithm: "table_performance_comparison"
3104   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-1c-mrr"
3105   reference:
3106     title: "3-Node Hsw"
3107     data:
3108       # TODO: Add new data
3109       csit-vpp-perf-verify-1901-3n-hsw:
3110       - 35  # MRR sel
3111   compare:
3112     title: "3-Node Skx"
3113     data:
3114       # TODO: Add new data
3115       csit-vpp-perf-verify-1901-3n-skx:
3116       - 32  # MRR sel
3117   data: "vpp-compare-testbeds-mrr"
3118   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3119   filter: "'NIC_Intel-X710' and 'MRR' and '1C'"
3120   parameters:
3121   - "name"
3122   - "parent"
3123   - "result"
3124
3125 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c mrr
3126 -
3127   type: "table"
3128   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 2c mrr"
3129   algorithm: "table_performance_comparison"
3130   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-2c-mrr"
3131   reference:
3132     title: "3-Node Hsw"
3133     data:
3134       # TODO: Add new data
3135       csit-vpp-perf-verify-1901-3n-hsw:
3136       - 35  # MRR sel
3137   compare:
3138     title: "3-Node Skx"
3139     data:
3140       # TODO: Add new data
3141       csit-vpp-perf-verify-1901-3n-skx:
3142       - 32  # MRR sel
3143   data: "vpp-compare-testbeds-mrr"
3144   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3145   filter: "'NIC_Intel-X710' and 'MRR' and '2C'"
3146   parameters:
3147   - "name"
3148   - "parent"
3149   - "result"
3150
3151 # VPP Comparison Across Testbeds 3n-hsw to 3n-skx 4c mrr
3152 -
3153   type: "table"
3154   title: "VPP Comparison Across Testbeds 3n-hsw to 3n-skx 4c mrr"
3155   algorithm: "table_performance_comparison"
3156   output-file: "{DIR[STATIC,VPP]}/performance-compare-testbeds-3n-hsw-3n-skx-4c-mrr"
3157   reference:
3158     title: "3-Node Hsw"
3159     data:
3160       # TODO: Add new data
3161       csit-vpp-perf-verify-1901-3n-hsw:
3162       - 35  # MRR sel
3163   compare:
3164     title: "3-Node Skx"
3165     data:
3166       # TODO: Add new data
3167       csit-vpp-perf-verify-1901-3n-skx:
3168       - 32  # MRR sel
3169   data: "vpp-compare-testbeds-mrr"
3170   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3171   filter: "'NIC_Intel-X710' and 'MRR' and '4C'"
3172   parameters:
3173   - "name"
3174   - "parent"
3175   - "result"
3176
3177 # VPP Comparison Across Topologies 3n-skx to 2n-skx 1c mrr
3178 -
3179   type: "table"
3180   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 1c mrr"
3181   algorithm: "table_performance_comparison"
3182   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-1c-mrr"
3183   reference:
3184     title: "3-Node Skx"
3185     data:
3186       # TODO: Add new data
3187       csit-vpp-perf-verify-1901-3n-skx:
3188       - 32  # MRR sel
3189   compare:
3190     title: "2-Node Skx"
3191     data:
3192       # TODO: Add new data
3193       csit-vpp-perf-verify-1901-2n-skx:
3194       - 22  # MRR sel
3195   data: "vpp-compare-topologies-mrr"
3196   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3197   filter: "'MRR' and '1C'"
3198   parameters:
3199   - "name"
3200   - "parent"
3201   - "result"
3202
3203 # VPP Comparison Across Topologies 3n-skx to 2n-skx 2c mrr
3204 -
3205   type: "table"
3206   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 2c mrr"
3207   algorithm: "table_performance_comparison"
3208   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-2c-mrr"
3209   reference:
3210     title: "3-Node Skx"
3211     data:
3212       # TODO: Add new data
3213       csit-vpp-perf-verify-1901-3n-skx:
3214       - 32  # MRR sel
3215   compare:
3216     title: "2-Node Skx"
3217     data:
3218       # TODO: Add new data
3219       csit-vpp-perf-verify-1901-2n-skx:
3220       - 22  # MRR sel
3221   data: "vpp-compare-topologies-mrr"
3222   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3223   filter: "'MRR' and '2C'"
3224   parameters:
3225   - "name"
3226   - "parent"
3227   - "result"
3228
3229 # VPP Comparison Across Topologies 3n-skx to 2n-skx 4c mrr
3230 -
3231   type: "table"
3232   title: "VPP Comparison Across Topologies 3n-skx to 2n-skx 4c mrr"
3233   algorithm: "table_performance_comparison"
3234   output-file: "{DIR[STATIC,VPP]}/performance-compare-topologies-3n-skx-2n-skx-4c-mrr"
3235   reference:
3236     title: "3-Node Skx"
3237     data:
3238       # TODO: Add new data
3239       csit-vpp-perf-verify-1901-3n-skx:
3240       - 32  # MRR sel
3241   compare:
3242     title: "2-Node Skx"
3243     data:
3244       # TODO: Add new data
3245       csit-vpp-perf-verify-1901-2n-skx:
3246       - 22  # MRR sel
3247   data: "vpp-compare-topologies-mrr"
3248   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3249   filter: "'MRR' and '4C'"
3250   parameters:
3251   - "name"
3252   - "parent"
3253   - "result"
3254
3255 # Detailed Test Results - VPP Performance Results 3n-hsw
3256 -
3257   type: "table"
3258   title: "Detailed Test Results - VPP Performance Results 3n-hsw"
3259   algorithm: "table_merged_details"
3260   output-file-ext: ".csv"
3261   output-file: "{DIR[DTR,PERF,VPP,3N,HSW]}/vpp_performance_results_3n_hsw"
3262   columns:
3263   -
3264     title: "Name"
3265     data: "data name"
3266   -
3267     title: "Status"
3268     data: "data msg"
3269   rows: "generated"
3270   data: "vpp-perf-results-3n-hsw"
3271   filter: "not 'NDRCHK' and not 'PDRCHK'"
3272   parameters:
3273   - "name"
3274   - "parent"
3275   - "msg"
3276
3277 # Detailed Test Results - VPP Performance Results 3n-skx
3278 -
3279   type: "table"
3280   title: "Detailed Test Results - VPP Performance Results 3n-skx"
3281   algorithm: "table_merged_details"
3282   output-file-ext: ".csv"
3283   output-file: "{DIR[DTR,PERF,VPP,3N,SKX]}/vpp_performance_results_3n_skx"
3284   columns:
3285   -
3286     title: "Name"
3287     data: "data name"
3288   -
3289     title: "Status"
3290     data: "data msg"
3291   rows: "generated"
3292   data: "vpp-perf-results-3n-skx"
3293   filter: "not 'NDRCHK' and not 'PDRCHK'"
3294   parameters:
3295   - "name"
3296   - "parent"
3297   - "msg"
3298
3299 # Detailed Test Results - VPP Performance Results 2n-skx
3300 -
3301   type: "table"
3302   title: "Detailed Test Results - VPP Performance Results 2n-skx"
3303   algorithm: "table_merged_details"
3304   output-file-ext: ".csv"
3305   output-file: "{DIR[DTR,PERF,VPP,2N,SKX]}/vpp_performance_results_2n_skx"
3306   columns:
3307   -
3308     title: "Name"
3309     data: "data name"
3310   -
3311     title: "Status"
3312     data: "data msg"
3313   rows: "generated"
3314   data: "vpp-perf-results-2n-skx"
3315   filter: "not 'NDRCHK' and not 'PDRCHK'"
3316   parameters:
3317   - "name"
3318   - "parent"
3319   - "msg"
3320
3321 # Detailed Test Results - VPP Performance Results 2n-dnv
3322 -
3323   type: "table"
3324   title: "Detailed Test Results - VPP Performance Results 2n-dnv"
3325   algorithm: "table_details"
3326   output-file-ext: ".csv"
3327   output-file: "{DIR[DTR,PERF,VPP,2N,DNV]}/vpp_performance_results_2n_dnv"
3328   columns:
3329   -
3330     title: "Name"
3331     data: "data name"
3332   -
3333     title: "Status"
3334     data: "data msg"
3335   rows: "generated"
3336   data: "intel-dnv-vpp"
3337   filter: "'NDRPDR'"
3338   parameters:
3339   - "name"
3340   - "parent"
3341   - "msg"
3342
3343 # Test configuration - VPP Performance Test Configs 3n-hsw
3344 -
3345   type: "table"
3346   title: "Test configuration - VPP Performance Test Configs 3n-hsw"
3347   algorithm: "table_merged_details"
3348   output-file-ext: ".csv"
3349   output-file: "{DIR[DTC,PERF,VPP,3N,HSW]}/vpp_test_configuration_3n_hsw"
3350   columns:
3351   -
3352     title: "Name"
3353     data: "data name"
3354   -
3355     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3356     data: "data vat-history"
3357   rows: "generated"
3358   data: "vpp-perf-results-3n-hsw"
3359   filter: "not 'NDRCHK' and not 'PDRCHK'"
3360   parameters:
3361   - "parent"
3362   - "name"
3363   - "vat-history"
3364
3365 # Test configuration - VPP Performance Test Configs 3n-skx
3366 -
3367   type: "table"
3368   title: "Test configuration - VPP Performance Test Configs 3n-skx"
3369   algorithm: "table_merged_details"
3370   output-file-ext: ".csv"
3371   output-file: "{DIR[DTC,PERF,VPP,3N,SKX]}/vpp_test_configuration_3n_skx"
3372   columns:
3373   -
3374     title: "Name"
3375     data: "data name"
3376   -
3377     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3378     data: "data vat-history"
3379   rows: "generated"
3380   data: "vpp-perf-results-3n-skx"
3381   filter: "not 'NDRCHK' and not 'PDRCHK'"
3382   parameters:
3383   - "parent"
3384   - "name"
3385   - "vat-history"
3386
3387 # Test configuration - VPP Performance Test Configs 2n-skx
3388 -
3389   type: "table"
3390   title: "Test configuration - VPP Performance Test Configs 2n-skx"
3391   algorithm: "table_merged_details"
3392   output-file-ext: ".csv"
3393   output-file: "{DIR[DTC,PERF,VPP,2N,SKX]}/vpp_test_configuration_2n_skx"
3394   columns:
3395   -
3396     title: "Name"
3397     data: "data name"
3398   -
3399     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3400     data: "data vat-history"
3401   rows: "generated"
3402   data: "vpp-perf-results-2n-skx"
3403   filter: "not 'NDRCHK' and not 'PDRCHK'"
3404   parameters:
3405   - "parent"
3406   - "name"
3407   - "vat-history"
3408
3409 # Test configuration - VPP Performance Test Configs 2n-dnv
3410 -
3411   type: "table"
3412   title: "Test configuration - VPP Performance Test Configs 2n-dnv"
3413   algorithm: "table_details"
3414   output-file-ext: ".csv"
3415   output-file: "{DIR[DTC,PERF,VPP,2N,DNV]}/vpp_test_configuration_2n_dnv"
3416   columns:
3417   -
3418     title: "Name"
3419     data: "data name"
3420   -
3421     title: "VPP API Test (VAT) Commands History - Commands Used Per Test Case"
3422     data: "data vat-history"
3423   rows: "generated"
3424   data: "intel-dnv-vpp"
3425   filter: "'NDRPDR'"
3426   parameters:
3427   - "parent"
3428   - "name"
3429   - "vat-history"
3430
3431 # Test Operational Data - VPP Performance Operational Data 3n-hsw
3432 -
3433   type: "table"
3434   title: "Test Operational Data - VPP Performance Operational Data 3n-hsw"
3435   algorithm: "table_merged_details"
3436   output-file-ext: ".csv"
3437   output-file: "{DIR[DTO,PERF,VPP,3N,HSW]}/vpp_test_operational_3n_hsw"
3438   columns:
3439   -