Report 2001: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
33     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
34     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
35     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
36     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
37     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
38     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
39     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
40     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
41     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
42     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
43     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
44     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
45     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
46     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
47     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
48     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
49     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
50     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
51     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
52     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
53
54     # Detailed test configurations
55     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
56     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
57     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
58     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
59     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
60     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
61     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
62     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
63     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
64     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
65     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
66     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
67     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
68     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
69     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
70     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
71     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
72     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
73
74     # Detailed tests operational data
75     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
76     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
77     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
78     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
79     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
80     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
81     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
82     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
83     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
84
85     # Latencies:
86     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
87     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
88
89     # .css patch file to fix tables generated by Sphinx
90     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
91     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
92
93   urls:
94     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
95     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
96     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
97     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
98     DIR[NEXUS,DOC]: "report/_static/archive"
99
100   make-dirs:
101   # List the directories which are created while preparing the environment.
102   # All directories MUST be defined in "paths" section.
103   - "DIR[WORKING,DATA]"
104   - "DIR[STATIC,VPP]"
105   - "DIR[STATIC,DPDK]"
106   - "DIR[STATIC,ARCH]"
107   - "DIR[BUILD,LATEX]"
108   - "DIR[WORKING,SRC]"
109   - "DIR[WORKING,SRC,STATIC]"
110
111   remove-dirs:
112   # List the directories which are deleted while cleaning the environment.
113   # All directories MUST be defined in "paths" section.
114   #- "DIR[BUILD,HTML]"
115   - "DIR[WORKING,DATA]"
116
117   build-dirs:
118   # List the directories where the results (build) is stored.
119   # All directories MUST be defined in "paths" section.
120   - "DIR[BUILD,HTML]"
121   - "DIR[BUILD,LATEX]"
122
123 - type: "configuration"
124
125   mapping-file: "mapping_report.yaml"
126
127   limits:
128     nic:
129       x520: 24460000
130       x553: 29761905
131       x710: 35800000
132       xxv710: 35800000
133       xl710: 35800000
134       cx556a: 60000000
135
136     link:
137       10ge: 14880952.38
138       25ge: 37202380.95
139       40ge: 59523809.52
140       100ge: 148809523.81
141
142     pci:
143       pci-g3-x8: 74404761.90
144       pci-g3-x16: 148809523.81
145
146   data-sets:
147
148     ###########################################################################
149     # Replacements:
150
151     replacement-1908-vpp-throughput-lat-tsa-3n-hsw-vhost:
152       csit-vpp-perf-verify-1908-3n-hsw:
153         - 48  # NDRPDR sel vhost
154         - 49  # NDRPDR sel vhost
155         - 52  # NDRPDR sel vhost
156         - 53  # NDRPDR sel vhost
157         - 54  # NDRPDR sel vhost
158         - 55  # NDRPDR sel vhost
159         - 56  # NDRPDR sel vhost
160         - 57  # NDRPDR sel vhost
161         - 58  # NDRPDR sel vhost
162         - 59  # NDRPDR sel vhost
163
164     replacement-1908-vpp-throughput-lat-tsa-3n-skx-vhost:
165       csit-vpp-perf-verify-1908-3n-skx:
166         - 52  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
167         - 53  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
168         - 55  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
169         - 61  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
170         - 62  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
171         - 63  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
172         - 64  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
173         - 65  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
174         - 66  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
175         - 67  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
176
177     replacement-1908-vpp-throughput-lat-tsa-2n-skx-vhost:
178       csit-vpp-perf-verify-1908-2n-skx:
179         - 88  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
180         - 89  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
181         - 91  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
182         - 92  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
183         - 93  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
184         - 94  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
185         - 95  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
186         - 96  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
187         - 97  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
188         - 98  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
189
190     ###########################################################################
191     # Plots:
192
193     # 3n-hsw
194
195     plot-vpp-throughput-lat-tsa-3n-hsw:
196       csit-vpp-perf-verify-2001-3n-hsw:
197         - 21  # NDRPDR sel
198         - 22  # NDRPDR sel
199         - 23  # NDRPDR sel
200         - 24  # NDRPDR sel
201         - 25  # NDRPDR sel
202         - 29  # NDRPDR sel
203         - 30  # NDRPDR sel
204         - 31  # NDRPDR sel
205         - 32  # NDRPDR sel
206         - 34  # NDRPDR sel
207
208     plot-vpp-hdrh-lat-3n-hsw:
209       csit-vpp-perf-verify-2001-3n-hsw:
210         - 22  # NDRPDR sel
211
212     plot-vpp-nfv-3n-hsw-ndrpdr:
213       csit-vpp-perf-verify-2001-3n-hsw:
214         - 21  # NDRPDR sel
215         - 22  # NDRPDR sel
216         - 23  # NDRPDR sel
217         - 24  # NDRPDR sel
218         - 25  # NDRPDR sel
219         - 29  # NDRPDR sel
220         - 30  # NDRPDR sel
221         - 31  # NDRPDR sel
222         - 32  # NDRPDR sel
223         - 34  # NDRPDR sel
224
225     plot-vpp-nfv-3n-hsw-mrr:
226       csit-vpp-perf-verify-2001-3n-hsw:
227         - 17  # MRR sel
228
229     plot-dpdk-throughput-latency-3n-hsw:
230       csit-dpdk-perf-verify-2001-3n-hsw:
231         - 4   # NDRPDR sel
232         - 5   # NDRPDR sel
233         - 6   # NDRPDR sel
234         - 7   # NDRPDR sel
235         - 8   # NDRPDR sel
236         - 9   # NDRPDR sel
237         - 10  # NDRPDR sel
238         - 11  # NDRPDR sel
239         - 12  # NDRPDR sel
240         - 13  # NDRPDR sel
241         - 15  # NDRPDR sel
242         - 16  # NDRPDR sel
243         - 17  # NDRPDR sel
244         - 18  # NDRPDR sel
245         - 19  # NDRPDR sel
246         - 20  # NDRPDR sel
247         - 21  # NDRPDR sel
248         - 22  # NDRPDR sel
249         - 23  # NDRPDR sel
250         - 24  # NDRPDR sel
251
252     plot-vpp-hoststack-3n-hsw:
253       csit-vpp-perf-verify-2001-3n-hsw:
254         - 103  # hoststack
255         - 104  # hoststack
256         - 105  # hoststack
257         - 106  # hoststack
258         - 107  # hoststack
259         - 108  # hoststack
260         - 109  # hoststack
261         - 110  # hoststack
262         - 111  # hoststack
263         - 112  # hoststack
264
265     plot-dpdk-hdrh-lat-3n-hsw:
266       csit-dpdk-perf-verify-2001-3n-hsw:
267         - 16  # NDRPDR sel
268
269     # 3n-skx
270
271     plot-vpp-throughput-lat-tsa-3n-skx:
272       # TODO: Add the data
273       csit-vpp-perf-verify-2001-3n-skx:
274         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
275         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
276         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
277         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
278         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
279         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
280         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
281
282     plot-vpp-hdrh-lat-3n-skx:
283       csit-vpp-perf-verify-2001-3n-skx:
284         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
285
286     plot-vpp-nfv-3n-skx-ndrpdr:
287       # TODO: Add data
288       csit-vpp-perf-verify-2001-3n-skx:
289         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
290
291     plot-vpp-nfv-3n-skx-mrr:
292       csit-vpp-perf-verify-2001-3n-skx:
293         - 50  # MRR sel
294
295     plot-dpdk-throughput-latency-3n-skx:
296       csit-dpdk-perf-verify-2001-3n-skx:
297         - 29  # NDRPDR sel xxv710
298         - 33  # NDRPDR sel xxv710
299         - 34  # NDRPDR sel xxv710
300         - 35  # NDRPDR sel xxv710
301         - 36  # NDRPDR sel xxv710
302         - 37  # NDRPDR sel xxv710
303         - 41  # NDRPDR sel xxv710
304         - 42  # NDRPDR sel xxv710
305         - 43  # NDRPDR sel xxv710
306         - 45  # NDRPDR sel xxv710
307         - 30  # NDRPDR sel x710
308         - 31  # NDRPDR sel x710
309         - 32  # NDRPDR sel x710
310         - 38  # NDRPDR sel x710
311         - 39  # NDRPDR sel x710
312         - 40  # NDRPDR sel x710
313         - 44  # NDRPDR sel x710
314         - 46  # NDRPDR sel x710
315         - 47  # NDRPDR sel x710
316         - 48  # NDRPDR sel x710
317
318     plot-dpdk-hdrh-lat-3n-skx:
319       csit-dpdk-perf-verify-2001-3n-skx:
320         - 29  # NDRPDR sel xxv710
321
322     # 2n-skx
323
324     plot-vpp-throughput-lat-tsa-2n-skx:
325       csit-vpp-perf-verify-2001-2n-skx:
326         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
327         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
328         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
329         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
330         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
331         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
332         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
333         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
334         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
335         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
336
337     plot-vpp-hdrh-lat-2n-skx:
338       csit-vpp-perf-verify-2001-2n-skx:
339         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
340
341     plot-vpp-http-server-performance:
342       csit-vpp-perf-verify-2001-2n-clx:
343         - 80  # TCP
344         - 82  # TCP
345         - 83  # TCP
346         - 85  # TCP
347         - 86  # TCP
348         - 87  # TCP
349         - 88  # TCP
350         - 89  # TCP
351         - 90  # TCP
352         - 91  # TCP
353
354     plot-vpp-soak-2n-skx:
355       csit-vpp-perf-verify-2001-2n-skx:
356         - 181  # Soak
357         - 182  # Soak
358
359     plot-vpp-nfv-2n-skx-ndrpdr:
360       # TODO: Replace the data
361       csit-vpp-perf-verify-2001-2n-skx:
362         - 30  # NFV
363         - 31  # NFV
364
365     plot-vpp-nfv-2n-skx-mrr:
366       # TODO: Replace the data
367       # csit-vpp-perf-verify-2001-2n-skx:
368       csit-vpp-perf-verify-1908-2n-skx:
369         - 71  # NFV MRR
370
371     plot-vpp-nfv-reconf-2n-skx:
372       csit-vpp-perf-verify-2001-2n-skx:
373         - 169  # Reconf
374         - 171  # Reconf
375         - 172  # Reconf
376         - 173  # Reconf
377         - 174  # Reconf
378         - 175  # Reconf
379         - 176  # Reconf
380         - 177  # Reconf
381         - 178  # Reconf
382         - 179  # Reconf
383
384     plot-dpdk-throughput-latency-2n-skx:
385       csit-dpdk-perf-verify-2001-2n-skx:
386         - 35  # NDRPDR sel xxv710
387         - 36  # NDRPDR sel xxv710
388         - 37  # NDRPDR sel xxv710
389         - 41  # NDRPDR sel xxv710
390         - 42  # NDRPDR sel xxv710
391         - 43  # NDRPDR sel xxv710
392         - 46  # NDRPDR sel xxv710
393         - 47  # NDRPDR sel xxv710
394         - 52  # NDRPDR sel xxv710
395         - 53  # NDRPDR sel xxv710
396         - 38  # NDRPDR sel x710
397         - 39  # NDRPDR sel x710
398         - 40  # NDRPDR sel x710
399         - 44  # NDRPDR sel x710
400         - 45  # NDRPDR sel x710
401         - 48  # NDRPDR sel x710
402         - 49  # NDRPDR sel x710
403         - 50  # NDRPDR sel x710
404         - 51  # NDRPDR sel x710
405         - 54  # NDRPDR sel x710
406
407     plot-dpdk-hdrh-lat-2n-skx:
408       csit-dpdk-perf-verify-2001-2n-skx:
409         - 35  # NDRPDR sel xxv710
410
411     # 2n-clx
412
413     plot-vpp-throughput-lat-tsa-2n-clx:
414       csit-vpp-perf-verify-2001-2n-clx:
415         - 28  # NDRPDR sel
416         - 29  # NDRPDR sel
417         - 32  # NDRPDR sel
418         - 40  # NDRPDR sel
419         - 43  # NDRPDR sel
420         - 44  # NDRPDR sel
421         - 45  # NDRPDR sel
422         - 47  # NDRPDR sel
423         - 48  # NDRPDR sel
424         - 49  # NDRPDR sel
425
426     plot-vpp-hdrh-lat-2n-clx:
427       csit-vpp-perf-verify-2001-2n-clx:
428         - 28  # NDRPDR sel
429
430     plot-vpp-nfv-2n-clx-ndrpdr:
431       csit-vpp-perf-verify-2001-2n-clx:
432         - 28  # NDRPDR sel
433         - 29  # NDRPDR sel
434         - 32  # NDRPDR sel
435         - 40  # NDRPDR sel
436         - 43  # NDRPDR sel
437         - 44  # NDRPDR sel
438         - 45  # NDRPDR sel
439         - 47  # NDRPDR sel
440         - 48  # NDRPDR sel
441         - 49  # NDRPDR sel
442
443     plot-vpp-nfv-2n-clx-mrr:
444       csit-vpp-perf-verify-2001-2n-clx:
445         - 39  # MRR
446
447     plot-vpp-nfv-reconf-2n-clx:
448       csit-vpp-perf-verify-2001-2n-clx:
449         - 68  # Reconf
450         - 69  # Reconf
451         - 70  # Reconf
452         - 71  # Reconf
453         - 72  # Reconf
454         - 73  # Reconf
455         - 74  # Reconf
456         - 75  # Reconf
457         - 76  # Reconf
458         - 77  # Reconf
459
460     plot-vpp-soak-2n-clx:
461       csit-vpp-perf-verify-2001-2n-clx:
462         - 93  # Soak
463         - 94  # Soak
464
465     plot-dpdk-throughput-latency-2n-clx:
466       csit-dpdk-perf-verify-2001-2n-clx:
467         - 15  # NDRPDR sel
468         - 16  # NDRPDR sel
469         - 17  # NDRPDR sel
470         - 18  # NDRPDR sel
471         - 19  # NDRPDR sel
472         - 20  # NDRPDR sel
473         - 21  # NDRPDR sel
474         - 22  # NDRPDR sel
475         - 23  # NDRPDR sel
476         - 24  # NDRPDR sel
477         - 25  # NDRPDR sel
478         - 26  # NDRPDR sel
479         - 27  # NDRPDR sel
480         - 28  # NDRPDR sel
481         - 29  # NDRPDR sel
482         - 30  # NDRPDR sel
483         - 31  # NDRPDR sel
484         - 32  # NDRPDR sel
485         - 33  # NDRPDR sel
486         - 34  # NDRPDR sel
487
488
489     plot-dpdk-hdrh-lat-2n-clx:
490       csit-dpdk-perf-verify-2001-2n-clx:
491         - 15  # NDRPDR sel
492
493     # 3n-tsh
494
495     plot-vpp-throughput-lat-tsa-3n-tsh:
496       csit-vpp-perf-verify-2001-3n-tsh:
497         - 3   # NDRPDR sel
498         - 4   # NDRPDR sel
499         - 7   # NDRPDR sel
500         - 8   # NDRPDR sel
501         - 10  # NDRPDR sel
502         - 12  # NDRPDR sel
503         - 13  # NDRPDR sel
504         - 14  # NDRPDR sel
505         - 15  # NDRPDR sel
506         - 21  # NDRPDR sel
507
508     plot-vpp-hdrh-lat-3n-tsh:
509       csit-vpp-perf-verify-2001-3n-tsh:
510         - 10  # NDRPDR sel
511
512     plot-dpdk-throughput-latency-3n-tsh:
513       csit-dpdk-perf-verify-2001-3n-tsh:
514         - 3   # NDRPDR sel
515         - 4   # NDRPDR sel
516         - 5   # NDRPDR sel
517         - 9   # NDRPDR sel
518         - 10  # NDRPDR sel
519         - 11  # NDRPDR sel
520         - 12  # NDRPDR sel
521         - 14  # NDRPDR sel
522         - 15  # NDRPDR sel
523         - 18  # NDRPDR sel
524
525     plot-dpdk-hdrh-lat-3n-tsh:
526       csit-dpdk-perf-verify-2001-3n-tsh:
527         - 3   # NDRPDR sel
528
529     # 3n-dnv
530
531     plot-vpp-throughput-lat-tsa-3n-dnv:
532       csit-vpp-perf-verify-2001-3n-dnv:
533         - 5   # NDRPDR sel
534         - 6   # NDRPDR sel
535         - 7   # NDRPDR sel
536         - 8   # NDRPDR sel
537         - 9   # NDRPDR sel
538         - 10  # NDRPDR sel
539         - 12  # NDRPDR sel
540         - 16  # NDRPDR sel
541         - 17  # NDRPDR sel
542         - 18  # NDRPDR sel
543
544     plot-dpdk-throughput-latency-3n-dnv:
545       csit-dpdk-perf-verify-2001-3n-dnv:
546         - 12  # NDRPDR sel
547         - 13  # NDRPDR sel
548         - 14  # NDRPDR sel
549         - 15  # NDRPDR sel
550         - 16  # NDRPDR sel
551         - 17  # NDRPDR sel
552         - 18  # NDRPDR sel
553         - 19  # NDRPDR sel
554         - 20  # NDRPDR sel
555         - 22  # NDRPDR sel
556
557     # 2n-dnv
558
559     plot-vpp-throughput-lat-tsa-2n-dnv:
560       csit-vpp-perf-verify-2001-2n-dnv:
561         - 4   # NDRPDR sel
562         - 5   # NDRPDR sel
563         - 6   # NDRPDR sel
564         - 7   # NDRPDR sel
565         - 8   # NDRPDR sel
566         - 9   # NDRPDR sel
567         - 10  # NDRPDR sel
568         - 11  # NDRPDR sel
569         - 13  # NDRPDR sel
570         - 16  # NDRPDR sel
571
572     plot-dpdk-throughput-latency-2n-dnv:
573       csit-dpdk-perf-verify-2001-2n-dnv:
574         - 9   # NDRPDR sel
575         - 10  # NDRPDR sel
576         - 11  # NDRPDR sel
577         - 12  # NDRPDR sel
578         - 13  # NDRPDR sel
579         - 14  # NDRPDR sel
580         - 15  # NDRPDR sel
581         - 16  # NDRPDR sel
582         - 17  # NDRPDR sel
583         - 18  # NDRPDR sel
584
585     ###########################################################################
586     # Simple tables (only one data set):
587
588     # NIC Comparisons
589
590     vpp-nic-comparison-3n-skx:
591       # TODO: Add the data
592       csit-vpp-perf-verify-2001-3n-skx:
593         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
594         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
595         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
596         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
597         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
598         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
599         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
600
601     vpp-nic-comparison-2n-skx:
602       csit-vpp-perf-verify-2001-2n-skx:
603         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
604         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
605         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
606         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
607         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
608         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
609         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
610         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
611         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
612         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
613
614     vpp-nic-comparison-3n-skx-mrr:
615       csit-vpp-perf-verify-2001-3n-skx:
616         - 50  # MRR sel
617         - 53  # MRR sel addition
618
619     vpp-nic-comparison-2n-skx-mrr:
620       csit-vpp-perf-verify-2001-2n-skx:
621         - 101 # MRR sel
622         - 128 # MRR sel addition
623
624     # Results
625
626     vpp-perf-results-3n-hsw:
627       csit-vpp-perf-verify-2001-3n-hsw:
628         - 18  # NDRPDR full
629         - 20  # NDRPDR full
630         - 28  # NDRPDR full
631         - 35  # NDRPDR full
632         - 42  # NDRPDR full
633         - 46  # NDRPDR full
634         - 47  # NDRPDR full
635         - 48  # NDRPDR full
636         - 49  # NDRPDR full
637         - 50  # NDRPDR full
638         - 51  # NDRPDR full
639         - 52  # NDRPDR full
640         - 53  # NDRPDR full
641         - 54  # NDRPDR full
642         - 55  # NDRPDR full
643         - 56  # NDRPDR full
644         - 57  # NDRPDR full
645         - 58  # NDRPDR full
646         - 59  # NDRPDR full
647         - 61  # NDRPDR full
648         - 62  # NDRPDR full
649         - 63  # NDRPDR full
650         - 64  # NDRPDR full
651         - 65  # NDRPDR full
652         - 67  # NDRPDR full
653         - 70  # NDRPDR full
654         - 72  # NDRPDR full
655         - 73  # NDRPDR full
656         - 76  # NDRPDR full
657         - 77  # NDRPDR full
658         - 78  # NDRPDR full
659         - 79  # NDRPDR full
660         - 81  # NDRPDR full
661         - 82  # NDRPDR full
662         - 84  # NDRPDR full
663         - 85  # NDRPDR full
664
665     vpp-perf-results-3n-skx:
666       # TODO: Add data
667       csit-vpp-perf-verify-2001-3n-skx:
668         - 82  # NDRPDR full - crypto-1
669         - 85  # NDRPDR full - l2-2
670         - 87  # NDRPDR full - ip6-1
671         - 88  # NDRPDR full - ip6-2
672         - 90  # NDRPDR full - memif
673         - 95  # NDRPDR full - l2-1
674         - 96  # NDRPDR full - ip4-2
675         - 97  # NDRPDR full - vhost-1
676         - 102 # NDRPDR full - crypto-2
677         - 104 # NDRPDR full - ip4tunnels-1
678         - 105 # NDRPDR full - ip4tunnels-2
679         - 106 # NDRPDR full - ip4tunnels-3
680         - 107 # NDRPDR full - ip6tunnels-1
681         - 108 # NDRPDR full - ip4-1
682         - 109 # NDRPDR full - crypto-3
683         - 110 # NDRPDR full - crypto-4
684         - 111 # NDRPDR full - ip4-2
685         - 112 # NDRPDR full - ip4-4
686         - 113 # NDRPDR full - ip4-5
687         - 114 # NDRPDR full - ip4-6
688         - 115 # NDRPDR full - ip4-7
689         - 116 # NDRPDR full - ip4-8
690         - 117 # NDRPDR full - ip4-9
691         - 118 # NDRPDR full - srv6-1
692         - 119 # NDRPDR full - srv6-2
693         - 120 # NDRPDR full - l2-3
694         - 122 # NDRPDR full - l2-5
695         - 123 # NDRPDR full - l2-4
696         - 124 # NDRPDR full - l2-7
697         - 125 # NDRPDR full - vhost-2
698         - 126 # NDRPDR full - vhost-3
699         - 128 # NDRPDR full - l2-8
700         - 129 # NDRPDR full - l2-9
701         - 130 # NDRPDR full - l2-10
702         - 131 # NDRPDR full - l2-11
703         - 132 # NDRPDR full - vhost-4
704
705     vpp-perf-results-2n-skx:
706       csit-vpp-perf-verify-2001-2n-skx:
707         - 155  # NDRPDR full - perf-full-2n-skx-ip4_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
708         - 156  # NDRPDR full - perf-full-2n-skx-ip4_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
709         - 157  # NDRPDR full - perf-full-2n-skx-ip4_III - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
710         - 158  # NDRPDR full - perf-full-2n-skx-ip4_V - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
711         - 159  # NDRPDR full - perf-full-2n-skx-ip4_VIII - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
712         - 160  # NDRPDR full - perf-full-2n-skx-ip4_IX - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
713         - 161  # NDRPDR full - perf-full-2n-skx-ip6_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
714         - 162  # NDRPDR full - perf-full-2n-skx-ip6_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
715         - 163  # NDRPDR full - perf-full-2n-skx-l2_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
716         - 164  # NDRPDR full - perf-full-2n-skx-l2_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
717         - 165  # NDRPDR full - perf-full-2n-skx-memif - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
718         - 166  # NDRPDR full - perf-full-2n-skx-vhost I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
719         - 167  # NDRPDR full - perf-full-2n-skx-vhost II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
720         - 168  # NDRPDR full - perf-full-2n-skx-vts - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
721
722     vpp-perf-results-2n-clx:
723       csit-vpp-perf-verify-2001-2n-clx:
724         - 53  # NDRPDR full
725         - 54  # NDRPDR full
726         - 55  # NDRPDR full
727         - 56  # NDRPDR full
728         - 57  # NDRPDR full
729         - 58  # NDRPDR full
730         - 59  # NDRPDR full
731         - 60  # NDRPDR full
732         - 61  # NDRPDR full
733         - 62  # NDRPDR full
734         - 63  # NDRPDR full
735         - 64  # NDRPDR full
736         - 65  # NDRPDR full
737         - 66  # NDRPDR full
738         - 67  # NDRPDR full
739
740     vpp-perf-results-3n-tsh:
741       csit-vpp-perf-verify-2001-3n-tsh:
742         - 10  # NDRPDR sel
743
744     vpp-perf-results-3n-dnv:
745       csit-vpp-perf-verify-2001-3n-dnv:
746         - 19  # NDRPDR full
747         - 20  # NDRPDR full
748         - 21  # NDRPDR full
749         - 22  # NDRPDR full
750         - 23  # NDRPDR full
751         - 24  # NDRPDR full
752         - 25  # NDRPDR full
753         - 26  # NDRPDR full
754         - 37  # NDRPDR full
755         - 38  # NDRPDR full
756         - 39  # NDRPDR full
757
758     vpp-perf-results-2n-dnv:
759       csit-vpp-perf-verify-2001-2n-dnv:
760         - 21  # NDRPDR full
761         - 22  # NDRPDR full
762         - 25  # NDRPDR full
763         - 26  # NDRPDR full
764         - 27  # NDRPDR full
765         - 28  # NDRPDR full
766
767     vpp-mrr-results-3n-hsw:
768       csit-vpp-perf-verify-2001-3n-hsw:
769         - 17  # MRR sel
770
771     vpp-mrr-results-3n-skx:
772       csit-vpp-perf-verify-2001-3n-skx:
773         - 50  # MRR sel
774         - 53  # MRR sel addition
775
776     vpp-mrr-results-2n-skx:
777       csit-vpp-perf-verify-2001-2n-skx:
778         - 101 # MRR sel
779         - 128 # MRR sel addition
780
781     vpp-mrr-results-2n-clx:
782       csit-vpp-perf-verify-2001-2n-clx:
783         - 39  # MRR
784
785     vpp-mrr-results-3n-tsh:
786       csit-vpp-perf-verify-2001-3n-tsh:
787         - 9   # MRR sel
788
789     vpp-mrr-results-3n-dnv:
790       csit-vpp-perf-verify-2001-3n-dnv:
791         - 11  # MRR sel
792
793     vpp-mrr-results-2n-dnv:
794       csit-vpp-perf-verify-2001-2n-dnv:
795         - 12  # MRR sel
796
797     vpp-device-results-ubuntu:
798       csit-vpp-device-2001-ubuntu1804-1n-skx:
799         - 57
800
801     dpdk-perf-results-3n-hsw:
802       csit-dpdk-perf-verify-2001-3n-hsw:
803         - 25  # NDRPDR full
804         - 26  # NDRPDR full
805
806     dpdk-perf-results-3n-skx:
807       csit-dpdk-perf-verify-2001-3n-skx:
808         - 29  # NDRPDR sel xxv710
809         - 30  # NDRPDR sel x710
810
811     dpdk-perf-results-2n-skx:
812       csit-dpdk-perf-verify-2001-2n-skx:
813         - 35  # NDRPDR sel xxv710
814         - 38  # NDRPDR sel x710
815
816     dpdk-perf-results-2n-clx:
817       csit-dpdk-perf-verify-2001-2n-clx:
818         - 15  # NDRPDR sel
819         - 34  # NDRPDR sel
820
821     dpdk-perf-results-2n-dnv:
822       csit-dpdk-perf-verify-2001-2n-dnv:
823         - 16  # NDRPDR sel
824
825     dpdk-perf-results-3n-dnv:
826       csit-dpdk-perf-verify-2001-3n-dnv:
827         - 12  # NDRPDR sel
828
829     dpdk-perf-results-3n-tsh:
830       csit-dpdk-perf-verify-2001-3n-tsh:
831         - 3   # NDRPDR sel
832
833 ###########################################################################
834     # Tables (more than one data set)
835
836     # Performance changes
837
838     vpp-perf-changes-2n-skx-old1908_0:
839       csit-vpp-perf-verify-1908-2n-skx:
840         - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
841         - 27  # NDRPDR sel - old1908 - vpp build: 19.08-release
842         - 34  # NDRPDR sel - old1908 - vpp build: 19.08-release
843         - 35  # NDRPDR sel - old1908 - vpp build: 19.08-release
844         - 36  # NDRPDR sel - old1908 - vpp build: 19.08-release
845         - 42  # NDRPDR sel - old1908 - vpp build: 19.08-release
846         - 43  # NDRPDR sel - old1908 - vpp build: 19.08-release
847         - 44  # NDRPDR sel - old1908 - vpp build: 19.08-release
848         - 45  # NDRPDR sel - old1908 - vpp build: 19.08-release
849         - 46  # NDRPDR sel - old1908 - vpp build: 19.08-release
850     vpp-perf-changes-2n-skx-old1908_1:
851       csit-vpp-perf-verify-1908_1-2n-skx:
852         - 3   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
853         - 4   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
854         - 6   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
855         - 10  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
856         - 14  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
857         - 16  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
858         - 21  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
859         - 23  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
860         - 24  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
861         - 25  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
862     vpp-perf-changes-2n-skx-new1908_1:
863       csit-vpp-perf-verify-1908_1-2n-skx:
864         - 39  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
865         - 40  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
866         - 41  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
867         - 43  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
868         - 44  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
869         - 45  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
870         - 46  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
871         - 47  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
872         - 48  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
873         - 49  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
874     vpp-perf-changes-2n-skx-new1908_2:
875       csit-vpp-perf-verify-1908_2-2n-skx:
876         - 1   # NDRPDR sel
877         - 2   # NDRPDR sel
878         - 3   # NDRPDR sel
879         - 4   # NDRPDR sel
880         - 5   # NDRPDR sel
881         - 6   # NDRPDR sel
882         - 7   # NDRPDR sel
883         - 8   # NDRPDR sel
884         - 9   # NDRPDR sel
885         - 10  # NDRPDR sel
886     vpp-perf-changes-2n-skx-new2001_0:
887       csit-vpp-perf-verify-2001-2n-skx:
888         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
889         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
890         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
891         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
892         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
893         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
894         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
895         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
896         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
897         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
898
899     vpp-perf-changes-3n-skx-old1908_0:
900       csit-vpp-perf-verify-1908-3n-skx:
901         - 14  # NDRPDR sel - old1908 - vpp build: 19.08-release
902         - 16  # NDRPDR sel - old1908 - vpp build: 19.08-release
903         - 19  # NDRPDR sel - old1908 - vpp build: 19.08-release
904         - 20  # NDRPDR sel - old1908 - vpp build: 19.08-release
905         - 22  # NDRPDR sel - old1908 - vpp build: 19.08-release
906         - 23  # NDRPDR sel - old1908 - vpp build: 19.08-release
907         - 24  # NDRPDR sel - old1908 - vpp build: 19.08-release
908         - 25  # NDRPDR sel - old1908 - vpp build: 19.08-release
909         - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
910         - 29  # NDRPDR sel - old1908 - vpp build: 19.08-release
911     vpp-perf-changes-3n-skx-old1908_1:
912       csit-vpp-perf-verify-1908_1-3n-skx:
913         - 3   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
914         - 4   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
915         - 7   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
916         - 8   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
917         - 9   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
918         - 10  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
919         - 11  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
920         - 12  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
921         - 13  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
922         - 14  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
923     vpp-perf-changes-3n-skx-new1908_1:
924       csit-vpp-perf-verify-1908_1-3n-skx:
925         - 26  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
926         - 27  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
927         - 28  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
928         - 29  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
929         - 30  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
930         - 31  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
931         - 33  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
932         - 34  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
933         - 35  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
934         - 36  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
935     vpp-perf-changes-3n-skx-new1908_2:
936       csit-vpp-perf-verify-1908_2-3n-skx:
937         - 1   # NDRPDR sel
938         - 2   # NDRPDR sel
939     vpp-perf-changes-3n-skx-new2001_0:
940       csit-vpp-perf-verify-2001-3n-skx:
941         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
942         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
943         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
944         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
945         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
946         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
947         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
948
949     vpp-perf-changes-2n-clx-new1908_1:
950       csit-vpp-perf-verify-1908_1-2n-clx:
951         - 5  # NDRPDR sel
952         - 6  # NDRPDR sel
953         - 7  # NDRPDR sel
954         - 8  # NDRPDR sel
955         - 9  # NDRPDR sel
956     vpp-perf-changes-2n-clx-new1908_2:
957       csit-vpp-perf-verify-1908_2-2n-clx:
958         - 4  # NDRPDR sel
959         - 5  # NDRPDR sel
960         - 6  # NDRPDR sel
961         - 7  # NDRPDR sel
962         - 8  # NDRPDR sel
963
964     vpp-performance-changes-3n-hsw-h1:
965       csit-vpp-perf-verify-1904-3n-hsw:
966         - 11  # NDRPDR sel
967         - 12  # NDRPDR sel
968         - 20  # NDRPDR sel
969         - 21  # NDRPDR sel
970         - 23  # NDRPDR sel
971         - 24  # NDRPDR sel
972         - 25  # NDRPDR sel
973         - 26  # NDRPDR sel
974         - 29  # NDRPDR sel
975         - 30  # NDRPDR sel
976     vpp-performance-changes-3n-hsw-ref:
977       csit-vpp-perf-verify-1908-3n-hsw:
978         - 12  # NDRPDR sel
979         - 13  # NDRPDR sel
980         - 14  # NDRPDR sel
981         - 15  # NDRPDR sel
982         - 16  # NDRPDR sel
983         - 17  # NDRPDR sel
984         - 18  # NDRPDR sel
985         - 19  # NDRPDR sel
986         - 20  # NDRPDR sel
987         - 21  # NDRPDR sel
988     vpp-performance-changes-3n-hsw-cmp:
989       csit-vpp-perf-verify-2001-3n-hsw:
990         - 21  # NDRPDR sel
991         - 22  # NDRPDR sel
992         - 23  # NDRPDR sel
993         - 24  # NDRPDR sel
994         - 25  # NDRPDR sel
995         - 29  # NDRPDR sel
996         - 30  # NDRPDR sel
997         - 31  # NDRPDR sel
998         - 32  # NDRPDR sel
999         - 34  # NDRPDR sel
1000
1001     vpp-performance-changes-3n-skx-h1:
1002       csit-vpp-perf-verify-1904-3n-skx:
1003         - 8   # NDRPDR sel
1004         - 9   # NDRPDR sel
1005         - 10  # NDRPDR sel
1006         - 11  # NDRPDR sel
1007         - 12  # NDRPDR sel
1008         - 14  # NDRPDR sel
1009         - 16  # NDRPDR sel
1010         - 21  # NDRPDR sel
1011         - 23  # NDRPDR sel
1012         - 25  # NDRPDR sel
1013     vpp-performance-changes-3n-skx-ref:
1014       csit-vpp-perf-verify-1908-3n-skx:
1015         - 14  # NDRPDR sel - old1908 - vpp build: 19.08-release
1016         - 16  # NDRPDR sel - old1908 - vpp build: 19.08-release
1017         - 19  # NDRPDR sel - old1908 - vpp build: 19.08-release
1018         - 20  # NDRPDR sel - old1908 - vpp build: 19.08-release
1019         - 22  # NDRPDR sel - old1908 - vpp build: 19.08-release
1020         - 23  # NDRPDR sel - old1908 - vpp build: 19.08-release
1021         - 24  # NDRPDR sel - old1908 - vpp build: 19.08-release
1022         - 25  # NDRPDR sel - old1908 - vpp build: 19.08-release
1023         - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
1024         - 29  # NDRPDR sel - old1908 - vpp build: 19.08-release
1025     vpp-performance-changes-3n-skx-cmp:
1026       # TODO: Add the data
1027       csit-vpp-perf-verify-2001-3n-skx:
1028         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1029         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1030         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1031         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1032         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1033         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1034         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1035
1036     vpp-performance-changes-2n-skx-h1:
1037       csit-vpp-perf-verify-1904-2n-skx:
1038         - 12  # NDRPDR sel
1039         - 14  # NDRPDR sel
1040         - 16  # NDRPDR sel
1041         - 17  # NDRPDR sel
1042         - 18  # NDRPDR sel
1043         - 21  # NDRPDR sel
1044         - 27  # NDRPDR sel
1045         - 30  # NDRPDR sel
1046         - 31  # NDRPDR sel
1047         - 32  # NDRPDR sel
1048     vpp-performance-changes-2n-skx-ref:
1049       csit-vpp-perf-verify-1908-2n-skx:
1050         - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
1051         - 27  # NDRPDR sel - old1908 - vpp build: 19.08-release
1052         - 34  # NDRPDR sel - old1908 - vpp build: 19.08-release
1053         - 35  # NDRPDR sel - old1908 - vpp build: 19.08-release
1054         - 36  # NDRPDR sel - old1908 - vpp build: 19.08-release
1055         - 42  # NDRPDR sel - old1908 - vpp build: 19.08-release
1056         - 43  # NDRPDR sel - old1908 - vpp build: 19.08-release
1057         - 44  # NDRPDR sel - old1908 - vpp build: 19.08-release
1058         - 45  # NDRPDR sel - old1908 - vpp build: 19.08-release
1059         - 46  # NDRPDR sel - old1908 - vpp build: 19.08-release
1060     vpp-performance-changes-2n-skx-cmp:
1061       csit-vpp-perf-verify-2001-2n-skx:
1062         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1063         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1064         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1065         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1066         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1067         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1068         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1069         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1070         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1071         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1072
1073     vpp-performance-changes-nfv-2n-skx-ref:
1074       csit-vpp-perf-verify-1908-2n-skx:
1075         - 22  # NFV
1076         - 31  # NFV
1077         - 32  # NFV
1078     vpp-performance-changes-nfv-2n-skx-cmp:
1079       # TODO: Add the data
1080       csit-vpp-perf-verify-2001-2n-skx:
1081         - 30  # NFV
1082         - 31  # NFV
1083
1084     vpp-performance-changes-2n-dnv-ref:
1085       csit-vpp-perf-verify-1908-2n-dnv:
1086         - 1   # NDRPDR sel
1087         - 2   # NDRPDR sel
1088         - 3   # NDRPDR sel
1089         - 4   # NDRPDR sel
1090         - 5   # NDRPDR sel
1091         - 6   # NDRPDR sel
1092         - 7   # NDRPDR sel
1093         - 8   # NDRPDR sel
1094         - 9   # NDRPDR sel
1095         - 10  # NDRPDR sel
1096     vpp-performance-changes-2n-dnv-cmp:
1097       csit-vpp-perf-verify-2001-2n-dnv:
1098         - 4   # NDRPDR sel
1099         - 5   # NDRPDR sel
1100         - 6   # NDRPDR sel
1101         - 7   # NDRPDR sel
1102         - 8   # NDRPDR sel
1103         - 9   # NDRPDR sel
1104         - 10  # NDRPDR sel
1105         - 11  # NDRPDR sel
1106         - 13  # NDRPDR sel
1107         - 16  # NDRPDR sel
1108
1109     vpp-performance-changes-3n-dnv-ref:
1110       csit-vpp-perf-verify-1908-3n-dnv:
1111         - 6   # NDRPDR sel
1112         - 7   # NDRPDR sel
1113         - 8   # NDRPDR sel
1114         - 9   # NDRPDR sel
1115         - 10  # NDRPDR sel
1116         - 12  # NDRPDR sel
1117         - 13  # NDRPDR sel
1118         - 14  # NDRPDR sel
1119         - 15  # NDRPDR sel
1120         - 16  # NDRPDR sel
1121     vpp-performance-changes-3n-dnv-cmp:
1122       csit-vpp-perf-verify-2001-3n-dnv:
1123         - 5   # NDRPDR sel
1124         - 6   # NDRPDR sel
1125         - 7   # NDRPDR sel
1126         - 8   # NDRPDR sel
1127         - 9   # NDRPDR sel
1128         - 10  # NDRPDR sel
1129         - 12  # NDRPDR sel
1130         - 16  # NDRPDR sel
1131         - 17  # NDRPDR sel
1132         - 18  # NDRPDR sel
1133
1134     vpp-performance-changes-3n-tsh-ref:
1135       csit-vpp-perf-verify-1908-3n-tsh:
1136         - 7   # NDRPDR sel
1137         - 8   # NDRPDR sel
1138         - 9   # NDRPDR sel
1139         - 10  # NDRPDR sel
1140         - 11  # NDRPDR sel
1141         - 12  # NDRPDR sel
1142         - 13  # NDRPDR sel
1143         - 14  # NDRPDR sel
1144         - 15  # NDRPDR sel
1145         - 16  # NDRPDR sel
1146     vpp-performance-changes-3n-tsh-cmp:
1147       csit-vpp-perf-verify-2001-3n-tsh:
1148         - 3   # NDRPDR sel
1149         - 4   # NDRPDR sel
1150         - 7   # NDRPDR sel
1151         - 8   # NDRPDR sel
1152         - 10  # NDRPDR sel
1153         - 12  # NDRPDR sel
1154         - 13  # NDRPDR sel
1155         - 14  # NDRPDR sel
1156         - 15  # NDRPDR sel
1157         - 21  # NDRPDR sel
1158
1159     vpp-soak-vs-ndr-2n-skx-ref:
1160       csit-vpp-perf-verify-2001-2n-skx:
1161         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1162         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1163         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1164         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1165         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1166         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1167         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1168         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1169         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1170         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1171     vpp-soak-vs-ndr-2n-skx-cmp:
1172       csit-vpp-perf-verify-2001-2n-skx:
1173         - 181  # Soak
1174         - 182  # Soak
1175     vpp-soak-vs-ndr-2n-skx:
1176       csit-vpp-perf-verify-2001-2n-skx:
1177         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1178         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1179         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1180         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1181         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1182         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1183         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1184         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1185         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1186         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1187         - 181  # Soak
1188         - 182  # Soak
1189
1190     vpp-soak-vs-ndr-2n-clx-ref:
1191       csit-vpp-perf-verify-2001-2n-clx:
1192         - 28  # NDRPDR sel
1193         - 29  # NDRPDR sel
1194         - 32  # NDRPDR sel
1195         - 40  # NDRPDR sel
1196         - 43  # NDRPDR sel
1197         - 44  # NDRPDR sel
1198         - 45  # NDRPDR sel
1199         - 47  # NDRPDR sel
1200         - 48  # NDRPDR sel
1201         - 49  # NDRPDR sel
1202     vpp-soak-vs-ndr-2n-clx-cmp:
1203       csit-vpp-perf-verify-2001-2n-clx:
1204         - 93  # SOAK
1205         - 94  # Soak
1206     vpp-soak-vs-ndr-2n-clx:
1207       csit-vpp-perf-verify-2001-2n-clx:
1208         - 28  # NDRPDR sel
1209         - 29  # NDRPDR sel
1210         - 32  # NDRPDR sel
1211         - 40  # NDRPDR sel
1212         - 43  # NDRPDR sel
1213         - 44  # NDRPDR sel
1214         - 45  # NDRPDR sel
1215         - 47  # NDRPDR sel
1216         - 48  # NDRPDR sel
1217         - 49  # NDRPDR sel
1218         - 93  # SOAK
1219         - 94  # Soak
1220
1221     vpp-performance-changes-3n-hsw-mrr-h1:
1222       csit-vpp-perf-verify-1904-3n-hsw:
1223         - 9   # MRR sel
1224     vpp-performance-changes-3n-hsw-mrr-ref:
1225       csit-vpp-perf-verify-1908-3n-hsw:
1226         - 39  # MRR sel
1227     vpp-performance-changes-3n-hsw-mrr-cmp:
1228       csit-vpp-perf-verify-2001-3n-hsw:
1229         - 17  # MRR sel
1230
1231     vpp-performance-changes-3n-skx-mrr-h1:
1232       csit-vpp-perf-verify-1904-3n-skx:
1233         - 7   # MRR sel
1234     vpp-performance-changes-3n-skx-mrr-ref:
1235       csit-vpp-perf-verify-1908-3n-skx:
1236         - 36  # MRR sel
1237     vpp-performance-changes-3n-skx-mrr-cmp:
1238       csit-vpp-perf-verify-2001-3n-skx:
1239         - 50  # MRR sel
1240         - 53  # MRR sel addition
1241
1242     vpp-performance-changes-2n-skx-mrr-h1:
1243       csit-vpp-perf-verify-1904-2n-skx:
1244         - 11  # MRR sel
1245     vpp-performance-changes-2n-skx-mrr-ref:
1246       csit-vpp-perf-verify-1908-2n-skx:
1247         - 69  # MRR sel
1248     vpp-performance-changes-2n-skx-mrr-cmp:
1249       csit-vpp-perf-verify-2001-2n-skx:
1250         - 101 # MRR sel
1251         - 128 # MRR sel addition
1252
1253     vpp-performance-changes-nfv-2n-skx-mrr-ref:
1254       csit-vpp-perf-verify-1908-2n-skx:
1255         - 71  # NFV MRR
1256     vpp-performance-changes-nfv-2n-skx-mrr-cmp:
1257       # TODO: Replace
1258       # csit-vpp-perf-verify-2001-2n-skx:
1259       csit-vpp-perf-verify-1908-2n-skx:
1260         - 71  # NFV MRR
1261
1262     vpp-performance-changes-2n-dnv-mrr-ref:
1263       csit-vpp-perf-verify-1908-2n-dnv:
1264         - 11  # MRR sel
1265     vpp-performance-changes-2n-dnv-mrr-cmp:
1266       csit-vpp-perf-verify-2001-2n-dnv:
1267         - 12  # MRR sel
1268
1269     vpp-performance-changes-3n-dnv-mrr-ref:
1270       csit-vpp-perf-verify-1908-3n-dnv:
1271         - 17  # MRR sel
1272     vpp-performance-changes-3n-dnv-mrr-cmp:
1273       csit-vpp-perf-verify-2001-3n-dnv:
1274         - 11  # MRR sel
1275
1276     vpp-performance-changes-3n-tsh-mrr-ref:
1277       csit-vpp-perf-verify-1908-3n-tsh:
1278         - 17  # MRR sel
1279     vpp-performance-changes-3n-tsh-mrr-cmp:
1280       csit-vpp-perf-verify-2001-3n-tsh:
1281         - 9   # MRR sel
1282
1283     dpdk-performance-changes-3n-hsw-h1:
1284       csit-dpdk-perf-verify-1904-3n-hsw:
1285         - 2   # NDRPDR sel
1286         - 3   # NDRPDR sel
1287         - 5   # NDRPDR sel
1288         - 6   # NDRPDR sel
1289         - 13  # NDRPDR sel
1290         - 14  # NDRPDR sel
1291         - 15  # NDRPDR sel
1292         - 18  # NDRPDR sel
1293         - 19  # NDRPDR sel
1294         - 20  # NDRPDR sel
1295     dpdk-performance-changes-3n-hsw-ref:
1296       csit-dpdk-perf-verify-1908-3n-hsw:
1297         - 2   # NDRPDR sel
1298         - 3   # NDRPDR sel
1299         - 4   # NDRPDR sel
1300         - 5   # NDRPDR sel
1301         - 6   # NDRPDR sel
1302         - 7   # NDRPDR sel
1303         - 8   # NDRPDR sel
1304         - 9   # NDRPDR sel
1305         - 10  # NDRPDR sel
1306         - 11  # NDRPDR sel
1307     dpdk-performance-changes-3n-hsw-cmp:
1308       csit-dpdk-perf-verify-2001-3n-hsw:
1309 #        - 4   # NDRPDR sel
1310 #        - 5   # NDRPDR sel
1311 #        - 6   # NDRPDR sel
1312 #        - 7   # NDRPDR sel
1313 #        - 8   # NDRPDR sel
1314 #        - 9   # NDRPDR sel
1315 #        - 10  # NDRPDR sel
1316 #        - 11  # NDRPDR sel
1317 #        - 12  # NDRPDR sel
1318 #        - 13  # NDRPDR sel
1319         - 15  # NDRPDR sel
1320         - 16  # NDRPDR sel
1321         - 17  # NDRPDR sel
1322         - 18  # NDRPDR sel
1323         - 19  # NDRPDR sel
1324         - 20  # NDRPDR sel
1325         - 21  # NDRPDR sel
1326         - 22  # NDRPDR sel
1327         - 23  # NDRPDR sel
1328         - 24  # NDRPDR sel
1329
1330     dpdk-performance-changes-3n-skx-h1:
1331       csit-dpdk-perf-verify-1904-3n-skx:
1332         - 2   # NDRPDR sel
1333         - 3   # NDRPDR sel
1334         - 4   # NDRPDR sel
1335         - 5   # NDRPDR sel
1336         - 6   # NDRPDR sel
1337         - 7   # NDRPDR sel
1338         - 11  # NDRPDR sel
1339         - 12  # NDRPDR sel
1340         - 13  # NDRPDR sel
1341         - 14  # NDRPDR sel
1342     dpdk-performance-changes-3n-skx-ref:
1343       csit-dpdk-perf-verify-1908-3n-skx:
1344         - 3   # NDRPDR sel
1345         - 4   # NDRPDR sel
1346         - 5   # NDRPDR sel
1347         - 6   # NDRPDR sel
1348         - 7   # NDRPDR sel
1349         - 8   # NDRPDR sel
1350         - 9   # NDRPDR sel
1351         - 10  # NDRPDR sel
1352         - 11  # NDRPDR sel
1353         - 12  # NDRPDR sel
1354     dpdk-performance-changes-3n-skx-cmp:
1355       csit-dpdk-perf-verify-2001-3n-skx:
1356         - 29  # NDRPDR sel xxv710
1357         - 33  # NDRPDR sel xxv710
1358         - 34  # NDRPDR sel xxv710
1359         - 35  # NDRPDR sel xxv710
1360         - 36  # NDRPDR sel xxv710
1361         - 37  # NDRPDR sel xxv710
1362         - 41  # NDRPDR sel xxv710
1363         - 42  # NDRPDR sel xxv710
1364         - 43  # NDRPDR sel xxv710
1365         - 45  # NDRPDR sel xxv710
1366         - 30  # NDRPDR sel x710
1367         - 31  # NDRPDR sel x710
1368         - 32  # NDRPDR sel x710
1369         - 38  # NDRPDR sel x710
1370         - 39  # NDRPDR sel x710
1371         - 40  # NDRPDR sel x710
1372         - 44  # NDRPDR sel x710
1373         - 46  # NDRPDR sel x710
1374         - 47  # NDRPDR sel x710
1375         - 48  # NDRPDR sel x710
1376
1377     dpdk-performance-changes-2n-skx-h1:
1378       csit-dpdk-perf-verify-1904-2n-skx:
1379         - 2   # NDRPDR sel
1380         - 3   # NDRPDR sel
1381         - 4   # NDRPDR sel
1382         - 5   # NDRPDR sel
1383         - 7   # NDRPDR sel
1384         - 8   # NDRPDR sel
1385         - 9   # NDRPDR sel
1386         - 10  # NDRPDR sel
1387         - 11  # NDRPDR sel
1388         - 12  # NDRPDR sel
1389     dpdk-performance-changes-2n-skx-ref:
1390       csit-dpdk-perf-verify-1908-2n-skx:
1391         - 2   # NDRPDR sel
1392         - 3   # NDRPDR sel
1393         - 4   # NDRPDR sel
1394         - 5   # NDRPDR sel
1395         - 7   # NDRPDR sel
1396         - 8   # NDRPDR sel
1397         - 9   # NDRPDR sel
1398         - 10  # NDRPDR sel
1399         - 11  # NDRPDR sel
1400         - 12  # NDRPDR sel
1401     dpdk-performance-changes-2n-skx-cmp:
1402       csit-dpdk-perf-verify-2001-2n-skx:
1403         - 35  # NDRPDR sel xxv710
1404         - 36  # NDRPDR sel xxv710
1405         - 37  # NDRPDR sel xxv710
1406         - 41  # NDRPDR sel xxv710
1407         - 42  # NDRPDR sel xxv710
1408         - 43  # NDRPDR sel xxv710
1409         - 46  # NDRPDR sel xxv710
1410         - 47  # NDRPDR sel xxv710
1411         - 52  # NDRPDR sel xxv710
1412         - 53  # NDRPDR sel xxv710
1413         - 38  # NDRPDR sel x710
1414         - 39  # NDRPDR sel x710
1415         - 40  # NDRPDR sel x710
1416         - 44  # NDRPDR sel x710
1417         - 45  # NDRPDR sel x710
1418         - 48  # NDRPDR sel x710
1419         - 49  # NDRPDR sel x710
1420         - 50  # NDRPDR sel x710
1421         - 51  # NDRPDR sel x710
1422         - 54  # NDRPDR sel x710
1423
1424     # Compare testbeds
1425
1426     vpp-compare-testbeds-ref:
1427       csit-vpp-perf-verify-2001-3n-hsw:
1428         - 21  # NDRPDR sel
1429         - 22  # NDRPDR sel
1430         - 23  # NDRPDR sel
1431         - 24  # NDRPDR sel
1432         - 25  # NDRPDR sel
1433         - 29  # NDRPDR sel
1434         - 30  # NDRPDR sel
1435         - 31  # NDRPDR sel
1436         - 32  # NDRPDR sel
1437         - 34  # NDRPDR sel
1438     vpp-compare-testbeds-cmp:
1439       # TODO: Add the data
1440       csit-vpp-perf-verify-2001-3n-skx:
1441         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1442         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1443         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1444         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1445         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1446         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1447         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1448
1449     vpp-compare-testbeds-skx-clx-ref:
1450       csit-vpp-perf-verify-2001-2n-skx:
1451         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1452         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1453         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1454         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1455         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1456         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1457         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1458         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1459         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1460         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1461     vpp-compare-testbeds-skx-clx-cmp:
1462       csit-vpp-perf-verify-2001-2n-clx:
1463         - 28  # NDRPDR sel
1464         - 29  # NDRPDR sel
1465         - 32  # NDRPDR sel
1466         - 40  # NDRPDR sel
1467         - 43  # NDRPDR sel
1468         - 44  # NDRPDR sel
1469         - 45  # NDRPDR sel
1470         - 47  # NDRPDR sel
1471         - 48  # NDRPDR sel
1472         - 49  # NDRPDR sel
1473
1474     vpp-compare-testbeds-hsw-clx-ref:
1475       csit-vpp-perf-verify-2001-3n-hsw:
1476         - 21  # NDRPDR sel
1477         - 22  # NDRPDR sel
1478         - 23  # NDRPDR sel
1479         - 24  # NDRPDR sel
1480         - 25  # NDRPDR sel
1481         - 29  # NDRPDR sel
1482         - 30  # NDRPDR sel
1483         - 31  # NDRPDR sel
1484         - 32  # NDRPDR sel
1485         - 34  # NDRPDR sel
1486     vpp-compare-testbeds-hsw-clx-cmp:
1487       csit-vpp-perf-verify-2001-2n-clx:
1488         - 28  # NDRPDR sel
1489         - 29  # NDRPDR sel
1490         - 32  # NDRPDR sel
1491         - 40  # NDRPDR sel
1492         - 43  # NDRPDR sel
1493         - 44  # NDRPDR sel
1494         - 45  # NDRPDR sel
1495         - 47  # NDRPDR sel
1496         - 48  # NDRPDR sel
1497         - 49  # NDRPDR sel
1498
1499     vpp-compare-testbeds-mrr-ref:
1500       csit-vpp-perf-verify-2001-3n-hsw:
1501         - 17  # MRR sel
1502     vpp-compare-testbeds-mrr-cmp:
1503       csit-vpp-perf-verify-2001-3n-skx:
1504         - 50  # MRR sel
1505         - 53  # MRR sel addition
1506
1507     vpp-compare-testbeds-mrr-skx-clx-ref:
1508       csit-vpp-perf-verify-2001-2n-skx:
1509         - 101 # MRR sel
1510         - 128 # MRR sel addition
1511     vpp-compare-testbeds-mrr-skx-clx-cmp:
1512       csit-vpp-perf-verify-2001-2n-clx:
1513         - 39  # MRR
1514
1515     vpp-compare-testbeds-mrr-hsw-clx-ref:
1516       csit-vpp-perf-verify-2001-3n-hsw:
1517         - 17  # MRR sel
1518     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1519       csit-vpp-perf-verify-2001-2n-clx:
1520         - 39  # MRR
1521
1522     dpdk-compare-testbeds-ref:
1523       csit-dpdk-perf-verify-2001-3n-hsw:
1524         - 4   # NDRPDR sel
1525         - 5   # NDRPDR sel
1526         - 6   # NDRPDR sel
1527         - 7   # NDRPDR sel
1528         - 8   # NDRPDR sel
1529         - 9   # NDRPDR sel
1530         - 10  # NDRPDR sel
1531         - 11  # NDRPDR sel
1532         - 12  # NDRPDR sel
1533         - 13  # NDRPDR sel
1534         - 15  # NDRPDR sel
1535         - 16  # NDRPDR sel
1536         - 17  # NDRPDR sel
1537         - 18  # NDRPDR sel
1538         - 19  # NDRPDR sel
1539         - 20  # NDRPDR sel
1540         - 21  # NDRPDR sel
1541         - 22  # NDRPDR sel
1542         - 23  # NDRPDR sel
1543         - 24  # NDRPDR sel
1544     dpdk-compare-testbeds-cmp:
1545       csit-dpdk-perf-verify-2001-3n-skx:
1546         - 29  # NDRPDR sel xxv710
1547         - 33  # NDRPDR sel xxv710
1548         - 34  # NDRPDR sel xxv710
1549         - 35  # NDRPDR sel xxv710
1550         - 36  # NDRPDR sel xxv710
1551         - 37  # NDRPDR sel xxv710
1552         - 41  # NDRPDR sel xxv710
1553         - 42  # NDRPDR sel xxv710
1554         - 43  # NDRPDR sel xxv710
1555         - 45  # NDRPDR sel xxv710
1556         - 30  # NDRPDR sel x710
1557         - 31  # NDRPDR sel x710
1558         - 32  # NDRPDR sel x710
1559         - 38  # NDRPDR sel x710
1560         - 39  # NDRPDR sel x710
1561         - 40  # NDRPDR sel x710
1562         - 44  # NDRPDR sel x710
1563         - 46  # NDRPDR sel x710
1564         - 47  # NDRPDR sel x710
1565         - 48  # NDRPDR sel x710
1566
1567     dpdk-compare-testbeds-skx-clx-ref:
1568       csit-dpdk-perf-verify-2001-2n-skx:
1569         - 35  # NDRPDR sel xxv710
1570         - 36  # NDRPDR sel xxv710
1571         - 37  # NDRPDR sel xxv710
1572         - 41  # NDRPDR sel xxv710
1573         - 42  # NDRPDR sel xxv710
1574         - 43  # NDRPDR sel xxv710
1575         - 46  # NDRPDR sel xxv710
1576         - 47  # NDRPDR sel xxv710
1577         - 52  # NDRPDR sel xxv710
1578         - 53  # NDRPDR sel xxv710
1579         - 38  # NDRPDR sel x710
1580         - 39  # NDRPDR sel x710
1581         - 40  # NDRPDR sel x710
1582         - 44  # NDRPDR sel x710
1583         - 45  # NDRPDR sel x710
1584         - 48  # NDRPDR sel x710
1585         - 49  # NDRPDR sel x710
1586         - 50  # NDRPDR sel x710
1587         - 51  # NDRPDR sel x710
1588         - 54  # NDRPDR sel x710
1589     dpdk-compare-testbeds-skx-clx-cmp:
1590       csit-dpdk-perf-verify-2001-2n-clx:
1591         - 15  # NDRPDR sel
1592         - 16  # NDRPDR sel
1593         - 17  # NDRPDR sel
1594         - 18  # NDRPDR sel
1595         - 19  # NDRPDR sel
1596         - 20  # NDRPDR sel
1597         - 21  # NDRPDR sel
1598         - 22  # NDRPDR sel
1599         - 23  # NDRPDR sel
1600         - 24  # NDRPDR sel
1601         - 25  # NDRPDR sel
1602         - 26  # NDRPDR sel
1603         - 27  # NDRPDR sel
1604         - 28  # NDRPDR sel
1605         - 29  # NDRPDR sel
1606         - 30  # NDRPDR sel
1607         - 31  # NDRPDR sel
1608         - 32  # NDRPDR sel
1609         - 33  # NDRPDR sel
1610         - 34  # NDRPDR sel
1611
1612     # Compare topologies
1613
1614     vpp-compare-topologies-ref:
1615       # TODO: Add the data
1616       csit-vpp-perf-verify-2001-3n-skx:
1617         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1618         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1619         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1620         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1621         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1622         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1623         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1624     vpp-compare-topologies-cmp:
1625       csit-vpp-perf-verify-2001-2n-skx:
1626         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1627         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1628         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1629         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1630         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1631         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1632         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1633         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1634         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1635         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1636
1637     vpp-compare-topologies-mrr-ref:
1638       csit-vpp-perf-verify-2001-3n-skx:
1639         - 50  # MRR sel
1640         - 53  # MRR sel addition
1641     vpp-compare-topologies-mrr-cmp:
1642       csit-vpp-perf-verify-2001-2n-skx:
1643         - 101 # MRR sel
1644         - 128 # MRR sel addition
1645
1646     dpdk-compare-topologies-ref:
1647       csit-dpdk-perf-verify-2001-3n-skx:
1648         - 29  # NDRPDR sel xxv710
1649         - 33  # NDRPDR sel xxv710
1650         - 34  # NDRPDR sel xxv710
1651         - 35  # NDRPDR sel xxv710
1652         - 36  # NDRPDR sel xxv710
1653         - 37  # NDRPDR sel xxv710
1654         - 41  # NDRPDR sel xxv710
1655         - 42  # NDRPDR sel xxv710
1656         - 43  # NDRPDR sel xxv710
1657         - 45  # NDRPDR sel xxv710
1658         - 30  # NDRPDR sel x710
1659         - 31  # NDRPDR sel x710
1660         - 32  # NDRPDR sel x710
1661         - 38  # NDRPDR sel x710
1662         - 39  # NDRPDR sel x710
1663         - 40  # NDRPDR sel x710
1664         - 44  # NDRPDR sel x710
1665         - 46  # NDRPDR sel x710
1666         - 47  # NDRPDR sel x710
1667         - 48  # NDRPDR sel x710
1668     dpdk-compare-topologies-cmp:
1669       csit-dpdk-perf-verify-2001-2n-skx:
1670         - 35  # NDRPDR sel xxv710
1671         - 36  # NDRPDR sel xxv710
1672         - 37  # NDRPDR sel xxv710
1673         - 41  # NDRPDR sel xxv710
1674         - 42  # NDRPDR sel xxv710
1675         - 43  # NDRPDR sel xxv710
1676         - 46  # NDRPDR sel xxv710
1677         - 47  # NDRPDR sel xxv710
1678         - 52  # NDRPDR sel xxv710
1679         - 53  # NDRPDR sel xxv710
1680         - 38  # NDRPDR sel x710
1681         - 39  # NDRPDR sel x710
1682         - 40  # NDRPDR sel x710
1683         - 44  # NDRPDR sel x710
1684         - 45  # NDRPDR sel x710
1685         - 48  # NDRPDR sel x710
1686         - 49  # NDRPDR sel x710
1687         - 50  # NDRPDR sel x710
1688         - 51  # NDRPDR sel x710
1689         - 54  # NDRPDR sel x710
1690
1691   plot-layouts:
1692
1693     plot-soak-throughput:
1694       titlefont:
1695         size: 18
1696       xaxis:
1697         title: "<b>Test Cases [Index]</b>"
1698         titlefont:
1699           size: 16
1700         autorange: True
1701         fixedrange: False
1702         gridcolor: "rgb(230, 230, 230)"
1703         linecolor: "rgb(220, 220, 220)"
1704         linewidth: 1
1705         showgrid: True
1706         showline: True
1707         showticklabels: True
1708         tickcolor: "rgb(220, 220, 220)"
1709         tickmode: "linear"
1710         tickfont:
1711           size: 16
1712         zeroline: False
1713       yaxis:
1714         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1715         titlefont:
1716           size: 16
1717         gridcolor: "rgb(230, 230, 230)"
1718         hoverformat: ".4r"
1719         tickformat: ".3r"
1720         linecolor: "rgb(220, 220, 220)"
1721         linewidth: 1
1722         showgrid: True
1723         showline: True
1724         showticklabels: True
1725         tickcolor: "rgb(220, 220, 220)"
1726         tickfont:
1727           size: 16
1728         zeroline: False
1729         range: [0,50]
1730       autosize: False
1731       margin:
1732         t: 50
1733         b: 0
1734         l: 80
1735         r: 20
1736       showlegend: True
1737       legend:
1738         orientation: "h"
1739         font:
1740           size: 16
1741       width: 700
1742       height: 900
1743       paper_bgcolor: "#fff"
1744       plot_bgcolor: "#fff"
1745       hoverlabel:
1746         namelength: -1
1747
1748     plot-service-density:
1749       titlefont:
1750         size: 18
1751       xaxis:
1752         side: "top"
1753         autorange: True
1754         fixedrange: False
1755         showgrid: False
1756         showline: False
1757         showticklabels: False
1758         ticks: ""
1759         ticklen: 0
1760         tickwidth: 0
1761         zeroline: False
1762       yaxis:
1763         autorange: "reversed"
1764         showgrid: False
1765         showline: False
1766         showticklabels: False
1767         ticks: ""
1768         ticklen: 0
1769         tickwidth: 0
1770         zeroline: False
1771       showlegend: False
1772       paper_bgcolor: "#fff"
1773       plot_bgcolor: "#fff"
1774       width: 700
1775       height: 700
1776       hoverlabel:
1777         namelength: -1
1778
1779     plot-cps:
1780       titlefont:
1781         size: 18
1782       xaxis:
1783         title: "<b>Test Cases [Index]</b>"
1784         titlefont:
1785           size: 16
1786         autorange: True
1787         fixedrange: False
1788         gridcolor: "rgb(230, 230, 230)"
1789         linecolor: "rgb(220, 220, 220)"
1790         linewidth: 1
1791         showgrid: True
1792         showline: True
1793         showticklabels: True
1794         tickcolor: "rgb(220, 220, 220)"
1795         tickmode: "linear"
1796         tickfont:
1797           size: 16
1798         zeroline: False
1799       yaxis:
1800         title: "<b>Connections Per Second [cps]</b>"
1801         titlefont:
1802           size: 16
1803         gridcolor: "rgb(230, 230, 230)"
1804         hoverformat: ".4s"
1805         linecolor: "rgb(220, 220, 220)"
1806         linewidth: 1
1807         rangemode: "tozero"
1808         showgrid: True
1809         showline: True
1810         showticklabels: True
1811         tickcolor: "rgb(220, 220, 220)"
1812         tickformat: ".3s"
1813         tickfont:
1814           size: 16
1815         zeroline: False
1816       boxmode: "group"
1817       boxgroupgap: 0.5
1818       autosize: False
1819       margin:
1820         t: 50
1821         b: 20
1822         l: 80
1823         r: 20
1824       showlegend: True
1825       legend:
1826         orientation: "h"
1827         font:
1828           size: 16
1829       width: 700
1830       height: 800
1831       paper_bgcolor: "#fff"
1832       plot_bgcolor: "#fff"
1833       hoverlabel:
1834         namelength: -1
1835
1836     plot-rps:
1837       titlefont:
1838         size: 18
1839       xaxis:
1840         title: "<b>Test Cases [Index]</b>"
1841         titlefont:
1842           size: 16
1843         autorange: True
1844         fixedrange: False
1845         gridcolor: "rgb(230, 230, 230)"
1846         linecolor: "rgb(220, 220, 220)"
1847         linewidth: 1
1848         showgrid: True
1849         showline: True
1850         showticklabels: True
1851         tickcolor: "rgb(220, 220, 220)"
1852         tickmode: "linear"
1853         tickfont:
1854           size: 16
1855         zeroline: False
1856       yaxis:
1857         title: "<b>Requests Per Second [rps]</b>"
1858         titlefont:
1859           size: 16
1860         gridcolor: "rgb(230, 230, 230)"
1861         hoverformat: ".4s"
1862         linecolor: "rgb(220, 220, 220)"
1863         linewidth: 1
1864         rangemode: "tozero"
1865         showgrid: True
1866         showline: True
1867         showticklabels: True
1868         tickcolor: "rgb(230, 230, 230)"
1869         tickformat: ".3s"
1870         tickfont:
1871           size: 16
1872         zeroline: False
1873       boxmode: "group"
1874       boxgroupgap: 0.5
1875       autosize: False
1876       margin:
1877         t: 50
1878         b: 20
1879         l: 80
1880         r: 20
1881       showlegend: True
1882       legend:
1883         orientation: "h"
1884         font:
1885           size: 16
1886       width: 700
1887       height: 800
1888       paper_bgcolor: "#fff"
1889       plot_bgcolor: "#fff"
1890       hoverlabel:
1891         namelength: -1
1892
1893     plot-hoststack:
1894       titlefont:
1895         size: 16
1896       xaxis:
1897         title: "<b>Test Cases [Index]</b>"
1898         titlefont:
1899           size: 14
1900         autorange: True
1901         fixedrange: False
1902         gridcolor: "rgb(230, 230, 230)"
1903         linecolor: "rgb(220, 220, 220)"
1904         linewidth: 1
1905         showgrid: True
1906         showline: True
1907         showticklabels: True
1908         tickcolor: "rgb(220, 220, 220)"
1909         tickmode: "linear"
1910         tickfont:
1911           size: 14
1912         zeroline: False
1913       yaxis:
1914         title: "<b>Bandwidth [Gbps]</b>"
1915         titlefont:
1916           size: 14
1917         gridcolor: "rgb(230, 230, 230)"
1918         hoverformat: ".4s"
1919         linecolor: "rgb(220, 220, 220)"
1920         linewidth: 1
1921         rangemode: "tozero"
1922         showgrid: True
1923         showline: True
1924         showticklabels: True
1925         tickcolor: "rgb(230, 230, 230)"
1926         tickformat: ".3s"
1927         tickfont:
1928           size: 14
1929         zeroline: False
1930       boxmode: "group"
1931       boxgroupgap: 0.5
1932       autosize: False
1933       margin:
1934         t: 50
1935         b: 20
1936         l: 80
1937         r: 20
1938       showlegend: True
1939       legend:
1940         orientation: "h"
1941         font:
1942           size: 14
1943       width: 700
1944       height: 800
1945       paper_bgcolor: "#fff"
1946       plot_bgcolor: "#fff"
1947       hoverlabel:
1948         namelength: -1
1949
1950     plot-throughput:
1951       titlefont:
1952         size: 18
1953       xaxis:
1954         title: "<b>Test Cases [Index]</b>"
1955         titlefont:
1956           size: 16
1957         autorange: True
1958         fixedrange: False
1959         gridcolor: "rgb(230, 230, 230)"
1960         linecolor: "rgb(220, 220, 220)"
1961         linewidth: 1
1962         showgrid: True
1963         showline: True
1964         showticklabels: True
1965         tickcolor: "rgb(220, 220, 220)"
1966         tickmode: "linear"
1967         tickfont:
1968           size: 16
1969         zeroline: False
1970       yaxis:
1971         title: "<b>Packet Throughput [Mpps]</b>"
1972         titlefont:
1973           size: 16
1974         gridcolor: "rgb(230, 230, 230)"
1975         hoverformat: ".4r"
1976         tickformat: ".3r"
1977         linecolor: "rgb(220, 220, 220)"
1978         linewidth: 1
1979         showgrid: True
1980         showline: True
1981         showticklabels: True
1982         tickcolor: "rgb(220, 220, 220)"
1983         tickfont:
1984           size: 16
1985         zeroline: False
1986         range: [0,50]
1987       autosize: False
1988       margin:
1989         t: 50
1990         b: 0
1991         l: 80
1992         r: 20
1993       showlegend: True
1994       legend:
1995         orientation: "h"
1996         font:
1997           size: 16
1998       width: 700
1999       height: 900
2000       paper_bgcolor: "#fff"
2001       plot_bgcolor: "#fff"
2002       hoverlabel:
2003         namelength: -1
2004
2005     plot-throughput-speedup-analysis:
2006       titlefont:
2007         size: 18
2008       xaxis:
2009         title: "<b>Number of Cores [Qty]</b>"
2010         titlefont:
2011           size: 16
2012         autorange: True
2013         fixedrange: False
2014         gridcolor: "rgb(230, 230, 230)"
2015         linecolor: "rgb(220, 220, 220)"
2016         linewidth: 1
2017         showgrid: True
2018         showline: True
2019         showticklabels: True
2020         tickcolor: "rgb(238, 238, 238)"
2021         tickmode: "linear"
2022         tickfont:
2023           size: 16
2024         zeroline: False
2025       yaxis:
2026         title: "<b>Packet Throughput [Mpps]</b>"
2027         titlefont:
2028           size: 16
2029         type: "linear"
2030         gridcolor: "rgb(230, 230, 230)"
2031         hoverformat: ".4s"
2032         linecolor: "rgb(220, 220, 220)"
2033         linewidth: 1
2034         showgrid: True
2035         showline: True
2036         showticklabels: True
2037         tickcolor: "rgb(220, 220, 220)"
2038         tickformat: ".4s"
2039         tickfont:
2040           size: 16
2041         zeroline: True
2042         rangemode: "tozero"
2043         range: [0,100]
2044       legend:
2045         orientation: "h"
2046         font:
2047           size: 16
2048         xanchor: "left"
2049         yanchor: "top"
2050         x: 0
2051         y: -0.2
2052         bgcolor: "rgba(255, 255, 255, 0)"
2053         bordercolor: "rgba(255, 255, 255, 0)"
2054         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2055       autosize: False
2056       margin:
2057           't': 50
2058           'b': 150
2059           'l': 85
2060           'r': 10
2061       showlegend: True
2062       width: 700
2063       height: 700
2064       paper_bgcolor: "#fff"
2065       plot_bgcolor: "#fff"
2066       hoverlabel:
2067         namelength: -1
2068       annotations: [
2069         {
2070           text: "_ _          __          ...",
2071           align: "left",
2072           showarrow: False,
2073           xref: "paper",
2074           yref: "paper",
2075           xanchor: "left",
2076           yanchor: "top",
2077           x: 0,
2078           y: -0.13,
2079           font: {
2080             family: "Consolas, Courier New",
2081             size: 15
2082           },
2083         },
2084         {
2085           text: "    Perfect     Measured     Limit",
2086           align: "left",
2087           showarrow: False,
2088           xref: "paper",
2089           yref: "paper",
2090           xanchor: "left",
2091           yanchor: "top",
2092           x: 0,
2093           y: -0.15,
2094           font: {
2095             family: "Consolas, Courier New",
2096             size: 15
2097           },
2098         },
2099       ]
2100
2101     plot-latency:
2102       titlefont:
2103         size: 18
2104       xaxis:
2105         title: "<b>Direction</b>"
2106         titlefont:
2107           size: 16
2108         autorange: True
2109         fixedrange: False
2110         gridcolor: "rgb(230, 230, 230)"
2111         linecolor: "rgb(220, 220, 220)"
2112         linewidth: 1
2113         showgrid: True
2114         showline: True
2115         showticklabels: False
2116         tickcolor: "rgb(220, 220, 220)"
2117         tickmode: "linear"
2118         tickfont:
2119           size: 16
2120         zeroline: False
2121       yaxis:
2122         title: "<b>Packet Latency [uSec]</b>"
2123         titlefont:
2124           size: 16
2125         type: "linear"
2126         gridcolor: "rgb(230, 230, 230)"
2127         hoverformat: ".4s"
2128         linecolor: "rgb(220, 220, 220)"
2129         linewidth: 1
2130         showgrid: True
2131         showline: True
2132         showticklabels: True
2133         tickcolor: "rgb(220, 220, 220)"
2134         tickformat: ".4s"
2135         tickfont:
2136           size: 16
2137         zeroline: True
2138         rangemode: "tozero"
2139       legend:
2140         orientation: "h"
2141         font:
2142           size: 16
2143         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2144       autosize: False
2145       margin:
2146           't': 50
2147           'b': 150
2148           'l': 80
2149           'r': 10
2150       showlegend: True
2151       width: 700
2152       height: 700
2153       paper_bgcolor: "#fff"
2154       plot_bgcolor: "#fff"
2155       hoverlabel:
2156         namelength: -1
2157
2158     plot-hdrh-latency:
2159       title:
2160         text: ""
2161         xanchor: "center"
2162         x: 0.5
2163         font:
2164           size: 16
2165       width: 700
2166       plot_bgcolor: "white"
2167       annotations:
2168         - font:
2169             size: 14
2170           showarrow: False
2171           text: "<b>Packet Latency [uSec]</b>"
2172           x: 1
2173           xanchor: "right"
2174           xref: "paper"
2175           y: -0.045
2176           yanchor: "top"
2177           yref: "paper"
2178         - font:
2179             size: 14
2180           showarrow: False
2181           text: "<b>Probability [%]</b>"
2182           textangle: 270
2183           x: -0.06
2184           xanchor: "center"
2185           xref: "paper"
2186           y: 0.5
2187           yanchor: "middle"
2188           yref: "paper"
2189         - font:
2190             size: 14
2191           showarrow: False
2192           text: "<b>Direction: E-W</b>"
2193           x: 0.24
2194           xanchor: "center"
2195           xref: "paper"
2196           y: 1.05
2197           yanchor: "bottom"
2198           yref: "paper"
2199         - font:
2200             size: 14
2201           showarrow: False
2202           text: "<b>Direction: W-E</b>"
2203           x: 0.74
2204           xanchor: "center"
2205           xref: "paper"
2206           y: 1.05
2207           yanchor: "bottom"
2208           yref: "paper"
2209
2210     plot-hdrh-latency-percentile:
2211       title:
2212         text: ""
2213         xanchor: "center"
2214         x: 0.5
2215         font:
2216           size: 18
2217       xaxis:
2218         type: "log"
2219         title: "<b>Percentile [%]</b>"
2220         titlefont:
2221           size: 16
2222         autorange: True
2223         fixedrange: False
2224         gridcolor: "rgb(230, 230, 230)"
2225         linecolor: "rgb(220, 220, 220)"
2226         linewidth: 1
2227         showgrid: True
2228         showline: True
2229         showticklabels: True
2230         tickcolor: "rgb(220, 220, 220)"
2231         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2232         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2233         tickfont:
2234           size: 16
2235       yaxis:
2236         title: "<b>Packet Latency [uSec]</b>"
2237         titlefont:
2238           size: 16
2239         gridcolor: "rgb(230, 230, 230)"
2240         linecolor: "rgb(220, 220, 220)"
2241         linewidth: 1
2242         showgrid: True
2243         showline: True
2244         showticklabels: True
2245         tickcolor: "rgb(220, 220, 220)"
2246         tickfont:
2247           size: 16
2248       autosize: False
2249       showlegend: True
2250       legend:
2251         traceorder: "normal"
2252         orientation: "h"
2253         font:
2254           size: 16
2255         xanchor: "left"
2256         yanchor: "top"
2257         x: 0
2258         y: -0.15
2259         bgcolor: "rgba(255, 255, 255, 0)"
2260         bordercolor: "rgba(255, 255, 255, 0)"
2261       width: 700
2262       height: 700
2263       paper_bgcolor: "white"
2264       plot_bgcolor: "white"
2265
2266     plot-hdrh-latency-by-percentile:
2267       title:
2268         text: "<b>Latency by Percentile Distribution</b>"
2269         xanchor: "center"
2270         x: 0.5
2271         font:
2272           size: 18
2273       showlegend: True
2274       legend:
2275         traceorder: "normal"
2276         orientation: "h"
2277         font:
2278           size: 16
2279         xanchor: "left"
2280         yanchor: "top"
2281         x: 0
2282         y: -0.2
2283         bgcolor: "rgba(255, 255, 255, 0)"
2284         bordercolor: "rgba(255, 255, 255, 0)"
2285       xaxis:
2286         type: "linear"
2287         title: "<b>Percentile [%]</b>"
2288         titlefont:
2289           size: 14
2290         autorange: False
2291         fixedrange: False
2292         range: [0, 100]
2293         gridcolor: "rgb(230, 230, 230)"
2294         linecolor: "rgb(220, 220, 220)"
2295         linewidth: 1
2296         showgrid: True
2297         showline: True
2298         showticklabels: True
2299         tickcolor: "rgb(220, 220, 220)"
2300         tickvals: [0, 25, 50, 75, 100]
2301         ticktext: [0, 25, 50, 75, 100]
2302         tickfont:
2303           size: 14
2304       yaxis:
2305         title: "<b>One-Way Latency per Direction [uSec]</b>"
2306         titlefont:
2307           size: 14
2308         gridcolor: "rgb(230, 230, 230)"
2309         linecolor: "rgb(220, 220, 220)"
2310         linewidth: 1
2311         showgrid: True
2312         showline: True
2313         showticklabels: True
2314         tickcolor: "rgb(220, 220, 220)"
2315         tickfont:
2316           size: 14
2317       width: 700
2318       height: 700
2319       paper_bgcolor: "white"
2320       plot_bgcolor: "white"
2321
2322 - type: "static"
2323   src-path: "{DIR[RST]}"
2324   dst-path: "{DIR[WORKING,SRC]}"
2325
2326 - type: "input"
2327   general:
2328     file-name: "output_info.xml.gz"
2329     file-format: ".gz"
2330     arch-file-format:
2331       - ".gz"
2332       - ".zip"
2333     download-path: "{job}/{build}/archives/{filename}"
2334     extract: "output.xml"
2335
2336     zip-file-name: "robot-plugin.zip"
2337     zip-file-format: ".zip"
2338     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2339     zip-extract: "robot-plugin/output.xml"
2340
2341   builds:
2342
2343     csit-vpp-perf-verify-1904-3n-hsw:
2344       - 9   # MRR sel
2345       - 11  # NDRPDR sel
2346       - 12  # NDRPDR sel
2347       - 20  # NDRPDR sel
2348       - 21  # NDRPDR sel
2349       - 23  # NDRPDR sel
2350       - 24  # NDRPDR sel
2351       - 25  # NDRPDR sel
2352       - 26  # NDRPDR sel
2353       - 29  # NDRPDR sel
2354       - 30  # NDRPDR sel
2355     csit-vpp-perf-verify-1908-3n-hsw:
2356       - 12  # NDRPDR sel
2357       - 13  # NDRPDR sel
2358       - 14  # NDRPDR sel
2359       - 15  # NDRPDR sel
2360       - 16  # NDRPDR sel
2361       - 17  # NDRPDR sel
2362       - 18  # NDRPDR sel
2363       - 19  # NDRPDR sel
2364       - 20  # NDRPDR sel
2365       - 21  # NDRPDR sel
2366       - 48  # NDRPDR sel vhost
2367       - 49  # NDRPDR sel vhost
2368       - 52  # NDRPDR sel vhost
2369       - 53  # NDRPDR sel vhost
2370       - 54  # NDRPDR sel vhost
2371       - 55  # NDRPDR sel vhost
2372       - 56  # NDRPDR sel vhost
2373       - 57  # NDRPDR sel vhost
2374       - 58  # NDRPDR sel vhost
2375       - 59  # NDRPDR sel vhost
2376       - 39  # MRR sel
2377     csit-vpp-perf-verify-2001-3n-hsw:
2378       - 21  # NDRPDR sel
2379       - 22  # NDRPDR sel
2380       - 23  # NDRPDR sel
2381       - 24  # NDRPDR sel
2382       - 25  # NDRPDR sel
2383       - 29  # NDRPDR sel
2384       - 30  # NDRPDR sel
2385       - 31  # NDRPDR sel
2386       - 32  # NDRPDR sel
2387       - 34  # NDRPDR sel
2388       - 17  # MRR sel
2389       - 18  # NDRPDR full
2390       - 20  # NDRPDR full
2391       - 28  # NDRPDR full
2392       - 35  # NDRPDR full
2393       - 42  # NDRPDR full
2394       - 46  # NDRPDR full
2395       - 47  # NDRPDR full
2396       - 48  # NDRPDR full
2397       - 49  # NDRPDR full
2398       - 50  # NDRPDR full
2399       - 51  # NDRPDR full
2400       - 52  # NDRPDR full
2401       - 53  # NDRPDR full
2402       - 54  # NDRPDR full
2403       - 55  # NDRPDR full
2404       - 56  # NDRPDR full
2405       - 57  # NDRPDR full
2406       - 58  # NDRPDR full
2407       - 59  # NDRPDR full
2408       - 61  # NDRPDR full
2409       - 62  # NDRPDR full
2410       - 63  # NDRPDR full
2411       - 64  # NDRPDR full
2412       - 65  # NDRPDR full
2413       - 67  # NDRPDR full
2414       - 70  # NDRPDR full
2415       - 72  # NDRPDR full
2416       - 73  # NDRPDR full
2417       - 76  # NDRPDR full
2418       - 77  # NDRPDR full
2419       - 78  # NDRPDR full
2420       - 79  # NDRPDR full
2421       - 81  # NDRPDR full
2422       - 82  # NDRPDR full
2423       - 84  # NDRPDR full
2424       - 85  # NDRPDR full
2425       - 103  # hoststack
2426       - 104  # hoststack
2427       - 105  # hoststack
2428       - 106  # hoststack
2429       - 107  # hoststack
2430       - 108  # hoststack
2431       - 109  # hoststack
2432       - 110  # hoststack
2433       - 111  # hoststack
2434       - 112  # hoststack
2435
2436     csit-vpp-perf-verify-1904-3n-skx:
2437       - 7   # MRR sel
2438       - 8   # NDRPDR sel
2439       - 9   # NDRPDR sel
2440       - 10  # NDRPDR sel
2441       - 11  # NDRPDR sel
2442       - 12  # NDRPDR sel
2443       - 14  # NDRPDR sel
2444       - 16  # NDRPDR sel
2445       - 21  # NDRPDR sel
2446       - 23  # NDRPDR sel
2447       - 25  # NDRPDR sel
2448     csit-vpp-perf-verify-1908-3n-skx:
2449       - 14  # NDRPDR sel - old1908 - vpp build: 19.08-release
2450       - 16  # NDRPDR sel - old1908 - vpp build: 19.08-release
2451       - 19  # NDRPDR sel - old1908 - vpp build: 19.08-release
2452       - 20  # NDRPDR sel - old1908 - vpp build: 19.08-release
2453       - 22  # NDRPDR sel - old1908 - vpp build: 19.08-release
2454       - 23  # NDRPDR sel - old1908 - vpp build: 19.08-release
2455       - 24  # NDRPDR sel - old1908 - vpp build: 19.08-release
2456       - 25  # NDRPDR sel - old1908 - vpp build: 19.08-release
2457       - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
2458       - 29  # NDRPDR sel - old1908 - vpp build: 19.08-release
2459       - 52  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2460       - 53  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2461       - 55  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2462       - 61  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2463       - 62  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2464       - 63  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2465       - 64  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2466       - 65  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2467       - 66  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2468       - 67  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2469       - 36  # MRR sel - old1908 - vpp build: 19.08-release
2470     csit-vpp-perf-verify-1908_1-3n-skx:
2471       - 3   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2472       - 4   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2473       - 7   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2474       - 8   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2475       - 9   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2476       - 10  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2477       - 11  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2478       - 12  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2479       - 13  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2480       - 14  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2481       - 26  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2482       - 27  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2483       - 28  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2484       - 29  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2485       - 30  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2486       - 31  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2487       - 33  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2488       - 34  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2489       - 35  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2490       - 36  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2491     csit-vpp-perf-verify-1908_2-3n-skx:
2492       - 1   # NDRPDR sel
2493       - 2   # NDRPDR sel
2494     csit-vpp-perf-verify-2001-3n-skx:
2495       - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2496       - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2497       - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2498       - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2499       - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2500       - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2501       - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2502       - 82  # NDRPDR full - crypto-1
2503       - 85  # NDRPDR full - l2-2
2504       - 87  # NDRPDR full - ip6-1
2505       - 88  # NDRPDR full - ip6-2
2506       - 90  # NDRPDR full - memif
2507       - 95  # NDRPDR full - l2-1
2508       - 96  # NDRPDR full - ip4-2
2509       - 97  # NDRPDR full - vhost-1
2510       - 102 # NDRPDR full - crypto-2
2511       - 104 # NDRPDR full - ip4tunnels-1
2512       - 105 # NDRPDR full - ip4tunnels-2
2513       - 106 # NDRPDR full - ip4tunnels-3
2514       - 107 # NDRPDR full - ip6tunnels-1
2515       - 108 # NDRPDR full - ip4-1
2516       - 109 # NDRPDR full - crypto-3
2517       - 110 # NDRPDR full - crypto-4
2518       - 111 # NDRPDR full - ip4-2
2519       - 112 # NDRPDR full - ip4-4
2520       - 113 # NDRPDR full - ip4-5
2521       - 114 # NDRPDR full - ip4-6
2522       - 115 # NDRPDR full - ip4-7
2523       - 116 # NDRPDR full - ip4-8
2524       - 117 # NDRPDR full - ip4-9
2525       - 118 # NDRPDR full - srv6-1
2526       - 119 # NDRPDR full - srv6-2
2527       - 120 # NDRPDR full - l2-3
2528       - 122 # NDRPDR full - l2-5
2529       - 123 # NDRPDR full - l2-4
2530       - 124 # NDRPDR full - l2-7
2531       - 125 # NDRPDR full - vhost-2
2532       - 126 # NDRPDR full - vhost-3
2533       - 128 # NDRPDR full - l2-8
2534       - 129 # NDRPDR full - l2-9
2535       - 130 # NDRPDR full - l2-10
2536       - 131 # NDRPDR full - l2-11
2537       - 132 # NDRPDR full - vhost-4
2538       - 50  # MRR sel
2539       - 53  # MRR sel addition
2540
2541     csit-vpp-perf-verify-1904-2n-skx:
2542       - 11  # MRR sel
2543       - 12  # NDRPDR sel
2544       - 14  # NDRPDR sel
2545       - 16  # NDRPDR sel
2546       - 17  # NDRPDR sel
2547       - 18  # NDRPDR sel
2548       - 21  # NDRPDR sel
2549       - 27  # NDRPDR sel
2550       - 30  # NDRPDR sel
2551       - 31  # NDRPDR sel
2552       - 32  # NDRPDR sel
2553     csit-vpp-perf-verify-1908-2n-skx:
2554       - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
2555       - 27  # NDRPDR sel - old1908 - vpp build: 19.08-release
2556       - 34  # NDRPDR sel - old1908 - vpp build: 19.08-release
2557       - 35  # NDRPDR sel - old1908 - vpp build: 19.08-release
2558       - 36  # NDRPDR sel - old1908 - vpp build: 19.08-release
2559       - 42  # NDRPDR sel - old1908 - vpp build: 19.08-release
2560       - 43  # NDRPDR sel - old1908 - vpp build: 19.08-release
2561       - 44  # NDRPDR sel - old1908 - vpp build: 19.08-release
2562       - 45  # NDRPDR sel - old1908 - vpp build: 19.08-release
2563       - 46  # NDRPDR sel - old1908 - vpp build: 19.08-release
2564       - 88  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2565       - 89  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2566       - 91  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2567       - 92  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2568       - 93  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2569       - 94  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2570       - 95  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2571       - 96  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2572       - 97  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2573       - 98  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2574       - 69  # MRR sel - old1908 - vpp build: 19.08-release
2575     csit-vpp-perf-verify-1908_1-2n-skx:
2576       - 3   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2577       - 4   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2578       - 6   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2579       - 10  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2580       - 14  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2581       - 16  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2582       - 21  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2583       - 23  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2584       - 24  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2585       - 25  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2586       - 39  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2587       - 40  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2588       - 41  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2589       - 43  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2590       - 44  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2591       - 45  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2592       - 46  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2593       - 47  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2594       - 48  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2595       - 49  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2596     csit-vpp-perf-verify-1908_2-2n-skx:
2597       - 1   # NDRPDR sel
2598       - 2   # NDRPDR sel
2599       - 3   # NDRPDR sel
2600       - 4   # NDRPDR sel
2601       - 5   # NDRPDR sel
2602       - 6   # NDRPDR sel
2603       - 7   # NDRPDR sel
2604       - 8   # NDRPDR sel
2605       - 9   # NDRPDR sel
2606       - 10  # NDRPDR sel
2607     csit-vpp-perf-verify-2001-2n-skx:
2608       - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2609       - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2610       - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2611       - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2612       - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2613       - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2614       - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2615       - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2616       - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2617       - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2618       - 155  # NDRPDR full - perf-full-2n-skx-ip4_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2619       - 156  # NDRPDR full - perf-full-2n-skx-ip4_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2620       - 157  # NDRPDR full - perf-full-2n-skx-ip4_III - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2621       - 158  # NDRPDR full - perf-full-2n-skx-ip4_V - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2622       - 159  # NDRPDR full - perf-full-2n-skx-ip4_VIII - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2623       - 160  # NDRPDR full - perf-full-2n-skx-ip4_IX - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2624       - 161  # NDRPDR full - perf-full-2n-skx-ip6_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2625       - 162  # NDRPDR full - perf-full-2n-skx-ip6_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2626       - 163  # NDRPDR full - perf-full-2n-skx-l2_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2627       - 164  # NDRPDR full - perf-full-2n-skx-l2_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2628       - 165  # NDRPDR full - perf-full-2n-skx-memif - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2629       - 166  # NDRPDR full - perf-full-2n-skx-vhost I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2630       - 167  # NDRPDR full - perf-full-2n-skx-vhost II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2631       - 168  # NDRPDR full - perf-full-2n-skx-vts - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2632       - 101  # MRR sel - old
2633       - 128  # MRR sel addition - old
2634       - 169  # Reconf
2635       - 171  # Reconf
2636       - 172  # Reconf
2637       - 173  # Reconf
2638       - 174  # Reconf
2639       - 175  # Reconf
2640       - 176  # Reconf
2641       - 177  # Reconf
2642       - 178  # Reconf
2643       - 179  # Reconf
2644       - 181  # Soak
2645       - 182  # Soak
2646
2647     csit-vpp-perf-verify-1908_1-2n-clx:
2648       - 5  # NDRPDR sel
2649       - 6  # NDRPDR sel
2650       - 7  # NDRPDR sel
2651       - 8  # NDRPDR sel
2652       - 9  # NDRPDR sel
2653     csit-vpp-perf-verify-1908_2-2n-clx:
2654       - 4  # NDRPDR sel
2655       - 5  # NDRPDR sel
2656       - 6  # NDRPDR sel
2657       - 7  # NDRPDR sel
2658       - 8  # NDRPDR sel
2659     csit-vpp-perf-verify-2001-2n-clx:
2660       - 28  # NDRPDR sel
2661       - 29  # NDRPDR sel
2662       - 32  # NDRPDR sel
2663       - 40  # NDRPDR sel
2664       - 43  # NDRPDR sel
2665       - 44  # NDRPDR sel
2666       - 45  # NDRPDR sel
2667       - 47  # NDRPDR sel
2668       - 48  # NDRPDR sel
2669       - 49  # NDRPDR sel
2670       - 39  # MRR
2671       - 53  # NDRPDR full
2672       - 54  # NDRPDR full
2673       - 55  # NDRPDR full
2674       - 56  # NDRPDR full
2675       - 57  # NDRPDR full
2676       - 58  # NDRPDR full
2677       - 59  # NDRPDR full
2678       - 60  # NDRPDR full
2679       - 61  # NDRPDR full
2680       - 62  # NDRPDR full
2681       - 63  # NDRPDR full
2682       - 64  # NDRPDR full
2683       - 65  # NDRPDR full
2684       - 66  # NDRPDR full
2685       - 67  # NDRPDR full
2686       - 68  # Reconf
2687       - 69  # Reconf
2688       - 70  # Reconf
2689       - 71  # Reconf
2690       - 72  # Reconf
2691       - 73  # Reconf
2692       - 74  # Reconf
2693       - 75  # Reconf
2694       - 76  # Reconf
2695       - 77  # Reconf
2696       - 80  # TCP
2697       - 82  # TCP
2698       - 83  # TCP
2699       - 85  # TCP
2700       - 86  # TCP
2701       - 87  # TCP
2702       - 88  # TCP
2703       - 89  # TCP
2704       - 90  # TCP
2705       - 91  # TCP
2706       - 93  # Soak
2707       - 94  # Soak
2708
2709     csit-vpp-perf-verify-1908-3n-tsh:
2710       - 7   # NDRPDR sel
2711       - 8   # NDRPDR sel
2712       - 9   # NDRPDR sel
2713       - 10  # NDRPDR sel
2714       - 11  # NDRPDR sel
2715       - 12  # NDRPDR sel
2716       - 13  # NDRPDR sel
2717       - 14  # NDRPDR sel
2718       - 15  # NDRPDR sel
2719       - 16  # NDRPDR sel
2720       - 17  # MRR sel
2721     csit-vpp-perf-verify-2001-3n-tsh:
2722       - 3   # NDRPDR sel
2723       - 4   # NDRPDR sel
2724       - 7   # NDRPDR sel
2725       - 8   # NDRPDR sel
2726       - 10  # NDRPDR sel
2727       - 12  # NDRPDR sel
2728       - 13  # NDRPDR sel
2729       - 14  # NDRPDR sel
2730       - 15  # NDRPDR sel
2731       - 21  # NDRPDR sel
2732       - 9   # MRR sel
2733
2734     csit-vpp-perf-verify-1908-3n-dnv:
2735       - 6   # NDRPDR sel
2736       - 7   # NDRPDR sel
2737       - 8   # NDRPDR sel
2738       - 9   # NDRPDR sel
2739       - 10  # NDRPDR sel
2740       - 12  # NDRPDR sel
2741       - 13  # NDRPDR sel
2742       - 14  # NDRPDR sel
2743       - 15  # NDRPDR sel
2744       - 16  # NDRPDR sel
2745       - 17  # MRR sel
2746     csit-vpp-perf-verify-2001-3n-dnv:
2747       - 5   # NDRPDR sel
2748       - 6   # NDRPDR sel
2749       - 7   # NDRPDR sel
2750       - 8   # NDRPDR sel
2751       - 9   # NDRPDR sel
2752       - 10  # NDRPDR sel
2753       - 12  # NDRPDR sel
2754       - 16  # NDRPDR sel
2755       - 17  # NDRPDR sel
2756       - 18  # NDRPDR sel
2757       - 11  # MRR sel
2758       - 19  # NDRPDR full
2759       - 20  # NDRPDR full
2760       - 21  # NDRPDR full
2761       - 22  # NDRPDR full
2762       - 23  # NDRPDR full
2763       - 24  # NDRPDR full
2764       - 25  # NDRPDR full
2765       - 26  # NDRPDR full
2766       - 37  # NDRPDR full
2767       - 38  # NDRPDR full
2768       - 39  # NDRPDR full
2769
2770     csit-vpp-perf-verify-1908-2n-dnv:
2771       - 1   # NDRPDR sel
2772       - 2   # NDRPDR sel
2773       - 3   # NDRPDR sel
2774       - 4   # NDRPDR sel
2775       - 5   # NDRPDR sel
2776       - 6   # NDRPDR sel
2777       - 7   # NDRPDR sel
2778       - 8   # NDRPDR sel
2779       - 9   # NDRPDR sel
2780       - 10  # NDRPDR sel
2781       - 11  # MRR sel
2782     csit-vpp-perf-verify-2001-2n-dnv:
2783       - 4   # NDRPDR sel
2784       - 5   # NDRPDR sel
2785       - 6   # NDRPDR sel
2786       - 7   # NDRPDR sel
2787       - 8   # NDRPDR sel
2788       - 9   # NDRPDR sel
2789       - 10  # NDRPDR sel
2790       - 11  # NDRPDR sel
2791       - 13  # NDRPDR sel
2792       - 16  # NDRPDR sel
2793       - 12  # MRR sel
2794       - 21  # NDRPDR full
2795       - 22  # NDRPDR full
2796       - 25  # NDRPDR full
2797       - 26  # NDRPDR full
2798       - 27  # NDRPDR full
2799       - 28  # NDRPDR full
2800
2801     csit-dpdk-perf-verify-1904-3n-hsw:
2802       - 2   # NDRPDR sel
2803       - 3   # NDRPDR sel
2804       - 5   # NDRPDR sel
2805       - 6   # NDRPDR sel
2806       - 13  # NDRPDR sel
2807       - 14  # NDRPDR sel
2808       - 15  # NDRPDR sel
2809       - 18  # NDRPDR sel
2810       - 19  # NDRPDR sel
2811       - 20  # NDRPDR sel
2812     csit-dpdk-perf-verify-1908-3n-hsw:
2813       - 2   # NDRPDR sel
2814       - 3   # NDRPDR sel
2815       - 4   # NDRPDR sel
2816       - 5   # NDRPDR sel
2817       - 6   # NDRPDR sel
2818       - 7   # NDRPDR sel
2819       - 8   # NDRPDR sel
2820       - 9   # NDRPDR sel
2821       - 10  # NDRPDR sel
2822       - 11  # NDRPDR sel
2823     csit-dpdk-perf-verify-2001-3n-hsw:
2824       - 4   # NDRPDR sel
2825       - 5   # NDRPDR sel
2826       - 6   # NDRPDR sel
2827       - 7   # NDRPDR sel
2828       - 8   # NDRPDR sel
2829       - 9   # NDRPDR sel
2830       - 10  # NDRPDR sel
2831       - 11  # NDRPDR sel
2832       - 12  # NDRPDR sel
2833       - 13  # NDRPDR sel
2834       - 15  # NDRPDR sel
2835       - 16  # NDRPDR sel
2836       - 17  # NDRPDR sel
2837       - 18  # NDRPDR sel
2838       - 19  # NDRPDR sel
2839       - 20  # NDRPDR sel
2840       - 21  # NDRPDR sel
2841       - 22  # NDRPDR sel
2842       - 23  # NDRPDR sel
2843       - 24  # NDRPDR sel
2844       - 25  # NDRPDR full
2845       - 26  # NDRPDR full
2846
2847     csit-dpdk-perf-verify-1904-3n-skx:
2848       - 2   # NDRPDR sel
2849       - 3   # NDRPDR sel
2850       - 4   # NDRPDR sel
2851       - 5   # NDRPDR sel
2852       - 6   # NDRPDR sel
2853       - 7   # NDRPDR sel
2854       - 11  # NDRPDR sel
2855       - 12  # NDRPDR sel
2856       - 13  # NDRPDR sel
2857       - 14  # NDRPDR sel
2858     csit-dpdk-perf-verify-1908-3n-skx:
2859       - 3   # NDRPDR sel
2860       - 4   # NDRPDR sel
2861       - 5   # NDRPDR sel
2862       - 6   # NDRPDR sel
2863       - 7   # NDRPDR sel
2864       - 8   # NDRPDR sel
2865       - 9   # NDRPDR sel
2866       - 10  # NDRPDR sel
2867       - 11  # NDRPDR sel
2868       - 12  # NDRPDR sel
2869     csit-dpdk-perf-verify-2001-3n-skx:
2870       - 29  # NDRPDR sel xxv710
2871       - 33  # NDRPDR sel xxv710
2872       - 34  # NDRPDR sel xxv710
2873       - 35  # NDRPDR sel xxv710
2874       - 36  # NDRPDR sel xxv710
2875       - 37  # NDRPDR sel xxv710
2876       - 41  # NDRPDR sel xxv710
2877       - 42  # NDRPDR sel xxv710
2878       - 43  # NDRPDR sel xxv710
2879       - 45  # NDRPDR sel xxv710
2880       - 30  # NDRPDR sel x710
2881       - 31  # NDRPDR sel x710
2882       - 32  # NDRPDR sel x710
2883       - 38  # NDRPDR sel x710
2884       - 39  # NDRPDR sel x710
2885       - 40  # NDRPDR sel x710
2886       - 44  # NDRPDR sel x710
2887       - 46  # NDRPDR sel x710
2888       - 47  # NDRPDR sel x710
2889       - 48  # NDRPDR sel x710
2890
2891     csit-dpdk-perf-verify-1904-2n-skx:
2892       - 2   # NDRPDR sel
2893       - 3   # NDRPDR sel
2894       - 4   # NDRPDR sel
2895       - 5   # NDRPDR sel
2896       - 7   # NDRPDR sel
2897       - 8   # NDRPDR sel
2898       - 9   # NDRPDR sel
2899       - 10  # NDRPDR sel
2900       - 11  # NDRPDR sel
2901       - 12  # NDRPDR sel
2902     csit-dpdk-perf-verify-1908-2n-skx:
2903       - 2   # NDRPDR sel
2904       - 3   # NDRPDR sel
2905       - 4   # NDRPDR sel
2906       - 5   # NDRPDR sel
2907       - 7   # NDRPDR sel
2908       - 8   # NDRPDR sel
2909       - 9   # NDRPDR sel
2910       - 10  # NDRPDR sel
2911       - 11  # NDRPDR sel
2912       - 12  # NDRPDR sel
2913     csit-dpdk-perf-verify-2001-2n-skx:
2914       - 35  # NDRPDR sel xxv710
2915       - 36  # NDRPDR sel xxv710
2916       - 37  # NDRPDR sel xxv710
2917       - 41  # NDRPDR sel xxv710
2918       - 42  # NDRPDR sel xxv710
2919       - 43  # NDRPDR sel xxv710
2920       - 46  # NDRPDR sel xxv710
2921       - 47  # NDRPDR sel xxv710
2922       - 52  # NDRPDR sel xxv710
2923       - 53  # NDRPDR sel xxv710
2924       - 38  # NDRPDR sel x710
2925       - 39  # NDRPDR sel x710
2926       - 40  # NDRPDR sel x710
2927       - 44  # NDRPDR sel x710
2928       - 45  # NDRPDR sel x710
2929       - 48  # NDRPDR sel x710
2930       - 49  # NDRPDR sel x710
2931       - 50  # NDRPDR sel x710
2932       - 51  # NDRPDR sel x710
2933       - 54  # NDRPDR sel x710
2934
2935     csit-dpdk-perf-verify-2001-2n-clx:
2936       - 15  # NDRPDR sel
2937       - 16  # NDRPDR sel
2938       - 17  # NDRPDR sel
2939       - 18  # NDRPDR sel
2940       - 19  # NDRPDR sel
2941       - 20  # NDRPDR sel
2942       - 21  # NDRPDR sel
2943       - 22  # NDRPDR sel
2944       - 23  # NDRPDR sel
2945       - 24  # NDRPDR sel
2946       - 25  # NDRPDR sel
2947       - 26  # NDRPDR sel
2948       - 27  # NDRPDR sel
2949       - 28  # NDRPDR sel
2950       - 29  # NDRPDR sel
2951       - 30  # NDRPDR sel
2952       - 31  # NDRPDR sel
2953       - 32  # NDRPDR sel
2954       - 33  # NDRPDR sel
2955       - 34  # NDRPDR sel
2956
2957     csit-dpdk-perf-verify-2001-2n-dnv:
2958       - 9   # NDRPDR sel
2959       - 10  # NDRPDR sel
2960       - 11  # NDRPDR sel
2961       - 12  # NDRPDR sel
2962       - 13  # NDRPDR sel
2963       - 14  # NDRPDR sel
2964       - 15  # NDRPDR sel
2965       - 16  # NDRPDR sel
2966       - 17  # NDRPDR sel
2967       - 18  # NDRPDR sel
2968
2969     csit-dpdk-perf-verify-2001-3n-dnv:
2970       - 12  # NDRPDR sel
2971       - 13  # NDRPDR sel
2972       - 14  # NDRPDR sel
2973       - 15  # NDRPDR sel
2974       - 16  # NDRPDR sel
2975       - 17  # NDRPDR sel
2976       - 18  # NDRPDR sel
2977       - 19  # NDRPDR sel
2978       - 20  # NDRPDR sel
2979       - 22  # NDRPDR sel
2980
2981     csit-dpdk-perf-verify-2001-3n-tsh:
2982       - 3   # NDRPDR sel
2983       - 4   # NDRPDR sel
2984       - 5   # NDRPDR sel
2985       - 9   # NDRPDR sel
2986       - 10  # NDRPDR sel
2987       - 11  # NDRPDR sel
2988       - 12  # NDRPDR sel
2989       - 14  # NDRPDR sel
2990       - 15  # NDRPDR sel
2991       - 18  # NDRPDR sel
2992
2993     csit-vpp-device-2001-ubuntu1804-1n-skx:
2994       - 57
2995
2996 - type: "output"
2997   output: "report"
2998   format:
2999     html:
3000     - full
3001 #    pdf:
3002 #    - minimal
3003
3004 ################################################################################
3005 ###                               T A B L E S                                ###
3006 ################################################################################
3007
3008 # VPP Soak vs NDR - 2n-skx
3009 - type: "table"
3010   title: "VPP Soak vs NDR 2n-skx"
3011   algorithm: "table_soak_vs_ndr"
3012   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
3013   reference:
3014     title: "NDR"
3015     data: "vpp-soak-vs-ndr-2n-skx-ref"
3016   compare:
3017     title: "Soak"
3018     data: "vpp-soak-vs-ndr-2n-skx-cmp"
3019   data: "vpp-soak-vs-ndr-2n-skx"
3020   include-tests: "NDR"
3021   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3022   parameters:
3023     - "throughput"
3024     - "name"
3025     - "parent"
3026
3027 # VPP Soak vs NDR - 2n-clx
3028 - type: "table"
3029   title: "VPP Soak vs NDR 2n-clx"
3030   algorithm: "table_soak_vs_ndr"
3031   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
3032   reference:
3033     title: "NDR"
3034     data: "vpp-soak-vs-ndr-2n-clx-ref"
3035   compare:
3036     title: "Soak"
3037     data: "vpp-soak-vs-ndr-2n-clx-cmp"
3038   data: "vpp-soak-vs-ndr-2n-clx"
3039   include-tests: "NDR"
3040   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3041   parameters:
3042     - "throughput"
3043     - "name"
3044     - "parent"
3045
3046 ################################################################################
3047
3048 # VPP Compare NICs 3n-skx 2t1c ndr
3049 - type: "table"
3050   title: "VPP Compare NICs 3n-skx 2t1c ndr"
3051   algorithm: "table_comparison"
3052   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
3053   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3054   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3055   columns:
3056     - title: "x710"
3057       data-set: "vpp-nic-comparison-3n-skx"
3058       tag: "NIC_Intel-X710"
3059     - title: "xxv710"
3060       data-set: "vpp-nic-comparison-3n-skx"
3061       tag: "NIC_Intel-XXV710"
3062   comparisons:
3063     - title: "Diff"
3064       reference: 1
3065       compare: 2
3066   legend:
3067     - "Legend to Table:"
3068     - "x710, xxv710 - NICs tested."
3069     - "Diff - difference between x710 and xxv710 NIC."
3070
3071 # VPP Compare NICs 3n-skx 4t2c ndr
3072 - type: "table"
3073   title: "VPP Compare NICs 3n-skx 4t2c ndr"
3074   algorithm: "table_comparison"
3075   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
3076   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3077   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3078   columns:
3079     - title: "x710"
3080       data-set: "vpp-nic-comparison-3n-skx"
3081       tag: "NIC_Intel-X710"
3082     - title: "xxv710"
3083       data-set: "vpp-nic-comparison-3n-skx"
3084       tag: "NIC_Intel-XXV710"
3085   comparisons:
3086     - title: "Diff"
3087       reference: 1
3088       compare: 2
3089   legend:
3090     - "Legend to Table:"
3091     - "x710, xxv710 - NICs tested."
3092     - "Diff - difference between x710 and xxv710 NIC."
3093
3094 # VPP Compare NICs 3n-skx 2t1c pdr
3095 - type: "table"
3096   title: "VPP Compare NICs 3n-skx 2t1c pdr"
3097   algorithm: "table_comparison"
3098   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
3099   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3100   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3101   columns:
3102     - title: "x710"
3103       data-set: "vpp-nic-comparison-3n-skx"
3104       tag: "NIC_Intel-X710"
3105     - title: "xxv710"
3106       data-set: "vpp-nic-comparison-3n-skx"
3107       tag: "NIC_Intel-XXV710"
3108   comparisons:
3109     - title: "Diff"
3110       reference: 1
3111       compare: 2
3112   legend:
3113     - "Legend to Table:"
3114     - "x710, xxv710 - NICs tested."
3115     - "Diff - difference between x710 and xxv710 NIC."
3116
3117 # VPP Compare NICs 3n-skx 4t2c pdr
3118 - type: "table"
3119   title: "VPP Compare NICs 3n-skx 4t2c pdr"
3120   algorithm: "table_comparison"
3121   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
3122   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3123   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3124   columns:
3125     - title: "x710"
3126       data-set: "vpp-nic-comparison-3n-skx"
3127       tag: "NIC_Intel-X710"
3128     - title: "xxv710"
3129       data-set: "vpp-nic-comparison-3n-skx"
3130       tag: "NIC_Intel-XXV710"
3131   comparisons:
3132     - title: "Diff"
3133       reference: 1
3134       compare: 2
3135   legend:
3136     - "Legend to Table:"
3137     - "x710, xxv710 - NICs tested."
3138     - "Diff - difference between x710 and xxv710 NIC."
3139
3140 # VPP Compare NICs 3n-skx 2t1c mrr
3141 - type: "table"
3142   title: "VPP Compare NICs 3n-skx 2t1c mrr"
3143   algorithm: "table_comparison"
3144   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
3145   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3146   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3147   columns:
3148     - title: "x710"
3149       data-set: "vpp-nic-comparison-3n-skx-mrr"
3150       tag: "NIC_Intel-X710"
3151     - title: "xxv710"
3152       data-set: "vpp-nic-comparison-3n-skx-mrr"
3153       tag: "NIC_Intel-XXV710"
3154   comparisons:
3155     - title: "Diff"
3156       reference: 1
3157       compare: 2
3158   legend:
3159     - "Legend to Table:"
3160     - "x710, xxv710 - NICs tested."
3161     - "Diff - difference between x710 and xxv710 NIC."
3162
3163 # VPP Compare NICs 3n-skx 4t2c mrr
3164 - type: "table"
3165   title: "VPP Compare NICs 3n-skx 4t2c mrr"
3166   algorithm: "table_comparison"
3167   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
3168   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3169   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3170   columns:
3171     - title: "x710"
3172       data-set: "vpp-nic-comparison-3n-skx-mrr"