79cd097c28c86ae804c8f6c6f36abe008e489790
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
33     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
34     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
35     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
36     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
37     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
38     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
39     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
40     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
41     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
42     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
43     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
44     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
45     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
46     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
47     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
48     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
49     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
50     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
51     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
52     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
53
54     # Detailed test configurations
55     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
56     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
57     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
58     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
59     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
60     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
61     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
62     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
63     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
64     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
65     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
66     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
67     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
68     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
69     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
70     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
71     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
72     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
73
74     # Detailed tests operational data
75     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
76     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
77     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
78     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
79     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
80     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
81     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
82     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
83     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
84
85     # Latencies:
86     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
87     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
88
89     # .css patch file to fix tables generated by Sphinx
90     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
91     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
92
93   urls:
94     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
95     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
96     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
97     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
98     DIR[NEXUS,DOC]: "report/_static/archive"
99
100   make-dirs:
101   # List the directories which are created while preparing the environment.
102   # All directories MUST be defined in "paths" section.
103   - "DIR[WORKING,DATA]"
104   - "DIR[STATIC,VPP]"
105   - "DIR[STATIC,DPDK]"
106   - "DIR[STATIC,ARCH]"
107   - "DIR[BUILD,LATEX]"
108   - "DIR[WORKING,SRC]"
109   - "DIR[WORKING,SRC,STATIC]"
110
111   remove-dirs:
112   # List the directories which are deleted while cleaning the environment.
113   # All directories MUST be defined in "paths" section.
114   #- "DIR[BUILD,HTML]"
115   - "DIR[WORKING,DATA]"
116
117   build-dirs:
118   # List the directories where the results (build) is stored.
119   # All directories MUST be defined in "paths" section.
120   - "DIR[BUILD,HTML]"
121   - "DIR[BUILD,LATEX]"
122
123 - type: "configuration"
124
125   mapping-file: "mapping_report.yaml"
126
127   limits:
128     nic:
129       x520: 24460000
130       x553: 29761905
131       x710: 35800000
132       xxv710: 35800000
133       xl710: 35800000
134       cx556a: 60000000
135
136     link:
137       10ge: 14880952.38
138       25ge: 37202380.95
139       40ge: 59523809.52
140       100ge: 148809523.81
141
142     pci:
143       pci-g3-x8: 74404761.90
144       pci-g3-x16: 148809523.81
145
146   data-sets:
147
148     ###########################################################################
149     # Replacements:
150
151     replacement-1908-vpp-throughput-lat-tsa-3n-hsw-vhost:
152       csit-vpp-perf-verify-1908-3n-hsw:
153         - 48  # NDRPDR sel vhost
154         - 49  # NDRPDR sel vhost
155         - 52  # NDRPDR sel vhost
156         - 53  # NDRPDR sel vhost
157         - 54  # NDRPDR sel vhost
158         - 55  # NDRPDR sel vhost
159         - 56  # NDRPDR sel vhost
160         - 57  # NDRPDR sel vhost
161         - 58  # NDRPDR sel vhost
162         - 59  # NDRPDR sel vhost
163
164     replacement-1908-vpp-throughput-lat-tsa-3n-skx-vhost:
165       csit-vpp-perf-verify-1908-3n-skx:
166         - 52  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
167         - 53  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
168         - 55  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
169         - 61  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
170         - 62  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
171         - 63  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
172         - 64  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
173         - 65  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
174         - 66  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
175         - 67  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
176
177     replacement-1908-vpp-throughput-lat-tsa-2n-skx-vhost:
178       csit-vpp-perf-verify-1908-2n-skx:
179         - 88  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
180         - 89  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
181         - 91  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
182         - 92  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
183         - 93  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
184         - 94  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
185         - 95  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
186         - 96  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
187         - 97  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
188         - 98  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
189
190     ###########################################################################
191     # Plots:
192
193     # 3n-hsw
194
195     plot-vpp-throughput-lat-tsa-3n-hsw:
196       csit-vpp-perf-verify-2001-3n-hsw:
197         - 21  # NDRPDR sel
198         - 22  # NDRPDR sel
199         - 23  # NDRPDR sel
200         - 24  # NDRPDR sel
201         - 25  # NDRPDR sel
202         - 29  # NDRPDR sel
203         - 30  # NDRPDR sel
204         - 31  # NDRPDR sel
205         - 32  # NDRPDR sel
206         - 34  # NDRPDR sel
207
208     plot-vpp-hdrh-lat-3n-hsw:
209       csit-vpp-perf-verify-2001-3n-hsw:
210         - 22  # NDRPDR sel
211
212     plot-vpp-nfv-3n-hsw-ndrpdr:
213       csit-vpp-perf-verify-2001-3n-hsw:
214         - 21  # NDRPDR sel
215         - 22  # NDRPDR sel
216         - 23  # NDRPDR sel
217         - 24  # NDRPDR sel
218         - 25  # NDRPDR sel
219         - 29  # NDRPDR sel
220         - 30  # NDRPDR sel
221         - 31  # NDRPDR sel
222         - 32  # NDRPDR sel
223         - 34  # NDRPDR sel
224
225     plot-vpp-nfv-3n-hsw-mrr:
226       csit-vpp-perf-verify-2001-3n-hsw:
227         - 17  # MRR sel
228
229     plot-dpdk-throughput-latency-3n-hsw:
230       csit-dpdk-perf-verify-2001-3n-hsw:
231         - 4   # NDRPDR sel
232         - 5   # NDRPDR sel
233         - 6   # NDRPDR sel
234         - 7   # NDRPDR sel
235         - 8   # NDRPDR sel
236         - 9   # NDRPDR sel
237         - 10  # NDRPDR sel
238         - 11  # NDRPDR sel
239         - 12  # NDRPDR sel
240         - 13  # NDRPDR sel
241         - 15  # NDRPDR sel
242         - 16  # NDRPDR sel
243         - 17  # NDRPDR sel
244         - 18  # NDRPDR sel
245         - 19  # NDRPDR sel
246         - 20  # NDRPDR sel
247         - 21  # NDRPDR sel
248         - 22  # NDRPDR sel
249         - 23  # NDRPDR sel
250         - 24  # NDRPDR sel
251
252     plot-vpp-hoststack-3n-hsw:
253       csit-vpp-perf-verify-2001-3n-hsw:
254         - 103  # hoststack
255         - 104  # hoststack
256         - 105  # hoststack
257         - 106  # hoststack
258         - 107  # hoststack
259         - 108  # hoststack
260         - 109  # hoststack
261         - 110  # hoststack
262         - 111  # hoststack
263         - 112  # hoststack
264
265     plot-dpdk-hdrh-lat-3n-hsw:
266       csit-dpdk-perf-verify-2001-3n-hsw:
267         - 16  # NDRPDR sel
268
269     # 3n-skx
270
271     plot-vpp-throughput-lat-tsa-3n-skx:
272       # TODO: Add the data
273       csit-vpp-perf-verify-2001-3n-skx:
274         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
275         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
276         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
277         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
278         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
279         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
280         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
281
282     plot-vpp-hdrh-lat-3n-skx:
283       csit-vpp-perf-verify-2001-3n-skx:
284         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
285
286     plot-vpp-nfv-3n-skx-ndrpdr:
287       # TODO: Add data
288       csit-vpp-perf-verify-2001-3n-skx:
289         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
290
291     plot-vpp-nfv-3n-skx-mrr:
292       csit-vpp-perf-verify-2001-3n-skx:
293         - 50  # MRR sel
294
295     plot-dpdk-throughput-latency-3n-skx:
296       csit-dpdk-perf-verify-2001-3n-skx:
297         - 29  # NDRPDR sel xxv710
298         - 33  # NDRPDR sel xxv710
299         - 34  # NDRPDR sel xxv710
300         - 35  # NDRPDR sel xxv710
301         - 36  # NDRPDR sel xxv710
302         - 37  # NDRPDR sel xxv710
303         - 41  # NDRPDR sel xxv710
304         - 42  # NDRPDR sel xxv710
305         - 43  # NDRPDR sel xxv710
306         - 45  # NDRPDR sel xxv710
307         - 30  # NDRPDR sel x710
308         - 31  # NDRPDR sel x710
309         - 32  # NDRPDR sel x710
310         - 38  # NDRPDR sel x710
311         - 39  # NDRPDR sel x710
312         - 40  # NDRPDR sel x710
313         - 44  # NDRPDR sel x710
314         - 46  # NDRPDR sel x710
315         - 47  # NDRPDR sel x710
316         - 48  # NDRPDR sel x710
317
318     plot-dpdk-hdrh-lat-3n-skx:
319       csit-dpdk-perf-verify-2001-3n-skx:
320         - 29  # NDRPDR sel xxv710
321
322     # 2n-skx
323
324     plot-vpp-throughput-lat-tsa-2n-skx:
325       csit-vpp-perf-verify-2001-2n-skx:
326         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
327         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
328         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
329         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
330         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
331         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
332         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
333         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
334         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
335         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
336
337     plot-vpp-hdrh-lat-2n-skx:
338       csit-vpp-perf-verify-2001-2n-skx:
339         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
340
341     plot-vpp-http-server-performance:
342       csit-vpp-perf-verify-2001-2n-clx:
343         - 80  # TCP
344         - 82  # TCP
345         - 83  # TCP
346         - 85  # TCP
347         - 86  # TCP
348         - 87  # TCP
349         - 88  # TCP
350         - 89  # TCP
351         - 90  # TCP
352         - 91  # TCP
353
354     plot-vpp-soak-2n-skx:
355       csit-vpp-perf-verify-2001-2n-skx:
356         - 181  # Soak
357         - 182  # Soak
358
359     plot-vpp-nfv-2n-skx-ndrpdr:
360       # TODO: Replace the data
361       csit-vpp-perf-verify-2001-2n-skx:
362         - 30  # NFV
363         - 31  # NFV
364
365     plot-vpp-nfv-2n-skx-mrr:
366       # TODO: Replace the data
367       # csit-vpp-perf-verify-2001-2n-skx:
368       csit-vpp-perf-verify-1908-2n-skx:
369         - 71  # NFV MRR
370
371     plot-vpp-nfv-reconf-2n-skx:
372       csit-vpp-perf-verify-2001-2n-skx:
373         - 169  # Reconf
374         - 171  # Reconf
375         - 172  # Reconf
376         - 173  # Reconf
377         - 174  # Reconf
378         - 175  # Reconf
379         - 176  # Reconf
380         - 177  # Reconf
381         - 178  # Reconf
382         - 179  # Reconf
383
384     plot-dpdk-throughput-latency-2n-skx:
385       csit-dpdk-perf-verify-2001-2n-skx:
386         - 35  # NDRPDR sel xxv710
387         - 36  # NDRPDR sel xxv710
388         - 37  # NDRPDR sel xxv710
389         - 41  # NDRPDR sel xxv710
390         - 42  # NDRPDR sel xxv710
391         - 43  # NDRPDR sel xxv710
392         - 46  # NDRPDR sel xxv710
393         - 47  # NDRPDR sel xxv710
394         - 52  # NDRPDR sel xxv710
395         - 53  # NDRPDR sel xxv710
396         - 38  # NDRPDR sel x710
397         - 39  # NDRPDR sel x710
398         - 40  # NDRPDR sel x710
399         - 44  # NDRPDR sel x710
400         - 45  # NDRPDR sel x710
401         - 48  # NDRPDR sel x710
402         - 49  # NDRPDR sel x710
403         - 50  # NDRPDR sel x710
404         - 51  # NDRPDR sel x710
405         - 54  # NDRPDR sel x710
406
407     plot-dpdk-hdrh-lat-2n-skx:
408       csit-dpdk-perf-verify-2001-2n-skx:
409         - 35  # NDRPDR sel xxv710
410
411     # 2n-clx
412
413     plot-vpp-throughput-lat-tsa-2n-clx:
414       csit-vpp-perf-verify-2001-2n-clx:
415         - 28  # NDRPDR sel
416         - 29  # NDRPDR sel
417         - 32  # NDRPDR sel
418         - 40  # NDRPDR sel
419         - 43  # NDRPDR sel
420         - 44  # NDRPDR sel
421         - 45  # NDRPDR sel
422         - 47  # NDRPDR sel
423         - 48  # NDRPDR sel
424         - 49  # NDRPDR sel
425
426     plot-vpp-hdrh-lat-2n-clx:
427       csit-vpp-perf-verify-2001-2n-clx:
428         - 28  # NDRPDR sel
429
430     plot-vpp-nfv-2n-clx-ndrpdr:
431       csit-vpp-perf-verify-2001-2n-clx:
432         - 28  # NDRPDR sel
433         - 29  # NDRPDR sel
434         - 32  # NDRPDR sel
435         - 40  # NDRPDR sel
436         - 43  # NDRPDR sel
437         - 44  # NDRPDR sel
438         - 45  # NDRPDR sel
439         - 47  # NDRPDR sel
440         - 48  # NDRPDR sel
441         - 49  # NDRPDR sel
442
443     plot-vpp-nfv-2n-clx-mrr:
444       csit-vpp-perf-verify-2001-2n-clx:
445         - 39  # MRR
446
447     plot-vpp-nfv-reconf-2n-clx:
448       csit-vpp-perf-verify-2001-2n-clx:
449         - 68  # Reconf
450         - 69  # Reconf
451         - 70  # Reconf
452         - 71  # Reconf
453         - 72  # Reconf
454         - 73  # Reconf
455         - 74  # Reconf
456         - 75  # Reconf
457         - 76  # Reconf
458         - 77  # Reconf
459
460     plot-vpp-soak-2n-clx:
461       csit-vpp-perf-verify-2001-2n-clx:
462         - 93  # Soak
463         - 94  # Soak
464
465     plot-dpdk-throughput-latency-2n-clx:
466       csit-dpdk-perf-verify-2001-2n-clx:
467         - 15  # NDRPDR sel
468         - 16  # NDRPDR sel
469         - 17  # NDRPDR sel
470         - 18  # NDRPDR sel
471         - 19  # NDRPDR sel
472         - 20  # NDRPDR sel
473         - 21  # NDRPDR sel
474         - 22  # NDRPDR sel
475         - 23  # NDRPDR sel
476         - 24  # NDRPDR sel
477         - 25  # NDRPDR sel
478         - 26  # NDRPDR sel
479         - 27  # NDRPDR sel
480         - 28  # NDRPDR sel
481         - 29  # NDRPDR sel
482         - 30  # NDRPDR sel
483         - 31  # NDRPDR sel
484         - 32  # NDRPDR sel
485         - 33  # NDRPDR sel
486         - 34  # NDRPDR sel
487
488
489     plot-dpdk-hdrh-lat-2n-clx:
490       csit-dpdk-perf-verify-2001-2n-clx:
491         - 15  # NDRPDR sel
492
493     # 3n-tsh
494
495     plot-vpp-throughput-lat-tsa-3n-tsh:
496       csit-vpp-perf-verify-2001-3n-tsh:
497         - 3   # NDRPDR sel
498         - 4   # NDRPDR sel
499         - 7   # NDRPDR sel
500         - 8   # NDRPDR sel
501         - 10  # NDRPDR sel
502         - 12  # NDRPDR sel
503         - 13  # NDRPDR sel
504         - 14  # NDRPDR sel
505         - 15  # NDRPDR sel
506         - 21  # NDRPDR sel
507
508     plot-vpp-hdrh-lat-3n-tsh:
509       csit-vpp-perf-verify-2001-3n-tsh:
510         - 10  # NDRPDR sel
511
512     plot-dpdk-throughput-latency-3n-tsh:
513       csit-dpdk-perf-verify-2001-3n-tsh:
514         - 3   # NDRPDR sel
515         - 4   # NDRPDR sel
516         - 5   # NDRPDR sel
517         - 9   # NDRPDR sel
518         - 10  # NDRPDR sel
519         - 11  # NDRPDR sel
520         - 12  # NDRPDR sel
521         - 14  # NDRPDR sel
522         - 15  # NDRPDR sel
523         - 18  # NDRPDR sel
524
525     plot-dpdk-hdrh-lat-3n-tsh:
526       csit-dpdk-perf-verify-2001-3n-tsh:
527         - 3   # NDRPDR sel
528
529     # 3n-dnv
530
531     plot-vpp-throughput-lat-tsa-3n-dnv:
532       csit-vpp-perf-verify-2001-3n-dnv:
533         - 5   # NDRPDR sel
534         - 6   # NDRPDR sel
535         - 7   # NDRPDR sel
536         - 8   # NDRPDR sel
537         - 9   # NDRPDR sel
538         - 10  # NDRPDR sel
539         - 12  # NDRPDR sel
540         - 16  # NDRPDR sel
541         - 17  # NDRPDR sel
542         - 18  # NDRPDR sel
543
544     plot-dpdk-throughput-latency-3n-dnv:
545       csit-dpdk-perf-verify-2001-3n-dnv:
546         - 12  # NDRPDR sel
547         - 13  # NDRPDR sel
548         - 14  # NDRPDR sel
549         - 15  # NDRPDR sel
550         - 16  # NDRPDR sel
551         - 17  # NDRPDR sel
552         - 18  # NDRPDR sel
553         - 19  # NDRPDR sel
554         - 20  # NDRPDR sel
555         - 22  # NDRPDR sel
556
557     # 2n-dnv
558
559     plot-vpp-throughput-lat-tsa-2n-dnv:
560       csit-vpp-perf-verify-2001-2n-dnv:
561         - 4   # NDRPDR sel
562         - 5   # NDRPDR sel
563         - 6   # NDRPDR sel
564         - 7   # NDRPDR sel
565         - 8   # NDRPDR sel
566         - 9   # NDRPDR sel
567         - 10  # NDRPDR sel
568         - 11  # NDRPDR sel
569         - 13  # NDRPDR sel
570         - 16  # NDRPDR sel
571
572     plot-dpdk-throughput-latency-2n-dnv:
573       csit-dpdk-perf-verify-2001-2n-dnv:
574         - 9   # NDRPDR sel
575         - 10  # NDRPDR sel
576         - 11  # NDRPDR sel
577         - 12  # NDRPDR sel
578         - 13  # NDRPDR sel
579         - 14  # NDRPDR sel
580         - 15  # NDRPDR sel
581         - 16  # NDRPDR sel
582         - 17  # NDRPDR sel
583         - 18  # NDRPDR sel
584
585     ###########################################################################
586     # Simple tables (only one data set):
587
588     # NIC Comparisons
589
590     vpp-nic-comparison-3n-skx:
591       # TODO: Add the data
592       csit-vpp-perf-verify-2001-3n-skx:
593         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
594         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
595         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
596         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
597         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
598         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
599         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
600
601     vpp-nic-comparison-2n-skx:
602       csit-vpp-perf-verify-2001-2n-skx:
603         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
604         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
605         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
606         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
607         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
608         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
609         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
610         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
611         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
612         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
613
614     vpp-nic-comparison-3n-skx-mrr:
615       csit-vpp-perf-verify-2001-3n-skx:
616         - 50  # MRR sel
617         - 53  # MRR sel addition
618
619     vpp-nic-comparison-2n-skx-mrr:
620       csit-vpp-perf-verify-2001-2n-skx:
621         - 101 # MRR sel
622         - 128 # MRR sel addition
623
624     # Results
625
626     vpp-perf-results-3n-hsw:
627       csit-vpp-perf-verify-2001-3n-hsw:
628         - 18  # NDRPDR full
629         - 20  # NDRPDR full
630         - 28  # NDRPDR full
631         - 35  # NDRPDR full
632         - 42  # NDRPDR full
633         - 46  # NDRPDR full
634         - 47  # NDRPDR full
635         - 48  # NDRPDR full
636         - 49  # NDRPDR full
637         - 50  # NDRPDR full
638         - 51  # NDRPDR full
639         - 52  # NDRPDR full
640         - 53  # NDRPDR full
641         - 54  # NDRPDR full
642         - 55  # NDRPDR full
643         - 56  # NDRPDR full
644         - 57  # NDRPDR full
645         - 58  # NDRPDR full
646         - 59  # NDRPDR full
647         - 61  # NDRPDR full
648         - 62  # NDRPDR full
649         - 63  # NDRPDR full
650         - 64  # NDRPDR full
651         - 65  # NDRPDR full
652         - 67  # NDRPDR full
653         - 70  # NDRPDR full
654         - 72  # NDRPDR full
655         - 73  # NDRPDR full
656         - 76  # NDRPDR full
657         - 77  # NDRPDR full
658         - 78  # NDRPDR full
659         - 79  # NDRPDR full
660         - 81  # NDRPDR full
661         - 82  # NDRPDR full
662         - 84  # NDRPDR full
663         - 85  # NDRPDR full
664
665     vpp-perf-results-3n-skx:
666       # TODO: Add data
667       csit-vpp-perf-verify-2001-3n-skx:
668         - 82  # NDRPDR full - crypto-1
669         - 85  # NDRPDR full - l2-2
670         - 87  # NDRPDR full - ip6-1
671         - 88  # NDRPDR full - ip6-2
672         - 90  # NDRPDR full - memif
673         - 95  # NDRPDR full - l2-1
674         - 96  # NDRPDR full - ip4-2
675         - 97  # NDRPDR full - vhost-1
676         - 102 # NDRPDR full - crypto-2
677         - 104 # NDRPDR full - ip4tunnels-1
678         - 105 # NDRPDR full - ip4tunnels-2
679         - 106 # NDRPDR full - ip4tunnels-3
680         - 107 # NDRPDR full - ip6tunnels-1
681         - 108 # NDRPDR full - ip4-1
682         - 109 # NDRPDR full - crypto-3
683         - 110 # NDRPDR full - crypto-4
684         - 111 # NDRPDR full - ip4-2
685         - 112 # NDRPDR full - ip4-4
686         - 113 # NDRPDR full - ip4-5
687         - 114 # NDRPDR full - ip4-6
688         - 115 # NDRPDR full - ip4-7
689         - 116 # NDRPDR full - ip4-8
690         - 117 # NDRPDR full - ip4-9
691         - 118 # NDRPDR full - srv6-1
692         - 119 # NDRPDR full - srv6-2
693         - 120 # NDRPDR full - l2-3
694         - 123 # NDRPDR full - l2-4
695         - 124 # NDRPDR full - l2-7
696         - 125 # NDRPDR full - vhost-2
697         - 128 # NDRPDR full - l2-8
698         - 129 # NDRPDR full - l2-9
699         - 131 # NDRPDR full - l2-11
700
701     vpp-perf-results-2n-skx:
702       csit-vpp-perf-verify-2001-2n-skx:
703         - 155  # NDRPDR full - perf-full-2n-skx-ip4_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
704         - 156  # NDRPDR full - perf-full-2n-skx-ip4_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
705         - 157  # NDRPDR full - perf-full-2n-skx-ip4_III - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
706         - 158  # NDRPDR full - perf-full-2n-skx-ip4_V - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
707         - 159  # NDRPDR full - perf-full-2n-skx-ip4_VIII - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
708         - 160  # NDRPDR full - perf-full-2n-skx-ip4_IX - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
709         - 161  # NDRPDR full - perf-full-2n-skx-ip6_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
710         - 162  # NDRPDR full - perf-full-2n-skx-ip6_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
711         - 163  # NDRPDR full - perf-full-2n-skx-l2_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
712         - 164  # NDRPDR full - perf-full-2n-skx-l2_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
713         - 165  # NDRPDR full - perf-full-2n-skx-memif - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
714         - 166  # NDRPDR full - perf-full-2n-skx-vhost I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
715         - 167  # NDRPDR full - perf-full-2n-skx-vhost II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
716         - 168  # NDRPDR full - perf-full-2n-skx-vts - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
717
718     vpp-perf-results-2n-clx:
719       csit-vpp-perf-verify-2001-2n-clx:
720         - 53  # NDRPDR full
721         - 54  # NDRPDR full
722         - 55  # NDRPDR full
723         - 56  # NDRPDR full
724         - 57  # NDRPDR full
725         - 58  # NDRPDR full
726         - 59  # NDRPDR full
727         - 60  # NDRPDR full
728         - 61  # NDRPDR full
729         - 62  # NDRPDR full
730         - 63  # NDRPDR full
731         - 64  # NDRPDR full
732         - 65  # NDRPDR full
733         - 66  # NDRPDR full
734         - 67  # NDRPDR full
735
736     vpp-perf-results-3n-tsh:
737       csit-vpp-perf-verify-2001-3n-tsh:
738         - 10  # NDRPDR sel
739
740     vpp-perf-results-3n-dnv:
741       csit-vpp-perf-verify-2001-3n-dnv:
742         - 19  # NDRPDR full
743         - 20  # NDRPDR full
744         - 21  # NDRPDR full
745         - 22  # NDRPDR full
746         - 23  # NDRPDR full
747         - 24  # NDRPDR full
748         - 25  # NDRPDR full
749         - 26  # NDRPDR full
750         - 37  # NDRPDR full
751         - 38  # NDRPDR full
752         - 39  # NDRPDR full
753
754     vpp-perf-results-2n-dnv:
755       csit-vpp-perf-verify-2001-2n-dnv:
756         - 21  # NDRPDR full
757         - 22  # NDRPDR full
758         - 25  # NDRPDR full
759         - 26  # NDRPDR full
760         - 27  # NDRPDR full
761         - 28  # NDRPDR full
762
763     vpp-mrr-results-3n-hsw:
764       csit-vpp-perf-verify-2001-3n-hsw:
765         - 17  # MRR sel
766
767     vpp-mrr-results-3n-skx:
768       csit-vpp-perf-verify-2001-3n-skx:
769         - 50  # MRR sel
770         - 53  # MRR sel addition
771
772     vpp-mrr-results-2n-skx:
773       csit-vpp-perf-verify-2001-2n-skx:
774         - 101 # MRR sel
775         - 128 # MRR sel addition
776
777     vpp-mrr-results-2n-clx:
778       csit-vpp-perf-verify-2001-2n-clx:
779         - 39  # MRR
780
781     vpp-mrr-results-3n-tsh:
782       csit-vpp-perf-verify-2001-3n-tsh:
783         - 9   # MRR sel
784
785     vpp-mrr-results-3n-dnv:
786       csit-vpp-perf-verify-2001-3n-dnv:
787         - 11  # MRR sel
788
789     vpp-mrr-results-2n-dnv:
790       csit-vpp-perf-verify-2001-2n-dnv:
791         - 12  # MRR sel
792
793     vpp-device-results-ubuntu:
794       csit-vpp-device-2001-ubuntu1804-1n-skx:
795         - 57
796
797     dpdk-perf-results-3n-hsw:
798       csit-dpdk-perf-verify-2001-3n-hsw:
799         - 25  # NDRPDR full
800         - 26  # NDRPDR full
801
802     dpdk-perf-results-3n-skx:
803       csit-dpdk-perf-verify-2001-3n-skx:
804         - 29  # NDRPDR sel xxv710
805         - 30  # NDRPDR sel x710
806
807     dpdk-perf-results-2n-skx:
808       csit-dpdk-perf-verify-2001-2n-skx:
809         - 35  # NDRPDR sel xxv710
810         - 38  # NDRPDR sel x710
811
812     dpdk-perf-results-2n-clx:
813       csit-dpdk-perf-verify-2001-2n-clx:
814         - 15  # NDRPDR sel
815         - 34  # NDRPDR sel
816
817     dpdk-perf-results-2n-dnv:
818       csit-dpdk-perf-verify-2001-2n-dnv:
819         - 16  # NDRPDR sel
820
821     dpdk-perf-results-3n-dnv:
822       csit-dpdk-perf-verify-2001-3n-dnv:
823         - 12  # NDRPDR sel
824
825     dpdk-perf-results-3n-tsh:
826       csit-dpdk-perf-verify-2001-3n-tsh:
827         - 3   # NDRPDR sel
828
829 ###########################################################################
830     # Tables (more than one data set)
831
832     # Performance changes
833
834     vpp-perf-changes-2n-skx-old1908_0:
835       csit-vpp-perf-verify-1908-2n-skx:
836         - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
837         - 27  # NDRPDR sel - old1908 - vpp build: 19.08-release
838         - 34  # NDRPDR sel - old1908 - vpp build: 19.08-release
839         - 35  # NDRPDR sel - old1908 - vpp build: 19.08-release
840         - 36  # NDRPDR sel - old1908 - vpp build: 19.08-release
841         - 42  # NDRPDR sel - old1908 - vpp build: 19.08-release
842         - 43  # NDRPDR sel - old1908 - vpp build: 19.08-release
843         - 44  # NDRPDR sel - old1908 - vpp build: 19.08-release
844         - 45  # NDRPDR sel - old1908 - vpp build: 19.08-release
845         - 46  # NDRPDR sel - old1908 - vpp build: 19.08-release
846     vpp-perf-changes-2n-skx-old1908_1:
847       csit-vpp-perf-verify-1908_1-2n-skx:
848         - 3   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
849         - 4   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
850         - 6   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
851         - 10  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
852         - 14  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
853         - 16  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
854         - 21  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
855         - 23  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
856         - 24  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
857         - 25  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
858     vpp-perf-changes-2n-skx-new1908_1:
859       csit-vpp-perf-verify-1908_1-2n-skx:
860         - 39  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
861         - 40  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
862         - 41  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
863         - 43  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
864         - 44  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
865         - 45  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
866         - 46  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
867         - 47  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
868         - 48  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
869         - 49  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
870     vpp-perf-changes-2n-skx-new1908_2:
871       csit-vpp-perf-verify-1908_2-2n-skx:
872         - 1   # NDRPDR sel
873         - 2   # NDRPDR sel
874         - 3   # NDRPDR sel
875         - 4   # NDRPDR sel
876         - 5   # NDRPDR sel
877         - 6   # NDRPDR sel
878         - 7   # NDRPDR sel
879         - 8   # NDRPDR sel
880         - 9   # NDRPDR sel
881         - 10  # NDRPDR sel
882     vpp-perf-changes-2n-skx-new2001_0:
883       csit-vpp-perf-verify-2001-2n-skx:
884         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
885         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
886         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
887         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
888         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
889         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
890         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
891         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
892         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
893         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
894
895     vpp-perf-changes-3n-skx-old1908_0:
896       csit-vpp-perf-verify-1908-3n-skx:
897         - 14  # NDRPDR sel - old1908 - vpp build: 19.08-release
898         - 16  # NDRPDR sel - old1908 - vpp build: 19.08-release
899         - 19  # NDRPDR sel - old1908 - vpp build: 19.08-release
900         - 20  # NDRPDR sel - old1908 - vpp build: 19.08-release
901         - 22  # NDRPDR sel - old1908 - vpp build: 19.08-release
902         - 23  # NDRPDR sel - old1908 - vpp build: 19.08-release
903         - 24  # NDRPDR sel - old1908 - vpp build: 19.08-release
904         - 25  # NDRPDR sel - old1908 - vpp build: 19.08-release
905         - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
906         - 29  # NDRPDR sel - old1908 - vpp build: 19.08-release
907     vpp-perf-changes-3n-skx-old1908_1:
908       csit-vpp-perf-verify-1908_1-3n-skx:
909         - 3   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
910         - 4   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
911         - 7   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
912         - 8   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
913         - 9   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
914         - 10  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
915         - 11  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
916         - 12  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
917         - 13  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
918         - 14  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
919     vpp-perf-changes-3n-skx-new1908_1:
920       csit-vpp-perf-verify-1908_1-3n-skx:
921         - 26  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
922         - 27  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
923         - 28  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
924         - 29  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
925         - 30  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
926         - 31  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
927         - 33  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
928         - 34  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
929         - 35  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
930         - 36  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
931     vpp-perf-changes-3n-skx-new1908_2:
932       csit-vpp-perf-verify-1908_2-3n-skx:
933         - 1   # NDRPDR sel
934         - 2   # NDRPDR sel
935     vpp-perf-changes-3n-skx-new2001_0:
936       csit-vpp-perf-verify-2001-3n-skx:
937         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
938         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
939         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
940         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
941         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
942         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
943         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
944
945     vpp-perf-changes-2n-clx-new1908_1:
946       csit-vpp-perf-verify-1908_1-2n-clx:
947         - 5  # NDRPDR sel
948         - 6  # NDRPDR sel
949         - 7  # NDRPDR sel
950         - 8  # NDRPDR sel
951         - 9  # NDRPDR sel
952     vpp-perf-changes-2n-clx-new1908_2:
953       csit-vpp-perf-verify-1908_2-2n-clx:
954         - 4  # NDRPDR sel
955         - 5  # NDRPDR sel
956         - 6  # NDRPDR sel
957         - 7  # NDRPDR sel
958         - 8  # NDRPDR sel
959
960     vpp-performance-changes-3n-hsw-h1:
961       csit-vpp-perf-verify-1904-3n-hsw:
962         - 11  # NDRPDR sel
963         - 12  # NDRPDR sel
964         - 20  # NDRPDR sel
965         - 21  # NDRPDR sel
966         - 23  # NDRPDR sel
967         - 24  # NDRPDR sel
968         - 25  # NDRPDR sel
969         - 26  # NDRPDR sel
970         - 29  # NDRPDR sel
971         - 30  # NDRPDR sel
972     vpp-performance-changes-3n-hsw-ref:
973       csit-vpp-perf-verify-1908-3n-hsw:
974         - 12  # NDRPDR sel
975         - 13  # NDRPDR sel
976         - 14  # NDRPDR sel
977         - 15  # NDRPDR sel
978         - 16  # NDRPDR sel
979         - 17  # NDRPDR sel
980         - 18  # NDRPDR sel
981         - 19  # NDRPDR sel
982         - 20  # NDRPDR sel
983         - 21  # NDRPDR sel
984     vpp-performance-changes-3n-hsw-cmp:
985       csit-vpp-perf-verify-2001-3n-hsw:
986         - 21  # NDRPDR sel
987         - 22  # NDRPDR sel
988         - 23  # NDRPDR sel
989         - 24  # NDRPDR sel
990         - 25  # NDRPDR sel
991         - 29  # NDRPDR sel
992         - 30  # NDRPDR sel
993         - 31  # NDRPDR sel
994         - 32  # NDRPDR sel
995         - 34  # NDRPDR sel
996
997     vpp-performance-changes-3n-skx-h1:
998       csit-vpp-perf-verify-1904-3n-skx:
999         - 8   # NDRPDR sel
1000         - 9   # NDRPDR sel
1001         - 10  # NDRPDR sel
1002         - 11  # NDRPDR sel
1003         - 12  # NDRPDR sel
1004         - 14  # NDRPDR sel
1005         - 16  # NDRPDR sel
1006         - 21  # NDRPDR sel
1007         - 23  # NDRPDR sel
1008         - 25  # NDRPDR sel
1009     vpp-performance-changes-3n-skx-ref:
1010       csit-vpp-perf-verify-1908-3n-skx:
1011         - 14  # NDRPDR sel - old1908 - vpp build: 19.08-release
1012         - 16  # NDRPDR sel - old1908 - vpp build: 19.08-release
1013         - 19  # NDRPDR sel - old1908 - vpp build: 19.08-release
1014         - 20  # NDRPDR sel - old1908 - vpp build: 19.08-release
1015         - 22  # NDRPDR sel - old1908 - vpp build: 19.08-release
1016         - 23  # NDRPDR sel - old1908 - vpp build: 19.08-release
1017         - 24  # NDRPDR sel - old1908 - vpp build: 19.08-release
1018         - 25  # NDRPDR sel - old1908 - vpp build: 19.08-release
1019         - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
1020         - 29  # NDRPDR sel - old1908 - vpp build: 19.08-release
1021     vpp-performance-changes-3n-skx-cmp:
1022       # TODO: Add the data
1023       csit-vpp-perf-verify-2001-3n-skx:
1024         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1025         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1026         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1027         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1028         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1029         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1030         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1031
1032     vpp-performance-changes-2n-skx-h1:
1033       csit-vpp-perf-verify-1904-2n-skx:
1034         - 12  # NDRPDR sel
1035         - 14  # NDRPDR sel
1036         - 16  # NDRPDR sel
1037         - 17  # NDRPDR sel
1038         - 18  # NDRPDR sel
1039         - 21  # NDRPDR sel
1040         - 27  # NDRPDR sel
1041         - 30  # NDRPDR sel
1042         - 31  # NDRPDR sel
1043         - 32  # NDRPDR sel
1044     vpp-performance-changes-2n-skx-ref:
1045       csit-vpp-perf-verify-1908-2n-skx:
1046         - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
1047         - 27  # NDRPDR sel - old1908 - vpp build: 19.08-release
1048         - 34  # NDRPDR sel - old1908 - vpp build: 19.08-release
1049         - 35  # NDRPDR sel - old1908 - vpp build: 19.08-release
1050         - 36  # NDRPDR sel - old1908 - vpp build: 19.08-release
1051         - 42  # NDRPDR sel - old1908 - vpp build: 19.08-release
1052         - 43  # NDRPDR sel - old1908 - vpp build: 19.08-release
1053         - 44  # NDRPDR sel - old1908 - vpp build: 19.08-release
1054         - 45  # NDRPDR sel - old1908 - vpp build: 19.08-release
1055         - 46  # NDRPDR sel - old1908 - vpp build: 19.08-release
1056     vpp-performance-changes-2n-skx-cmp:
1057       csit-vpp-perf-verify-2001-2n-skx:
1058         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1059         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1060         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1061         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1062         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1063         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1064         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1065         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1066         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1067         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1068
1069     vpp-performance-changes-nfv-2n-skx-ref:
1070       csit-vpp-perf-verify-1908-2n-skx:
1071         - 22  # NFV
1072         - 31  # NFV
1073         - 32  # NFV
1074     vpp-performance-changes-nfv-2n-skx-cmp:
1075       # TODO: Add the data
1076       csit-vpp-perf-verify-2001-2n-skx:
1077         - 30  # NFV
1078         - 31  # NFV
1079
1080     vpp-performance-changes-2n-dnv-ref:
1081       csit-vpp-perf-verify-1908-2n-dnv:
1082         - 1   # NDRPDR sel
1083         - 2   # NDRPDR sel
1084         - 3   # NDRPDR sel
1085         - 4   # NDRPDR sel
1086         - 5   # NDRPDR sel
1087         - 6   # NDRPDR sel
1088         - 7   # NDRPDR sel
1089         - 8   # NDRPDR sel
1090         - 9   # NDRPDR sel
1091         - 10  # NDRPDR sel
1092     vpp-performance-changes-2n-dnv-cmp:
1093       csit-vpp-perf-verify-2001-2n-dnv:
1094         - 4   # NDRPDR sel
1095         - 5   # NDRPDR sel
1096         - 6   # NDRPDR sel
1097         - 7   # NDRPDR sel
1098         - 8   # NDRPDR sel
1099         - 9   # NDRPDR sel
1100         - 10  # NDRPDR sel
1101         - 11  # NDRPDR sel
1102         - 13  # NDRPDR sel
1103         - 16  # NDRPDR sel
1104
1105     vpp-performance-changes-3n-dnv-ref:
1106       csit-vpp-perf-verify-1908-3n-dnv:
1107         - 6   # NDRPDR sel
1108         - 7   # NDRPDR sel
1109         - 8   # NDRPDR sel
1110         - 9   # NDRPDR sel
1111         - 10  # NDRPDR sel
1112         - 12  # NDRPDR sel
1113         - 13  # NDRPDR sel
1114         - 14  # NDRPDR sel
1115         - 15  # NDRPDR sel
1116         - 16  # NDRPDR sel
1117     vpp-performance-changes-3n-dnv-cmp:
1118       csit-vpp-perf-verify-2001-3n-dnv:
1119         - 5   # NDRPDR sel
1120         - 6   # NDRPDR sel
1121         - 7   # NDRPDR sel
1122         - 8   # NDRPDR sel
1123         - 9   # NDRPDR sel
1124         - 10  # NDRPDR sel
1125         - 12  # NDRPDR sel
1126         - 16  # NDRPDR sel
1127         - 17  # NDRPDR sel
1128         - 18  # NDRPDR sel
1129
1130     vpp-performance-changes-3n-tsh-ref:
1131       csit-vpp-perf-verify-1908-3n-tsh:
1132         - 7   # NDRPDR sel
1133         - 8   # NDRPDR sel
1134         - 9   # NDRPDR sel
1135         - 10  # NDRPDR sel
1136         - 11  # NDRPDR sel
1137         - 12  # NDRPDR sel
1138         - 13  # NDRPDR sel
1139         - 14  # NDRPDR sel
1140         - 15  # NDRPDR sel
1141         - 16  # NDRPDR sel
1142     vpp-performance-changes-3n-tsh-cmp:
1143       csit-vpp-perf-verify-2001-3n-tsh:
1144         - 3   # NDRPDR sel
1145         - 4   # NDRPDR sel
1146         - 7   # NDRPDR sel
1147         - 8   # NDRPDR sel
1148         - 10  # NDRPDR sel
1149         - 12  # NDRPDR sel
1150         - 13  # NDRPDR sel
1151         - 14  # NDRPDR sel
1152         - 15  # NDRPDR sel
1153         - 21  # NDRPDR sel
1154
1155     vpp-soak-vs-ndr-2n-skx-ref:
1156       csit-vpp-perf-verify-2001-2n-skx:
1157         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1158         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1159         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1160         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1161         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1162         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1163         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1164         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1165         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1166         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1167     vpp-soak-vs-ndr-2n-skx-cmp:
1168       csit-vpp-perf-verify-2001-2n-skx:
1169         - 181  # Soak
1170         - 182  # Soak
1171     vpp-soak-vs-ndr-2n-skx:
1172       csit-vpp-perf-verify-2001-2n-skx:
1173         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1174         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1175         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1176         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1177         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1178         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1179         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1180         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1181         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1182         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1183         - 181  # Soak
1184         - 182  # Soak
1185
1186     vpp-soak-vs-ndr-2n-clx-ref:
1187       csit-vpp-perf-verify-2001-2n-clx:
1188         - 28  # NDRPDR sel
1189         - 29  # NDRPDR sel
1190         - 32  # NDRPDR sel
1191         - 40  # NDRPDR sel
1192         - 43  # NDRPDR sel
1193         - 44  # NDRPDR sel
1194         - 45  # NDRPDR sel
1195         - 47  # NDRPDR sel
1196         - 48  # NDRPDR sel
1197         - 49  # NDRPDR sel
1198     vpp-soak-vs-ndr-2n-clx-cmp:
1199       csit-vpp-perf-verify-2001-2n-clx:
1200         - 93  # SOAK
1201         - 94  # Soak
1202     vpp-soak-vs-ndr-2n-clx:
1203       csit-vpp-perf-verify-2001-2n-clx:
1204         - 28  # NDRPDR sel
1205         - 29  # NDRPDR sel
1206         - 32  # NDRPDR sel
1207         - 40  # NDRPDR sel
1208         - 43  # NDRPDR sel
1209         - 44  # NDRPDR sel
1210         - 45  # NDRPDR sel
1211         - 47  # NDRPDR sel
1212         - 48  # NDRPDR sel
1213         - 49  # NDRPDR sel
1214         - 93  # SOAK
1215         - 94  # Soak
1216
1217     vpp-performance-changes-3n-hsw-mrr-h1:
1218       csit-vpp-perf-verify-1904-3n-hsw:
1219         - 9   # MRR sel
1220     vpp-performance-changes-3n-hsw-mrr-ref:
1221       csit-vpp-perf-verify-1908-3n-hsw:
1222         - 39  # MRR sel
1223     vpp-performance-changes-3n-hsw-mrr-cmp:
1224       csit-vpp-perf-verify-2001-3n-hsw:
1225         - 17  # MRR sel
1226
1227     vpp-performance-changes-3n-skx-mrr-h1:
1228       csit-vpp-perf-verify-1904-3n-skx:
1229         - 7   # MRR sel
1230     vpp-performance-changes-3n-skx-mrr-ref:
1231       csit-vpp-perf-verify-1908-3n-skx:
1232         - 36  # MRR sel
1233     vpp-performance-changes-3n-skx-mrr-cmp:
1234       csit-vpp-perf-verify-2001-3n-skx:
1235         - 50  # MRR sel
1236         - 53  # MRR sel addition
1237
1238     vpp-performance-changes-2n-skx-mrr-h1:
1239       csit-vpp-perf-verify-1904-2n-skx:
1240         - 11  # MRR sel
1241     vpp-performance-changes-2n-skx-mrr-ref:
1242       csit-vpp-perf-verify-1908-2n-skx:
1243         - 69  # MRR sel
1244     vpp-performance-changes-2n-skx-mrr-cmp:
1245       csit-vpp-perf-verify-2001-2n-skx:
1246         - 101 # MRR sel
1247         - 128 # MRR sel addition
1248
1249     vpp-performance-changes-nfv-2n-skx-mrr-ref:
1250       csit-vpp-perf-verify-1908-2n-skx:
1251         - 71  # NFV MRR
1252     vpp-performance-changes-nfv-2n-skx-mrr-cmp:
1253       # TODO: Replace
1254       # csit-vpp-perf-verify-2001-2n-skx:
1255       csit-vpp-perf-verify-1908-2n-skx:
1256         - 71  # NFV MRR
1257
1258     vpp-performance-changes-2n-dnv-mrr-ref:
1259       csit-vpp-perf-verify-1908-2n-dnv:
1260         - 11  # MRR sel
1261     vpp-performance-changes-2n-dnv-mrr-cmp:
1262       csit-vpp-perf-verify-2001-2n-dnv:
1263         - 12  # MRR sel
1264
1265     vpp-performance-changes-3n-dnv-mrr-ref:
1266       csit-vpp-perf-verify-1908-3n-dnv:
1267         - 17  # MRR sel
1268     vpp-performance-changes-3n-dnv-mrr-cmp:
1269       csit-vpp-perf-verify-2001-3n-dnv:
1270         - 11  # MRR sel
1271
1272     vpp-performance-changes-3n-tsh-mrr-ref:
1273       csit-vpp-perf-verify-1908-3n-tsh:
1274         - 17  # MRR sel
1275     vpp-performance-changes-3n-tsh-mrr-cmp:
1276       csit-vpp-perf-verify-2001-3n-tsh:
1277         - 9   # MRR sel
1278
1279     dpdk-performance-changes-3n-hsw-h1:
1280       csit-dpdk-perf-verify-1904-3n-hsw:
1281         - 2   # NDRPDR sel
1282         - 3   # NDRPDR sel
1283         - 5   # NDRPDR sel
1284         - 6   # NDRPDR sel
1285         - 13  # NDRPDR sel
1286         - 14  # NDRPDR sel
1287         - 15  # NDRPDR sel
1288         - 18  # NDRPDR sel
1289         - 19  # NDRPDR sel
1290         - 20  # NDRPDR sel
1291     dpdk-performance-changes-3n-hsw-ref:
1292       csit-dpdk-perf-verify-1908-3n-hsw:
1293         - 2   # NDRPDR sel
1294         - 3   # NDRPDR sel
1295         - 4   # NDRPDR sel
1296         - 5   # NDRPDR sel
1297         - 6   # NDRPDR sel
1298         - 7   # NDRPDR sel
1299         - 8   # NDRPDR sel
1300         - 9   # NDRPDR sel
1301         - 10  # NDRPDR sel
1302         - 11  # NDRPDR sel
1303     dpdk-performance-changes-3n-hsw-cmp:
1304       csit-dpdk-perf-verify-2001-3n-hsw:
1305 #        - 4   # NDRPDR sel
1306 #        - 5   # NDRPDR sel
1307 #        - 6   # NDRPDR sel
1308 #        - 7   # NDRPDR sel
1309 #        - 8   # NDRPDR sel
1310 #        - 9   # NDRPDR sel
1311 #        - 10  # NDRPDR sel
1312 #        - 11  # NDRPDR sel
1313 #        - 12  # NDRPDR sel
1314 #        - 13  # NDRPDR sel
1315         - 15  # NDRPDR sel
1316         - 16  # NDRPDR sel
1317         - 17  # NDRPDR sel
1318         - 18  # NDRPDR sel
1319         - 19  # NDRPDR sel
1320         - 20  # NDRPDR sel
1321         - 21  # NDRPDR sel
1322         - 22  # NDRPDR sel
1323         - 23  # NDRPDR sel
1324         - 24  # NDRPDR sel
1325
1326     dpdk-performance-changes-3n-skx-h1:
1327       csit-dpdk-perf-verify-1904-3n-skx:
1328         - 2   # NDRPDR sel
1329         - 3   # NDRPDR sel
1330         - 4   # NDRPDR sel
1331         - 5   # NDRPDR sel
1332         - 6   # NDRPDR sel
1333         - 7   # NDRPDR sel
1334         - 11  # NDRPDR sel
1335         - 12  # NDRPDR sel
1336         - 13  # NDRPDR sel
1337         - 14  # NDRPDR sel
1338     dpdk-performance-changes-3n-skx-ref:
1339       csit-dpdk-perf-verify-1908-3n-skx:
1340         - 3   # NDRPDR sel
1341         - 4   # NDRPDR sel
1342         - 5   # NDRPDR sel
1343         - 6   # NDRPDR sel
1344         - 7   # NDRPDR sel
1345         - 8   # NDRPDR sel
1346         - 9   # NDRPDR sel
1347         - 10  # NDRPDR sel
1348         - 11  # NDRPDR sel
1349         - 12  # NDRPDR sel
1350     dpdk-performance-changes-3n-skx-cmp:
1351       csit-dpdk-perf-verify-2001-3n-skx:
1352         - 29  # NDRPDR sel xxv710
1353         - 33  # NDRPDR sel xxv710
1354         - 34  # NDRPDR sel xxv710
1355         - 35  # NDRPDR sel xxv710
1356         - 36  # NDRPDR sel xxv710
1357         - 37  # NDRPDR sel xxv710
1358         - 41  # NDRPDR sel xxv710
1359         - 42  # NDRPDR sel xxv710
1360         - 43  # NDRPDR sel xxv710
1361         - 45  # NDRPDR sel xxv710
1362         - 30  # NDRPDR sel x710
1363         - 31  # NDRPDR sel x710
1364         - 32  # NDRPDR sel x710
1365         - 38  # NDRPDR sel x710
1366         - 39  # NDRPDR sel x710
1367         - 40  # NDRPDR sel x710
1368         - 44  # NDRPDR sel x710
1369         - 46  # NDRPDR sel x710
1370         - 47  # NDRPDR sel x710
1371         - 48  # NDRPDR sel x710
1372
1373     dpdk-performance-changes-2n-skx-h1:
1374       csit-dpdk-perf-verify-1904-2n-skx:
1375         - 2   # NDRPDR sel
1376         - 3   # NDRPDR sel
1377         - 4   # NDRPDR sel
1378         - 5   # NDRPDR sel
1379         - 7   # NDRPDR sel
1380         - 8   # NDRPDR sel
1381         - 9   # NDRPDR sel
1382         - 10  # NDRPDR sel
1383         - 11  # NDRPDR sel
1384         - 12  # NDRPDR sel
1385     dpdk-performance-changes-2n-skx-ref:
1386       csit-dpdk-perf-verify-1908-2n-skx:
1387         - 2   # NDRPDR sel
1388         - 3   # NDRPDR sel
1389         - 4   # NDRPDR sel
1390         - 5   # NDRPDR sel
1391         - 7   # NDRPDR sel
1392         - 8   # NDRPDR sel
1393         - 9   # NDRPDR sel
1394         - 10  # NDRPDR sel
1395         - 11  # NDRPDR sel
1396         - 12  # NDRPDR sel
1397     dpdk-performance-changes-2n-skx-cmp:
1398       csit-dpdk-perf-verify-2001-2n-skx:
1399         - 35  # NDRPDR sel xxv710
1400         - 36  # NDRPDR sel xxv710
1401         - 37  # NDRPDR sel xxv710
1402         - 41  # NDRPDR sel xxv710
1403         - 42  # NDRPDR sel xxv710
1404         - 43  # NDRPDR sel xxv710
1405         - 46  # NDRPDR sel xxv710
1406         - 47  # NDRPDR sel xxv710
1407         - 52  # NDRPDR sel xxv710
1408         - 53  # NDRPDR sel xxv710
1409         - 38  # NDRPDR sel x710
1410         - 39  # NDRPDR sel x710
1411         - 40  # NDRPDR sel x710
1412         - 44  # NDRPDR sel x710
1413         - 45  # NDRPDR sel x710
1414         - 48  # NDRPDR sel x710
1415         - 49  # NDRPDR sel x710
1416         - 50  # NDRPDR sel x710
1417         - 51  # NDRPDR sel x710
1418         - 54  # NDRPDR sel x710
1419
1420     # Compare testbeds
1421
1422     vpp-compare-testbeds-ref:
1423       csit-vpp-perf-verify-2001-3n-hsw:
1424         - 21  # NDRPDR sel
1425         - 22  # NDRPDR sel
1426         - 23  # NDRPDR sel
1427         - 24  # NDRPDR sel
1428         - 25  # NDRPDR sel
1429         - 29  # NDRPDR sel
1430         - 30  # NDRPDR sel
1431         - 31  # NDRPDR sel
1432         - 32  # NDRPDR sel
1433         - 34  # NDRPDR sel
1434     vpp-compare-testbeds-cmp:
1435       # TODO: Add the data
1436       csit-vpp-perf-verify-2001-3n-skx:
1437         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1438         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1439         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1440         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1441         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1442         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1443         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1444
1445     vpp-compare-testbeds-skx-clx-ref:
1446       csit-vpp-perf-verify-2001-2n-skx:
1447         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1448         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1449         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1450         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1451         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1452         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1453         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1454         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1455         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1456         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1457     vpp-compare-testbeds-skx-clx-cmp:
1458       csit-vpp-perf-verify-2001-2n-clx:
1459         - 28  # NDRPDR sel
1460         - 29  # NDRPDR sel
1461         - 32  # NDRPDR sel
1462         - 40  # NDRPDR sel
1463         - 43  # NDRPDR sel
1464         - 44  # NDRPDR sel
1465         - 45  # NDRPDR sel
1466         - 47  # NDRPDR sel
1467         - 48  # NDRPDR sel
1468         - 49  # NDRPDR sel
1469
1470     vpp-compare-testbeds-hsw-clx-ref:
1471       csit-vpp-perf-verify-2001-3n-hsw:
1472         - 21  # NDRPDR sel
1473         - 22  # NDRPDR sel
1474         - 23  # NDRPDR sel
1475         - 24  # NDRPDR sel
1476         - 25  # NDRPDR sel
1477         - 29  # NDRPDR sel
1478         - 30  # NDRPDR sel
1479         - 31  # NDRPDR sel
1480         - 32  # NDRPDR sel
1481         - 34  # NDRPDR sel
1482     vpp-compare-testbeds-hsw-clx-cmp:
1483       csit-vpp-perf-verify-2001-2n-clx:
1484         - 28  # NDRPDR sel
1485         - 29  # NDRPDR sel
1486         - 32  # NDRPDR sel
1487         - 40  # NDRPDR sel
1488         - 43  # NDRPDR sel
1489         - 44  # NDRPDR sel
1490         - 45  # NDRPDR sel
1491         - 47  # NDRPDR sel
1492         - 48  # NDRPDR sel
1493         - 49  # NDRPDR sel
1494
1495     vpp-compare-testbeds-mrr-ref:
1496       csit-vpp-perf-verify-2001-3n-hsw:
1497         - 17  # MRR sel
1498     vpp-compare-testbeds-mrr-cmp:
1499       csit-vpp-perf-verify-2001-3n-skx:
1500         - 50  # MRR sel
1501         - 53  # MRR sel addition
1502
1503     vpp-compare-testbeds-mrr-skx-clx-ref:
1504       csit-vpp-perf-verify-2001-2n-skx:
1505         - 101 # MRR sel
1506         - 128 # MRR sel addition
1507     vpp-compare-testbeds-mrr-skx-clx-cmp:
1508       csit-vpp-perf-verify-2001-2n-clx:
1509         - 39  # MRR
1510
1511     vpp-compare-testbeds-mrr-hsw-clx-ref:
1512       csit-vpp-perf-verify-2001-3n-hsw:
1513         - 17  # MRR sel
1514     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1515       csit-vpp-perf-verify-2001-2n-clx:
1516         - 39  # MRR
1517
1518     dpdk-compare-testbeds-ref:
1519       csit-dpdk-perf-verify-2001-3n-hsw:
1520         - 4   # NDRPDR sel
1521         - 5   # NDRPDR sel
1522         - 6   # NDRPDR sel
1523         - 7   # NDRPDR sel
1524         - 8   # NDRPDR sel
1525         - 9   # NDRPDR sel
1526         - 10  # NDRPDR sel
1527         - 11  # NDRPDR sel
1528         - 12  # NDRPDR sel
1529         - 13  # NDRPDR sel
1530         - 15  # NDRPDR sel
1531         - 16  # NDRPDR sel
1532         - 17  # NDRPDR sel
1533         - 18  # NDRPDR sel
1534         - 19  # NDRPDR sel
1535         - 20  # NDRPDR sel
1536         - 21  # NDRPDR sel
1537         - 22  # NDRPDR sel
1538         - 23  # NDRPDR sel
1539         - 24  # NDRPDR sel
1540     dpdk-compare-testbeds-cmp:
1541       csit-dpdk-perf-verify-2001-3n-skx:
1542         - 29  # NDRPDR sel xxv710
1543         - 33  # NDRPDR sel xxv710
1544         - 34  # NDRPDR sel xxv710
1545         - 35  # NDRPDR sel xxv710
1546         - 36  # NDRPDR sel xxv710
1547         - 37  # NDRPDR sel xxv710
1548         - 41  # NDRPDR sel xxv710
1549         - 42  # NDRPDR sel xxv710
1550         - 43  # NDRPDR sel xxv710
1551         - 45  # NDRPDR sel xxv710
1552         - 30  # NDRPDR sel x710
1553         - 31  # NDRPDR sel x710
1554         - 32  # NDRPDR sel x710
1555         - 38  # NDRPDR sel x710
1556         - 39  # NDRPDR sel x710
1557         - 40  # NDRPDR sel x710
1558         - 44  # NDRPDR sel x710
1559         - 46  # NDRPDR sel x710
1560         - 47  # NDRPDR sel x710
1561         - 48  # NDRPDR sel x710
1562
1563     dpdk-compare-testbeds-skx-clx-ref:
1564       csit-dpdk-perf-verify-2001-2n-skx:
1565         - 35  # NDRPDR sel xxv710
1566         - 36  # NDRPDR sel xxv710
1567         - 37  # NDRPDR sel xxv710
1568         - 41  # NDRPDR sel xxv710
1569         - 42  # NDRPDR sel xxv710
1570         - 43  # NDRPDR sel xxv710
1571         - 46  # NDRPDR sel xxv710
1572         - 47  # NDRPDR sel xxv710
1573         - 52  # NDRPDR sel xxv710
1574         - 53  # NDRPDR sel xxv710
1575         - 38  # NDRPDR sel x710
1576         - 39  # NDRPDR sel x710
1577         - 40  # NDRPDR sel x710
1578         - 44  # NDRPDR sel x710
1579         - 45  # NDRPDR sel x710
1580         - 48  # NDRPDR sel x710
1581         - 49  # NDRPDR sel x710
1582         - 50  # NDRPDR sel x710
1583         - 51  # NDRPDR sel x710
1584         - 54  # NDRPDR sel x710
1585     dpdk-compare-testbeds-skx-clx-cmp:
1586       csit-dpdk-perf-verify-2001-2n-clx:
1587         - 15  # NDRPDR sel
1588         - 16  # NDRPDR sel
1589         - 17  # NDRPDR sel
1590         - 18  # NDRPDR sel
1591         - 19  # NDRPDR sel
1592         - 20  # NDRPDR sel
1593         - 21  # NDRPDR sel
1594         - 22  # NDRPDR sel
1595         - 23  # NDRPDR sel
1596         - 24  # NDRPDR sel
1597         - 25  # NDRPDR sel
1598         - 26  # NDRPDR sel
1599         - 27  # NDRPDR sel
1600         - 28  # NDRPDR sel
1601         - 29  # NDRPDR sel
1602         - 30  # NDRPDR sel
1603         - 31  # NDRPDR sel
1604         - 32  # NDRPDR sel
1605         - 33  # NDRPDR sel
1606         - 34  # NDRPDR sel
1607
1608     # Compare topologies
1609
1610     vpp-compare-topologies-ref:
1611       # TODO: Add the data
1612       csit-vpp-perf-verify-2001-3n-skx:
1613         - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1614         - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1615         - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1616         - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1617         - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1618         - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1619         - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1620     vpp-compare-topologies-cmp:
1621       csit-vpp-perf-verify-2001-2n-skx:
1622         - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1623         - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1624         - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1625         - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1626         - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1627         - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1628         - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1629         - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1630         - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1631         - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
1632
1633     vpp-compare-topologies-mrr-ref:
1634       csit-vpp-perf-verify-2001-3n-skx:
1635         - 50  # MRR sel
1636         - 53  # MRR sel addition
1637     vpp-compare-topologies-mrr-cmp:
1638       csit-vpp-perf-verify-2001-2n-skx:
1639         - 101 # MRR sel
1640         - 128 # MRR sel addition
1641
1642     dpdk-compare-topologies-ref:
1643       csit-dpdk-perf-verify-2001-3n-skx:
1644         - 29  # NDRPDR sel xxv710
1645         - 33  # NDRPDR sel xxv710
1646         - 34  # NDRPDR sel xxv710
1647         - 35  # NDRPDR sel xxv710
1648         - 36  # NDRPDR sel xxv710
1649         - 37  # NDRPDR sel xxv710
1650         - 41  # NDRPDR sel xxv710
1651         - 42  # NDRPDR sel xxv710
1652         - 43  # NDRPDR sel xxv710
1653         - 45  # NDRPDR sel xxv710
1654         - 30  # NDRPDR sel x710
1655         - 31  # NDRPDR sel x710
1656         - 32  # NDRPDR sel x710
1657         - 38  # NDRPDR sel x710
1658         - 39  # NDRPDR sel x710
1659         - 40  # NDRPDR sel x710
1660         - 44  # NDRPDR sel x710
1661         - 46  # NDRPDR sel x710
1662         - 47  # NDRPDR sel x710
1663         - 48  # NDRPDR sel x710
1664     dpdk-compare-topologies-cmp:
1665       csit-dpdk-perf-verify-2001-2n-skx:
1666         - 35  # NDRPDR sel xxv710
1667         - 36  # NDRPDR sel xxv710
1668         - 37  # NDRPDR sel xxv710
1669         - 41  # NDRPDR sel xxv710
1670         - 42  # NDRPDR sel xxv710
1671         - 43  # NDRPDR sel xxv710
1672         - 46  # NDRPDR sel xxv710
1673         - 47  # NDRPDR sel xxv710
1674         - 52  # NDRPDR sel xxv710
1675         - 53  # NDRPDR sel xxv710
1676         - 38  # NDRPDR sel x710
1677         - 39  # NDRPDR sel x710
1678         - 40  # NDRPDR sel x710
1679         - 44  # NDRPDR sel x710
1680         - 45  # NDRPDR sel x710
1681         - 48  # NDRPDR sel x710
1682         - 49  # NDRPDR sel x710
1683         - 50  # NDRPDR sel x710
1684         - 51  # NDRPDR sel x710
1685         - 54  # NDRPDR sel x710
1686
1687   plot-layouts:
1688
1689     plot-soak-throughput:
1690       titlefont:
1691         size: 18
1692       xaxis:
1693         title: "<b>Test Cases [Index]</b>"
1694         titlefont:
1695           size: 16
1696         autorange: True
1697         fixedrange: False
1698         gridcolor: "rgb(230, 230, 230)"
1699         linecolor: "rgb(220, 220, 220)"
1700         linewidth: 1
1701         showgrid: True
1702         showline: True
1703         showticklabels: True
1704         tickcolor: "rgb(220, 220, 220)"
1705         tickmode: "linear"
1706         tickfont:
1707           size: 16
1708         zeroline: False
1709       yaxis:
1710         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1711         titlefont:
1712           size: 16
1713         gridcolor: "rgb(230, 230, 230)"
1714         hoverformat: ".4r"
1715         tickformat: ".3r"
1716         linecolor: "rgb(220, 220, 220)"
1717         linewidth: 1
1718         showgrid: True
1719         showline: True
1720         showticklabels: True
1721         tickcolor: "rgb(220, 220, 220)"
1722         tickfont:
1723           size: 16
1724         zeroline: False
1725         range: [0,50]
1726       autosize: False
1727       margin:
1728         t: 50
1729         b: 0
1730         l: 80
1731         r: 20
1732       showlegend: True
1733       legend:
1734         orientation: "h"
1735         font:
1736           size: 16
1737       width: 700
1738       height: 900
1739       paper_bgcolor: "#fff"
1740       plot_bgcolor: "#fff"
1741       hoverlabel:
1742         namelength: -1
1743
1744     plot-service-density:
1745       titlefont:
1746         size: 18
1747       xaxis:
1748         side: "top"
1749         autorange: True
1750         fixedrange: False
1751         showgrid: False
1752         showline: False
1753         showticklabels: False
1754         ticks: ""
1755         ticklen: 0
1756         tickwidth: 0
1757         zeroline: False
1758       yaxis:
1759         autorange: "reversed"
1760         showgrid: False
1761         showline: False
1762         showticklabels: False
1763         ticks: ""
1764         ticklen: 0
1765         tickwidth: 0
1766         zeroline: False
1767       showlegend: False
1768       paper_bgcolor: "#fff"
1769       plot_bgcolor: "#fff"
1770       width: 700
1771       height: 700
1772       hoverlabel:
1773         namelength: -1
1774
1775     plot-cps:
1776       titlefont:
1777         size: 18
1778       xaxis:
1779         title: "<b>Test Cases [Index]</b>"
1780         titlefont:
1781           size: 16
1782         autorange: True
1783         fixedrange: False
1784         gridcolor: "rgb(230, 230, 230)"
1785         linecolor: "rgb(220, 220, 220)"
1786         linewidth: 1
1787         showgrid: True
1788         showline: True
1789         showticklabels: True
1790         tickcolor: "rgb(220, 220, 220)"
1791         tickmode: "linear"
1792         tickfont:
1793           size: 16
1794         zeroline: False
1795       yaxis:
1796         title: "<b>Connections Per Second [cps]</b>"
1797         titlefont:
1798           size: 16
1799         gridcolor: "rgb(230, 230, 230)"
1800         hoverformat: ".4s"
1801         linecolor: "rgb(220, 220, 220)"
1802         linewidth: 1
1803         rangemode: "tozero"
1804         showgrid: True
1805         showline: True
1806         showticklabels: True
1807         tickcolor: "rgb(220, 220, 220)"
1808         tickformat: ".3s"
1809         tickfont:
1810           size: 16
1811         zeroline: False
1812       boxmode: "group"
1813       boxgroupgap: 0.5
1814       autosize: False
1815       margin:
1816         t: 50
1817         b: 20
1818         l: 80
1819         r: 20
1820       showlegend: True
1821       legend:
1822         orientation: "h"
1823         font:
1824           size: 16
1825       width: 700
1826       height: 800
1827       paper_bgcolor: "#fff"
1828       plot_bgcolor: "#fff"
1829       hoverlabel:
1830         namelength: -1
1831
1832     plot-rps:
1833       titlefont:
1834         size: 18
1835       xaxis:
1836         title: "<b>Test Cases [Index]</b>"
1837         titlefont:
1838           size: 16
1839         autorange: True
1840         fixedrange: False
1841         gridcolor: "rgb(230, 230, 230)"
1842         linecolor: "rgb(220, 220, 220)"
1843         linewidth: 1
1844         showgrid: True
1845         showline: True
1846         showticklabels: True
1847         tickcolor: "rgb(220, 220, 220)"
1848         tickmode: "linear"
1849         tickfont:
1850           size: 16
1851         zeroline: False
1852       yaxis:
1853         title: "<b>Requests Per Second [rps]</b>"
1854         titlefont:
1855           size: 16
1856         gridcolor: "rgb(230, 230, 230)"
1857         hoverformat: ".4s"
1858         linecolor: "rgb(220, 220, 220)"
1859         linewidth: 1
1860         rangemode: "tozero"
1861         showgrid: True
1862         showline: True
1863         showticklabels: True
1864         tickcolor: "rgb(230, 230, 230)"
1865         tickformat: ".3s"
1866         tickfont:
1867           size: 16
1868         zeroline: False
1869       boxmode: "group"
1870       boxgroupgap: 0.5
1871       autosize: False
1872       margin:
1873         t: 50
1874         b: 20
1875         l: 80
1876         r: 20
1877       showlegend: True
1878       legend:
1879         orientation: "h"
1880         font:
1881           size: 16
1882       width: 700
1883       height: 800
1884       paper_bgcolor: "#fff"
1885       plot_bgcolor: "#fff"
1886       hoverlabel:
1887         namelength: -1
1888
1889     plot-hoststack:
1890       titlefont:
1891         size: 16
1892       xaxis:
1893         title: "<b>Test Cases [Index]</b>"
1894         titlefont:
1895           size: 14
1896         autorange: True
1897         fixedrange: False
1898         gridcolor: "rgb(230, 230, 230)"
1899         linecolor: "rgb(220, 220, 220)"
1900         linewidth: 1
1901         showgrid: True
1902         showline: True
1903         showticklabels: True
1904         tickcolor: "rgb(220, 220, 220)"
1905         tickmode: "linear"
1906         tickfont:
1907           size: 14
1908         zeroline: False
1909       yaxis:
1910         title: "<b>Bandwidth [Gbps]</b>"
1911         titlefont:
1912           size: 14
1913         gridcolor: "rgb(230, 230, 230)"
1914         hoverformat: ".4s"
1915         linecolor: "rgb(220, 220, 220)"
1916         linewidth: 1
1917         rangemode: "tozero"
1918         showgrid: True
1919         showline: True
1920         showticklabels: True
1921         tickcolor: "rgb(230, 230, 230)"
1922         tickformat: ".3s"
1923         tickfont:
1924           size: 14
1925         zeroline: False
1926       boxmode: "group"
1927       boxgroupgap: 0.5
1928       autosize: False
1929       margin:
1930         t: 50
1931         b: 20
1932         l: 80
1933         r: 20
1934       showlegend: True
1935       legend:
1936         orientation: "h"
1937         font:
1938           size: 14
1939       width: 700
1940       height: 800
1941       paper_bgcolor: "#fff"
1942       plot_bgcolor: "#fff"
1943       hoverlabel:
1944         namelength: -1
1945
1946     plot-throughput:
1947       titlefont:
1948         size: 18
1949       xaxis:
1950         title: "<b>Test Cases [Index]</b>"
1951         titlefont:
1952           size: 16
1953         autorange: True
1954         fixedrange: False
1955         gridcolor: "rgb(230, 230, 230)"
1956         linecolor: "rgb(220, 220, 220)"
1957         linewidth: 1
1958         showgrid: True
1959         showline: True
1960         showticklabels: True
1961         tickcolor: "rgb(220, 220, 220)"
1962         tickmode: "linear"
1963         tickfont:
1964           size: 16
1965         zeroline: False
1966       yaxis:
1967         title: "<b>Packet Throughput [Mpps]</b>"
1968         titlefont:
1969           size: 16
1970         gridcolor: "rgb(230, 230, 230)"
1971         hoverformat: ".4r"
1972         tickformat: ".3r"
1973         linecolor: "rgb(220, 220, 220)"
1974         linewidth: 1
1975         showgrid: True
1976         showline: True
1977         showticklabels: True
1978         tickcolor: "rgb(220, 220, 220)"
1979         tickfont:
1980           size: 16
1981         zeroline: False
1982         range: [0,50]
1983       autosize: False
1984       margin:
1985         t: 50
1986         b: 0
1987         l: 80
1988         r: 20
1989       showlegend: True
1990       legend:
1991         orientation: "h"
1992         font:
1993           size: 16
1994       width: 700
1995       height: 900
1996       paper_bgcolor: "#fff"
1997       plot_bgcolor: "#fff"
1998       hoverlabel:
1999         namelength: -1
2000
2001     plot-throughput-speedup-analysis:
2002       titlefont:
2003         size: 18
2004       xaxis:
2005         title: "<b>Number of Cores [Qty]</b>"
2006         titlefont:
2007           size: 16
2008         autorange: True
2009         fixedrange: False
2010         gridcolor: "rgb(230, 230, 230)"
2011         linecolor: "rgb(220, 220, 220)"
2012         linewidth: 1
2013         showgrid: True
2014         showline: True
2015         showticklabels: True
2016         tickcolor: "rgb(238, 238, 238)"
2017         tickmode: "linear"
2018         tickfont:
2019           size: 16
2020         zeroline: False
2021       yaxis:
2022         title: "<b>Packet Throughput [Mpps]</b>"
2023         titlefont:
2024           size: 16
2025         type: "linear"
2026         gridcolor: "rgb(230, 230, 230)"
2027         hoverformat: ".4s"
2028         linecolor: "rgb(220, 220, 220)"
2029         linewidth: 1
2030         showgrid: True
2031         showline: True
2032         showticklabels: True
2033         tickcolor: "rgb(220, 220, 220)"
2034         tickformat: ".4s"
2035         tickfont:
2036           size: 16
2037         zeroline: True
2038         rangemode: "tozero"
2039         range: [0,100]
2040       legend:
2041         orientation: "h"
2042         font:
2043           size: 16
2044         xanchor: "left"
2045         yanchor: "top"
2046         x: 0
2047         y: -0.2
2048         bgcolor: "rgba(255, 255, 255, 0)"
2049         bordercolor: "rgba(255, 255, 255, 0)"
2050         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2051       autosize: False
2052       margin:
2053           't': 50
2054           'b': 150
2055           'l': 85
2056           'r': 10
2057       showlegend: True
2058       width: 700
2059       height: 700
2060       paper_bgcolor: "#fff"
2061       plot_bgcolor: "#fff"
2062       hoverlabel:
2063         namelength: -1
2064       annotations: [
2065         {
2066           text: "_ _          __          ...",
2067           align: "left",
2068           showarrow: False,
2069           xref: "paper",
2070           yref: "paper",
2071           xanchor: "left",
2072           yanchor: "top",
2073           x: 0,
2074           y: -0.13,
2075           font: {
2076             family: "Consolas, Courier New",
2077             size: 15
2078           },
2079         },
2080         {
2081           text: "    Perfect     Measured     Limit",
2082           align: "left",
2083           showarrow: False,
2084           xref: "paper",
2085           yref: "paper",
2086           xanchor: "left",
2087           yanchor: "top",
2088           x: 0,
2089           y: -0.15,
2090           font: {
2091             family: "Consolas, Courier New",
2092             size: 15
2093           },
2094         },
2095       ]
2096
2097     plot-latency:
2098       titlefont:
2099         size: 18
2100       xaxis:
2101         title: "<b>Direction</b>"
2102         titlefont:
2103           size: 16
2104         autorange: True
2105         fixedrange: False
2106         gridcolor: "rgb(230, 230, 230)"
2107         linecolor: "rgb(220, 220, 220)"
2108         linewidth: 1
2109         showgrid: True
2110         showline: True
2111         showticklabels: False
2112         tickcolor: "rgb(220, 220, 220)"
2113         tickmode: "linear"
2114         tickfont:
2115           size: 16
2116         zeroline: False
2117       yaxis:
2118         title: "<b>Packet Latency [uSec]</b>"
2119         titlefont:
2120           size: 16
2121         type: "linear"
2122         gridcolor: "rgb(230, 230, 230)"
2123         hoverformat: ".4s"
2124         linecolor: "rgb(220, 220, 220)"
2125         linewidth: 1
2126         showgrid: True
2127         showline: True
2128         showticklabels: True
2129         tickcolor: "rgb(220, 220, 220)"
2130         tickformat: ".4s"
2131         tickfont:
2132           size: 16
2133         zeroline: True
2134         rangemode: "tozero"
2135       legend:
2136         orientation: "h"
2137         font:
2138           size: 16
2139         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2140       autosize: False
2141       margin:
2142           't': 50
2143           'b': 150
2144           'l': 80
2145           'r': 10
2146       showlegend: True
2147       width: 700
2148       height: 700
2149       paper_bgcolor: "#fff"
2150       plot_bgcolor: "#fff"
2151       hoverlabel:
2152         namelength: -1
2153
2154     plot-hdrh-latency:
2155       title:
2156         text: ""
2157         xanchor: "center"
2158         x: 0.5
2159         font:
2160           size: 16
2161       width: 700
2162       plot_bgcolor: "white"
2163       annotations:
2164         - font:
2165             size: 14
2166           showarrow: False
2167           text: "<b>Packet Latency [uSec]</b>"
2168           x: 1
2169           xanchor: "right"
2170           xref: "paper"
2171           y: -0.045
2172           yanchor: "top"
2173           yref: "paper"
2174         - font:
2175             size: 14
2176           showarrow: False
2177           text: "<b>Probability [%]</b>"
2178           textangle: 270
2179           x: -0.06
2180           xanchor: "center"
2181           xref: "paper"
2182           y: 0.5
2183           yanchor: "middle"
2184           yref: "paper"
2185         - font:
2186             size: 14
2187           showarrow: False
2188           text: "<b>Direction: E-W</b>"
2189           x: 0.24
2190           xanchor: "center"
2191           xref: "paper"
2192           y: 1.05
2193           yanchor: "bottom"
2194           yref: "paper"
2195         - font:
2196             size: 14
2197           showarrow: False
2198           text: "<b>Direction: W-E</b>"
2199           x: 0.74
2200           xanchor: "center"
2201           xref: "paper"
2202           y: 1.05
2203           yanchor: "bottom"
2204           yref: "paper"
2205
2206     plot-hdrh-latency-percentile:
2207       title:
2208         text: ""
2209         xanchor: "center"
2210         x: 0.5
2211         font:
2212           size: 18
2213       xaxis:
2214         type: "log"
2215         title: "<b>Percentile [%]</b>"
2216         titlefont:
2217           size: 16
2218         autorange: True
2219         fixedrange: False
2220         gridcolor: "rgb(230, 230, 230)"
2221         linecolor: "rgb(220, 220, 220)"
2222         linewidth: 1
2223         showgrid: True
2224         showline: True
2225         showticklabels: True
2226         tickcolor: "rgb(220, 220, 220)"
2227         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2228         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2229         tickfont:
2230           size: 16
2231       yaxis:
2232         title: "<b>Packet Latency [uSec]</b>"
2233         titlefont:
2234           size: 16
2235         gridcolor: "rgb(230, 230, 230)"
2236         linecolor: "rgb(220, 220, 220)"
2237         linewidth: 1
2238         showgrid: True
2239         showline: True
2240         showticklabels: True
2241         tickcolor: "rgb(220, 220, 220)"
2242         tickfont:
2243           size: 16
2244       autosize: False
2245       showlegend: True
2246       legend:
2247         traceorder: "normal"
2248         orientation: "h"
2249         font:
2250           size: 16
2251         xanchor: "left"
2252         yanchor: "top"
2253         x: 0
2254         y: -0.15
2255         bgcolor: "rgba(255, 255, 255, 0)"
2256         bordercolor: "rgba(255, 255, 255, 0)"
2257       width: 700
2258       height: 700
2259       paper_bgcolor: "white"
2260       plot_bgcolor: "white"
2261
2262     plot-hdrh-latency-by-percentile:
2263       title:
2264         text: "<b>Latency by Percentile Distribution</b>"
2265         xanchor: "center"
2266         x: 0.5
2267         font:
2268           size: 18
2269       showlegend: True
2270       legend:
2271         traceorder: "normal"
2272         orientation: "h"
2273         font:
2274           size: 16
2275         xanchor: "left"
2276         yanchor: "top"
2277         x: 0
2278         y: -0.2
2279         bgcolor: "rgba(255, 255, 255, 0)"
2280         bordercolor: "rgba(255, 255, 255, 0)"
2281       xaxis:
2282         type: "linear"
2283         title: "<b>Percentile [%]</b>"
2284         titlefont:
2285           size: 14
2286         autorange: False
2287         fixedrange: False
2288         range: [0, 100]
2289         gridcolor: "rgb(230, 230, 230)"
2290         linecolor: "rgb(220, 220, 220)"
2291         linewidth: 1
2292         showgrid: True
2293         showline: True
2294         showticklabels: True
2295         tickcolor: "rgb(220, 220, 220)"
2296         tickvals: [0, 25, 50, 75, 100]
2297         ticktext: [0, 25, 50, 75, 100]
2298         tickfont:
2299           size: 14
2300       yaxis:
2301         title: "<b>One-Way Latency per Direction [uSec]</b>"
2302         titlefont:
2303           size: 14
2304         gridcolor: "rgb(230, 230, 230)"
2305         linecolor: "rgb(220, 220, 220)"
2306         linewidth: 1
2307         showgrid: True
2308         showline: True
2309         showticklabels: True
2310         tickcolor: "rgb(220, 220, 220)"
2311         tickfont:
2312           size: 14
2313       width: 700
2314       height: 700
2315       paper_bgcolor: "white"
2316       plot_bgcolor: "white"
2317
2318 - type: "static"
2319   src-path: "{DIR[RST]}"
2320   dst-path: "{DIR[WORKING,SRC]}"
2321
2322 - type: "input"
2323   general:
2324     file-name: "output_info.xml.gz"
2325     file-format: ".gz"
2326     arch-file-format:
2327       - ".gz"
2328       - ".zip"
2329     download-path: "{job}/{build}/archives/{filename}"
2330     extract: "output.xml"
2331
2332     zip-file-name: "robot-plugin.zip"
2333     zip-file-format: ".zip"
2334     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2335     zip-extract: "robot-plugin/output.xml"
2336
2337   builds:
2338
2339     csit-vpp-perf-verify-1904-3n-hsw:
2340       - 9   # MRR sel
2341       - 11  # NDRPDR sel
2342       - 12  # NDRPDR sel
2343       - 20  # NDRPDR sel
2344       - 21  # NDRPDR sel
2345       - 23  # NDRPDR sel
2346       - 24  # NDRPDR sel
2347       - 25  # NDRPDR sel
2348       - 26  # NDRPDR sel
2349       - 29  # NDRPDR sel
2350       - 30  # NDRPDR sel
2351     csit-vpp-perf-verify-1908-3n-hsw:
2352       - 12  # NDRPDR sel
2353       - 13  # NDRPDR sel
2354       - 14  # NDRPDR sel
2355       - 15  # NDRPDR sel
2356       - 16  # NDRPDR sel
2357       - 17  # NDRPDR sel
2358       - 18  # NDRPDR sel
2359       - 19  # NDRPDR sel
2360       - 20  # NDRPDR sel
2361       - 21  # NDRPDR sel
2362       - 48  # NDRPDR sel vhost
2363       - 49  # NDRPDR sel vhost
2364       - 52  # NDRPDR sel vhost
2365       - 53  # NDRPDR sel vhost
2366       - 54  # NDRPDR sel vhost
2367       - 55  # NDRPDR sel vhost
2368       - 56  # NDRPDR sel vhost
2369       - 57  # NDRPDR sel vhost
2370       - 58  # NDRPDR sel vhost
2371       - 59  # NDRPDR sel vhost
2372       - 39  # MRR sel
2373     csit-vpp-perf-verify-2001-3n-hsw:
2374       - 21  # NDRPDR sel
2375       - 22  # NDRPDR sel
2376       - 23  # NDRPDR sel
2377       - 24  # NDRPDR sel
2378       - 25  # NDRPDR sel
2379       - 29  # NDRPDR sel
2380       - 30  # NDRPDR sel
2381       - 31  # NDRPDR sel
2382       - 32  # NDRPDR sel
2383       - 34  # NDRPDR sel
2384       - 17  # MRR sel
2385       - 18  # NDRPDR full
2386       - 20  # NDRPDR full
2387       - 28  # NDRPDR full
2388       - 35  # NDRPDR full
2389       - 42  # NDRPDR full
2390       - 46  # NDRPDR full
2391       - 47  # NDRPDR full
2392       - 48  # NDRPDR full
2393       - 49  # NDRPDR full
2394       - 50  # NDRPDR full
2395       - 51  # NDRPDR full
2396       - 52  # NDRPDR full
2397       - 53  # NDRPDR full
2398       - 54  # NDRPDR full
2399       - 55  # NDRPDR full
2400       - 56  # NDRPDR full
2401       - 57  # NDRPDR full
2402       - 58  # NDRPDR full
2403       - 59  # NDRPDR full
2404       - 61  # NDRPDR full
2405       - 62  # NDRPDR full
2406       - 63  # NDRPDR full
2407       - 64  # NDRPDR full
2408       - 65  # NDRPDR full
2409       - 67  # NDRPDR full
2410       - 70  # NDRPDR full
2411       - 72  # NDRPDR full
2412       - 73  # NDRPDR full
2413       - 76  # NDRPDR full
2414       - 77  # NDRPDR full
2415       - 78  # NDRPDR full
2416       - 79  # NDRPDR full
2417       - 81  # NDRPDR full
2418       - 82  # NDRPDR full
2419       - 84  # NDRPDR full
2420       - 85  # NDRPDR full
2421       - 103  # hoststack
2422       - 104  # hoststack
2423       - 105  # hoststack
2424       - 106  # hoststack
2425       - 107  # hoststack
2426       - 108  # hoststack
2427       - 109  # hoststack
2428       - 110  # hoststack
2429       - 111  # hoststack
2430       - 112  # hoststack
2431
2432     csit-vpp-perf-verify-1904-3n-skx:
2433       - 7   # MRR sel
2434       - 8   # NDRPDR sel
2435       - 9   # NDRPDR sel
2436       - 10  # NDRPDR sel
2437       - 11  # NDRPDR sel
2438       - 12  # NDRPDR sel
2439       - 14  # NDRPDR sel
2440       - 16  # NDRPDR sel
2441       - 21  # NDRPDR sel
2442       - 23  # NDRPDR sel
2443       - 25  # NDRPDR sel
2444     csit-vpp-perf-verify-1908-3n-skx:
2445       - 14  # NDRPDR sel - old1908 - vpp build: 19.08-release
2446       - 16  # NDRPDR sel - old1908 - vpp build: 19.08-release
2447       - 19  # NDRPDR sel - old1908 - vpp build: 19.08-release
2448       - 20  # NDRPDR sel - old1908 - vpp build: 19.08-release
2449       - 22  # NDRPDR sel - old1908 - vpp build: 19.08-release
2450       - 23  # NDRPDR sel - old1908 - vpp build: 19.08-release
2451       - 24  # NDRPDR sel - old1908 - vpp build: 19.08-release
2452       - 25  # NDRPDR sel - old1908 - vpp build: 19.08-release
2453       - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
2454       - 29  # NDRPDR sel - old1908 - vpp build: 19.08-release
2455       - 52  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2456       - 53  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2457       - 55  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2458       - 61  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2459       - 62  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2460       - 63  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2461       - 64  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2462       - 65  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2463       - 66  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2464       - 67  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2465       - 36  # MRR sel - old1908 - vpp build: 19.08-release
2466     csit-vpp-perf-verify-1908_1-3n-skx:
2467       - 3   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2468       - 4   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2469       - 7   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2470       - 8   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2471       - 9   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2472       - 10  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2473       - 11  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2474       - 12  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2475       - 13  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2476       - 14  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2477       - 26  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2478       - 27  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2479       - 28  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2480       - 29  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2481       - 30  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2482       - 31  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2483       - 33  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2484       - 34  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2485       - 35  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2486       - 36  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2487     csit-vpp-perf-verify-1908_2-3n-skx:
2488       - 1   # NDRPDR sel
2489       - 2   # NDRPDR sel
2490     csit-vpp-perf-verify-2001-3n-skx:
2491       - 69  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2492       - 71  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2493       - 72  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2494       - 76  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2495       - 77  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2496       - 78  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2497       - 80  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2498       - 82  # NDRPDR full - crypto-1
2499       - 85  # NDRPDR full - l2-2
2500       - 87  # NDRPDR full - ip6-1
2501       - 88  # NDRPDR full - ip6-2
2502       - 90  # NDRPDR full - memif
2503       - 95  # NDRPDR full - l2-1
2504       - 96  # NDRPDR full - ip4-2
2505       - 97  # NDRPDR full - vhost-1
2506       - 102 # NDRPDR full - crypto-2
2507       - 104 # NDRPDR full - ip4tunnels-1
2508       - 105 # NDRPDR full - ip4tunnels-2
2509       - 106 # NDRPDR full - ip4tunnels-3
2510       - 107 # NDRPDR full - ip6tunnels-1
2511       - 108 # NDRPDR full - ip4-1
2512       - 109 # NDRPDR full - crypto-3
2513       - 110 # NDRPDR full - crypto-4
2514       - 111 # NDRPDR full - ip4-2
2515       - 112 # NDRPDR full - ip4-4
2516       - 113 # NDRPDR full - ip4-5
2517       - 114 # NDRPDR full - ip4-6
2518       - 115 # NDRPDR full - ip4-7
2519       - 116 # NDRPDR full - ip4-8
2520       - 117 # NDRPDR full - ip4-9
2521       - 118 # NDRPDR full - srv6-1
2522       - 119 # NDRPDR full - srv6-2
2523       - 120 # NDRPDR full - l2-3
2524       - 123 # NDRPDR full - l2-4
2525       - 124 # NDRPDR full - l2-7
2526       - 125 # NDRPDR full - vhost-2
2527       - 128 # NDRPDR full - l2-8
2528       - 129 # NDRPDR full - l2-9
2529       - 131 # NDRPDR full - l2-11
2530       - 50  # MRR sel
2531       - 53  # MRR sel addition
2532
2533     csit-vpp-perf-verify-1904-2n-skx:
2534       - 11  # MRR sel
2535       - 12  # NDRPDR sel
2536       - 14  # NDRPDR sel
2537       - 16  # NDRPDR sel
2538       - 17  # NDRPDR sel
2539       - 18  # NDRPDR sel
2540       - 21  # NDRPDR sel
2541       - 27  # NDRPDR sel
2542       - 30  # NDRPDR sel
2543       - 31  # NDRPDR sel
2544       - 32  # NDRPDR sel
2545     csit-vpp-perf-verify-1908-2n-skx:
2546       - 26  # NDRPDR sel - old1908 - vpp build: 19.08-release
2547       - 27  # NDRPDR sel - old1908 - vpp build: 19.08-release
2548       - 34  # NDRPDR sel - old1908 - vpp build: 19.08-release
2549       - 35  # NDRPDR sel - old1908 - vpp build: 19.08-release
2550       - 36  # NDRPDR sel - old1908 - vpp build: 19.08-release
2551       - 42  # NDRPDR sel - old1908 - vpp build: 19.08-release
2552       - 43  # NDRPDR sel - old1908 - vpp build: 19.08-release
2553       - 44  # NDRPDR sel - old1908 - vpp build: 19.08-release
2554       - 45  # NDRPDR sel - old1908 - vpp build: 19.08-release
2555       - 46  # NDRPDR sel - old1908 - vpp build: 19.08-release
2556       - 88  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2557       - 89  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2558       - 91  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2559       - 92  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2560       - 93  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2561       - 94  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2562       - 95  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2563       - 96  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2564       - 97  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2565       - 98  # NDRPDR sel vhost - old1908 - vpp build: 19.08-release
2566       - 69  # MRR sel - old1908 - vpp build: 19.08-release
2567     csit-vpp-perf-verify-1908_1-2n-skx:
2568       - 3   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2569       - 4   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2570       - 6   # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2571       - 10  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2572       - 14  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2573       - 16  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2574       - 21  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2575       - 23  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2576       - 24  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2577       - 25  # NDRPDR sel - old1908.1 - vpp build: 19.08.1-release, old BIOS and ucode
2578       - 39  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2579       - 40  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2580       - 41  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2581       - 43  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2582       - 44  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2583       - 45  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2584       - 46  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2585       - 47  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2586       - 48  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2587       - 49  # NDRPDR sel - new1908.1 - vpp build: 19.08.1-release, new BIOS and ucode, irqbalance set
2588     csit-vpp-perf-verify-1908_2-2n-skx:
2589       - 1   # NDRPDR sel
2590       - 2   # NDRPDR sel
2591       - 3   # NDRPDR sel
2592       - 4   # NDRPDR sel
2593       - 5   # NDRPDR sel
2594       - 6   # NDRPDR sel
2595       - 7   # NDRPDR sel
2596       - 8   # NDRPDR sel
2597       - 9   # NDRPDR sel
2598       - 10  # NDRPDR sel
2599     csit-vpp-perf-verify-2001-2n-skx:
2600       - 143  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2601       - 146  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2602       - 147  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2603       - 148  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2604       - 149  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2605       - 150  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2606       - 151  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2607       - 152  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2608       - 153  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2609       - 154  # NDRPDR sel - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2610       - 155  # NDRPDR full - perf-full-2n-skx-ip4_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2611       - 156  # NDRPDR full - perf-full-2n-skx-ip4_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2612       - 157  # NDRPDR full - perf-full-2n-skx-ip4_III - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2613       - 158  # NDRPDR full - perf-full-2n-skx-ip4_V - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2614       - 159  # NDRPDR full - perf-full-2n-skx-ip4_VIII - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2615       - 160  # NDRPDR full - perf-full-2n-skx-ip4_IX - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2616       - 161  # NDRPDR full - perf-full-2n-skx-ip6_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2617       - 162  # NDRPDR full - perf-full-2n-skx-ip6_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2618       - 163  # NDRPDR full - perf-full-2n-skx-l2_I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2619       - 164  # NDRPDR full - perf-full-2n-skx-l2_II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2620       - 165  # NDRPDR full - perf-full-2n-skx-memif - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2621       - 166  # NDRPDR full - perf-full-2n-skx-vhost I - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2622       - 167  # NDRPDR full - perf-full-2n-skx-vhost II - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2623       - 168  # NDRPDR full - perf-full-2n-skx-vts - new2001.0 - vpp build: 20.01.0-release, new BIOS and ucode, irqbalance set
2624       - 101  # MRR sel - old
2625       - 128  # MRR sel addition - old
2626       - 169  # Reconf
2627       - 171  # Reconf
2628       - 172  # Reconf
2629       - 173  # Reconf
2630       - 174  # Reconf
2631       - 175  # Reconf
2632       - 176  # Reconf
2633       - 177  # Reconf
2634       - 178  # Reconf
2635       - 179  # Reconf
2636       - 181  # Soak
2637       - 182  # Soak
2638
2639     csit-vpp-perf-verify-1908_1-2n-clx:
2640       - 5  # NDRPDR sel
2641       - 6  # NDRPDR sel
2642       - 7  # NDRPDR sel
2643       - 8  # NDRPDR sel
2644       - 9  # NDRPDR sel
2645     csit-vpp-perf-verify-1908_2-2n-clx:
2646       - 4  # NDRPDR sel
2647       - 5  # NDRPDR sel
2648       - 6  # NDRPDR sel
2649       - 7  # NDRPDR sel
2650       - 8  # NDRPDR sel
2651     csit-vpp-perf-verify-2001-2n-clx:
2652       - 28  # NDRPDR sel
2653       - 29  # NDRPDR sel
2654       - 32  # NDRPDR sel
2655       - 40  # NDRPDR sel
2656       - 43  # NDRPDR sel
2657       - 44  # NDRPDR sel
2658       - 45  # NDRPDR sel
2659       - 47  # NDRPDR sel
2660       - 48  # NDRPDR sel
2661       - 49  # NDRPDR sel
2662       - 39  # MRR
2663       - 53  # NDRPDR full
2664       - 54  # NDRPDR full
2665       - 55  # NDRPDR full
2666       - 56  # NDRPDR full
2667       - 57  # NDRPDR full
2668       - 58  # NDRPDR full
2669       - 59  # NDRPDR full
2670       - 60  # NDRPDR full
2671       - 61  # NDRPDR full
2672       - 62  # NDRPDR full
2673       - 63  # NDRPDR full
2674       - 64  # NDRPDR full
2675       - 65  # NDRPDR full
2676       - 66  # NDRPDR full
2677       - 67  # NDRPDR full
2678       - 68  # Reconf
2679       - 69  # Reconf
2680       - 70  # Reconf
2681       - 71  # Reconf
2682       - 72  # Reconf
2683       - 73  # Reconf
2684       - 74  # Reconf
2685       - 75  # Reconf
2686       - 76  # Reconf
2687       - 77  # Reconf
2688       - 80  # TCP
2689       - 82  # TCP
2690       - 83  # TCP
2691       - 85  # TCP
2692       - 86  # TCP
2693       - 87  # TCP
2694       - 88  # TCP
2695       - 89  # TCP
2696       - 90  # TCP
2697       - 91  # TCP
2698       - 93  # Soak
2699       - 94  # Soak
2700
2701     csit-vpp-perf-verify-1908-3n-tsh:
2702       - 7   # NDRPDR sel
2703       - 8   # NDRPDR sel
2704       - 9   # NDRPDR sel
2705       - 10  # NDRPDR sel
2706       - 11  # NDRPDR sel
2707       - 12  # NDRPDR sel
2708       - 13  # NDRPDR sel
2709       - 14  # NDRPDR sel
2710       - 15  # NDRPDR sel
2711       - 16  # NDRPDR sel
2712       - 17  # MRR sel
2713     csit-vpp-perf-verify-2001-3n-tsh:
2714       - 3   # NDRPDR sel
2715       - 4   # NDRPDR sel
2716       - 7   # NDRPDR sel
2717       - 8   # NDRPDR sel
2718       - 10  # NDRPDR sel
2719       - 12  # NDRPDR sel
2720       - 13  # NDRPDR sel
2721       - 14  # NDRPDR sel
2722       - 15  # NDRPDR sel
2723       - 21  # NDRPDR sel
2724       - 9   # MRR sel
2725
2726     csit-vpp-perf-verify-1908-3n-dnv:
2727       - 6   # NDRPDR sel
2728       - 7   # NDRPDR sel
2729       - 8   # NDRPDR sel
2730       - 9   # NDRPDR sel
2731       - 10  # NDRPDR sel
2732       - 12  # NDRPDR sel
2733       - 13  # NDRPDR sel
2734       - 14  # NDRPDR sel
2735       - 15  # NDRPDR sel
2736       - 16  # NDRPDR sel
2737       - 17  # MRR sel
2738     csit-vpp-perf-verify-2001-3n-dnv:
2739       - 5   # NDRPDR sel
2740       - 6   # NDRPDR sel
2741       - 7   # NDRPDR sel
2742       - 8   # NDRPDR sel
2743       - 9   # NDRPDR sel
2744       - 10  # NDRPDR sel
2745       - 12  # NDRPDR sel
2746       - 16  # NDRPDR sel
2747       - 17  # NDRPDR sel
2748       - 18  # NDRPDR sel
2749       - 11  # MRR sel
2750       - 19  # NDRPDR full
2751       - 20  # NDRPDR full
2752       - 21  # NDRPDR full
2753       - 22  # NDRPDR full
2754       - 23  # NDRPDR full
2755       - 24  # NDRPDR full
2756       - 25  # NDRPDR full
2757       - 26  # NDRPDR full
2758       - 37  # NDRPDR full
2759       - 38  # NDRPDR full
2760       - 39  # NDRPDR full
2761
2762     csit-vpp-perf-verify-1908-2n-dnv:
2763       - 1   # NDRPDR sel
2764       - 2   # NDRPDR sel
2765       - 3   # NDRPDR sel
2766       - 4   # NDRPDR sel
2767       - 5   # NDRPDR sel
2768       - 6   # NDRPDR sel
2769       - 7   # NDRPDR sel
2770       - 8   # NDRPDR sel
2771       - 9   # NDRPDR sel
2772       - 10  # NDRPDR sel
2773       - 11  # MRR sel
2774     csit-vpp-perf-verify-2001-2n-dnv:
2775       - 4   # NDRPDR sel
2776       - 5   # NDRPDR sel
2777       - 6   # NDRPDR sel
2778       - 7   # NDRPDR sel
2779       - 8   # NDRPDR sel
2780       - 9   # NDRPDR sel
2781       - 10  # NDRPDR sel
2782       - 11  # NDRPDR sel
2783       - 13  # NDRPDR sel
2784       - 16  # NDRPDR sel
2785       - 12  # MRR sel
2786       - 21  # NDRPDR full
2787       - 22  # NDRPDR full
2788       - 25  # NDRPDR full
2789       - 26  # NDRPDR full
2790       - 27  # NDRPDR full
2791       - 28  # NDRPDR full
2792
2793     csit-dpdk-perf-verify-1904-3n-hsw:
2794       - 2   # NDRPDR sel
2795       - 3   # NDRPDR sel
2796       - 5   # NDRPDR sel
2797       - 6   # NDRPDR sel
2798       - 13  # NDRPDR sel
2799       - 14  # NDRPDR sel
2800       - 15  # NDRPDR sel
2801       - 18  # NDRPDR sel
2802       - 19  # NDRPDR sel
2803       - 20  # NDRPDR sel
2804     csit-dpdk-perf-verify-1908-3n-hsw:
2805       - 2   # NDRPDR sel
2806       - 3   # NDRPDR sel
2807       - 4   # NDRPDR sel
2808       - 5   # NDRPDR sel
2809       - 6   # NDRPDR sel
2810       - 7   # NDRPDR sel
2811       - 8   # NDRPDR sel
2812       - 9   # NDRPDR sel
2813       - 10  # NDRPDR sel
2814       - 11  # NDRPDR sel
2815     csit-dpdk-perf-verify-2001-3n-hsw:
2816       - 4   # NDRPDR sel
2817       - 5   # NDRPDR sel
2818       - 6   # NDRPDR sel
2819       - 7   # NDRPDR sel
2820       - 8   # NDRPDR sel
2821       - 9   # NDRPDR sel
2822       - 10  # NDRPDR sel
2823       - 11  # NDRPDR sel
2824       - 12  # NDRPDR sel
2825       - 13  # NDRPDR sel
2826       - 15  # NDRPDR sel
2827       - 16  # NDRPDR sel
2828       - 17  # NDRPDR sel
2829       - 18  # NDRPDR sel
2830       - 19  # NDRPDR sel
2831       - 20  # NDRPDR sel
2832       - 21  # NDRPDR sel
2833       - 22  # NDRPDR sel
2834       - 23  # NDRPDR sel
2835       - 24  # NDRPDR sel
2836       - 25  # NDRPDR full
2837       - 26  # NDRPDR full
2838
2839     csit-dpdk-perf-verify-1904-3n-skx:
2840       - 2   # NDRPDR sel
2841       - 3   # NDRPDR sel
2842       - 4   # NDRPDR sel
2843       - 5   # NDRPDR sel
2844       - 6   # NDRPDR sel
2845       - 7   # NDRPDR sel
2846       - 11  # NDRPDR sel
2847       - 12  # NDRPDR sel
2848       - 13  # NDRPDR sel
2849       - 14  # NDRPDR sel
2850     csit-dpdk-perf-verify-1908-3n-skx:
2851       - 3   # NDRPDR sel
2852       - 4   # NDRPDR sel
2853       - 5   # NDRPDR sel
2854       - 6   # NDRPDR sel
2855       - 7   # NDRPDR sel
2856       - 8   # NDRPDR sel
2857       - 9   # NDRPDR sel
2858       - 10  # NDRPDR sel
2859       - 11  # NDRPDR sel
2860       - 12  # NDRPDR sel
2861     csit-dpdk-perf-verify-2001-3n-skx:
2862       - 29  # NDRPDR sel xxv710
2863       - 33  # NDRPDR sel xxv710
2864       - 34  # NDRPDR sel xxv710
2865       - 35  # NDRPDR sel xxv710
2866       - 36  # NDRPDR sel xxv710
2867       - 37  # NDRPDR sel xxv710
2868       - 41  # NDRPDR sel xxv710
2869       - 42  # NDRPDR sel xxv710
2870       - 43  # NDRPDR sel xxv710
2871       - 45  # NDRPDR sel xxv710
2872       - 30  # NDRPDR sel x710
2873       - 31  # NDRPDR sel x710
2874       - 32  # NDRPDR sel x710
2875       - 38  # NDRPDR sel x710
2876       - 39  # NDRPDR sel x710
2877       - 40  # NDRPDR sel x710
2878       - 44  # NDRPDR sel x710
2879       - 46  # NDRPDR sel x710
2880       - 47  # NDRPDR sel x710
2881       - 48  # NDRPDR sel x710
2882
2883     csit-dpdk-perf-verify-1904-2n-skx:
2884       - 2   # NDRPDR sel
2885       - 3   # NDRPDR sel
2886       - 4   # NDRPDR sel
2887       - 5   # NDRPDR sel
2888       - 7   # NDRPDR sel
2889       - 8   # NDRPDR sel
2890       - 9   # NDRPDR sel
2891       - 10  # NDRPDR sel
2892       - 11  # NDRPDR sel
2893       - 12  # NDRPDR sel
2894     csit-dpdk-perf-verify-1908-2n-skx:
2895       - 2   # NDRPDR sel
2896       - 3   # NDRPDR sel
2897       - 4   # NDRPDR sel
2898       - 5   # NDRPDR sel
2899       - 7   # NDRPDR sel
2900       - 8   # NDRPDR sel
2901       - 9   # NDRPDR sel
2902       - 10  # NDRPDR sel
2903       - 11  # NDRPDR sel
2904       - 12  # NDRPDR sel
2905     csit-dpdk-perf-verify-2001-2n-skx:
2906       - 35  # NDRPDR sel xxv710
2907       - 36  # NDRPDR sel xxv710
2908       - 37  # NDRPDR sel xxv710
2909       - 41  # NDRPDR sel xxv710
2910       - 42  # NDRPDR sel xxv710
2911       - 43  # NDRPDR sel xxv710
2912       - 46  # NDRPDR sel xxv710
2913       - 47  # NDRPDR sel xxv710
2914       - 52  # NDRPDR sel xxv710
2915       - 53  # NDRPDR sel xxv710
2916       - 38  # NDRPDR sel x710
2917       - 39  # NDRPDR sel x710
2918       - 40  # NDRPDR sel x710
2919       - 44  # NDRPDR sel x710
2920       - 45  # NDRPDR sel x710
2921       - 48  # NDRPDR sel x710
2922       - 49  # NDRPDR sel x710
2923       - 50  # NDRPDR sel x710
2924       - 51  # NDRPDR sel x710
2925       - 54  # NDRPDR sel x710
2926
2927     csit-dpdk-perf-verify-2001-2n-clx:
2928       - 15  # NDRPDR sel
2929       - 16  # NDRPDR sel
2930       - 17  # NDRPDR sel
2931       - 18  # NDRPDR sel
2932       - 19  # NDRPDR sel
2933       - 20  # NDRPDR sel
2934       - 21  # NDRPDR sel
2935       - 22  # NDRPDR sel
2936       - 23  # NDRPDR sel
2937       - 24  # NDRPDR sel
2938       - 25  # NDRPDR sel
2939       - 26  # NDRPDR sel
2940       - 27  # NDRPDR sel
2941       - 28  # NDRPDR sel
2942       - 29  # NDRPDR sel
2943       - 30  # NDRPDR sel
2944       - 31  # NDRPDR sel
2945       - 32  # NDRPDR sel
2946       - 33  # NDRPDR sel
2947       - 34  # NDRPDR sel
2948
2949     csit-dpdk-perf-verify-2001-2n-dnv:
2950       - 9   # NDRPDR sel
2951       - 10  # NDRPDR sel
2952       - 11  # NDRPDR sel
2953       - 12  # NDRPDR sel
2954       - 13  # NDRPDR sel
2955       - 14  # NDRPDR sel
2956       - 15  # NDRPDR sel
2957       - 16  # NDRPDR sel
2958       - 17  # NDRPDR sel
2959       - 18  # NDRPDR sel
2960
2961     csit-dpdk-perf-verify-2001-3n-dnv:
2962       - 12  # NDRPDR sel
2963       - 13  # NDRPDR sel
2964       - 14  # NDRPDR sel
2965       - 15  # NDRPDR sel
2966       - 16  # NDRPDR sel
2967       - 17  # NDRPDR sel
2968       - 18  # NDRPDR sel
2969       - 19  # NDRPDR sel
2970       - 20  # NDRPDR sel
2971       - 22  # NDRPDR sel
2972
2973     csit-dpdk-perf-verify-2001-3n-tsh:
2974       - 3   # NDRPDR sel
2975       - 4   # NDRPDR sel
2976       - 5   # NDRPDR sel
2977       - 9   # NDRPDR sel
2978       - 10  # NDRPDR sel
2979       - 11  # NDRPDR sel
2980       - 12  # NDRPDR sel
2981       - 14  # NDRPDR sel
2982       - 15  # NDRPDR sel
2983       - 18  # NDRPDR sel
2984
2985     csit-vpp-device-2001-ubuntu1804-1n-skx:
2986       - 57
2987
2988 - type: "output"
2989   output: "report"
2990   format:
2991     html:
2992     - full
2993 #    pdf:
2994 #    - minimal
2995
2996 ################################################################################
2997 ###                               T A B L E S                                ###
2998 ################################################################################
2999
3000 # VPP Soak vs NDR - 2n-skx
3001 - type: "table"
3002   title: "VPP Soak vs NDR 2n-skx"
3003   algorithm: "table_soak_vs_ndr"
3004   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
3005   reference:
3006     title: "NDR"
3007     data: "vpp-soak-vs-ndr-2n-skx-ref"
3008   compare:
3009     title: "Soak"
3010     data: "vpp-soak-vs-ndr-2n-skx-cmp"
3011   data: "vpp-soak-vs-ndr-2n-skx"
3012   include-tests: "NDR"
3013   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3014   parameters:
3015     - "throughput"
3016     - "name"
3017     - "parent"
3018
3019 # VPP Soak vs NDR - 2n-clx
3020 - type: "table"
3021   title: "VPP Soak vs NDR 2n-clx"
3022   algorithm: "table_soak_vs_ndr"
3023   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
3024   reference:
3025     title: "NDR"
3026     data: "vpp-soak-vs-ndr-2n-clx-ref"
3027   compare:
3028     title: "Soak"
3029     data: "vpp-soak-vs-ndr-2n-clx-cmp"
3030   data: "vpp-soak-vs-ndr-2n-clx"
3031   include-tests: "NDR"
3032   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3033   parameters:
3034     - "throughput"
3035     - "name"
3036     - "parent"
3037
3038 ################################################################################
3039
3040 # VPP Compare NICs 3n-skx 2t1c ndr
3041 - type: "table"
3042   title: "VPP Compare NICs 3n-skx 2t1c ndr"
3043   algorithm: "table_comparison"
3044   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
3045   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3046   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3047   columns:
3048     - title: "x710"
3049       data-set: "vpp-nic-comparison-3n-skx"
3050       tag: "NIC_Intel-X710"
3051     - title: "xxv710"
3052       data-set: "vpp-nic-comparison-3n-skx"
3053       tag: "NIC_Intel-XXV710"
3054   comparisons:
3055     - title: "Diff"
3056       reference: 1
3057       compare: 2
3058   legend:
3059     - "Legend to Table:"
3060     - "x710, xxv710 - NICs tested."
3061     - "Diff - difference between x710 and xxv710 NIC."
3062
3063 # VPP Compare NICs 3n-skx 4t2c ndr
3064 - type: "table"
3065   title: "VPP Compare NICs 3n-skx 4t2c ndr"
3066   algorithm: "table_comparison"
3067   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
3068   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3069   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3070   columns:
3071     - title: "x710"
3072       data-set: "vpp-nic-comparison-3n-skx"
3073       tag: "NIC_Intel-X710"
3074     - title: "xxv710"
3075       data-set: "vpp-nic-comparison-3n-skx"
3076       tag: "NIC_Intel-XXV710"
3077   comparisons:
3078     - title: "Diff"
3079       reference: 1
3080       compare: 2
3081   legend:
3082     - "Legend to Table:"
3083     - "x710, xxv710 - NICs tested."
3084     - "Diff - difference between x710 and xxv710 NIC."
3085
3086 # VPP Compare NICs 3n-skx 2t1c pdr
3087 - type: "table"
3088   title: "VPP Compare NICs 3n-skx 2t1c pdr"
3089   algorithm: "table_comparison"
3090   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
3091   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3092   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3093   columns:
3094     - title: "x710"
3095       data-set: "vpp-nic-comparison-3n-skx"
3096       tag: "NIC_Intel-X710"
3097     - title: "xxv710"
3098       data-set: "vpp-nic-comparison-3n-skx"
3099       tag: "NIC_Intel-XXV710"
3100   comparisons:
3101     - title: "Diff"
3102       reference: 1
3103       compare: 2
3104   legend:
3105     - "Legend to Table:"
3106     - "x710, xxv710 - NICs tested."
3107     - "Diff - difference between x710 and xxv710 NIC."
3108
3109 # VPP Compare NICs 3n-skx 4t2c pdr
3110 - type: "table"
3111   title: "VPP Compare NICs 3n-skx 4t2c pdr"
3112   algorithm: "table_comparison"
3113   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
3114   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3115   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3116   columns:
3117     - title: "x710"
3118       data-set: "vpp-nic-comparison-3n-skx"
3119       tag: "NIC_Intel-X710"
3120     - title: "xxv710"
3121       data-set: "vpp-nic-comparison-3n-skx"
3122       tag: "NIC_Intel-XXV710"
3123   comparisons:
3124     - title: "Diff"
3125       reference: 1
3126       compare: 2
3127   legend:
3128     - "Legend to Table:"
3129     - "x710, xxv710 - NICs tested."
3130     - "Diff - difference between x710 and xxv710 NIC."
3131
3132 # VPP Compare NICs 3n-skx 2t1c mrr
3133 - type: "table"
3134   title: "VPP Compare NICs 3n-skx 2t1c mrr"
3135   algorithm: "table_comparison"
3136   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
3137   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3138   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3139   columns:
3140     - title: "x710"
3141       data-set: "vpp-nic-comparison-3n-skx-mrr"
3142       tag: "NIC_Intel-X710"
3143     - title: "xxv710"
3144       data-set: "vpp-nic-comparison-3n-skx-mrr"
3145       tag: "NIC_Intel-XXV710"
3146   comparisons:
3147     - title: "Diff"
3148       reference: 1
3149       compare: 2
3150   legend:
3151     - "Legend to Table:"
3152     - "x710, xxv710 - NICs tested."
3153     - "Diff - difference between x710 and xxv710 NIC."
3154
3155 # VPP Compare NICs 3n-skx 4t2c mrr
3156 - type: "table"
3157   title: "VPP Compare NICs 3n-skx 4t2c mrr"
3158   algorithm: "table_comparison"
3159   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
3160   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3161   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3162   columns:
3163     - title: "x710"
3164       data-set: "vpp-nic-comparison-3n-skx-mrr"
3165       tag: "NIC_Intel-X710"
3166     - title: "xxv710"
3167       data-set: "vpp-nic-comparison-3n-skx-mrr"
3168       tag: "NIC_Intel-XXV710"
3169   comparisons:
3170     - title: "Diff"
3171       reference: 1
3172       compare: 2
3173   legend:
3174     - "Legend to Table:"
3175     - "x710, xxv710 - NICs tested."
3176     - "Diff - difference between x710 and xxv710 NIC."
3177
3178 # VPP Compare NICs 3n-skx 8t4c mrr
3179 - type: "table"
3180   title: "VPP Compare NICs 3n-skx 8t4c mrr"
3181   algorithm: "table_comparison"
3182   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
3183   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3184   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
3185   columns:
3186     - title: "x710"
3187       data-set: "vpp-nic-comparison-3n-skx-mrr"
3188       tag: "NIC_Intel-X710"
3189     - title: "xxv710"
3190       data-set: "vpp-nic-comparison-3n-skx-mrr"
3191       tag: "NIC_Intel-XXV710"
3192   comparisons:
3193     - title: "Diff"
3194       reference: 1
3195       compare: 2
3196   legend:
3197     - "Legend to Table:"
3198     - "x710, xxv710 - NICs tested."
3199     - "Diff - difference between x710 and xxv710 NIC."
3200
3201 # VPP Compare NICs 2n-skx 2t1c ndr
3202 - type: "table"
3203   title: "VPP Compare NICs 2n-skx 2t1c ndr"
3204   algorithm: "table_comparison"
3205   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
3206   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3207   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3208   columns:
3209     - title: "x710"
3210       data-set: "vpp-nic-comparison-2n-skx"
3211       tag: "NIC_Intel-X710"
3212     - title: "xxv710"
3213       data-set: "vpp-nic-comparison-2n-skx"
3214       tag: "NIC_Intel-XXV710"
3215   comparisons:
3216     - title: "Diff"
3217       reference: 1
3218       compare: 2
3219   legend:
3220     - "Legend to Table:"
3221     - "x710, xxv710 - NICs tested."
3222     - "Diff - difference between x710 and xxv710 NIC."
3223
3224 # VPP Compare NICs 2n-skx 4t2c ndr
3225 - type: "table"
3226   title: "VPP Compare NICs 2n-skx 4t2c ndr"
3227   algorithm: "table_comparison"
3228   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
3229   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3230   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3231   columns:
3232     - title: "x710"
3233       data-set: "vpp-nic-comparison-2n-skx"
3234       tag: "NIC_Intel-X710"
3235     - title: "xxv710"
3236       data-set: "vpp-nic-comparison-2n-skx"
3237       tag: "NIC_Intel-XXV710"
3238   comparisons:
3239     - title: "Diff"
3240       reference: 1
3241       compare: 2
3242   legend:
3243     - "Legend to Table:"
3244     - "x710, xxv710 - NICs tested."
3245     - "Diff - difference between x710 and xxv710 NIC."
3246
3247 # VPP Compare NICs 2n-skx 2t1c pdr
3248 - type: "table"
3249   title: "VPP Compare NICs 2n-skx 2t1c pdr"
3250   algorithm: "table_comparison"
3251   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
3252   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3253   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3254   columns:
3255     - title: "x710"
3256       data-set: "vpp-nic-comparison-2n-skx"
3257       tag: "NIC_Intel-X710"
3258     - title: "xxv710"
3259       data-set: "vpp-nic-comparison-2n-skx"
3260       tag: "NIC_Intel-XXV710"
3261   comparisons:
3262     - title: "Diff"
3263       reference: 1
3264       compare: 2
3265   legend:
3266     - "Legend to Table:"
3267     - "x710, xxv710 - NICs tested."
3268     - "Diff - difference between x710 and xxv710 NIC."
3269
3270 # VPP Compare NICs 2n-skx 4t2c pdr
3271 - type: "table"
3272   title: "VPP Compare NICs 2n-skx 4t2c pdr"
3273   algorithm: "table_comparison"
3274   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
3275   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3276   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3277   columns:
3278     - title: "x710"
3279       data-set: "vpp-nic-comparison-2n-skx"
3280       tag: "NIC_Intel-X710"
3281     - title: "xxv710"
3282       data-set: "vpp-nic-comparison-2n-skx"
3283       tag: "NIC_Intel-XXV710"
3284   comparisons:
3285     - title: "Diff"
3286       reference: 1
3287       compare: 2
3288   legend:
3289     - "Legend to Table:"
3290     - "x710, xxv710 - NICs tested."
3291     - "Diff - difference between x710 and xxv710 NIC."
3292
3293 # VPP Compare NICs 2n-skx 2t1c mrr
3294 - type: "table"
3295   title: "VPP Compare NICs 2n-skx 2t1c mrr"
3296   algorithm: "table_comparison"
3297   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
3298   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3299   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3300   columns:
3301     - title: "x710"
3302       data-set: "vpp-nic-comparison-2n-skx-mrr"
3303       tag: "NIC_Intel-X710"
3304     - title: "xxv710"
3305       data-set: "vpp-nic-comparison-2n-skx-mrr"
3306       tag: "NIC_Intel-XXV710"
3307   comparisons:
3308     - title: "Diff"
3309       reference: 1
3310       compare: 2
3311   legend:
3312     - "Legend to Table:"
3313     - "x710, xxv710 - NICs tested."
3314     - "Diff - difference between x710 and xxv710 NIC."
3315
3316 # VPP Compare NICs 2n-skx 4t2c mrr
3317 - type: "table"
3318   title: "VPP Compare NICs 2n-skx 4t2c mrr"
3319   algorithm: "table_comparison"
3320   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
3321   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3322   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3323   columns:
3324     - title: "x710"
3325       data-set: "vpp-nic-comparison-2n-skx-mrr"
3326       tag: "NIC_Intel-X710"
3327     - title: "xxv710"
3328       data-set: "vpp-nic-comparison-2n-skx-mrr"
3329       tag: "NIC_Intel-XXV710"
3330   comparisons:
3331     - title: "Diff"
3332       reference: 1
3333       compare: 2
3334   legend:
3335     - "Legend to Table:"
3336     - "x710, xxv710 - NICs tested."
3337     - "Diff - difference between x710 and xxv710 NIC."
3338
3339 # VPP Compare NICs 2n-skx 8t4c mrr
3340 - type: "table"
3341   title: "VPP Compare NICs 2n-skx 8t4c mrr"
3342   algorithm: "table_comparison"
3343   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
3344   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3345   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
3346   columns:
3347     - title: "x710"
3348       data-set: "vpp-nic-comparison-2n-skx-mrr"
3349       tag: "NIC_Intel-X710"
3350     - title: "xxv710"
3351       data-set: "vpp-nic-comparison-2n-skx-mrr"
3352       tag: "NIC_Intel-XXV710"
3353   comparisons:
3354     - title: "Diff"
3355       reference: 1
3356       compare: 2
3357   legend:
3358     - "Legend to Table:"
3359     - "x710, xxv710 - NICs tested."
3360     - "Diff - difference between x710 and xxv710 NIC."
3361
3362 ################################################################################
3363 # VPP
3364
3365 # VPP Performance changes 2n-skx-xxv710 2t1c ndr
3366 - type: "table"
3367   title: "VPP Performance changes 2n-skx-xxv710 2t1c ndr"
3368   algorithm: "table_comparison"
3369   output-file: "{DIR[STATIC,VPP]}/performance-changes-1908_2-2n-skx-2t1c-ndr"
3370   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3371   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3372   columns:
3373     - title: "1908.1"
3374       data-set: "vpp-perf-changes-2n-skx-new1908_1"
3375     - title: "1908.2"
3376       data-set: "vpp-perf-changes-2n-skx-new1908_2"
3377   comparisons:
3378     - title: "Diff"
3379       reference: 1
3380       compare: 2
3381   legend:
3382     - "Legend to Table:"
3383     - "1908.1, 1908.2 - VPP versions tested."
3384     - "Diff - difference between the previous and the current VPP version."
3385
3386 # VPP Performance changes 2n-skx-xxv710 2t1c pdr
3387 - type: "table"
3388   title: "VPP Performance changes 2n-skx-xxv710 2t1c pdr"
3389   algorithm: "table_comparison"
3390   output-file: "{DIR[STATIC,VPP]}/performance-changes-1908_2-2n-skx-2t1c-pdr"
3391   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3392   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3393   columns:
3394     - title: "1908.1"
3395       data-set: "vpp-perf-changes-2n-skx-new1908_1"
3396     - title: "1908.2"
3397       data-set: "vpp-perf-changes-2n-skx-new1908_2"
3398   comparisons:
3399     - title: "Diff"
3400       reference: 1
3401       compare: 2
3402   legend:
3403     - "Legend to Table:"
3404     - "1908.1, 1908.2 - VPP versions tested."
3405     - "Diff - difference between the previous and the current VPP version."
3406
3407 # VPP Performance changes 3n-skx-xxv710 2t1c ndr
3408 - type: "table"
3409   title: "VPP Performance changes 3n-skx-xxv710 2t1c ndr"
3410   algorithm: "table_comparison"
3411   output-file: "{DIR[STATIC,VPP]}/performance-changes-1908_2-3n-skx-2t1c-ndr"
3412   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3413   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3414   columns:
3415     - title: "1908.1"
3416       data-set: "vpp-perf-changes-3n-skx-new1908_1"
3417     - title: "1908.2"
3418       data-set: "vpp-perf-changes-3n-skx-new1908_2"
3419   comparisons:
3420     - title: "Diff"
3421       reference: 1
3422       compare: 2
3423   legend:
3424     - "Legend to Table:"
3425     - "1908.1, 1908.2 - VPP versions tested."
3426     - "Diff - difference between the previous and the current VPP version."
3427
3428 # VPP Performance changes 3n-skx-xxv710 2t1c pdr
3429 - type: "table"
3430   title: "VPP Performance changes 3n-skx-xxv710 2t1c pdr"
3431   algorithm: "table_comparison"
3432   output-file: "{DIR[STATIC,VPP]}/performance-changes-1908_2-3n-skx-2t1c-pdr"
3433   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3434   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3435   columns:
3436     - title: "1908.1"
3437       data-set: "vpp-perf-changes-3n-skx-new1908_1"
3438     - title: "1908.2"
3439       data-set: "vpp-perf-changes-3n-skx-new1908_2"
3440   comparisons:
3441     - title: "Diff"
3442       reference: 1
3443       compare: 2
3444   legend:
3445     - "Legend to Table:"
3446     - "1908.1, 1908.2 - VPP versions tested."
3447     - "Diff - difference between the previous and the current VPP version."
3448
3449 # VPP Performance changes 2n-clx-xxv710 2t1c ndr
3450 - type: "table"
3451   title: "VPP Performance changes 2n-clx-xxv710 2t1c ndr"
3452   algorithm: "table_comparison"
3453   output-file: "{DIR[STATIC,VPP]}/performance-changes-1908_2-2n-clx-2t1c-ndr"
3454   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3455   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3456   columns:
3457     - title: "1908.1"
3458       data-set: "vpp-perf-changes-2n-clx-new1908_1"
3459     - title: "1908.2"
3460       data-set: "vpp-perf-changes-2n-clx-new1908_2"
3461   comparisons:
3462     - title: "Diff"
3463       reference: 1
3464       compare: 2
3465   legend:
3466     - "Legend to Table:"
3467     - "1908.1, 1908.2 - VPP versions tested."
3468     - "Diff - difference between the previous and the current VPP version."
3469
3470 # VPP Performance changes 2n-clx-xxv710 2t1c pdr
3471 - type: "table"
3472   title: "VPP Performance changes 2n-clx-xxv710 2t1c pdr"
3473   algorithm: "table_comparison"
3474   output-file: "{DIR[STATIC,VPP]}/performance-changes-1908_2-2n-clx-2t1c-pdr"
3475   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3476   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3477   columns:
3478     - title: "1908.1"
3479       data-set: "vpp-perf-changes-2n-clx-new1908_1"
3480     - title: "1908.2"
3481       data-set: "vpp-perf-changes-2n-clx-new1908_2"
3482   comparisons:
3483     - title: "Diff"
3484       reference: 1
3485       compare: 2
3486   legend:
3487     - "Legend to Table:"
3488     - "1908.1, 1908.2 - VPP versions tested."
3489     - "Diff - difference between the previous and the current VPP version."
3490
3491 # VPP Performance Changes 3n-hsw 1t1c pdr
3492 - type: "table"
3493   title: "VPP Performance Changes 3n-hsw 1t1c pdr"
3494   algorithm: "table_comparison"
3495   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-pdr"
3496   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3497   filter: "'1T1C' and 'NDRPDR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
3498   columns:
3499     - title: "1904"
3500       data-set: "vpp-performance-changes-3n-hsw-h1"
3501     - title: "1908"
3502       data-set: "vpp-performance-changes-3n-hsw-ref"
3503     - title: "2001"
3504       data-set: "vpp-performance-changes-3n-hsw-cmp"
3505   comparisons:
3506     - title: "Diff"
3507       reference: 2
3508       compare: 3
3509   legend:
3510     - "Legend to Table"
3511     - "1904, 1908, 2001 - VPP versions tested."
3512     - "Diff - difference between 1908 and 2001 VPP version."
3513
3514 # VPP Performance Changes 3n-hsw 2t2c pdr
3515 - type: "table"
3516   title: "VPP Performance Changes 3n-hsw 2t2c pdr"
3517   algorithm: "table_comparison"
3518   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-pdr"
3519   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3520   filter: "'2T2C' and 'NDRPDR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
3521   columns:
3522     - title: "1904"
3523       data-set: "vpp-performance-changes-3n-hsw-h1"
3524     - title: "1908"
3525       data-set: "vpp-performance-changes-3n-hsw-ref"
3526     - title: "2001"
3527       data-set: "vpp-performance-changes-3n-hsw-cmp"
3528   comparisons:
3529     - title: "Diff"
3530       reference: 2
3531       compare: 3
3532   legend:
3533     - "Legend to Table"
3534     - "1904, 1908, 2001 - VPP versions tested."
3535     - "Diff - difference between 1908 and 2001 VPP version."
3536
3537 # VPP Performance Changes 3n-hsw 1t1c ndr
3538 - type: "table"
3539   title: "VPP Performance Changes 3n-hsw 1t1c ndr"
3540   algorithm: "table_comparison"
3541   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-ndr"
3542   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3543   filter: "'1T1C' and 'NDRPDR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
3544   columns:
3545     - title: "1904"
3546       data-set: "vpp-performance-changes-3n-hsw-h1"
3547     - title: "1908"
3548       data-set: "vpp-performance-changes-3n-hsw-ref"
3549     - title: "2001"
3550       data-set: "vpp-performance-changes-3n-hsw-cmp"
3551   comparisons:
3552     - title: "Diff"
3553       reference: 2
3554       compare: 3
3555   legend:
3556     - "Legend to Table"
3557     - "1904, 1908, 2001 - VPP versions tested."
3558     - "Diff - difference between 1908 and 2001 VPP version."
3559
3560 # VPP Performance Changes 3n-hsw 2t2c ndr
3561 - type: "table"
3562   title: "VPP Performance Changes 3n-hsw 2t2c ndr"
3563   algorithm: "table_comparison"
3564   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-2t2c-ndr"
3565   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3566   filter: "'2T2C' and 'NDRPDR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
3567   columns:
3568     - title: "1904"
3569       data-set: "vpp-performance-changes-3n-hsw-h1"
3570     - title: "1908"
3571       data-set: "vpp-performance-changes-3n-hsw-ref"
3572     - title: "2001"
3573       data-set: "vpp-performance-changes-3n-hsw-cmp"
3574   comparisons:
3575     - title: "Diff"
3576       reference: 2
3577       compare: 3
3578   legend:
3579     - "Legend to Table"
3580     - "1904, 1908, 2001 - VPP versions tested."
3581     - "Diff - difference between 1908 and 2001 VPP version."
3582
3583 # VPP Root Cause Analysis 3n-skx-xxv710 2t1c pdr
3584 - type: "table"
3585   title: "VPP Root Cause Analysis 3n-skx-xxv710 2t1c pdr"
3586   algorithm: "table_comparison"
3587   output-file: "{DIR[STATIC,VPP]}/performance-rca-3n-skx-2t1c-pdr"
3588   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3589   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3590   rca:
3591     - title: "RCA1"
3592       data: "rca/rca-3n-skx-2t1c-pdr-rca1.yaml"
3593     - title: "RCA2"
3594       data: "rca/rca-3n-skx-2t1c-pdr-rca2.yaml"
3595   columns:
3596     - title: "1908.0-1"
3597       data-set: "vpp-perf-changes-3n-skx-old1908_0"
3598       data-replacement: "replacement-1908-vpp-throughput-lat-tsa-3n-skx-vhost"
3599     - title: "1908.1-1"
3600       data-set: "vpp-perf-changes-3n-skx-old1908_1"
3601     - title: "1908.1-2"
3602       data-set: "vpp-perf-changes-3n-skx-new1908_1"
3603     - title: "2001.0-2"
3604       data-set: "vpp-perf-changes-3n-skx-new2001_0"
3605   comparisons:
3606     - title: "Diff1"
3607       reference: 2
3608       reference-alt: 1
3609       compare: 3
3610     - title: "Diff2"
3611       reference: 3
3612       compare: 4
3613   legend:
3614     - 'Legend to Table:'
3615     - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "1" for 2019-08-21, "2" for 2020-03-27).'
3616     - 'Diff1 - difference between environment versions "2" and "1" for the same VPP version, 1908.1-2 vs. 1908.1-1 (if data for the latter not present, 1908.0-1 is used).'
3617     - 'Diff2 - difference between the current and the previous VPP version in the current environment version "2", 2001.0-2 vs. 1908.1-2.'
3618     - 'RCA1 - root cause analysis reference for Diff1.'
3619     - 'RCA2 - root cause analysis reference for Diff2.'
3620
3621 # VPP Root Cause Analysis 3n-skx-xxv710 2t1c ndr
3622 - type: "table"
3623   title: "VPP Root Cause Analysis 3n-skx-xxv710 2t1c ndr"
3624   algorithm: "table_comparison"
3625   output-file: "{DIR[STATIC,VPP]}/performance-rca-3n-skx-2t1c-ndr"
3626   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3627   filter: "'2T1C' and 'NDRPDR' and 'NIC_Intel-XXV710' and not 'NF_DENSITY'"
3628   rca:
3629     - title: "RCA1"
3630       data: "rca/rca-3n-skx-2t1c-ndr-rca1.yaml"
3631     - title: "RCA2"
3632       data: "rca/rca-3n-skx-2t1c-ndr-rca2.yaml"
3633   columns:
3634     - title: "1908.0-1"
3635       data-set: "vpp-perf-changes-3n-skx-old1908_0"
3636       data-replacement: "replacement-1908-vpp-throughput-lat-tsa-3n-skx-vhost"
3637     - title: "1908.1-1"
3638       data-set: "vpp-perf-changes-3n-skx-old1908_1"
3639     - title: "1908.1-2"
3640       data-set: "vpp-perf-changes-3n-skx-new1908_1"
3641     - title: "2001.0-2"
3642       data-set: "vpp-perf-changes-3n-skx-new2001_0"
3643   comparisons:
3644     - title: "Diff1"
3645       reference: 2
3646       reference-alt: 1
3647       compare: 3
3648     - title: "Diff2"
3649       reference: 3
3650       compare: 4
3651   legend:
3652     - 'Legend to Table:'
3653     - 'YYMM.V-E - tested VPP version (YY year, MM month, V minor version) and CSIT test environment version (E environment version, "1" for 2019-08-21, "2" for 2020-03-27).'
3654     - 'Diff1 - difference between environment versions "2" and "1" for the same VPP version, 1908.1-2 vs. 1908.1-1 (if data for the latter not present, 1908.0-1 is used).'
3655     - 'Diff2 - difference between the current and the previous VPP version in the current environment version "2", 2001.0-2 vs. 1908.1-2.'
3656     - 'RCA1 - root cause analysis reference for Diff1.'
3657     - 'RCA2 - root cause analysis reference for Diff2.'
3658
3659 # VPP Performance Changes 3n-skx 2t1c pdr
3660 - type: "table"
3661   title: "VPP Performance Changes 3n-skx 2t1c pdr"
3662   algorithm: "table_comparison"
3663   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-pdr"
3664   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3665   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3666   columns:
3667     - title: "1904"
3668       data-set: "vpp-performance-changes-3n-skx-h1"
3669       tag: "NIC_Intel-X710"
3670     - title: "1908"
3671       data-set: "vpp-performance-changes-3n-skx-ref"
3672       data-replacement: "replacement-1908-vpp-throughput-lat-tsa-3n-skx-vhost"
3673       tag: "NIC_Intel-XXV710"
3674     - title: "2001"
3675       data-set: "vpp-performance-changes-3n-skx-cmp"
3676       tag: "NIC_Intel-XXV710"
3677   comparisons:
3678     - title: "Diff"
3679       reference: 2
3680       compare: 3
3681   legend:
3682     - "Legend to Table"
3683     - "1904, 1908, 2001 - VPP versions tested."
3684     - "Diff - difference between 1908 and 2001 VPP version."
3685
3686 # VPP Performance Changes 3n-skx 4t2c pdr
3687 - type: "table"
3688   title: "VPP Performance Changes 3n-skx 4t2c pdr"
3689   algorithm: "table_comparison"
3690   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-pdr"
3691   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3692   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3693   columns:
3694     - title: "1904"
3695       data-set: "vpp-performance-changes-3n-skx-h1"
3696       tag: "NIC_Intel-X710"
3697     - title: "1908"
3698       data-set: "vpp-performance-changes-3n-skx-ref"
3699       data-replacement: "replacement-1908-vpp-throughput-lat-tsa-3n-skx