PAL: Add processing of PPS and CPS tests
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
33     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
34     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
35     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
36     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
37     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
38     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
39     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
40     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
41     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
42     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
43     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
44     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
45     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
46     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
47     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
48     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
49     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
50     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
51     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
52     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
53
54     # Detailed test configurations
55     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
56     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
57     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
58     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
59     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
60     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
61     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
62     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
63     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
64     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
65     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
66     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
67     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
68     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
69     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
70     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
71     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
72     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
73
74     # Detailed tests operational data
75     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
76     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
77     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
78     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
79     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
80     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
81     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
82     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
83     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
84
85     # Latencies:
86     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
87     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
88
89     # .css patch file to fix tables generated by Sphinx
90     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
91     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
92
93   urls:
94     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
95     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
96     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
97     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
98     DIR[NEXUS,DOC]: "report/_static/archive"
99
100   make-dirs:
101   # List the directories which are created while preparing the environment.
102   # All directories MUST be defined in "paths" section.
103   - "DIR[WORKING,DATA]"
104   - "DIR[STATIC,VPP]"
105   - "DIR[STATIC,DPDK]"
106   - "DIR[STATIC,ARCH]"
107   - "DIR[BUILD,LATEX]"
108   - "DIR[WORKING,SRC]"
109   - "DIR[WORKING,SRC,STATIC]"
110
111   remove-dirs:
112   # List the directories which are deleted while cleaning the environment.
113   # All directories MUST be defined in "paths" section.
114   #- "DIR[BUILD,HTML]"
115   - "DIR[WORKING,DATA]"
116
117   build-dirs:
118   # List the directories where the results (build) is stored.
119   # All directories MUST be defined in "paths" section.
120   - "DIR[BUILD,HTML]"
121   - "DIR[BUILD,LATEX]"
122
123 - type: "configuration"
124
125   mapping-file: "mapping_report.yaml"
126
127   limits:
128     nic:
129       x520: 24460000
130       x553: 29761905
131       x710: 35800000
132       xxv710: 35800000
133       xl710: 35800000
134       cx556a: 148809523.81
135
136     link:
137       10ge: 14880952.38
138       25ge: 37202380.95
139       40ge: 59523809.52
140       100ge: 148809523.81
141
142     pci:
143       pci-g3-x8: 74404761.90
144       pci-g3-x16: 148809523.81
145
146   data-sets:
147
148     ###########################################################################
149     # Plots:
150
151     # 3n-hsw
152
153     plot-vpp-throughput-lat-tsa-3n-hsw:
154       csit-vpp-perf-report-iterative-2009-3n-hsw:
155         - 21  # rls2009 NDRPDR iter env 5
156         - 22  # rls2009 NDRPDR iter env 5
157         - 24  # rls2009 NDRPDR iter env 5
158         - 25  # rls2009 NDRPDR iter env 5
159         - 26  # rls2009 NDRPDR iter env 5
160         - 27  # rls2009 NDRPDR iter env 5
161         - 28  # rls2009 NDRPDR iter env 5
162         - 29  # rls2009 NDRPDR iter env 5
163         - 30  # rls2009 NDRPDR iter env 5
164         - 31  # rls2009 NDRPDR iter env 5
165
166     plot-vpp-hdrh-lat-3n-hsw:
167       csit-vpp-perf-report-iterative-2009-3n-hsw:
168         - 22  # rls2009 NDRPDR iter env 5
169
170     plot-vpp-hoststack-3n-hsw:
171       csit-vpp-perf-report-iterative-2009-3n-hsw:
172         - 32  # rls2009 Hoststack iter env 5
173         - 33  # rls2009 Hoststack iter env 5
174         - 34  # rls2009 Hoststack iter env 5
175         - 35  # rls2009 Hoststack iter env 5
176         - 36  # rls2009 Hoststack iter env 5
177         - 37  # rls2009 Hoststack iter env 5
178         - 38  # rls2009 Hoststack iter env 5
179         - 39  # rls2009 Hoststack iter env 5
180         - 40  # rls2009 Hoststack iter env 5
181         - 41  # rls2009 Hoststack iter env 5
182
183     plot-dpdk-throughput-latency-3n-hsw:
184       csit-dpdk-perf-report-iterative-2009-3n-hsw:
185         - 6   # NDRPDR iter env5
186         - 7   # NDRPDR iter env5
187         - 8   # NDRPDR iter env5
188         - 9   # NDRPDR iter env5
189         - 10  # NDRPDR iter env5
190         - 11  # NDRPDR iter env5
191         - 12  # NDRPDR iter env5
192         - 13  # NDRPDR iter env5
193         - 14  # NDRPDR iter env5
194         - 15  # NDRPDR iter env5
195
196     plot-dpdk-hdrh-lat-3n-hsw:
197       csit-dpdk-perf-report-iterative-2009-3n-hsw:
198         - 6   # NDRPDR iter env5
199
200     # 3n-skx
201
202     plot-vpp-throughput-lat-tsa-3n-skx:
203       csit-vpp-perf-report-iterative-2009-3n-skx:
204         - 26  # rls2009 NDRPDR iter env 5
205         - 27  # rls2009 NDRPDR iter env 5
206         - 28  # rls2009 NDRPDR iter env 5
207         - 29  # rls2009 NDRPDR iter env 5
208         - 35  # rls2009 NDRPDR iter env 5
209         - 36  # rls2009 NDRPDR iter env 5
210         - 37  # rls2009 NDRPDR iter env 5
211         - 38  # rls2009 NDRPDR iter env 5
212         - 39  # rls2009 NDRPDR iter env 5
213         - 40  # rls2009 NDRPDR iter env 5
214
215     plot-vpp-hdrh-lat-3n-skx:
216       csit-vpp-perf-report-iterative-2009-3n-skx:
217         - 27  # rls2009 NDRPDR iter env 5
218
219 #    plot-vpp-nfv-3n-skx-ndrpdr:
220 #      # No data
221 #      csit-vpp-perf-report-iterative-2009-3n-skx:
222
223 #    plot-vpp-nfv-3n-skx-mrr:
224 #      # No data
225 #      csit-vpp-perf-report-iterative-2009-3n-skx:
226
227     plot-dpdk-throughput-latency-3n-skx:
228       csit-dpdk-perf-report-iterative-2009-3n-skx:
229         - 4   # NDRPDR sel env5
230         - 5   # NDRPDR sel env5
231         - 6   # NDRPDR sel env5
232         - 7   # NDRPDR sel env5
233         - 8   # NDRPDR sel env5
234         - 9   # NDRPDR sel env5
235         - 14  # NDRPDR sel env5
236         - 11  # NDRPDR sel env5
237         - 12  # NDRPDR sel env5
238         - 13  # NDRPDR sel env5
239
240     plot-dpdk-hdrh-lat-3n-skx:
241       csit-dpdk-perf-report-iterative-2009-3n-skx:
242         - 4   # NDRPDR sel env5
243
244     # 2n-skx
245
246     plot-vpp-throughput-lat-tsa-2n-skx:
247       csit-vpp-perf-report-iterative-2009-2n-skx:
248         - 35  # rls2009 NDRPDR iter env 5
249         - 36  # rls2009 NDRPDR iter env 5
250         - 37  # rls2009 NDRPDR iter env 5
251         - 39  # rls2009 NDRPDR iter env 5
252         - 40  # rls2009 NDRPDR iter env 5
253         - 42  # rls2009 NDRPDR iter env 5
254         - 43  # rls2009 NDRPDR iter env 5
255         - 44  # rls2009 NDRPDR iter env 5
256         - 46  # rls2009 NDRPDR iter env 5
257         - 48  # rls2009 NDRPDR iter env 5
258         - 51  # rls2009 NDRPDR iter NAT44 env 5
259         - 52  # rls2009 NDRPDR iter NAT44 env 5
260         - 53  # rls2009 NDRPDR iter NAT44 env 5
261         - 54  # rls2009 NDRPDR iter NAT44 env 5
262         - 55  # rls2009 NDRPDR iter NAT44 env 5
263         - 56  # rls2009 NDRPDR iter NAT44 env 5
264         - 57  # rls2009 NDRPDR iter NAT44 env 5
265         - 58  # rls2009 NDRPDR iter NAT44 env 5
266         - 59  # rls2009 NDRPDR iter NAT44 env 5
267         - 60  # rls2009 NDRPDR iter NAT44 env 5
268
269     plot-vpp-hdrh-lat-2n-skx:
270       csit-vpp-perf-report-iterative-2009-2n-skx:
271         - 35  # rls2009 NDRPDR iter env 5
272
273     plot-vpp-hdrh-lat-2n-skx-nat44:
274       csit-vpp-perf-report-iterative-2009-2n-skx:
275         - 51  # rls2009 NDRPDR iter NAT44 env 5
276
277     plot-vpp-soak-2n-skx:
278       csit-vpp-perf-report-iterative-2009-2n-skx:
279         - 33  # rls2009 soak env 5
280         - 34  # rls2009 soak env 5
281
282     plot-vpp-nfv-2n-skx-ndrpdr:
283       csit-vpp-perf-report-iterative-2009-2n-skx:
284         - 38  # rls2009 nf-density iter env 5
285         - 41  # rls2009 nf-density iter env 5
286         - 45  # rls2009 nf-density iter env 5
287         - 47  # rls2009 nf-density iter env 5
288         - 49  # rls2009 nf-density iter env 5
289         - 63  # rls2009 nf-density iter env 5
290         - 65  # rls2009 nf-density iter env 5
291         - 66  # rls2009 nf-density iter env 5
292         - 71  # rls2009 nf-density iter env 5
293         - 72  # rls2009 nf-density iter env 5
294
295     plot-vpp-nfv-2n-skx-mrr:
296       csit-vpp-perf-report-iterative-2009-2n-skx:
297         - 50  # rls2009 MRR nf-density iter env 5
298
299     plot-vpp-nfv-reconf-2n-skx:
300       csit-vpp-perf-report-iterative-2009-2n-skx:
301         - 27  # rls2009 reconf env 5
302         - 28  # rls2009 reconf env 5
303         - 29  # rls2009 reconf env 5
304         - 30  # rls2009 reconf env 5
305         - 31  # rls2009 reconf env 5
306         - 32  # rls2009 reconf env 5
307         - 61  # rls2009 reconf env 5
308         - 62  # rls2009 reconf env 5
309         - 68  # rls2009 reconf env 5
310         - 70  # rls2009 reconf env 5
311
312     plot-dpdk-throughput-latency-2n-skx:
313       csit-dpdk-perf-report-iterative-2009-2n-skx:
314         - 4   # NDRPDR iter env5
315         - 5   # NDRPDR iter env5
316         - 6   # NDRPDR iter env5
317         - 7   # NDRPDR iter env5
318         - 8   # NDRPDR iter env5
319         - 9   # NDRPDR iter env5
320         - 10  # NDRPDR iter env5
321         - 11  # NDRPDR iter env5
322         - 12  # NDRPDR iter env5
323         - 13  # NDRPDR iter env5
324
325     plot-dpdk-hdrh-lat-2n-skx:
326       csit-dpdk-perf-report-iterative-2009-2n-skx:
327         - 4   # NDRPDR iter env5
328
329     # 2n-clx
330
331     plot-vpp-throughput-lat-tsa-2n-clx:
332       csit-vpp-perf-report-iterative-2009-2n-clx:
333         - 36  # rls2009 NDRPDR iter env 5
334         - 39  # rls2009 NDRPDR iter env 5
335         - 40  # rls2009 NDRPDR iter env 5
336         - 65  # rls2009 NDRPDR iter env 5
337         - 66  # rls2009 NDRPDR iter env 5
338         - 79  # rls2009 NDRPDR iter env 5
339         - 82  # rls2009 NDRPDR iter env 5
340         - 88  # rls2009 NDRPDR iter env 5
341         - 89  # rls2009 NDRPDR iter env 5
342         - 90  # rls2009 NDRPDR iter env 5
343
344     plot-vpp-hdrh-lat-2n-clx:
345       csit-vpp-perf-report-iterative-2009-2n-clx:
346         - 36  # rls2009 NDRPDR iter env 5
347
348     plot-vpp-nfv-2n-clx-ndrpdr:
349       csit-vpp-perf-report-iterative-2009-2n-clx:
350         - 37  # rls2009 nf-density iter env 5
351         - 43  # rls2009 nf-density iter env 5
352         - 69  # rls2009 nf-density iter env 5
353         - 70  # rls2009 nf-density iter env 5
354         - 71  # rls2009 nf-density iter env 5
355         - 72  # rls2009 nf-density iter env 5
356         - 73  # rls2009 nf-density iter env 5
357         - 74  # rls2009 nf-density iter env 5
358         - 75  # rls2009 nf-density iter env 5
359         - 76  # rls2009 nf-density iter env 5
360
361     plot-vpp-nfv-2n-clx-mrr:
362       csit-vpp-perf-report-iterative-2009-2n-clx:
363         - 45  # rls2009 MRR nf-density iter env 5
364
365     plot-vpp-nfv-reconf-2n-clx:
366       csit-vpp-perf-report-iterative-2009-2n-clx:
367         - 25  # rls2009 reconf env 5
368         - 27  # rls2009 reconf env 5
369         - 28  # rls2009 reconf env 5
370         - 29  # rls2009 reconf env 5
371         - 30  # rls2009 reconf env 5
372         - 30  # rls2009 reconf env 5
373         - 32  # rls2009 reconf env 5
374         - 48  # rls2009 reconf env 5
375         - 53  # rls2009 reconf env 5
376         - 68  # rls2009 reconf env 5
377
378     plot-vpp-soak-2n-clx:
379       csit-vpp-perf-report-iterative-2009-2n-clx:
380         - 33  # rls2009 soak env 5
381         - 34  # rls2009 soak env 5
382
383     plot-dpdk-throughput-latency-2n-clx:
384       csit-dpdk-perf-report-iterative-2009-2n-clx:
385         - 4   # NDRPDR iter env5
386         - 5   # NDRPDR iter env5
387         - 6   # NDRPDR iter env5
388         - 7   # NDRPDR iter env5
389         - 8   # NDRPDR iter env5
390         - 9   # NDRPDR iter env5
391         - 10  # NDRPDR iter env5
392         - 11  # NDRPDR iter env5
393         - 12  # NDRPDR iter env5
394         - 13  # NDRPDR iter env5
395
396     plot-dpdk-hdrh-lat-2n-clx:
397       csit-dpdk-perf-report-iterative-2009-2n-clx:
398         - 4   # NDRPDR iter env5
399
400     # 3n-tsh
401
402     plot-vpp-throughput-lat-tsa-3n-tsh:
403       # TODO: Add:
404       csit-vpp-perf-report-iterative-2009-3n-tsh:
405         - 14  # rls2009 NDRPDR iter env 5
406         - 20  # rls2009 NDRPDR iter env 5
407         - 21  # rls2009 NDRPDR iter env 5
408         - 22  # rls2009 NDRPDR iter env 5
409         - 23  # rls2009 NDRPDR iter env 5
410         - 28  # rls2009 NDRPDR iter env 5
411         - 30  # rls2009 NDRPDR iter env 5
412
413     plot-vpp-hdrh-lat-3n-tsh:
414       csit-vpp-perf-report-iterative-2009-3n-tsh:
415         - 14  # rls2009 NDRPDR iter env 5
416
417     plot-dpdk-throughput-latency-3n-tsh:
418       csit-dpdk-perf-report-iterative-2009-3n-tsh:
419         - 1   # NDRPDR iter env5
420         - 2   # NDRPDR iter env5
421         - 3   # NDRPDR iter env5
422         - 4   # NDRPDR iter env5
423         - 5   # NDRPDR iter env5
424         - 6   # NDRPDR iter env5
425         - 7   # NDRPDR iter env5
426         - 9   # NDRPDR iter env5
427         - 10  # NDRPDR iter env5
428         - 11  # NDRPDR iter env5
429
430     plot-dpdk-hdrh-lat-3n-tsh:
431       csit-dpdk-perf-report-iterative-2009-3n-tsh:
432         - 1   # NDRPDR iter env5
433
434     # 3n-dnv
435
436     plot-vpp-throughput-lat-tsa-3n-dnv:
437       csit-vpp-perf-report-iterative-2009-3n-dnv:
438         - 3   # rls2009 NDRPDR iter env 5
439         - 6   # rls2009 NDRPDR iter env 5
440         - 7   # rls2009 NDRPDR iter env 5
441         - 8   # rls2009 NDRPDR iter env 5
442         - 10  # rls2009 NDRPDR iter env 5
443         - 11  # rls2009 NDRPDR iter env 5
444         - 12  # rls2009 NDRPDR iter env 5
445         - 14  # rls2009 NDRPDR iter env 5
446         - 15  # rls2009 NDRPDR iter env 5
447         - 24  # rls2009 NDRPDR iter env 5
448
449 #    plot-dpdk-throughput-latency-3n-dnv:
450 #      # No data
451 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
452
453     # 2n-dnv
454
455     plot-vpp-throughput-lat-tsa-2n-dnv:
456       csit-vpp-perf-report-iterative-2009-2n-dnv:
457         - 3   # rls2009 NDRPDR iter env 5
458         - 5   # rls2009 NDRPDR iter env 5
459         - 6   # rls2009 NDRPDR iter env 5
460         - 7   # rls2009 NDRPDR iter env 5
461         - 9   # rls2009 NDRPDR iter env 5
462         - 10  # rls2009 NDRPDR iter env 5
463         - 11  # rls2009 NDRPDR iter env 5
464         - 12  # rls2009 NDRPDR iter env 5
465         - 14  # rls2009 NDRPDR iter env 5
466         - 15  # rls2009 NDRPDR iter env 5
467
468 #    plot-dpdk-throughput-latency-2n-dnv:
469 #      # No data
470 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
471
472     ###########################################################################
473     # Simple tables (only one data set):
474
475     # NIC Comparisons
476
477     vpp-nic-comparison-3n-skx:
478       csit-vpp-perf-report-iterative-2009-3n-skx:
479         - 26  # rls2009 NDRPDR iter env 5
480         - 27  # rls2009 NDRPDR iter env 5
481         - 28  # rls2009 NDRPDR iter env 5
482         - 29  # rls2009 NDRPDR iter env 5
483         - 35  # rls2009 NDRPDR iter env 5
484         - 36  # rls2009 NDRPDR iter env 5
485         - 37  # rls2009 NDRPDR iter env 5
486         - 38  # rls2009 NDRPDR iter env 5
487         - 39  # rls2009 NDRPDR iter env 5
488         - 40  # rls2009 NDRPDR iter env 5
489
490     vpp-nic-comparison-2n-skx:
491       csit-vpp-perf-report-iterative-2009-2n-skx:
492         - 35  # rls2009 NDRPDR iter env 5
493         - 36  # rls2009 NDRPDR iter env 5
494         - 37  # rls2009 NDRPDR iter env 5
495         - 39  # rls2009 NDRPDR iter env 5
496         - 40  # rls2009 NDRPDR iter env 5
497         - 42  # rls2009 NDRPDR iter env 5
498         - 43  # rls2009 NDRPDR iter env 5
499         - 44  # rls2009 NDRPDR iter env 5
500         - 46  # rls2009 NDRPDR iter env 5
501         - 48  # rls2009 NDRPDR iter env 5
502         - 51  # rls2009 NDRPDR iter NAT44 env 5
503         - 52  # rls2009 NDRPDR iter NAT44 env 5
504         - 53  # rls2009 NDRPDR iter NAT44 env 5
505         - 54  # rls2009 NDRPDR iter NAT44 env 5
506         - 55  # rls2009 NDRPDR iter NAT44 env 5
507         - 56  # rls2009 NDRPDR iter NAT44 env 5
508         - 57  # rls2009 NDRPDR iter NAT44 env 5
509         - 58  # rls2009 NDRPDR iter NAT44 env 5
510         - 59  # rls2009 NDRPDR iter NAT44 env 5
511         - 60  # rls2009 NDRPDR iter NAT44 env 5
512
513     vpp-nic-comparison-3n-skx-mrr:
514       csit-vpp-perf-report-iterative-2009-3n-skx:
515         - 24  # rls2009 MRR iter env 5
516
517     vpp-nic-comparison-2n-skx-mrr:
518       csit-vpp-perf-report-iterative-2009-2n-skx:
519         - 26  # rls2009 MRR iter env 5
520
521     # Results
522
523     vpp-perf-results-3n-hsw:
524       csit-vpp-perf-report-coverage-2009-3n-hsw:
525         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
526         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
527         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
528         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
529         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
530         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
531         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
532         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
533         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
534         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
535         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
536         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
537         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
538         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
539         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
540         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
541         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
542         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
543         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
544         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
545         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
546         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
547         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
548         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
549         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
550         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
551         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
552         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
553         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
554         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
555         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
556         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
557         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
558         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
559         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
560
561     vpp-perf-results-3n-skx:
562       csit-vpp-perf-report-coverage-2009-3n-skx:
563         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
564         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
565         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
566         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
567         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
568         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
569         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
570         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
571         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
572         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
573         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
574         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
575         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
576         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
577         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
578         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
579         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
580         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
581         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
582         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
583         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
584         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
585         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
586         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
587         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
588         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
589         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
590         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
591         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
592         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
593         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
594         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
595         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
596         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
597         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
598         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
599
600     vpp-perf-results-2n-skx:
601       csit-vpp-perf-report-coverage-2009-2n-skx:
602         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
603         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
604         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
605         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
606         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
607         - 13  # rls2009 NDRPDR cov 2n-skx-ip4-05
608         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
609         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
610         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
611         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
612         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
613         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
614         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
615         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
616         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
617
618     vpp-perf-results-2n-clx:
619       csit-vpp-perf-report-coverage-2009-2n-clx:
620         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
621         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
622         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
623         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
624         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
625         - 7   # rls2009 NDRPDR cov 2n-clx-ip4-05
626         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
627         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
628         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
629         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
630         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
631         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
632         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
633         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
634         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
635
636     vpp-perf-results-3n-tsh:
637       csit-vpp-perf-report-iterative-2009-3n-tsh:
638         - 14  # rls2009 NDRPDR iter env 5
639
640     vpp-perf-results-3n-dnv:
641       csit-vpp-perf-report-coverage-2009-3n-dnv:
642         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
643         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
644         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
645         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
646         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
647         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
648         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
649         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
650         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
651
652     vpp-perf-results-2n-dnv:
653       csit-vpp-perf-report-coverage-2009-2n-dnv:
654         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
655         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
656         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
657         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
658         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
659         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
660
661     vpp-mrr-results-3n-hsw:
662       csit-vpp-perf-report-iterative-2009-3n-hsw:
663         - 23  # rls2009 MRR iter env 5
664
665     vpp-mrr-results-3n-skx:
666       csit-vpp-perf-report-iterative-2009-3n-skx:
667         - 24  # rls2009 MRR iter env 5
668
669     vpp-mrr-results-2n-skx:
670       csit-vpp-perf-report-iterative-2009-2n-skx:
671         - 26  # rls2009 MRR iter env 5
672
673     vpp-mrr-results-2n-clx:
674       csit-vpp-perf-report-iterative-2009-2n-clx:
675         - 78  # rls2009 MRR iter env 5
676
677     vpp-mrr-results-3n-tsh:
678       csit-vpp-perf-report-iterative-2009-3n-tsh:
679         - 15  # rls2009 MRR iter env 5
680
681     vpp-mrr-results-3n-dnv:
682       csit-vpp-perf-report-iterative-2009-3n-dnv:
683         - 22  # rls2009 MRR iter env 5
684
685     vpp-mrr-results-2n-dnv:
686       csit-vpp-perf-report-iterative-2009-2n-dnv:
687         - 13  # rls2009 MRR iter env 5
688
689     vpp-device-results-ubuntu:
690       csit-vpp-device-2009-ubuntu1804-1n-skx:
691         - 131 # rls2009 env 5
692
693     dpdk-perf-results-3n-hsw:
694       csit-dpdk-perf-report-iterative-2009-3n-hsw:
695         - 6   # NDRPDR iter env5
696
697     dpdk-perf-results-3n-skx:
698       csit-dpdk-perf-report-iterative-2009-3n-skx:
699         - 4   # NDRPDR sel env5
700
701     dpdk-perf-results-2n-skx:
702       csit-dpdk-perf-report-iterative-2009-2n-skx:
703         - 4   # NDRPDR iter env5
704
705     dpdk-perf-results-2n-clx:
706       csit-dpdk-perf-report-iterative-2009-2n-clx:
707         - 4   # NDRPDR iter env5
708
709 #    dpdk-perf-results-2n-dnv:
710 #      # No data
711 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
712
713 #    dpdk-perf-results-3n-dnv:
714 #      # No data
715 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
716
717     dpdk-perf-results-3n-tsh:
718       csit-dpdk-perf-report-iterative-2009-3n-tsh:
719         - 1   # NDRPDR iter env5
720
721 ###########################################################################
722     # Tables (more than one data set)
723
724     # Performance changes
725
726     vpp-performance-changes-3n-hsw-h1:
727       csit-vpp-perf-report-iterative-2005-3n-hsw:
728         - 31  # NDRPDR sel 2001.0-4
729         - 32  # NDRPDR sel 2001.0-4
730         - 33  # NDRPDR sel 2001.0-4
731         - 34  # NDRPDR sel 2001.0-4
732         - 35  # NDRPDR sel 2001.0-4
733         - 36  # NDRPDR sel 2001.0-4
734         - 38  # NDRPDR sel 2001.0-4
735     vpp-performance-changes-3n-hsw-ref-env4:
736       csit-vpp-perf-report-iterative-2005-3n-hsw:
737         - 20  # NDRPDR sel env 4
738         - 21  # NDRPDR sel env 4
739         - 22  # NDRPDR sel env 4
740         - 23  # NDRPDR sel env 4
741         - 24  # NDRPDR sel env 4
742         - 25  # NDRPDR sel env 4
743         - 26  # NDRPDR sel env 4
744         - 27  # NDRPDR sel env 4
745         - 28  # NDRPDR sel env 4
746         - 29  # NDRPDR sel env 4
747     vpp-performance-changes-3n-hsw-ref-env5:
748       csit-vpp-perf-report-iterative-2009-3n-hsw:
749         - 9   # rls2005 NDRPDR iter env 5
750         - 10  # rls2005 NDRPDR iter env 5
751         - 11  # rls2005 NDRPDR iter env 5
752         - 12  # rls2005 NDRPDR iter env 5
753         - 13  # rls2005 NDRPDR iter env 5
754         - 14  # rls2005 NDRPDR iter env 5
755         - 15  # rls2005 NDRPDR iter env 5
756         - 16  # rls2005 NDRPDR iter env 5
757         - 17  # rls2005 NDRPDR iter env 5
758         - 19  # rls2005 NDRPDR iter env 5
759     vpp-performance-changes-3n-hsw-cmp:
760       csit-vpp-perf-report-iterative-2009-3n-hsw:
761         - 21  # rls2009 NDRPDR iter env 5
762         - 22  # rls2009 NDRPDR iter env 5
763         - 24  # rls2009 NDRPDR iter env 5
764         - 25  # rls2009 NDRPDR iter env 5
765         - 26  # rls2009 NDRPDR iter env 5
766         - 27  # rls2009 NDRPDR iter env 5
767         - 28  # rls2009 NDRPDR iter env 5
768         - 29  # rls2009 NDRPDR iter env 5
769         - 30  # rls2009 NDRPDR iter env 5
770         - 31  # rls2009 NDRPDR iter env 5
771
772     vpp-performance-changes-3n-skx-h1:
773       csit-vpp-perf-report-iterative-2005-3n-skx:
774         - 50  # NDRPDR sel 2001.0-4
775         - 51  # NDRPDR sel 2001.0-4
776         - 52  # NDRPDR sel 2001.0-4
777         - 53  # NDRPDR sel 2001.0-4
778         - 54  # NDRPDR sel 2001.0-4
779     vpp-performance-changes-3n-skx-ref-env4:
780       csit-vpp-perf-report-iterative-2005-3n-skx:
781         - 42  # NDRPDR sel env 4
782         - 43  # NDRPDR sel env 4
783         - 44  # NDRPDR sel env 4
784         - 45  # NDRPDR sel env 4
785         - 47  # NDRPDR sel env 4
786         - 55  # NDRPDR sel env 4
787         - 56  # NDRPDR sel env 4
788         - 57  # NDRPDR sel env 4
789         - 61  # NDRPDR sel env 4
790         - 62  # NDRPDR sel env 4
791     vpp-performance-changes-3n-skx-ref-env5:
792       csit-vpp-perf-report-iterative-2009-3n-skx:
793         - 13  # rls2005 NDRPDR iter env 5
794         - 18  # rls2005 NDRPDR iter env 5
795         - 19  # rls2005 NDRPDR iter env 5
796         - 41  # rls2005 NDRPDR iter env 5
797         - 43  # rls2005 NDRPDR iter env 5
798         - 44  # rls2005 NDRPDR iter env 5
799         - 45  # rls2005 NDRPDR iter env 5
800     vpp-performance-changes-3n-skx-cmp:
801       csit-vpp-perf-report-iterative-2009-3n-skx:
802         - 26  # rls2009 NDRPDR iter env 5
803         - 27  # rls2009 NDRPDR iter env 5
804         - 28  # rls2009 NDRPDR iter env 5
805         - 29  # rls2009 NDRPDR iter env 5
806         - 35  # rls2009 NDRPDR iter env 5
807         - 36  # rls2009 NDRPDR iter env 5
808         - 37  # rls2009 NDRPDR iter env 5
809         - 38  # rls2009 NDRPDR iter env 5
810         - 39  # rls2009 NDRPDR iter env 5
811         - 40  # rls2009 NDRPDR iter env 5
812
813     vpp-performance-changes-2n-skx-h1:
814       csit-vpp-perf-report-iterative-2005-2n-skx:
815         - 100 # NDRPDR sel 2001.0-4
816         - 101 # NDRPDR sel 2001.0-4
817         - 102 # NDRPDR sel 2001.0-4
818         - 103 # NDRPDR sel 2001.0-4
819         - 104 # NDRPDR sel 2001.0-4
820         - 105 # NDRPDR sel 2001.0-4
821     vpp-performance-changes-2n-skx-ref-env4:
822       csit-vpp-perf-report-iterative-2005-2n-skx:
823         - 88  # NDRPDR sel env 4
824         - 89  # NDRPDR sel env 4
825         - 90  # NDRPDR sel env 4
826         - 91  # NDRPDR sel env 4
827         - 92  # NDRPDR sel env 4
828         - 93  # NDRPDR sel env 4
829         - 94  # NDRPDR sel env 4
830         - 125 # NDRPDR sel env 4
831         - 126 # NDRPDR sel env 4
832         - 127 # NDRPDR sel env 4
833     vpp-performance-changes-2n-skx-ref-env5:
834       csit-vpp-perf-report-iterative-2009-2n-skx:
835         - 13  # rls2005 NDRPDR iter env 5
836         - 16  # rls2005 NDRPDR iter env 5
837         - 17  # rls2005 NDRPDR iter env 5
838         - 18  # rls2005 NDRPDR iter env 5
839         - 19  # rls2005 NDRPDR iter env 5
840         - 21  # rls2005 NDRPDR iter env 5
841         - 22  # rls2005 NDRPDR iter env 5
842         - 23  # rls2005 NDRPDR iter env 5
843         - 24  # rls2005 NDRPDR iter env 5
844         - 25  # rls2005 NDRPDR iter env 5
845     vpp-performance-changes-2n-skx-cmp:
846       csit-vpp-perf-report-iterative-2009-2n-skx:
847         - 35  # rls2009 NDRPDR iter env 5
848         - 36  # rls2009 NDRPDR iter env 5
849         - 37  # rls2009 NDRPDR iter env 5
850         - 39  # rls2009 NDRPDR iter env 5
851         - 40  # rls2009 NDRPDR iter env 5
852         - 42  # rls2009 NDRPDR iter env 5
853         - 43  # rls2009 NDRPDR iter env 5
854         - 44  # rls2009 NDRPDR iter env 5
855         - 46  # rls2009 NDRPDR iter env 5
856         - 48  # rls2009 NDRPDR iter env 5
857         - 51  # rls2009 NDRPDR iter NAT44 env 5
858         - 52  # rls2009 NDRPDR iter NAT44 env 5
859         - 53  # rls2009 NDRPDR iter NAT44 env 5
860         - 54  # rls2009 NDRPDR iter NAT44 env 5
861         - 55  # rls2009 NDRPDR iter NAT44 env 5
862         - 56  # rls2009 NDRPDR iter NAT44 env 5
863         - 57  # rls2009 NDRPDR iter NAT44 env 5
864         - 58  # rls2009 NDRPDR iter NAT44 env 5
865         - 59  # rls2009 NDRPDR iter NAT44 env 5
866         - 60  # rls2009 NDRPDR iter NAT44 env 5
867
868     vpp-performance-changes-2n-clx-h1:
869       csit-vpp-perf-report-iterative-2005-2n-clx:
870         - 73  # NDRPDR sel 2001.0-4
871         - 74  # NDRPDR sel 2001.0-4
872         - 75  # NDRPDR sel 2001.0-4
873         - 76  # NDRPDR sel 2001.0-4
874         - 77  # NDRPDR sel 2001.0-4
875         - 78  # NDRPDR sel 2001.0-4
876         - 79  # NDRPDR sel 2001.0-4
877         - 80  # NDRPDR sel 2001.0-4
878     vpp-performance-changes-2n-clx-ref-env4:
879       csit-vpp-perf-report-iterative-2005-2n-clx:
880         - 62  # NDRPDR sel env 4
881         - 63  # NDRPDR sel env 4
882         - 64  # NDRPDR sel env 4
883         - 65  # NDRPDR sel env 4
884         - 66  # NDRPDR sel env 4
885         - 68  # NDRPDR sel env 4
886         - 69  # NDRPDR sel env 4
887         - 70  # NDRPDR sel env 4
888         - 103 # NDRPDR sel env 4
889         - 104 # NDRPDR sel env 4
890     vpp-performance-changes-2n-clx-ref-env5:
891       csit-vpp-perf-report-iterative-2009-2n-clx:
892         - 13  # rls2005 NDRPDR iter env 5
893         - 15  # rls2005 NDRPDR iter env 5
894         - 17  # rls2005 NDRPDR iter env 5
895         - 18  # rls2005 NDRPDR iter env 5
896         - 19  # rls2005 NDRPDR iter env 5
897         - 20  # rls2005 NDRPDR iter env 5
898         - 21  # rls2005 NDRPDR iter env 5
899         - 22  # rls2005 NDRPDR iter env 5
900         - 23  # rls2005 NDRPDR iter env 5
901         - 24  # rls2005 NDRPDR iter env 5
902     vpp-performance-changes-2n-clx-cmp:
903       csit-vpp-perf-report-iterative-2009-2n-clx:
904         - 36  # rls2009 NDRPDR iter env 5
905         - 39  # rls2009 NDRPDR iter env 5
906         - 40  # rls2009 NDRPDR iter env 5
907         - 65  # rls2009 NDRPDR iter env 5
908         - 66  # rls2009 NDRPDR iter env 5
909         - 79  # rls2009 NDRPDR iter env 5
910         - 82  # rls2009 NDRPDR iter env 5
911         - 88  # rls2009 NDRPDR iter env 5
912         - 89  # rls2009 NDRPDR iter env 5
913         - 90  # rls2009 NDRPDR iter env 5
914
915     vpp-performance-changes-2n-dnv-h1:
916       csit-vpp-perf-verify-2001-2n-dnv:
917         - 4   # NDRPDR sel
918         - 5   # NDRPDR sel
919         - 6   # NDRPDR sel
920         - 7   # NDRPDR sel
921         - 8   # NDRPDR sel
922         - 9   # NDRPDR sel
923         - 10  # NDRPDR sel
924         - 11  # NDRPDR sel
925         - 13  # NDRPDR sel
926         - 16  # NDRPDR sel
927     vpp-performance-changes-2n-dnv-ref:
928       csit-vpp-perf-report-iterative-2009-2n-dnv:
929         - 16  # rls2005 NDRPDR iter env 5
930         - 17  # rls2005 NDRPDR iter env 5
931         - 18  # rls2005 NDRPDR iter env 5
932         - 19  # rls2005 NDRPDR iter env 5
933         - 21  # rls2005 NDRPDR iter env 5
934         - 24  # rls2005 NDRPDR iter env 5
935         - 27  # rls2005 NDRPDR iter env 5
936         - 28  # rls2005 NDRPDR iter env 5
937         - 29  # rls2005 NDRPDR iter env 5
938         - 30  # rls2005 NDRPDR iter env 5
939     vpp-performance-changes-2n-dnv-cmp:
940       csit-vpp-perf-report-iterative-2009-2n-dnv:
941         - 3   # rls2009 NDRPDR iter env 5
942         - 5   # rls2009 NDRPDR iter env 5
943         - 6   # rls2009 NDRPDR iter env 5
944         - 7   # rls2009 NDRPDR iter env 5
945         - 9   # rls2009 NDRPDR iter env 5
946         - 10  # rls2009 NDRPDR iter env 5
947         - 11  # rls2009 NDRPDR iter env 5
948         - 12  # rls2009 NDRPDR iter env 5
949         - 14  # rls2009 NDRPDR iter env 5
950         - 15  # rls2009 NDRPDR iter env 5
951
952     vpp-performance-changes-3n-dnv-h1:
953       csit-vpp-perf-verify-2001-3n-dnv:
954         - 5   # NDRPDR sel
955         - 6   # NDRPDR sel
956         - 7   # NDRPDR sel
957         - 8   # NDRPDR sel
958         - 9   # NDRPDR sel
959         - 10  # NDRPDR sel
960         - 12  # NDRPDR sel
961         - 16  # NDRPDR sel
962         - 17  # NDRPDR sel
963         - 18  # NDRPDR sel
964     vpp-performance-changes-3n-dnv-ref:
965       csit-vpp-perf-report-iterative-2009-3n-dnv:
966         - 16  # rls2005 NDRPDR iter env 5
967         - 23  # rls2005 NDRPDR iter env 5
968         - 25  # rls2005 NDRPDR iter env 5
969         - 26  # rls2005 NDRPDR iter env 5
970         - 27  # rls2005 NDRPDR iter env 5
971         - 28  # rls2005 NDRPDR iter env 5
972         - 29  # rls2005 NDRPDR iter env 5
973         - 30  # rls2005 NDRPDR iter env 5
974         - 31  # rls2005 NDRPDR iter env 5
975         - 32  # rls2005 NDRPDR iter env 5
976     vpp-performance-changes-3n-dnv-cmp:
977       csit-vpp-perf-report-iterative-2009-3n-dnv:
978         - 3   # rls2009 NDRPDR iter env 5
979         - 6   # rls2009 NDRPDR iter env 5
980         - 7   # rls2009 NDRPDR iter env 5
981         - 8   # rls2009 NDRPDR iter env 5
982         - 10  # rls2009 NDRPDR iter env 5
983         - 11  # rls2009 NDRPDR iter env 5
984         - 12  # rls2009 NDRPDR iter env 5
985         - 14  # rls2009 NDRPDR iter env 5
986         - 15  # rls2009 NDRPDR iter env 5
987         - 24  # rls2009 NDRPDR iter env 5
988
989     vpp-performance-changes-3n-tsh-h1:
990       csit-vpp-perf-report-iterative-2005-3n-tsh:
991         - 28  # NDRPDR sel 2001.0-4
992         - 29  # NDRPDR sel 2001.0-4
993         - 31  # NDRPDR sel 2001.0-4
994     vpp-performance-changes-3n-tsh-ref-env4:
995       csit-vpp-perf-report-iterative-2005-3n-tsh:
996         - 23  # NDRPDR sel env 4
997         - 25  # NDRPDR sel env 4
998         - 33  # NDRPDR sel env 4
999         - 34  # NDRPDR sel env 4
1000         - 35  # NDRPDR sel env 4
1001         - 36  # NDRPDR sel env 4
1002         - 37  # NDRPDR sel env 4
1003         - 38  # NDRPDR sel env 4
1004         - 39  # NDRPDR sel env 4
1005         - 40  # NDRPDR sel env 4
1006     vpp-performance-changes-3n-tsh-ref-env5:
1007       csit-vpp-perf-report-iterative-2009-3n-tsh:
1008         - 8   # rls2005 NDRPDR iter env 5
1009         - 11  # rls2005 NDRPDR iter env 5
1010         - 12  # rls2005 NDRPDR iter env 5
1011         - 24  # rls2005 NDRPDR iter env 5
1012         - 27  # rls2005 NDRPDR iter env 5
1013         - 29  # rls2005 NDRPDR iter env 5
1014     vpp-performance-changes-3n-tsh-cmp:
1015       # TODO: Add:
1016       csit-vpp-perf-report-iterative-2009-3n-tsh:
1017         - 14  # rls2009 NDRPDR iter env 5
1018         - 20  # rls2009 NDRPDR iter env 5
1019         - 21  # rls2009 NDRPDR iter env 5
1020         - 22  # rls2009 NDRPDR iter env 5
1021         - 23  # rls2009 NDRPDR iter env 5
1022         - 28  # rls2009 NDRPDR iter env 5
1023         - 30  # rls2009 NDRPDR iter env 5
1024
1025     vpp-soak-vs-ndr-2n-skx-ref:
1026       csit-vpp-perf-report-iterative-2009-2n-skx:
1027         - 35  # rls2009 NDRPDR iter env 5
1028         - 36  # rls2009 NDRPDR iter env 5
1029         - 37  # rls2009 NDRPDR iter env 5
1030         - 39  # rls2009 NDRPDR iter env 5
1031         - 40  # rls2009 NDRPDR iter env 5
1032         - 42  # rls2009 NDRPDR iter env 5
1033         - 43  # rls2009 NDRPDR iter env 5
1034         - 44  # rls2009 NDRPDR iter env 5
1035         - 46  # rls2009 NDRPDR iter env 5
1036         - 48  # rls2009 NDRPDR iter env 5
1037     vpp-soak-vs-ndr-2n-skx-cmp:
1038       csit-vpp-perf-report-iterative-2009-2n-skx:
1039         - 33  # rls2009 soak env 5
1040         - 34  # rls2009 soak env 5
1041     vpp-soak-vs-ndr-2n-skx:
1042       csit-vpp-perf-report-iterative-2009-2n-skx:
1043         - 35  # rls2009 NDRPDR iter env 5
1044         - 36  # rls2009 NDRPDR iter env 5
1045         - 37  # rls2009 NDRPDR iter env 5
1046         - 39  # rls2009 NDRPDR iter env 5
1047         - 40  # rls2009 NDRPDR iter env 5
1048         - 42  # rls2009 NDRPDR iter env 5
1049         - 43  # rls2009 NDRPDR iter env 5
1050         - 44  # rls2009 NDRPDR iter env 5
1051         - 46  # rls2009 NDRPDR iter env 5
1052         - 48  # rls2009 NDRPDR iter env 5
1053         - 33  # rls2009 soak env 5
1054         - 34  # rls2009 soak env 5
1055
1056     vpp-soak-vs-ndr-2n-clx-ref:
1057       csit-vpp-perf-report-iterative-2009-2n-clx:
1058         - 36  # rls2009 NDRPDR iter env 5
1059         - 39  # rls2009 NDRPDR iter env 5
1060         - 40  # rls2009 NDRPDR iter env 5
1061         - 65  # rls2009 NDRPDR iter env 5
1062         - 66  # rls2009 NDRPDR iter env 5
1063         - 79  # rls2009 NDRPDR iter env 5
1064         - 82  # rls2009 NDRPDR iter env 5
1065         - 88  # rls2009 NDRPDR iter env 5
1066         - 89  # rls2009 NDRPDR iter env 5
1067         - 90  # rls2009 NDRPDR iter env 5
1068     vpp-soak-vs-ndr-2n-clx-cmp:
1069       csit-vpp-perf-report-iterative-2009-2n-clx:
1070         - 33  # rls2009 soak env 5
1071         - 34  # rls2009 soak env 5
1072     vpp-soak-vs-ndr-2n-clx:
1073       csit-vpp-perf-report-iterative-2009-2n-clx:
1074         - 36  # rls2009 NDRPDR iter env 5
1075         - 39  # rls2009 NDRPDR iter env 5
1076         - 40  # rls2009 NDRPDR iter env 5
1077         - 65  # rls2009 NDRPDR iter env 5
1078         - 66  # rls2009 NDRPDR iter env 5
1079         - 79  # rls2009 NDRPDR iter env 5
1080         - 82  # rls2009 NDRPDR iter env 5
1081         - 88  # rls2009 NDRPDR iter env 5
1082         - 89  # rls2009 NDRPDR iter env 5
1083         - 90  # rls2009 NDRPDR iter env 5
1084         - 33  # rls2009 soak env 5
1085         - 34  # rls2009 soak env 5
1086
1087     vpp-performance-changes-3n-hsw-mrr-h1:
1088       csit-vpp-perf-verify-2001-3n-hsw:
1089         - 17  # MRR sel
1090     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1091       csit-vpp-perf-report-iterative-2005-3n-hsw:
1092         - 30  # MRR env 4
1093     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1094       csit-vpp-perf-report-iterative-2009-3n-hsw:
1095         - 18  # rls2005 MRR iter env 5
1096     vpp-performance-changes-3n-hsw-mrr-cmp:
1097       csit-vpp-perf-report-iterative-2009-3n-hsw:
1098         - 23  # rls2009 MRR iter env 5
1099
1100     vpp-performance-changes-3n-skx-mrr-h1:
1101       csit-vpp-perf-verify-2001-3n-skx:
1102         - 50  # MRR sel
1103         - 53  # MRR sel addition
1104     vpp-performance-changes-3n-skx-mrr-ref-env4:
1105       csit-vpp-perf-report-iterative-2005-3n-skx:
1106         - 49  # MRR sel env 4
1107     vpp-performance-changes-3n-skx-mrr-ref-env5:
1108       csit-vpp-perf-report-iterative-2009-3n-skx:
1109         - 17  # rls2005 MRR iter env 5
1110     vpp-performance-changes-3n-skx-mrr-cmp:
1111       csit-vpp-perf-report-iterative-2009-3n-skx:
1112         - 24  # rls2009 MRR iter env 5
1113
1114     vpp-performance-changes-2n-skx-mrr-h1:
1115       csit-vpp-perf-verify-2001-2n-skx:
1116         - 101 # MRR sel
1117         - 128 # MRR sel addition
1118     vpp-performance-changes-2n-skx-mrr-ref-env4:
1119       csit-vpp-perf-report-iterative-2005-2n-skx:
1120         - 99  # MRR sel env 4
1121     vpp-performance-changes-2n-skx-mrr-ref-env5:
1122       csit-vpp-perf-report-iterative-2009-2n-skx:
1123         - 20  # rls2005 MRR iter env 5
1124     vpp-performance-changes-2n-skx-mrr-cmp:
1125       csit-vpp-perf-report-iterative-2009-2n-skx:
1126         - 26  # rls2009 MRR iter env 5
1127
1128     vpp-performance-changes-2n-clx-mrr-h1:
1129       csit-vpp-perf-verify-2001-2n-clx:
1130         - 39  # MRR
1131     vpp-performance-changes-2n-clx-mrr-ref-env4:
1132       csit-vpp-perf-report-iterative-2005-2n-clx:
1133         - 72   # MRR sel env 4
1134     vpp-performance-changes-2n-clx-mrr-ref-env5:
1135       csit-vpp-perf-report-iterative-2009-2n-clx:
1136         - 77  # rls2005 MRR iter env 5
1137     vpp-performance-changes-2n-clx-mrr-cmp:
1138       csit-vpp-perf-report-iterative-2009-2n-clx:
1139         - 78  # rls2009 MRR iter env 5
1140
1141     vpp-performance-changes-2n-dnv-mrr-h1:
1142       csit-vpp-perf-verify-2001-2n-dnv:
1143         - 12  # MRR sel
1144     vpp-performance-changes-2n-dnv-mrr-ref:
1145       csit-vpp-perf-report-iterative-2009-2n-dnv:
1146         - 23  # rls2005 MRR iter env 5
1147     vpp-performance-changes-2n-dnv-mrr-cmp:
1148       csit-vpp-perf-report-iterative-2009-2n-dnv:
1149         - 13  # rls2009 MRR iter env 5
1150
1151     vpp-performance-changes-3n-dnv-mrr-h1:
1152       csit-vpp-perf-verify-2001-3n-dnv:
1153         - 11  # MRR sel
1154     vpp-performance-changes-3n-dnv-mrr-ref:
1155       csit-vpp-perf-report-iterative-2009-3n-dnv:
1156         - 19  # rls2005 MRR iter env 5
1157     vpp-performance-changes-3n-dnv-mrr-cmp:
1158       csit-vpp-perf-report-iterative-2009-3n-dnv:
1159         - 22  # rls2009 MRR iter env 5
1160
1161     vpp-performance-changes-3n-tsh-mrr-h1:
1162       csit-vpp-perf-verify-2001-3n-tsh:
1163         - 9   # MRR sel
1164     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1165       csit-vpp-perf-report-iterative-2005-3n-tsh:
1166         - 27  # MRR sel env 4
1167     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1168       csit-vpp-perf-report-iterative-2009-3n-tsh:
1169         - 13  # rls2005 MRR iter env 5
1170     vpp-performance-changes-3n-tsh-mrr-cmp:
1171       csit-vpp-perf-report-iterative-2009-3n-tsh:
1172         - 15  # rls2009 MRR iter env 5
1173
1174     dpdk-performance-changes-3n-hsw-h1:
1175       csit-dpdk-perf-verify-2001-3n-hsw:
1176         - 4   # NDRPDR sel
1177         - 5   # NDRPDR sel
1178         - 6   # NDRPDR sel
1179         - 7   # NDRPDR sel
1180         - 8   # NDRPDR sel
1181         - 9   # NDRPDR sel
1182         - 10  # NDRPDR sel
1183         - 11  # NDRPDR sel
1184         - 12  # NDRPDR sel
1185         - 13  # NDRPDR sel
1186         - 15  # NDRPDR sel
1187         - 16  # NDRPDR sel
1188         - 17  # NDRPDR sel
1189         - 18  # NDRPDR sel
1190         - 19  # NDRPDR sel
1191         - 20  # NDRPDR sel
1192         - 21  # NDRPDR sel
1193         - 22  # NDRPDR sel
1194         - 23  # NDRPDR sel
1195         - 24  # NDRPDR sel
1196     dpdk-performance-changes-3n-hsw-ref:
1197       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1198         - 25  # NDRPDR iter
1199         - 26  # NDRPDR iter
1200         - 27  # NDRPDR iter
1201         - 28  # NDRPDR iter
1202         - 29  # NDRPDR iter
1203         - 30  # NDRPDR iter
1204         - 31  # NDRPDR iter
1205         - 32  # NDRPDR iter
1206         - 33  # NDRPDR iter
1207         - 34  # NDRPDR iter
1208     dpdk-performance-changes-3n-hsw-cmp:
1209       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1210         - 6   # NDRPDR iter env5
1211         - 7   # NDRPDR iter env5
1212         - 8   # NDRPDR iter env5
1213         - 9   # NDRPDR iter env5
1214         - 10  # NDRPDR iter env5
1215         - 11  # NDRPDR iter env5
1216         - 12  # NDRPDR iter env5
1217         - 13  # NDRPDR iter env5
1218         - 14  # NDRPDR iter env5
1219         - 15  # NDRPDR iter env5
1220
1221     dpdk-performance-changes-3n-skx-h1:
1222       csit-dpdk-perf-verify-2001-3n-skx:
1223         - 29  # NDRPDR sel xxv710
1224         - 33  # NDRPDR sel xxv710
1225         - 34  # NDRPDR sel xxv710
1226         - 35  # NDRPDR sel xxv710
1227         - 36  # NDRPDR sel xxv710
1228         - 37  # NDRPDR sel xxv710
1229         - 41  # NDRPDR sel xxv710
1230         - 42  # NDRPDR sel xxv710
1231         - 43  # NDRPDR sel xxv710
1232         - 45  # NDRPDR sel xxv710
1233         - 30  # NDRPDR sel x710
1234         - 31  # NDRPDR sel x710
1235         - 32  # NDRPDR sel x710
1236         - 38  # NDRPDR sel x710
1237         - 39  # NDRPDR sel x710
1238         - 40  # NDRPDR sel x710
1239         - 44  # NDRPDR sel x710
1240         - 46  # NDRPDR sel x710
1241         - 47  # NDRPDR sel x710
1242         - 48  # NDRPDR sel x710
1243     dpdk-performance-changes-3n-skx-ref:
1244       csit-dpdk-perf-report-iterative-2005-3n-skx:
1245         - 28  # NDRPDR iter
1246         - 29  # NDRPDR iter
1247         - 30  # NDRPDR iter
1248         - 31  # NDRPDR iter
1249         - 32  # NDRPDR iter
1250         - 33  # NDRPDR iter
1251         - 34  # NDRPDR iter
1252         - 35  # NDRPDR iter
1253         - 36  # NDRPDR iter
1254         - 37  # NDRPDR iter
1255     dpdk-performance-changes-3n-skx-cmp:
1256       csit-dpdk-perf-report-iterative-2009-3n-skx:
1257         - 4   # NDRPDR sel env5
1258         - 5   # NDRPDR sel env5
1259         - 6   # NDRPDR sel env5
1260         - 7   # NDRPDR sel env5
1261         - 8   # NDRPDR sel env5
1262         - 9   # NDRPDR sel env5
1263         - 14  # NDRPDR sel env5
1264         - 11  # NDRPDR sel env5
1265         - 12  # NDRPDR sel env5
1266         - 13  # NDRPDR sel env5
1267
1268     dpdk-performance-changes-2n-skx-h1:
1269       csit-dpdk-perf-verify-2001-2n-skx:
1270         - 35  # NDRPDR sel xxv710
1271         - 36  # NDRPDR sel xxv710
1272         - 37  # NDRPDR sel xxv710
1273         - 41  # NDRPDR sel xxv710
1274         - 42  # NDRPDR sel xxv710
1275         - 43  # NDRPDR sel xxv710
1276         - 46  # NDRPDR sel xxv710
1277         - 47  # NDRPDR sel xxv710
1278         - 52  # NDRPDR sel xxv710
1279         - 53  # NDRPDR sel xxv710
1280         - 38  # NDRPDR sel x710
1281         - 39  # NDRPDR sel x710
1282         - 40  # NDRPDR sel x710
1283         - 44  # NDRPDR sel x710
1284         - 45  # NDRPDR sel x710
1285         - 48  # NDRPDR sel x710
1286         - 49  # NDRPDR sel x710
1287         - 50  # NDRPDR sel x710
1288         - 51  # NDRPDR sel x710
1289         - 54  # NDRPDR sel x710
1290     dpdk-performance-changes-2n-skx-ref:
1291       csit-dpdk-perf-report-iterative-2005-2n-skx:
1292         - 20  # NDRPDR iter
1293         - 21  # NDRPDR iter
1294         - 22  # NDRPDR iter
1295         - 23  # NDRPDR iter
1296         - 24  # NDRPDR iter
1297         - 25  # NDRPDR iter
1298         - 26  # NDRPDR iter
1299         - 27  # NDRPDR iter
1300         - 28  # NDRPDR iter
1301         - 29  # NDRPDR iter
1302     dpdk-performance-changes-2n-skx-cmp:
1303       csit-dpdk-perf-report-iterative-2009-2n-skx:
1304         - 4   # NDRPDR iter env5
1305         - 5   # NDRPDR iter env5
1306         - 6   # NDRPDR iter env5
1307         - 7   # NDRPDR iter env5
1308         - 8   # NDRPDR iter env5
1309         - 9   # NDRPDR iter env5
1310         - 10  # NDRPDR iter env5
1311         - 11  # NDRPDR iter env5
1312         - 12  # NDRPDR iter env5
1313         - 13  # NDRPDR iter env5
1314
1315     dpdk-performance-changes-2n-clx-h1:
1316       csit-dpdk-perf-verify-2001-2n-clx:
1317         - 15  # NDRPDR sel
1318         - 16  # NDRPDR sel
1319         - 17  # NDRPDR sel
1320         - 18  # NDRPDR sel
1321         - 19  # NDRPDR sel
1322         - 20  # NDRPDR sel
1323         - 21  # NDRPDR sel
1324         - 22  # NDRPDR sel
1325         - 23  # NDRPDR sel
1326         - 24  # NDRPDR sel
1327         - 25  # NDRPDR sel
1328         - 26  # NDRPDR sel
1329         - 27  # NDRPDR sel
1330         - 28  # NDRPDR sel
1331         - 29  # NDRPDR sel
1332         - 30  # NDRPDR sel
1333         - 31  # NDRPDR sel
1334         - 32  # NDRPDR sel
1335         - 33  # NDRPDR sel
1336         - 34  # NDRPDR sel
1337     dpdk-performance-changes-2n-clx-ref:
1338       csit-dpdk-perf-report-iterative-2005-2n-clx:
1339         - 20  # NDRPDR iter
1340         - 21  # NDRPDR iter
1341         - 22  # NDRPDR iter
1342         - 23  # NDRPDR iter
1343         - 24  # NDRPDR iter
1344         - 25  # NDRPDR iter
1345         - 26  # NDRPDR iter
1346         - 27  # NDRPDR iter
1347         - 28  # NDRPDR iter
1348         - 29  # NDRPDR iter
1349     dpdk-performance-changes-2n-clx-cmp:
1350       csit-dpdk-perf-report-iterative-2009-2n-clx:
1351         - 4   # NDRPDR iter env5
1352         - 5   # NDRPDR iter env5
1353         - 6   # NDRPDR iter env5
1354         - 7   # NDRPDR iter env5
1355         - 8   # NDRPDR iter env5
1356         - 9   # NDRPDR iter env5
1357         - 10  # NDRPDR iter env5
1358         - 11  # NDRPDR iter env5
1359         - 12  # NDRPDR iter env5
1360         - 13  # NDRPDR iter env5
1361
1362 #    dpdk-performance-changes-2n-dnv-h1:
1363 #      csit-dpdk-perf-verify-2001-2n-dnv:
1364 #        - 9   # NDRPDR sel
1365 #        - 10  # NDRPDR sel
1366 #        - 11  # NDRPDR sel
1367 #        - 12  # NDRPDR sel
1368 #        - 13  # NDRPDR sel
1369 #        - 14  # NDRPDR sel
1370 #        - 15  # NDRPDR sel
1371 #        - 16  # NDRPDR sel
1372 #        - 17  # NDRPDR sel
1373 #        - 18  # NDRPDR sel
1374 #    dpdk-performance-changes-2n-dnv-ref:
1375 #      # No data
1376 #    dpdk-performance-changes-2n-dnv-cmp:
1377 #      # No data
1378 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1379
1380 #    dpdk-performance-changes-3n-dnv-h1:
1381 #      csit-dpdk-perf-verify-2001-3n-dnv:
1382 #        - 12  # NDRPDR sel
1383 #        - 13  # NDRPDR sel
1384 #        - 14  # NDRPDR sel
1385 #        - 15  # NDRPDR sel
1386 #        - 16  # NDRPDR sel
1387 #        - 17  # NDRPDR sel
1388 #        - 18  # NDRPDR sel
1389 #        - 19  # NDRPDR sel
1390 #        - 20  # NDRPDR sel
1391 #        - 22  # NDRPDR sel
1392 #    dpdk-performance-changes-3n-dnv-ref:
1393 #      # No data
1394 #    dpdk-performance-changes-3n-dnv-cmp:
1395 #      # No data
1396 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1397
1398     dpdk-performance-changes-3n-tsh-h1:
1399       csit-dpdk-perf-verify-2001-3n-tsh:
1400         - 3   # NDRPDR sel
1401         - 4   # NDRPDR sel
1402         - 5   # NDRPDR sel
1403         - 9   # NDRPDR sel
1404         - 10  # NDRPDR sel
1405         - 11  # NDRPDR sel
1406         - 12  # NDRPDR sel
1407         - 14  # NDRPDR sel
1408         - 15  # NDRPDR sel
1409         - 18  # NDRPDR sel
1410     dpdk-performance-changes-3n-tsh-ref:
1411       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1412         - 5   # NDRPDR sel
1413     dpdk-performance-changes-3n-tsh-cmp:
1414       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1415         - 1   # NDRPDR iter env5
1416         - 2   # NDRPDR iter env5
1417         - 3   # NDRPDR iter env5
1418         - 4   # NDRPDR iter env5
1419         - 5   # NDRPDR iter env5
1420         - 6   # NDRPDR iter env5
1421         - 7   # NDRPDR iter env5
1422         - 9   # NDRPDR iter env5
1423         - 10  # NDRPDR iter env5
1424         - 11  # NDRPDR iter env5
1425
1426     # Compare testbeds
1427
1428     vpp-compare-testbeds-ref:
1429       csit-vpp-perf-report-iterative-2009-3n-hsw:
1430         - 21  # rls2009 NDRPDR iter env 5
1431         - 22  # rls2009 NDRPDR iter env 5
1432         - 24  # rls2009 NDRPDR iter env 5
1433         - 25  # rls2009 NDRPDR iter env 5
1434         - 26  # rls2009 NDRPDR iter env 5
1435         - 27  # rls2009 NDRPDR iter env 5
1436         - 28  # rls2009 NDRPDR iter env 5
1437         - 29  # rls2009 NDRPDR iter env 5
1438         - 30  # rls2009 NDRPDR iter env 5
1439         - 31  # rls2009 NDRPDR iter env 5
1440     vpp-compare-testbeds-cmp:
1441       csit-vpp-perf-report-iterative-2009-3n-skx:
1442         - 26  # rls2009 NDRPDR iter env 5
1443         - 27  # rls2009 NDRPDR iter env 5
1444         - 28  # rls2009 NDRPDR iter env 5
1445         - 29  # rls2009 NDRPDR iter env 5
1446         - 35  # rls2009 NDRPDR iter env 5
1447         - 36  # rls2009 NDRPDR iter env 5
1448         - 37  # rls2009 NDRPDR iter env 5
1449         - 38  # rls2009 NDRPDR iter env 5
1450         - 39  # rls2009 NDRPDR iter env 5
1451         - 40  # rls2009 NDRPDR iter env 5
1452
1453     vpp-compare-testbeds-skx-clx-ref:
1454       csit-vpp-perf-report-iterative-2009-2n-skx:
1455         - 35  # rls2009 NDRPDR iter env 5
1456         - 36  # rls2009 NDRPDR iter env 5
1457         - 37  # rls2009 NDRPDR iter env 5
1458         - 39  # rls2009 NDRPDR iter env 5
1459         - 40  # rls2009 NDRPDR iter env 5
1460         - 42  # rls2009 NDRPDR iter env 5
1461         - 43  # rls2009 NDRPDR iter env 5
1462         - 44  # rls2009 NDRPDR iter env 5
1463         - 46  # rls2009 NDRPDR iter env 5
1464         - 48  # rls2009 NDRPDR iter env 5
1465         - 51  # rls2009 NDRPDR iter NAT44 env 5
1466         - 52  # rls2009 NDRPDR iter NAT44 env 5
1467         - 53  # rls2009 NDRPDR iter NAT44 env 5
1468         - 54  # rls2009 NDRPDR iter NAT44 env 5
1469         - 55  # rls2009 NDRPDR iter NAT44 env 5
1470         - 56  # rls2009 NDRPDR iter NAT44 env 5
1471         - 57  # rls2009 NDRPDR iter NAT44 env 5
1472         - 58  # rls2009 NDRPDR iter NAT44 env 5
1473         - 59  # rls2009 NDRPDR iter NAT44 env 5
1474         - 60  # rls2009 NDRPDR iter NAT44 env 5
1475     vpp-compare-testbeds-skx-clx-cmp:
1476       csit-vpp-perf-report-iterative-2009-2n-clx:
1477         - 36  # rls2009 NDRPDR iter env 5
1478         - 39  # rls2009 NDRPDR iter env 5
1479         - 40  # rls2009 NDRPDR iter env 5
1480         - 65  # rls2009 NDRPDR iter env 5
1481         - 66  # rls2009 NDRPDR iter env 5
1482         - 79  # rls2009 NDRPDR iter env 5
1483         - 82  # rls2009 NDRPDR iter env 5
1484         - 88  # rls2009 NDRPDR iter env 5
1485         - 89  # rls2009 NDRPDR iter env 5
1486         - 90  # rls2009 NDRPDR iter env 5
1487
1488     vpp-compare-testbeds-hsw-clx-ref:
1489       csit-vpp-perf-report-iterative-2009-3n-hsw:
1490         - 21  # rls2009 NDRPDR iter env 5
1491         - 22  # rls2009 NDRPDR iter env 5
1492         - 24  # rls2009 NDRPDR iter env 5
1493         - 25  # rls2009 NDRPDR iter env 5
1494         - 26  # rls2009 NDRPDR iter env 5
1495         - 27  # rls2009 NDRPDR iter env 5
1496         - 28  # rls2009 NDRPDR iter env 5
1497         - 29  # rls2009 NDRPDR iter env 5
1498         - 30  # rls2009 NDRPDR iter env 5
1499         - 31  # rls2009 NDRPDR iter env 5
1500     vpp-compare-testbeds-hsw-clx-cmp:
1501       csit-vpp-perf-report-iterative-2009-2n-clx:
1502         - 36  # rls2009 NDRPDR iter env 5
1503         - 39  # rls2009 NDRPDR iter env 5
1504         - 40  # rls2009 NDRPDR iter env 5
1505         - 65  # rls2009 NDRPDR iter env 5
1506         - 66  # rls2009 NDRPDR iter env 5
1507         - 79  # rls2009 NDRPDR iter env 5
1508         - 82  # rls2009 NDRPDR iter env 5
1509         - 88  # rls2009 NDRPDR iter env 5
1510         - 89  # rls2009 NDRPDR iter env 5
1511         - 90  # rls2009 NDRPDR iter env 5
1512
1513     vpp-compare-testbeds-mrr-ref:
1514       csit-vpp-perf-report-iterative-2009-3n-hsw:
1515         - 23  # rls2009 MRR iter env 5
1516     vpp-compare-testbeds-mrr-cmp:
1517       csit-vpp-perf-report-iterative-2009-3n-skx:
1518         - 24  # rls2009 MRR iter env 5
1519
1520     vpp-compare-testbeds-mrr-skx-clx-ref:
1521       csit-vpp-perf-report-iterative-2009-2n-skx:
1522         - 26  # rls2009 MRR iter env 5
1523     vpp-compare-testbeds-mrr-skx-clx-cmp:
1524       csit-vpp-perf-report-iterative-2009-2n-clx:
1525         - 78  # rls2009 MRR iter env 5
1526
1527     vpp-compare-testbeds-mrr-hsw-clx-ref:
1528       csit-vpp-perf-report-iterative-2009-3n-hsw:
1529         - 23  # rls2009 MRR iter env 5
1530     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1531       csit-vpp-perf-report-iterative-2009-2n-clx:
1532         - 78  # rls2009 MRR iter env 5
1533
1534     dpdk-compare-testbeds-ref:
1535       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1536         - 6   # NDRPDR iter env5
1537         - 7   # NDRPDR iter env5
1538         - 8   # NDRPDR iter env5
1539         - 9   # NDRPDR iter env5
1540         - 10  # NDRPDR iter env5
1541         - 11  # NDRPDR iter env5
1542         - 12  # NDRPDR iter env5
1543         - 13  # NDRPDR iter env5
1544         - 14  # NDRPDR iter env5
1545         - 15  # NDRPDR iter env5
1546     dpdk-compare-testbeds-cmp:
1547       csit-dpdk-perf-report-iterative-2009-3n-skx:
1548         - 4   # NDRPDR sel env5
1549         - 5   # NDRPDR sel env5
1550         - 6   # NDRPDR sel env5
1551         - 7   # NDRPDR sel env5
1552         - 8   # NDRPDR sel env5
1553         - 9   # NDRPDR sel env5
1554         - 14  # NDRPDR sel env5
1555         - 11  # NDRPDR sel env5
1556         - 12  # NDRPDR sel env5
1557         - 13  # NDRPDR sel env5
1558
1559     dpdk-compare-testbeds-skx-clx-ref:
1560       csit-dpdk-perf-report-iterative-2009-2n-skx:
1561         - 4   # NDRPDR iter env5
1562         - 5   # NDRPDR iter env5
1563         - 6   # NDRPDR iter env5
1564         - 7   # NDRPDR iter env5
1565         - 8   # NDRPDR iter env5
1566         - 9   # NDRPDR iter env5
1567         - 10  # NDRPDR iter env5
1568         - 11  # NDRPDR iter env5
1569         - 12  # NDRPDR iter env5
1570         - 13  # NDRPDR iter env5
1571     dpdk-compare-testbeds-skx-clx-cmp:
1572       csit-dpdk-perf-report-iterative-2009-2n-clx:
1573         - 4   # NDRPDR iter env5
1574         - 5   # NDRPDR iter env5
1575         - 6   # NDRPDR iter env5
1576         - 7   # NDRPDR iter env5
1577         - 8   # NDRPDR iter env5
1578         - 9   # NDRPDR iter env5
1579         - 10  # NDRPDR iter env5
1580         - 11  # NDRPDR iter env5
1581         - 12  # NDRPDR iter env5
1582         - 13  # NDRPDR iter env5
1583
1584     # Compare topologies
1585
1586     vpp-compare-topologies-ref:
1587       csit-vpp-perf-report-iterative-2009-3n-skx:
1588         - 26  # rls2009 NDRPDR iter env 5
1589         - 27  # rls2009 NDRPDR iter env 5
1590         - 28  # rls2009 NDRPDR iter env 5
1591         - 29  # rls2009 NDRPDR iter env 5
1592         - 35  # rls2009 NDRPDR iter env 5
1593         - 36  # rls2009 NDRPDR iter env 5
1594         - 37  # rls2009 NDRPDR iter env 5
1595         - 38  # rls2009 NDRPDR iter env 5
1596         - 39  # rls2009 NDRPDR iter env 5
1597         - 40  # rls2009 NDRPDR iter env 5
1598     vpp-compare-topologies-cmp:
1599       csit-vpp-perf-report-iterative-2009-2n-skx:
1600         - 35  # rls2009 NDRPDR iter env 5
1601         - 36  # rls2009 NDRPDR iter env 5
1602         - 37  # rls2009 NDRPDR iter env 5
1603         - 39  # rls2009 NDRPDR iter env 5
1604         - 40  # rls2009 NDRPDR iter env 5
1605         - 42  # rls2009 NDRPDR iter env 5
1606         - 43  # rls2009 NDRPDR iter env 5
1607         - 44  # rls2009 NDRPDR iter env 5
1608         - 46  # rls2009 NDRPDR iter env 5
1609         - 48  # rls2009 NDRPDR iter env 5
1610
1611     vpp-compare-topologies-mrr-ref:
1612       csit-vpp-perf-report-iterative-2009-3n-skx:
1613         - 24  # rls2009 MRR iter env 5
1614     vpp-compare-topologies-mrr-cmp:
1615       csit-vpp-perf-report-iterative-2009-2n-skx:
1616         - 26  # rls2009 MRR iter env 5
1617
1618     dpdk-compare-topologies-ref:
1619       csit-dpdk-perf-report-iterative-2009-3n-skx:
1620         - 4   # NDRPDR sel env5
1621         - 5   # NDRPDR sel env5
1622         - 6   # NDRPDR sel env5
1623         - 7   # NDRPDR sel env5
1624         - 8   # NDRPDR sel env5
1625         - 9   # NDRPDR sel env5
1626         - 14  # NDRPDR sel env5
1627         - 11  # NDRPDR sel env5
1628         - 12  # NDRPDR sel env5
1629         - 13  # NDRPDR sel env5
1630     dpdk-compare-topologies-cmp:
1631       csit-dpdk-perf-report-iterative-2009-2n-skx:
1632         - 4   # NDRPDR iter env5
1633         - 5   # NDRPDR iter env5
1634         - 6   # NDRPDR iter env5
1635         - 7   # NDRPDR iter env5
1636         - 8   # NDRPDR iter env5
1637         - 9   # NDRPDR iter env5
1638         - 10  # NDRPDR iter env5
1639         - 11  # NDRPDR iter env5
1640         - 12  # NDRPDR iter env5
1641         - 13  # NDRPDR iter env5
1642
1643   plot-layouts:
1644
1645     plot-soak-throughput:
1646       titlefont:
1647         size: 16
1648       xaxis:
1649         title: "<b>Test Cases [Index]</b>"
1650         titlefont:
1651           size: 14
1652         autorange: True
1653         fixedrange: False
1654         gridcolor: "rgb(230, 230, 230)"
1655         linecolor: "rgb(220, 220, 220)"
1656         linewidth: 1
1657         showgrid: True
1658         showline: True
1659         showticklabels: True
1660         tickcolor: "rgb(220, 220, 220)"
1661         tickmode: "linear"
1662         tickfont:
1663           size: 14
1664         zeroline: False
1665       yaxis:
1666         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1667         titlefont:
1668           size: 14
1669         gridcolor: "rgb(230, 230, 230)"
1670         hoverformat: ".4r"
1671         tickformat: ".3r"
1672         linecolor: "rgb(220, 220, 220)"
1673         linewidth: 1
1674         showgrid: True
1675         showline: True
1676         showticklabels: True
1677         tickcolor: "rgb(220, 220, 220)"
1678         tickfont:
1679           size: 14
1680         zeroline: False
1681         range: [0,50]
1682       autosize: False
1683       margin:
1684         t: 50
1685         b: 0
1686         l: 80
1687         r: 20
1688       showlegend: True
1689       legend:
1690         orientation: "h"
1691         font:
1692           size: 14
1693       width: 700
1694       height: 900
1695       paper_bgcolor: "#fff"
1696       plot_bgcolor: "#fff"
1697       hoverlabel:
1698         namelength: -1
1699
1700     plot-service-density:
1701       titlefont:
1702         size: 16
1703       xaxis:
1704         side: "top"
1705         autorange: True
1706         fixedrange: False
1707         showgrid: False
1708         showline: False
1709         showticklabels: False
1710         ticks: ""
1711         ticklen: 0
1712         tickwidth: 0
1713         zeroline: False
1714       yaxis:
1715         autorange: "reversed"
1716         showgrid: False
1717         showline: False
1718         showticklabels: False
1719         ticks: ""
1720         ticklen: 0
1721         tickwidth: 0
1722         zeroline: False
1723       showlegend: False
1724       paper_bgcolor: "#fff"
1725       plot_bgcolor: "#fff"
1726       width: 700
1727       height: 700
1728       hoverlabel:
1729         namelength: -1
1730
1731     plot-hoststack:
1732       titlefont:
1733         size: 16
1734       xaxis:
1735         title: "<b>Test Cases [Index]</b>"
1736         titlefont:
1737           size: 14
1738         autorange: True
1739         fixedrange: False
1740         gridcolor: "rgb(230, 230, 230)"
1741         linecolor: "rgb(220, 220, 220)"
1742         linewidth: 1
1743         showgrid: True
1744         showline: True
1745         showticklabels: True
1746         tickcolor: "rgb(220, 220, 220)"
1747         tickmode: "linear"
1748         tickfont:
1749           size: 14
1750         zeroline: False
1751       yaxis:
1752         title: "<b>Bandwidth [Gbps]</b>"
1753         titlefont:
1754           size: 14
1755         gridcolor: "rgb(230, 230, 230)"
1756         hoverformat: ".4s"
1757         linecolor: "rgb(220, 220, 220)"
1758         linewidth: 1
1759         rangemode: "tozero"
1760         showgrid: True
1761         showline: True
1762         showticklabels: True
1763         tickcolor: "rgb(230, 230, 230)"
1764         tickformat: ".3s"
1765         tickfont:
1766           size: 14
1767         zeroline: False
1768       autosize: False
1769       margin:
1770         t: 50
1771         b: 20
1772         l: 80
1773         r: 20
1774       showlegend: True
1775       legend:
1776         orientation: "h"
1777         font:
1778           size: 14
1779       width: 700
1780       height: 800
1781       paper_bgcolor: "#fff"
1782       plot_bgcolor: "#fff"
1783       hoverlabel:
1784         namelength: -1
1785
1786     plot-throughput:
1787       titlefont:
1788         size: 16
1789       xaxis:
1790         title: "<b>Test Cases [Index]</b>"
1791         titlefont:
1792           size: 14
1793         autorange: True
1794         fixedrange: False
1795         gridcolor: "rgb(230, 230, 230)"
1796         linecolor: "rgb(220, 220, 220)"
1797         linewidth: 1
1798         showgrid: True
1799         showline: True
1800         showticklabels: True
1801         tickcolor: "rgb(220, 220, 220)"
1802         tickmode: "linear"
1803         tickfont:
1804           size: 14
1805         zeroline: False
1806       yaxis:
1807         title: "<b>Packet Throughput [Mpps]</b>"
1808         titlefont:
1809           size: 14
1810         gridcolor: "rgb(230, 230, 230)"
1811         hoverformat: ".4r"
1812         tickformat: ".3r"
1813         linecolor: "rgb(220, 220, 220)"
1814         linewidth: 1
1815         showgrid: True
1816         showline: True
1817         showticklabels: True
1818         tickcolor: "rgb(220, 220, 220)"
1819         tickfont:
1820           size: 14
1821         zeroline: False
1822         range: [0,50]
1823       autosize: False
1824       margin:
1825         t: 50
1826         b: 0
1827         l: 80
1828         r: 20
1829       showlegend: True
1830       legend:
1831         orientation: "h"
1832         font:
1833           size: 14
1834       width: 700
1835       height: 900
1836       paper_bgcolor: "#fff"
1837       plot_bgcolor: "#fff"
1838       hoverlabel:
1839         namelength: -1
1840
1841     plot-throughput-gbps:
1842       titlefont:
1843         size: 16
1844       xaxis:
1845         title: "<b>Test Cases [Index]</b>"
1846         titlefont:
1847           size: 14
1848         autorange: True
1849         fixedrange: False
1850         gridcolor: "rgb(230, 230, 230)"
1851         linecolor: "rgb(220, 220, 220)"
1852         linewidth: 1
1853         showgrid: True
1854         showline: True
1855         showticklabels: True
1856         tickcolor: "rgb(220, 220, 220)"
1857         tickmode: "linear"
1858         tickfont:
1859           size: 14
1860         zeroline: False
1861       yaxis:
1862         title: "<b>Packet Throughput [Gbps]</b>"
1863         titlefont:
1864           size: 14
1865         gridcolor: "rgb(230, 230, 230)"
1866         hoverformat: ".4r"
1867         tickformat: ".3r"
1868         linecolor: "rgb(220, 220, 220)"
1869         linewidth: 1
1870         showgrid: True
1871         showline: True
1872         showticklabels: True
1873         tickcolor: "rgb(220, 220, 220)"
1874         tickfont:
1875           size: 14
1876         zeroline: False
1877         range: [0,10]
1878       autosize: False
1879       margin:
1880         t: 50
1881         b: 0
1882         l: 80
1883         r: 20
1884       showlegend: True
1885       legend:
1886         orientation: "h"
1887         font:
1888           size: 14
1889       width: 700
1890       height: 900
1891       paper_bgcolor: "#fff"
1892       plot_bgcolor: "#fff"
1893       hoverlabel:
1894         namelength: -1
1895
1896     plot-cps:
1897       titlefont:
1898         size: 16
1899       xaxis:
1900         title: "<b>Test Cases [Index]</b>"
1901         titlefont:
1902           size: 14
1903         autorange: True
1904         fixedrange: False
1905         gridcolor: "rgb(230, 230, 230)"
1906         linecolor: "rgb(220, 220, 220)"
1907         linewidth: 1
1908         showgrid: True
1909         showline: True
1910         showticklabels: True
1911         tickcolor: "rgb(220, 220, 220)"
1912         tickmode: "linear"
1913         tickfont:
1914           size: 14
1915         zeroline: False
1916       yaxis:
1917         title: "<b>Connections Per Second [cps]</b>"
1918         titlefont:
1919           size: 14
1920         gridcolor: "rgb(230, 230, 230)"
1921         hoverformat: ".4r"
1922         tickformat: ".3s"
1923         linecolor: "rgb(220, 220, 220)"
1924         linewidth: 1
1925         showgrid: True
1926         showline: True
1927         showticklabels: True
1928         tickcolor: "rgb(220, 220, 220)"
1929         tickfont:
1930           size: 14
1931         zeroline: False
1932         range: [0,10]
1933       autosize: False
1934       margin:
1935         t: 50
1936         b: 0
1937         l: 80
1938         r: 20
1939       showlegend: True
1940       legend:
1941         orientation: "h"
1942         font:
1943           size: 14
1944       width: 700
1945       height: 900
1946       paper_bgcolor: "#fff"
1947       plot_bgcolor: "#fff"
1948       hoverlabel:
1949         namelength: -1
1950
1951     plot-throughput-speedup-analysis:
1952       titlefont:
1953         size: 16
1954       xaxis:
1955         title: "<b>Number of Cores [Qty]</b>"
1956         titlefont:
1957           size: 14
1958         autorange: True
1959         fixedrange: False
1960         gridcolor: "rgb(230, 230, 230)"
1961         linecolor: "rgb(220, 220, 220)"
1962         linewidth: 1
1963         showgrid: True
1964         showline: True
1965         showticklabels: True
1966         tickcolor: "rgb(238, 238, 238)"
1967         tickmode: "linear"
1968         tickfont:
1969           size: 14
1970         zeroline: False
1971       yaxis:
1972         title: "<b>Packet Throughput [Mpps]</b>"
1973         titlefont:
1974           size: 14
1975         type: "linear"
1976         gridcolor: "rgb(230, 230, 230)"
1977         hoverformat: ".4s"
1978         linecolor: "rgb(220, 220, 220)"
1979         linewidth: 1
1980         showgrid: True
1981         showline: True
1982         showticklabels: True
1983         tickcolor: "rgb(220, 220, 220)"
1984         tickformat: ".4s"
1985         tickfont:
1986           size: 14
1987         zeroline: True
1988         rangemode: "tozero"
1989         range: [0,100]
1990       legend:
1991         orientation: "h"
1992         font:
1993           size: 14
1994         xanchor: "left"
1995         yanchor: "top"
1996         x: 0
1997         y: -0.2
1998         bgcolor: "rgba(255, 255, 255, 0)"
1999         bordercolor: "rgba(255, 255, 255, 0)"
2000         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2001       autosize: False
2002       margin:
2003           't': 50
2004           'b': 150
2005           'l': 85
2006           'r': 10
2007       showlegend: True
2008       width: 700
2009       height: 700
2010       paper_bgcolor: "#fff"
2011       plot_bgcolor: "#fff"
2012       hoverlabel:
2013         namelength: -1
2014       annotations: [
2015         {
2016           text: "_ _          __          ...",
2017           align: "left",
2018           showarrow: False,
2019           xref: "paper",
2020           yref: "paper",
2021           xanchor: "left",
2022           yanchor: "top",
2023           x: 0,
2024           y: -0.14,
2025           font: {
2026             family: "Consolas, Courier New",
2027             size: 13
2028           },
2029         },
2030         {
2031           text: "    Perfect     Measured     Limit",
2032           align: "left",
2033           showarrow: False,
2034           xref: "paper",
2035           yref: "paper",
2036           xanchor: "left",
2037           yanchor: "top",
2038           x: 0,
2039           y: -0.15,
2040           font: {
2041             family: "Consolas, Courier New",
2042             size: 13
2043           },
2044         },
2045       ]
2046
2047     plot-throughput-speedup-analysis-gbps:
2048       titlefont:
2049         size: 16
2050       xaxis:
2051         title: "<b>Number of Cores [Qty]</b>"
2052         titlefont:
2053           size: 14
2054         autorange: True
2055         fixedrange: False
2056         gridcolor: "rgb(230, 230, 230)"
2057         linecolor: "rgb(220, 220, 220)"
2058         linewidth: 1
2059         showgrid: True
2060         showline: True
2061         showticklabels: True
2062         tickcolor: "rgb(238, 238, 238)"
2063         tickmode: "linear"
2064         tickfont:
2065           size: 14
2066         zeroline: False
2067       yaxis:
2068         title: "<b>Packet Throughput [Gbps]</b>"
2069         titlefont:
2070           size: 14
2071         type: "linear"
2072         gridcolor: "rgb(230, 230, 230)"
2073         hoverformat: ".4s"
2074         linecolor: "rgb(220, 220, 220)"
2075         linewidth: 1
2076         showgrid: True
2077         showline: True
2078         showticklabels: True
2079         tickcolor: "rgb(220, 220, 220)"
2080         tickformat: ".4s"
2081         tickfont:
2082           size: 14
2083         zeroline: True
2084         rangemode: "tozero"
2085         range: [0,100]
2086       legend:
2087         orientation: "h"
2088         font:
2089           size: 14
2090         xanchor: "left"
2091         yanchor: "top"
2092         x: 0
2093         y: -0.2
2094         bgcolor: "rgba(255, 255, 255, 0)"
2095         bordercolor: "rgba(255, 255, 255, 0)"
2096         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2097       autosize: False
2098       margin:
2099           't': 50
2100           'b': 150
2101           'l': 85
2102           'r': 10
2103       showlegend: True
2104       width: 700
2105       height: 700
2106       paper_bgcolor: "#fff"
2107       plot_bgcolor: "#fff"
2108       hoverlabel:
2109         namelength: -1
2110       annotations: [
2111         {
2112           text: "_ _          __",
2113           align: "left",
2114           showarrow: False,
2115           xref: "paper",
2116           yref: "paper",
2117           xanchor: "left",
2118           yanchor: "top",
2119           x: 0,
2120           y: -0.13,
2121           font: {
2122             family: "Consolas, Courier New",
2123             size: 13
2124           },
2125         },
2126         {
2127           text: "    Perfect     Measured",
2128           align: "left",
2129           showarrow: False,
2130           xref: "paper",
2131           yref: "paper",
2132           xanchor: "left",
2133           yanchor: "top",
2134           x: 0,
2135           y: -0.15,
2136           font: {
2137             family: "Consolas, Courier New",
2138             size: 13
2139           },
2140         },
2141       ]
2142
2143     plot-throughput-speedup-analysis-cps:
2144       titlefont:
2145         size: 16
2146       xaxis:
2147         title: "<b>Number of Cores [Qty]</b>"
2148         titlefont:
2149           size: 14
2150         autorange: True
2151         fixedrange: False
2152         gridcolor: "rgb(230, 230, 230)"
2153         linecolor: "rgb(220, 220, 220)"
2154         linewidth: 1
2155         showgrid: True
2156         showline: True
2157         showticklabels: True
2158         tickcolor: "rgb(238, 238, 238)"
2159         tickmode: "linear"
2160         tickfont:
2161           size: 14
2162         zeroline: False
2163       yaxis:
2164         title: "<b>Connections Per Second [cps]</b>"
2165         titlefont:
2166           size: 14
2167         type: "linear"
2168         gridcolor: "rgb(230, 230, 230)"
2169         hoverformat: ".4s"
2170         linecolor: "rgb(220, 220, 220)"
2171         linewidth: 1
2172         showgrid: True
2173         showline: True
2174         showticklabels: True
2175         tickcolor: "rgb(220, 220, 220)"
2176         tickformat: ".4s"
2177         tickfont:
2178           size: 14
2179         zeroline: True
2180         rangemode: "tozero"
2181         range: [0,100]
2182       legend:
2183         orientation: "h"
2184         font:
2185           size: 14
2186         xanchor: "left"
2187         yanchor: "top"
2188         x: 0
2189         y: -0.2
2190         bgcolor: "rgba(255, 255, 255, 0)"
2191         bordercolor: "rgba(255, 255, 255, 0)"
2192         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2193       autosize: False
2194       margin:
2195           't': 50
2196           'b': 150
2197           'l': 85
2198           'r': 10
2199       showlegend: True
2200       width: 700
2201       height: 700
2202       paper_bgcolor: "#fff"
2203       plot_bgcolor: "#fff"
2204       hoverlabel:
2205         namelength: -1
2206       annotations: [
2207         {
2208           text: "_ _          __",
2209           align: "left",
2210           showarrow: False,
2211           xref: "paper",
2212           yref: "paper",
2213           xanchor: "left",
2214           yanchor: "top",
2215           x: 0,
2216           y: -0.13,
2217           font: {
2218             family: "Consolas, Courier New",
2219             size: 13
2220           },
2221         },
2222         {
2223           text: "    Perfect     Measured",
2224           align: "left",
2225           showarrow: False,
2226           xref: "paper",
2227           yref: "paper",
2228           xanchor: "left",
2229           yanchor: "top",
2230           x: 0,
2231           y: -0.15,
2232           font: {
2233             family: "Consolas, Courier New",
2234             size: 13
2235           },
2236         },
2237       ]
2238
2239     plot-latency:
2240       titlefont:
2241         size: 16
2242       xaxis:
2243         title: "<b>Direction</b>"
2244         titlefont:
2245           size: 14
2246         autorange: True
2247         fixedrange: False
2248         gridcolor: "rgb(230, 230, 230)"
2249         linecolor: "rgb(220, 220, 220)"
2250         linewidth: 1
2251         showgrid: True
2252         showline: True
2253         showticklabels: False
2254         tickcolor: "rgb(220, 220, 220)"
2255         tickmode: "linear"
2256         tickfont:
2257           size: 14
2258         zeroline: False
2259       yaxis:
2260         title: "<b>Packet Latency [uSec]</b>"
2261         titlefont:
2262           size: 14
2263         type: "linear"
2264         gridcolor: "rgb(230, 230, 230)"
2265         hoverformat: ".4s"
2266         linecolor: "rgb(220, 220, 220)"
2267         linewidth: 1
2268         showgrid: True
2269         showline: True
2270         showticklabels: True
2271         tickcolor: "rgb(220, 220, 220)"
2272         tickformat: ".4s"
2273         tickfont:
2274           size: 14
2275         zeroline: True
2276         rangemode: "tozero"
2277       legend:
2278         orientation: "h"
2279         font:
2280           size: 14
2281         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2282       autosize: False
2283       margin:
2284           't': 50
2285           'b': 150
2286           'l': 80
2287           'r': 10
2288       showlegend: True
2289       width: 700
2290       height: 700
2291       paper_bgcolor: "#fff"
2292       plot_bgcolor: "#fff"
2293       hoverlabel:
2294         namelength: -1
2295
2296     plot-hdrh-latency:
2297       title:
2298         text: ""
2299         xanchor: "center"
2300         x: 0.5
2301         font:
2302           size: 16
2303       width: 700
2304       plot_bgcolor: "white"
2305       annotations:
2306         - font:
2307             size: 14
2308           showarrow: False
2309           text: "<b>Packet Latency [uSec]</b>"
2310           x: 1
2311           xanchor: "right"
2312           xref: "paper"
2313           y: -0.045
2314           yanchor: "top"
2315           yref: "paper"
2316         - font:
2317             size: 14
2318           showarrow: False
2319           text: "<b>Probability [%]</b>"
2320           textangle: 270
2321           x: -0.06
2322           xanchor: "center"
2323           xref: "paper"
2324           y: 0.5
2325           yanchor: "middle"
2326           yref: "paper"
2327         - font:
2328             size: 14
2329           showarrow: False
2330           text: "<b>Direction: E-W</b>"
2331           x: 0.24
2332           xanchor: "center"
2333           xref: "paper"
2334           y: 1.05
2335           yanchor: "bottom"
2336           yref: "paper"
2337         - font:
2338             size: 14
2339           showarrow: False
2340           text: "<b>Direction: W-E</b>"
2341           x: 0.74
2342           xanchor: "center"
2343           xref: "paper"
2344           y: 1.05
2345           yanchor: "bottom"
2346           yref: "paper"
2347
2348     plot-hdrh-latency-percentile:
2349       title:
2350         text: ""
2351         xanchor: "center"
2352         x: 0.5
2353         font:
2354           size: 16
2355       xaxis:
2356         type: "log"
2357         title: "<b>Percentile [%]</b>"
2358         titlefont:
2359           size: 14
2360         autorange: True
2361         fixedrange: False
2362         gridcolor: "rgb(230, 230, 230)"
2363         linecolor: "rgb(220, 220, 220)"
2364         linewidth: 1
2365         showgrid: True
2366         showline: True
2367         showticklabels: True
2368         tickcolor: "rgb(220, 220, 220)"
2369         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2370         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2371         tickfont:
2372           size: 14
2373       yaxis:
2374         title: "<b>Packet Latency [uSec]</b>"
2375         titlefont:
2376           size: 14
2377         gridcolor: "rgb(230, 230, 230)"
2378         linecolor: "rgb(220, 220, 220)"
2379         linewidth: 1
2380         showgrid: True
2381         showline: True
2382         showticklabels: True
2383         tickcolor: "rgb(220, 220, 220)"
2384         tickfont:
2385           size: 14
2386       autosize: False
2387       showlegend: True
2388       legend:
2389         traceorder: "normal"
2390         orientation: "h"
2391         font:
2392           size: 14
2393         xanchor: "left"
2394         yanchor: "top"
2395         x: 0
2396         y: -0.15
2397         bgcolor: "rgba(255, 255, 255, 0)"
2398         bordercolor: "rgba(255, 255, 255, 0)"
2399       width: 700
2400       height: 700
2401       paper_bgcolor: "white"
2402       plot_bgcolor: "white"
2403
2404     plot-hdrh-latency-by-percentile:
2405       title:
2406         text: "<b>Latency by Percentile Distribution</b>"
2407         xanchor: "center"
2408         x: 0.5
2409         font:
2410           size: 18
2411       showlegend: True
2412       legend:
2413         traceorder: "normal"
2414         orientation: "h"
2415         font:
2416           size: 16
2417         xanchor: "left"
2418         yanchor: "top"
2419         x: 0
2420         y: -0.2
2421         bgcolor: "rgba(255, 255, 255, 0)"
2422         bordercolor: "rgba(255, 255, 255, 0)"
2423       xaxis:
2424         type: "linear"
2425         title: "<b>Percentile [%]</b>"
2426         titlefont:
2427           size: 14
2428         autorange: False
2429         fixedrange: False
2430         range: [0, 100]
2431         gridcolor: "rgb(230, 230, 230)"
2432         linecolor: "rgb(220, 220, 220)"
2433         linewidth: 1
2434         showgrid: True
2435         showline: True
2436         showticklabels: True
2437         tickcolor: "rgb(220, 220, 220)"
2438         tickvals: [0, 25, 50, 75, 100]
2439         ticktext: [0, 25, 50, 75, 100]
2440         tickfont:
2441           size: 14
2442       yaxis:
2443         title: "<b>One-Way Latency per Direction [uSec]</b>"
2444         titlefont:
2445           size: 14
2446         gridcolor: "rgb(230, 230, 230)"
2447         linecolor: "rgb(220, 220, 220)"
2448         linewidth: 1
2449         showgrid: True
2450         showline: True
2451         showticklabels: True
2452         tickcolor: "rgb(220, 220, 220)"
2453         tickfont:
2454           size: 14
2455       width: 700
2456       height: 700
2457       paper_bgcolor: "white"
2458       plot_bgcolor: "white"
2459
2460 - type: "static"
2461   src-path: "{DIR[RST]}"
2462   dst-path: "{DIR[WORKING,SRC]}"
2463
2464 - type: "input"
2465   general:
2466     file-name: "output_info.xml.gz"
2467     file-format: ".gz"
2468     arch-file-format:
2469       - ".gz"
2470       - ".zip"
2471     download-path: "{job}/{build}/archives/{filename}"
2472     extract: "output.xml"
2473
2474     zip-file-name: "robot-plugin.zip"
2475     zip-file-format: ".zip"
2476     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2477     zip-extract: "robot-plugin/output.xml"
2478
2479   builds:
2480
2481     csit-vpp-perf-verify-2001-3n-hsw:
2482       - 17  # MRR sel
2483     csit-vpp-perf-report-iterative-2005-3n-hsw:
2484       - 20  # NDRPDR sel env 4
2485       - 21  # NDRPDR sel env 4
2486       - 22  # NDRPDR sel env 4
2487       - 23  # NDRPDR sel env 4
2488       - 24  # NDRPDR sel env 4
2489       - 25  # NDRPDR sel env 4
2490       - 26  # NDRPDR sel env 4
2491       - 27  # NDRPDR sel env 4
2492       - 28  # NDRPDR sel env 4
2493       - 29  # NDRPDR sel env 4
2494       - 30  # MRR env 4
2495       - 31  # NDRPDR sel 2001.0-4
2496       - 32  # NDRPDR sel 2001.0-4
2497       - 33  # NDRPDR sel 2001.0-4
2498       - 34  # NDRPDR sel 2001.0-4
2499       - 35  # NDRPDR sel 2001.0-4
2500       - 36  # NDRPDR sel 2001.0-4
2501       - 38  # NDRPDR sel 2001.0-4
2502     csit-vpp-perf-report-iterative-2009-3n-hsw:
2503       - 18  # rls2005 MRR iter env 5
2504       - 9   # rls2005 NDRPDR iter env 5
2505       - 10  # rls2005 NDRPDR iter env 5
2506       - 11  # rls2005 NDRPDR iter env 5
2507       - 12  # rls2005 NDRPDR iter env 5
2508       - 13  # rls2005 NDRPDR iter env 5
2509       - 14  # rls2005 NDRPDR iter env 5
2510       - 15  # rls2005 NDRPDR iter env 5
2511       - 16  # rls2005 NDRPDR iter env 5
2512       - 17  # rls2005 NDRPDR iter env 5
2513       - 19  # rls2005 NDRPDR iter env 5
2514       - 23  # rls2009 MRR iter env 5
2515       - 21  # rls2009 NDRPDR iter env 5
2516       - 22  # rls2009 NDRPDR iter env 5
2517       - 24  # rls2009 NDRPDR iter env 5
2518       - 25  # rls2009 NDRPDR iter env 5
2519       - 26  # rls2009 NDRPDR iter env 5
2520       - 27  # rls2009 NDRPDR iter env 5
2521       - 28  # rls2009 NDRPDR iter env 5
2522       - 29  # rls2009 NDRPDR iter env 5
2523       - 30  # rls2009 NDRPDR iter env 5
2524       - 31  # rls2009 NDRPDR iter env 5
2525       - 32  # rls2009 Hoststack iter env 5
2526       - 33  # rls2009 Hoststack iter env 5
2527       - 34  # rls2009 Hoststack iter env 5
2528       - 35  # rls2009 Hoststack iter env 5
2529       - 36  # rls2009 Hoststack iter env 5
2530       - 37  # rls2009 Hoststack iter env 5
2531       - 38  # rls2009 Hoststack iter env 5
2532       - 39  # rls2009 Hoststack iter env 5
2533       - 40  # rls2009 Hoststack iter env 5
2534       - 41  # rls2009 Hoststack iter env 5
2535     csit-vpp-perf-report-coverage-2009-3n-hsw:
2536       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2537       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2538       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2539       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2540       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2541       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2542       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2543       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2544       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2545       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2546       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2547       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2548       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2549       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2550       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2551       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2552       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2553       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2554       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2555       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2556       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2557       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2558       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2559       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2560       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2561       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2562       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2563       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2564       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2565       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2566       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2567       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2568       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2569       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2570       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2571
2572     csit-vpp-perf-verify-2001-3n-skx:
2573       - 50  # MRR sel
2574       - 53  # MRR sel addition
2575     csit-vpp-perf-report-iterative-2005-3n-skx:
2576       - 4   # NDRPDR sel
2577       - 5   # NDRPDR sel ??? all x710 failed
2578       - 33  # NDRPDR sel
2579       - 28  # NDRPDR sel
2580       - 34  # NDRPDR sel
2581       - 42  # NDRPDR sel env 4
2582       - 43  # NDRPDR sel env 4
2583       - 44  # NDRPDR sel env 4
2584       - 45  # NDRPDR sel env 4
2585       - 47  # NDRPDR sel env 4
2586       - 55  # NDRPDR sel env 4
2587       - 56  # NDRPDR sel env 4
2588       - 57  # NDRPDR sel env 4
2589       - 61  # NDRPDR sel env 4
2590       - 62  # NDRPDR sel env 4
2591       - 50  # NDRPDR sel 2001.0-4
2592       - 51  # NDRPDR sel 2001.0-4
2593       - 52  # NDRPDR sel 2001.0-4
2594       - 53  # NDRPDR sel 2001.0-4
2595       - 54  # NDRPDR sel 2001.0-4
2596       - 49  # MRR sel env 4
2597     # TODO: Add:
2598     csit-vpp-perf-report-iterative-2009-3n-skx:
2599       - 17  # rls2005 MRR iter env 5
2600       - 13  # rls2005 NDRPDR iter env 5
2601       - 18  # rls2005 NDRPDR iter env 5
2602       - 19  # rls2005 NDRPDR iter env 5
2603       - 41  # rls2005 NDRPDR iter env 5
2604       - 43  # rls2005 NDRPDR iter env 5
2605       - 44  # rls2005 NDRPDR iter env 5
2606       - 45  # rls2005 NDRPDR iter env 5
2607       - 24  # rls2009 MRR iter env 5
2608       - 26  # rls2009 NDRPDR iter env 5
2609       - 27  # rls2009 NDRPDR iter env 5
2610       - 28  # rls2009 NDRPDR iter env 5
2611       - 29  # rls2009 NDRPDR iter env 5
2612       - 35  # rls2009 NDRPDR iter env 5
2613       - 36  # rls2009 NDRPDR iter env 5
2614       - 37  # rls2009 NDRPDR iter env 5
2615       - 38  # rls2009 NDRPDR iter env 5
2616       - 39  # rls2009 NDRPDR iter env 5
2617       - 40  # rls2009 NDRPDR iter env 5
2618     csit-vpp-perf-report-coverage-2009-3n-skx:
2619       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2620       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2621       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2622       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2623       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2624       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2625       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2626       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2627       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2628       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2629       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2630       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2631       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2632       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2633       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2634       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2635       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2636       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2637       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2638       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2639       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2640       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2641       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2642       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2643       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2644       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2645       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2646       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2647       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2648       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2649       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2650       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2651       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2652       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2653       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2654       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2655
2656     csit-vpp-perf-verify-2001-2n-skx:
2657       - 101  # MRR sel - old
2658       - 128  # MRR sel addition - old
2659     csit-vpp-perf-report-iterative-2005-2n-skx:
2660       - 88  # NDRPDR sel env 4
2661       - 89  # NDRPDR sel env 4
2662       - 90  # NDRPDR sel env 4
2663       - 91  # NDRPDR sel env 4
2664       - 92  # NDRPDR sel env 4
2665       - 93  # NDRPDR sel env 4
2666       - 94  # NDRPDR sel env 4
2667       - 125 # NDRPDR sel env 4
2668       - 126 # NDRPDR sel env 4
2669       - 127 # NDRPDR sel env 4
2670       - 100 # NDRPDR sel 2001.0-4
2671       - 101 # NDRPDR sel 2001.0-4
2672       - 102 # NDRPDR sel 2001.0-4
2673       - 103 # NDRPDR sel 2001.0-4
2674       - 104 # NDRPDR sel 2001.0-4
2675       - 105 # NDRPDR sel 2001.0-4
2676       - 99  # MRR sel env 4
2677     csit-vpp-perf-report-iterative-2009-2n-skx:
2678       - 20  # rls2005 MRR iter env 5
2679       - 13  # rls2005 NDRPDR iter env 5
2680       - 16  # rls2005 NDRPDR iter env 5
2681       - 17  # rls2005 NDRPDR iter env 5
2682       - 18  # rls2005 NDRPDR iter env 5
2683       - 19  # rls2005 NDRPDR iter env 5
2684       - 21  # rls2005 NDRPDR iter env 5
2685       - 22  # rls2005 NDRPDR iter env 5
2686       - 23  # rls2005 NDRPDR iter env 5
2687       - 24  # rls2005 NDRPDR iter env 5
2688       - 25  # rls2005 NDRPDR iter env 5
2689       - 26  # rls2009 MRR iter env 5
2690       - 35  # rls2009 NDRPDR iter env 5
2691       - 36  # rls2009 NDRPDR iter env 5
2692       - 37  # rls2009 NDRPDR iter env 5
2693       - 39  # rls2009 NDRPDR iter env 5
2694       - 40  # rls2009 NDRPDR iter env 5
2695       - 42  # rls2009 NDRPDR iter env 5
2696       - 43  # rls2009 NDRPDR iter env 5
2697       - 44  # rls2009 NDRPDR iter env 5
2698       - 46  # rls2009 NDRPDR iter env 5
2699       - 48  # rls2009 NDRPDR iter env 5
2700       - 51  # rls2009 NDRPDR iter NAT44 env 5
2701       - 52  # rls2009 NDRPDR iter NAT44 env 5
2702       - 53  # rls2009 NDRPDR iter NAT44 env 5
2703       - 54  # rls2009 NDRPDR iter NAT44 env 5
2704       - 55  # rls2009 NDRPDR iter NAT44 env 5
2705       - 56  # rls2009 NDRPDR iter NAT44 env 5
2706       - 57  # rls2009 NDRPDR iter NAT44 env 5
2707       - 58  # rls2009 NDRPDR iter NAT44 env 5
2708       - 59  # rls2009 NDRPDR iter NAT44 env 5
2709       - 60  # rls2009 NDRPDR iter NAT44 env 5
2710       - 38  # rls2009 nf-density iter env 5
2711       - 41  # rls2009 nf-density iter env 5
2712       - 45  # rls2009 nf-density iter env 5
2713       - 47  # rls2009 nf-density iter env 5
2714       - 49  # rls2009 nf-density iter env 5
2715       - 63  # rls2009 nf-density iter env 5
2716       - 65  # rls2009 nf-density iter env 5
2717       - 66  # rls2009 nf-density iter env 5
2718       - 71  # rls2009 nf-density iter env 5
2719       - 72  # rls2009 nf-density iter env 5
2720       - 50  # rls2009 MRR nf-density iter env 5
2721       - 27  # rls2009 reconf env 5
2722       - 28  # rls2009 reconf env 5
2723       - 29  # rls2009 reconf env 5
2724       - 30  # rls2009 reconf env 5
2725       - 31  # rls2009 reconf env 5
2726       - 32  # rls2009 reconf env 5
2727       - 61  # rls2009 reconf env 5
2728       - 62  # rls2009 reconf env 5
2729       - 68  # rls2009 reconf env 5
2730       - 70  # rls2009 reconf env 5
2731       - 33  # rls2009 soak env 5
2732       - 34  # rls2009 soak env 5
2733     csit-vpp-perf-report-coverage-2009-2n-skx:
2734       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2735       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2736       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2737       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2738       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2739       - 13  # rls2009 NDRPDR cov 2n-skx-ip4-05
2740       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2741       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2742       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2743       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2744       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2745       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2746       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2747       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2748       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2749
2750     csit-vpp-perf-verify-2001-2n-clx:
2751       - 39  # MRR
2752     csit-vpp-perf-report-iterative-2005-2n-clx:
2753       - 62  # NDRPDR sel env 4
2754       - 63  # NDRPDR sel env 4
2755       - 64  # NDRPDR sel env 4
2756       - 65  # NDRPDR sel env 4
2757       - 66  # NDRPDR sel env 4
2758       - 68  # NDRPDR sel env 4
2759       - 69  # NDRPDR sel env 4
2760       - 70  # NDRPDR sel env 4
2761       - 103 # NDRPDR sel env 4
2762       - 104 # NDRPDR sel env 4
2763       - 73  # NDRPDR sel 2001.0-4
2764       - 74  # NDRPDR sel 2001.0-4
2765       - 75  # NDRPDR sel 2001.0-4
2766       - 76  # NDRPDR sel 2001.0-4
2767       - 77  # NDRPDR sel 2001.0-4
2768       - 78  # NDRPDR sel 2001.0-4
2769       - 79  # NDRPDR sel 2001.0-4
2770       - 80  # NDRPDR sel 2001.0-4
2771       - 72  # MRR env 4
2772     csit-vpp-perf-report-iterative-2009-2n-clx:
2773       - 77  # rls2005 MRR iter env 5
2774       - 13  # rls2005 NDRPDR iter env 5
2775       - 15  # rls2005 NDRPDR iter env 5
2776       - 17  # rls2005 NDRPDR iter env 5
2777       - 18  # rls2005 NDRPDR iter env 5
2778       - 19  # rls2005 NDRPDR iter env 5
2779       - 20  # rls2005 NDRPDR iter env 5
2780       - 21  # rls2005 NDRPDR iter env 5
2781       - 22  # rls2005 NDRPDR iter env 5
2782       - 23  # rls2005 NDRPDR iter env 5
2783       - 24  # rls2005 NDRPDR iter env 5
2784       - 78  # rls2009 MRR iter env 5
2785       - 36  # rls2009 NDRPDR iter env 5
2786       - 39  # rls2009 NDRPDR iter env 5
2787       - 40  # rls2009 NDRPDR iter env 5
2788       - 65  # rls2009 NDRPDR iter env 5
2789       - 66  # rls2009 NDRPDR iter env 5
2790       - 79  # rls2009 NDRPDR iter env 5
2791       - 82  # rls2009 NDRPDR iter env 5
2792       - 88  # rls2009 NDRPDR iter env 5
2793       - 89  # rls2009 NDRPDR iter env 5
2794       - 90  # rls2009 NDRPDR iter env 5
2795       - 37  # rls2009 nf-density iter env 5
2796       - 43  # rls2009 nf-density iter env 5
2797       - 69  # rls2009 nf-density iter env 5
2798       - 70  # rls2009 nf-density iter env 5
2799       - 71  # rls2009 nf-density iter env 5
2800       - 72  # rls2009 nf-density iter env 5
2801       - 73  # rls2009 nf-density iter env 5
2802       - 74  # rls2009 nf-density iter env 5
2803       - 75  # rls2009 nf-density iter env 5
2804       - 76  # rls2009 nf-density iter env 5
2805       - 45  # rls2009 MRR nf-density iter env 5
2806       - 25  # rls2009 reconf env 5
2807       - 27  # rls2009 reconf env 5
2808       - 28  # rls2009 reconf env 5
2809       - 29  # rls2009 reconf env 5
2810       - 30  # rls2009 reconf env 5
2811       - 30  # rls2009 reconf env 5
2812       - 32  # rls2009 reconf env 5
2813       - 48  # rls2009 reconf env 5
2814       - 53  # rls2009 reconf env 5
2815       - 68  # rls2009 reconf env 5
2816       - 33  # rls2009 soak env 5
2817       - 34  # rls2009 soak env 5
2818     csit-vpp-perf-report-coverage-2009-2n-clx:
2819       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2820       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2821       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2822       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2823       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2824       - 7   # rls2009 NDRPDR cov 2n-clx-ip4-05
2825       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2826       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2827       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2828       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2829       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2830       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2831       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2832       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2833       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2834
2835     csit-vpp-perf-verify-2001-3n-tsh:
2836       - 9   # MRR sel
2837     csit-vpp-perf-report-iterative-2005-3n-tsh:
2838       - 23  # NDRPDR sel env 4
2839       - 25  # NDRPDR sel env 4
2840       - 33  # NDRPDR sel env 4
2841       - 34  # NDRPDR sel env 4
2842       - 35  # NDRPDR sel env 4
2843       - 36  # NDRPDR sel env 4
2844       - 37  # NDRPDR sel env 4
2845       - 38  # NDRPDR sel env 4
2846       - 39  # NDRPDR sel env 4
2847       - 40  # NDRPDR sel env 4
2848       - 28  # NDRPDR sel 2001.0-4
2849       - 29  # NDRPDR sel 2001.0-4
2850       - 31  # NDRPDR sel 2001.0-4
2851       - 27  # MRR sel env 4
2852     # TODO: Add:
2853     csit-vpp-perf-report-iterative-2009-3n-tsh:
2854       - 8   # rls2005 NDRPDR iter env 5
2855       - 11  # rls2005 NDRPDR iter env 5
2856       - 12  # rls2005 NDRPDR iter env 5
2857       - 24  # rls2005 NDRPDR iter env 5
2858       - 27  # rls2005 NDRPDR iter env 5
2859       - 29  # rls2005 NDRPDR iter env 5
2860       - 13  # rls2005 MRR iter env 5
2861       - 14  # rls2009 NDRPDR iter env 5
2862       - 20  # rls2009 NDRPDR iter env 5
2863       - 21  # rls2009 NDRPDR iter env 5
2864       - 22  # rls2009 NDRPDR iter env 5
2865       - 23  # rls2009 NDRPDR iter env 5
2866       - 28  # rls2009 NDRPDR iter env 5
2867       - 30  # rls2009 NDRPDR iter env 5
2868       - 15  # rls2009 MRR iter env 5
2869
2870     csit-vpp-perf-verify-2001-3n-dnv:
2871       - 5   # NDRPDR sel
2872       - 6   # NDRPDR sel
2873       - 7   # NDRPDR sel
2874       - 8   # NDRPDR sel
2875       - 9   # NDRPDR sel
2876       - 10  # NDRPDR sel
2877       - 12  # NDRPDR sel
2878       - 16  # NDRPDR sel
2879       - 17  # NDRPDR sel
2880       - 18  # NDRPDR sel
2881       - 11  # MRR sel
2882     csit-vpp-perf-report-iterative-2009-3n-dnv:
2883       - 16  # rls2005 NDRPDR iter env 5
2884       - 23  # rls2005 NDRPDR iter env 5
2885       - 25  # rls2005 NDRPDR iter env 5
2886       - 26  # rls2005 NDRPDR iter env 5
2887       - 27  # rls2005 NDRPDR iter env 5
2888       - 28  # rls2005 NDRPDR iter env 5
2889       - 29  # rls2005 NDRPDR iter env 5
2890       - 30  # rls2005 NDRPDR iter env 5
2891       - 31  # rls2005 NDRPDR iter env 5
2892       - 32  # rls2005 NDRPDR iter env 5
2893       - 19  # rls2005 MRR iter env 5
2894       - 3   # rls2009 NDRPDR iter env 5
2895       - 6   # rls2009 NDRPDR iter env 5
2896       - 7   # rls2009 NDRPDR iter env 5
2897       - 8   # rls2009 NDRPDR iter env 5
2898       - 10  # rls2009 NDRPDR iter env 5
2899       - 11  # rls2009 NDRPDR iter env 5
2900       - 12  # rls2009 NDRPDR iter env 5
2901       - 14  # rls2009 NDRPDR iter env 5
2902       - 15  # rls2009 NDRPDR iter env 5
2903       - 24  # rls2009 NDRPDR iter env 5
2904       - 22  # rls2009 MRR iter env 5
2905     csit-vpp-perf-report-coverage-2009-3n-dnv:
2906       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
2907       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
2908       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
2909       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
2910       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
2911       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
2912       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
2913       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
2914       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
2915
2916     csit-vpp-perf-verify-2001-2n-dnv:
2917       - 4   # NDRPDR sel
2918       - 5   # NDRPDR sel
2919       - 6   # NDRPDR sel
2920       - 7   # NDRPDR sel
2921       - 8   # NDRPDR sel
2922       - 9   # NDRPDR sel
2923       - 10  # NDRPDR sel
2924       - 11  # NDRPDR sel
2925       - 13  # NDRPDR sel
2926       - 16  # NDRPDR sel
2927       - 12  # MRR sel
2928     csit-vpp-perf-report-iterative-2009-2n-dnv:
2929       - 16  # rls2005 NDRPDR iter env 5
2930       - 17  # rls2005 NDRPDR iter env 5
2931       - 18  # rls2005 NDRPDR iter env 5
2932       - 19  # rls2005 NDRPDR iter env 5
2933       - 21  # rls2005 NDRPDR iter env 5
2934       - 24  # rls2005 NDRPDR iter env 5
2935       - 27  # rls2005 NDRPDR iter env 5
2936       - 28  # rls2005 NDRPDR iter env 5
2937       - 29  # rls2005 NDRPDR iter env 5
2938       - 30  # rls2005 NDRPDR iter env 5
2939       - 23  # rls2005 MRR iter env 5
2940       - 3   # rls2009 NDRPDR iter env 5
2941       - 5   # rls2009 NDRPDR iter env 5
2942       - 6   # rls2009 NDRPDR iter env 5
2943       - 7   # rls2009 NDRPDR iter env 5
2944       - 9   # rls2009 NDRPDR iter env 5
2945       - 10  # rls2009 NDRPDR iter env 5
2946       - 11  # rls2009 NDRPDR iter env 5
2947       - 12  # rls2009 NDRPDR iter env 5
2948       - 14  # rls2009 NDRPDR iter env 5
2949       - 15  # rls2009 NDRPDR iter env 5
2950       - 13  # rls2009 MRR iter env 5
2951     csit-vpp-perf-report-coverage-2009-2n-dnv:
2952       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
2953       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
2954       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
2955       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
2956       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
2957       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
2958
2959     csit-dpdk-perf-verify-2001-3n-hsw:
2960       - 4   # NDRPDR sel
2961       - 5   # NDRPDR sel
2962       - 6   # NDRPDR sel
2963       - 7   # NDRPDR sel
2964       - 8   # NDRPDR sel
2965       - 9   # NDRPDR sel
2966       - 10  # NDRPDR sel
2967       - 11  # NDRPDR sel
2968       - 12  # NDRPDR sel
2969       - 13  # NDRPDR sel
2970       - 15  # NDRPDR sel
2971       - 16  # NDRPDR sel
2972       - 17  # NDRPDR sel
2973       - 18  # NDRPDR sel
2974       - 19  # NDRPDR sel
2975       - 20  # NDRPDR sel
2976       - 21  # NDRPDR sel
2977       - 22  # NDRPDR sel
2978       - 23  # NDRPDR sel
2979       - 24  # NDRPDR sel
2980     csit-dpdk-perf-report-iterative-2005-3n-hsw:
2981       - 25  # NDRPDR iter
2982       - 26  # NDRPDR iter
2983       - 27  # NDRPDR iter
2984       - 28  # NDRPDR iter
2985       - 29  # NDRPDR iter
2986       - 30  # NDRPDR iter
2987       - 31  # NDRPDR iter
2988       - 32  # NDRPDR iter
2989       - 33  # NDRPDR iter
2990       - 34  # NDRPDR iter
2991     csit-dpdk-perf-report-iterative-2009-3n-hsw:
2992       - 6   # NDRPDR iter env5
2993       - 7   # NDRPDR iter env5
2994       - 8   # NDRPDR iter env5
2995       - 9   # NDRPDR iter env5
2996       - 10  # NDRPDR iter env5
2997       - 11  # NDRPDR iter env5
2998       - 12  # NDRPDR iter env5
2999       - 13  # NDRPDR iter env5
3000       - 14  # NDRPDR iter env5
3001       - 15  # NDRPDR iter env5
3002
3003     csit-dpdk-perf-verify-2001-3n-skx:
3004       - 29  # NDRPDR sel xxv710
3005       - 33  # NDRPDR sel xxv710
3006       - 34  # NDRPDR sel xxv710
3007       - 35  # NDRPDR sel xxv710
3008       - 36  # NDRPDR sel xxv710
3009       - 37  # NDRPDR sel xxv710
3010       - 41  # NDRPDR sel xxv710
3011       - 42  # NDRPDR sel xxv710
3012       - 43  # NDRPDR sel xxv710
3013       - 45  # NDRPDR sel xxv710
3014       - 30  # NDRPDR sel x710
3015       - 31  # NDRPDR sel x710
3016       - 32  # NDRPDR sel x710
3017       - 38  # NDRPDR sel x710
3018       - 39  # NDRPDR sel x710
3019       - 40  # NDRPDR sel x710
3020       - 44  # NDRPDR sel x710
3021       - 46  # NDRPDR sel x710
3022       - 47  # NDRPDR sel x710
3023       - 48  # NDRPDR sel x710
3024     csit-dpdk-perf-report-iterative-2005-3n-skx:
3025       - 28  # NDRPDR iter
3026       - 29  # NDRPDR iter
3027       - 30  # NDRPDR iter
3028       - 31  # NDRPDR iter
3029       - 32  # NDRPDR iter
3030       - 33  # NDRPDR iter
3031       - 34  # NDRPDR iter
3032       - 35  # NDRPDR iter
3033       - 36  # NDRPDR iter
3034       - 37  # NDRPDR iter
3035     csit-dpdk-perf-report-iterative-2009-3n-skx:
3036       - 4   # NDRPDR sel env5
3037       - 5   # NDRPDR sel env5
3038       - 6   # NDRPDR sel env5
3039       - 7   # NDRPDR sel env5
3040       - 8   # NDRPDR sel env5
3041       - 9   # NDRPDR sel env5
3042       - 14  # NDRPDR sel env5
3043       - 11  # NDRPDR sel env5
3044       - 12  # NDRPDR sel env5
3045       - 13  # NDRPDR sel env5
3046
3047     csit-dpdk-perf-verify-2001-2n-skx:
3048       - 35  # NDRPDR sel xxv710
3049       - 36  # NDRPDR sel xxv710
3050       - 37  # NDRPDR sel xxv710
3051       - 41  # NDRPDR sel xxv710
3052       - 42  # NDRPDR sel xxv710
3053       - 43  # NDRPDR sel xxv710
3054       - 46  # NDRPDR sel xxv710
3055       - 47  # NDRPDR sel xxv710
3056       - 52  # NDRPDR sel xxv710
3057       - 53  # NDRPDR sel xxv710
3058       - 38  # NDRPDR sel x710
3059       - 39  # NDRPDR sel x710
3060       - 40  # NDRPDR sel x710
3061       - 44  # NDRPDR sel x710
3062       - 45  # NDRPDR sel x710
3063       - 48  # NDRPDR sel x710
3064       - 49  # NDRPDR sel x710
3065       - 50  # NDRPDR sel x710
3066       - 51  # NDRPDR sel x710
3067       - 54  # NDRPDR sel x710
3068     csit-dpdk-perf-report-iterative-2005-2n-skx:
3069       - 20  # NDRPDR iter
3070       - 21  # NDRPDR iter
3071       - 22  # NDRPDR iter
3072       - 23  # NDRPDR iter
3073       - 24  # NDRPDR iter
3074       - 25  # NDRPDR iter
3075       - 26  # NDRPDR iter
3076       - 27  # NDRPDR iter
3077       - 28  # NDRPDR iter
3078       - 29  # NDRPDR iter
3079     csit-dpdk-perf-report-iterative-2009-2n-skx:
3080       - 4   # NDRPDR iter env5
3081       - 5   # NDRPDR iter env5
3082       - 6   # NDRPDR iter env5
3083       - 7   # NDRPDR iter env5
3084       - 8   # NDRPDR iter env5
3085       - 9   # NDRPDR iter env5
3086       - 10  # NDRPDR iter env5
3087       - 11  # NDRPDR iter env5
3088       - 12  # NDRPDR iter env5
3089       - 13  # NDRPDR iter env5
3090
3091     csit-dpdk-perf-verify-2001-2n-clx:
3092       - 15  # NDRPDR sel
3093       - 16  # NDRPDR sel
3094       - 17  # NDRPDR sel
3095       - 18  # NDRPDR sel
3096       - 19  # NDRPDR sel
3097       - 20  # NDRPDR sel
3098       - 21  # NDRPDR sel
3099       - 22  # NDRPDR sel
3100       - 23  # NDRPDR sel
3101       - 24  # NDRPDR sel
3102       - 25  # NDRPDR sel
3103       - 26  # NDRPDR sel
3104       - 27  # NDRPDR sel
3105       - 28  # NDRPDR sel
3106       - 29  # NDRPDR sel
3107       - 30  # NDRPDR sel
3108       - 31  # NDRPDR sel
3109       - 32  # NDRPDR sel
3110       - 33  # NDRPDR sel
3111       - 34  # NDRPDR sel
3112     csit-dpdk-perf-report-iterative-2005-2n-clx:
3113       - 20  # NDRPDR iter
3114       - 21  # NDRPDR iter
3115       - 22  # NDRPDR iter
3116       - 23  # NDRPDR iter
3117       - 24  # NDRPDR iter
3118       - 25  # NDRPDR iter
3119       - 26  # NDRPDR iter
3120       - 27  # NDRPDR iter
3121       - 28  # NDRPDR iter
3122       - 29  # NDRPDR iter
3123     csit-dpdk-perf-report-iterative-2009-2n-clx:
3124       - 4   # NDRPDR iter env5
3125       - 5   # NDRPDR iter env5
3126       - 6   # NDRPDR iter env5
3127       - 7   # NDRPDR iter env5
3128       - 8   # NDRPDR iter env5
3129       - 9   # NDRPDR iter env5
3130       - 10  # NDRPDR iter env5
3131       - 11  # NDRPDR iter env5
3132       - 12  # NDRPDR iter env5
3133       - 13  # NDRPDR iter env5
3134
3135 #    csit-dpdk-perf-verify-2001-2n-dnv:
3136 #      - 9   # NDRPDR sel
3137 #      - 10  # NDRPDR sel
3138 #      - 11  # NDRPDR sel
3139 #      - 12  # NDRPDR sel
3140 #      - 13  # NDRPDR sel
3141 #      - 14  # NDRPDR sel
3142 #      - 15  # NDRPDR sel
3143 #      - 16  # NDRPDR sel
3144 #      - 17  # NDRPDR sel
3145 #      - 18  # NDRPDR sel
3146 #    csit-dpdk-perf-report-iterative-2005-2n-dnv:
3147 #      # No data
3148 #    # csit-dpdk-perf-report-iterative-2009-2n-dnv:
3149 #      # No data
3150
3151 #    csit-dpdk-perf-verify-2001-3n-dnv:
3152 #      - 12  # NDRPDR sel
3153 #      - 13  # NDRPDR sel
3154 #      - 14  # NDRPDR sel
3155 #      - 15  # NDRPDR sel
3156 #      - 16  # NDRPDR sel
3157 #      - 17  # NDRPDR sel
3158 #      - 18  # NDRPDR sel
3159 #      - 19  # NDRPDR sel
3160 #      - 20  # NDRPDR sel
3161 #      - 22  # NDRPDR sel
3162 #    csit-dpdk-perf-report-iterative-2005-3n-dnv:
3163 #      # No data
3164 #    # csit-dpdk-perf-report-iterative-2009-3n-dnv:
3165 #      # No data
3166
3167     csit-dpdk-perf-verify-2001-3n-tsh:
3168       - 3   # NDRPDR sel
3169       - 4   # NDRPDR sel
3170       - 5   # NDRPDR sel
3171       - 9   # NDRPDR sel
3172       - 10  # NDRPDR sel
3173       - 11  # NDRPDR sel
3174       - 12  # NDRPDR sel
3175       - 14  # NDRPDR sel
3176       - 15  # NDRPDR sel
3177       - 18  # NDRPDR sel
3178     csit-dpdk-perf-report-iterative-2005-3n-tsh:
3179       - 5   # NDRPDR sel
3180     csit-dpdk-perf-report-iterative-2009-3n-tsh:
3181       - 1   # NDRPDR iter env5
3182       - 2   # NDRPDR iter env5
3183       - 3   # NDRPDR iter env5
3184       - 4   # NDRPDR iter env5
3185       - 5   # NDRPDR iter env5
3186       - 6   # NDRPDR iter env5
3187       - 7   # NDRPDR iter env5
3188       - 9   # NDRPDR iter env5
3189       - 10  # NDRPDR iter env5
3190       - 11  # NDRPDR iter env5
3191
3192     csit-vpp-device-2009-ubuntu1804-1n-skx:
3193       - 131 # rls2009 env 5
3194
3195 - type: "output"
3196   output: "report"
3197   format:
3198     html:
3199    &nb