Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
33     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
34     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
35     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
36     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
37     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
38     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
39     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
40     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
41     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
42     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
43     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
44     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
45     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
46     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
47     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
48     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
49     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
50     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
51     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
52     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
53
54     # Detailed test configurations
55     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
56     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
57     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
58     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
59     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
60     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
61     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
62     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
63     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
64     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
65     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
66     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
67     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
68     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
69     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
70     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
71     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
72     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
73
74     # Detailed tests operational data
75     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
76     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
77     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
78     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
79     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
80     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
81     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
82     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
83     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
84
85     # Latencies:
86     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
87     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
88
89     # .css patch file to fix tables generated by Sphinx
90     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
91     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
92
93   urls:
94     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
95     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
96     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
97     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
98     DIR[NEXUS,DOC]: "report/_static/archive"
99
100   make-dirs:
101   # List the directories which are created while preparing the environment.
102   # All directories MUST be defined in "paths" section.
103   - "DIR[WORKING,DATA]"
104   - "DIR[STATIC,VPP]"
105   - "DIR[STATIC,DPDK]"
106   - "DIR[STATIC,ARCH]"
107   - "DIR[BUILD,LATEX]"
108   - "DIR[WORKING,SRC]"
109   - "DIR[WORKING,SRC,STATIC]"
110
111   remove-dirs:
112   # List the directories which are deleted while cleaning the environment.
113   # All directories MUST be defined in "paths" section.
114   #- "DIR[BUILD,HTML]"
115   - "DIR[WORKING,DATA]"
116
117   build-dirs:
118   # List the directories where the results (build) is stored.
119   # All directories MUST be defined in "paths" section.
120   - "DIR[BUILD,HTML]"
121   - "DIR[BUILD,LATEX]"
122
123 - type: "configuration"
124
125   mapping-file: "mapping_report.yaml"
126
127   limits:
128     nic:
129       x520: 24460000
130       x553: 29761905
131       x710: 35800000
132       xxv710: 35800000
133       xl710: 35800000
134       cx556a: 148809523.81
135
136     link:
137       10ge: 14880952.38
138       25ge: 37202380.95
139       40ge: 59523809.52
140       100ge: 148809523.81
141
142     pci:
143       pci-g3-x8: 74404761.90
144       pci-g3-x16: 148809523.81
145
146   data-sets:
147
148     ###########################################################################
149     # Plots:
150
151     # 3n-hsw
152
153     plot-vpp-throughput-lat-tsa-3n-hsw:
154       csit-vpp-perf-report-iterative-2009-3n-hsw:
155         - 21  # rls2009 NDRPDR iter env 5
156         - 22  # rls2009 NDRPDR iter env 5
157         - 24  # rls2009 NDRPDR iter env 5
158         - 25  # rls2009 NDRPDR iter env 5
159         - 26  # rls2009 NDRPDR iter env 5
160         - 27  # rls2009 NDRPDR iter env 5
161         - 28  # rls2009 NDRPDR iter env 5
162         - 29  # rls2009 NDRPDR iter env 5
163         - 30  # rls2009 NDRPDR iter env 5
164         - 31  # rls2009 NDRPDR iter env 5
165
166     plot-vpp-hdrh-lat-3n-hsw:
167       csit-vpp-perf-report-iterative-2009-3n-hsw:
168         - 22  # rls2009 NDRPDR iter env 5
169
170     plot-vpp-hoststack-3n-hsw:
171       csit-vpp-perf-report-iterative-2009-3n-hsw:
172         - 32  # rls2009 Hoststack iter env 5
173         - 33  # rls2009 Hoststack iter env 5
174         - 34  # rls2009 Hoststack iter env 5
175         - 35  # rls2009 Hoststack iter env 5
176         - 36  # rls2009 Hoststack iter env 5
177         - 37  # rls2009 Hoststack iter env 5
178         - 38  # rls2009 Hoststack iter env 5
179         - 39  # rls2009 Hoststack iter env 5
180         - 40  # rls2009 Hoststack iter env 5
181         - 41  # rls2009 Hoststack iter env 5
182
183     plot-dpdk-throughput-latency-3n-hsw:
184       csit-dpdk-perf-report-iterative-2009-3n-hsw:
185         - 6   # NDRPDR iter env5
186         - 7   # NDRPDR iter env5
187         - 8   # NDRPDR iter env5
188         - 9   # NDRPDR iter env5
189         - 10  # NDRPDR iter env5
190         - 11  # NDRPDR iter env5
191         - 12  # NDRPDR iter env5
192         - 13  # NDRPDR iter env5
193         - 14  # NDRPDR iter env5
194         - 15  # NDRPDR iter env5
195
196     plot-dpdk-hdrh-lat-3n-hsw:
197       csit-dpdk-perf-report-iterative-2009-3n-hsw:
198         - 6   # NDRPDR iter env5
199
200     # 3n-skx
201
202     plot-vpp-throughput-lat-tsa-3n-skx:
203       csit-vpp-perf-report-iterative-2009-3n-skx:
204         - 26  # rls2009 NDRPDR iter env 5
205         - 27  # rls2009 NDRPDR iter env 5
206         - 28  # rls2009 NDRPDR iter env 5
207         - 29  # rls2009 NDRPDR iter env 5
208         - 35  # rls2009 NDRPDR iter env 5
209         - 36  # rls2009 NDRPDR iter env 5
210         - 37  # rls2009 NDRPDR iter env 5
211         - 38  # rls2009 NDRPDR iter env 5
212         - 39  # rls2009 NDRPDR iter env 5
213         - 40  # rls2009 NDRPDR iter env 5
214
215     plot-vpp-hdrh-lat-3n-skx:
216       csit-vpp-perf-report-iterative-2009-3n-skx:
217         - 27  # rls2009 NDRPDR iter env 5
218
219 #    plot-vpp-nfv-3n-skx-ndrpdr:
220 #      # No data
221 #      csit-vpp-perf-report-iterative-2009-3n-skx:
222
223 #    plot-vpp-nfv-3n-skx-mrr:
224 #      # No data
225 #      csit-vpp-perf-report-iterative-2009-3n-skx:
226
227     plot-dpdk-throughput-latency-3n-skx:
228       csit-dpdk-perf-report-iterative-2009-3n-skx:
229         - 4   # NDRPDR sel env5
230         - 5   # NDRPDR sel env5
231         - 6   # NDRPDR sel env5
232         - 7   # NDRPDR sel env5
233         - 8   # NDRPDR sel env5
234         - 9   # NDRPDR sel env5
235         - 14  # NDRPDR sel env5
236         - 11  # NDRPDR sel env5
237         - 12  # NDRPDR sel env5
238         - 13  # NDRPDR sel env5
239
240     plot-dpdk-hdrh-lat-3n-skx:
241       csit-dpdk-perf-report-iterative-2009-3n-skx:
242         - 4   # NDRPDR sel env5
243
244     # 2n-skx
245
246     plot-vpp-throughput-lat-tsa-2n-skx:
247       csit-vpp-perf-report-iterative-2009-2n-skx:
248         - 35  # rls2009 NDRPDR iter env 5
249         - 36  # rls2009 NDRPDR iter env 5
250         - 37  # rls2009 NDRPDR iter env 5
251         - 39  # rls2009 NDRPDR iter env 5
252         - 40  # rls2009 NDRPDR iter env 5
253         - 42  # rls2009 NDRPDR iter env 5
254         - 43  # rls2009 NDRPDR iter env 5
255         - 44  # rls2009 NDRPDR iter env 5
256         - 46  # rls2009 NDRPDR iter env 5
257         - 48  # rls2009 NDRPDR iter env 5
258         - 110 # rls2009 NDRPDR iter NAT44 env 5
259         - 111 # rls2009 NDRPDR iter NAT44 env 5
260         - 112 # rls2009 NDRPDR iter NAT44 env 5
261         - 113 # rls2009 NDRPDR iter NAT44 env 5
262         - 114 # rls2009 NDRPDR iter NAT44 env 5
263         - 115 # rls2009 NDRPDR iter NAT44 env 5
264         - 116 # rls2009 NDRPDR iter NAT44 env 5
265         - 118 # rls2009 NDRPDR iter NAT44 env 5
266         - 119 # rls2009 NDRPDR iter NAT44 env 5
267         - 121 # rls2009 NDRPDR iter NAT44 env 5
268
269     plot-vpp-hdrh-lat-2n-skx:
270       csit-vpp-perf-report-iterative-2009-2n-skx:
271         - 35  # rls2009 NDRPDR iter env 5
272
273     plot-vpp-hdrh-lat-2n-skx-nat44:
274       csit-vpp-perf-report-iterative-2009-2n-skx:
275         - 110 # rls2009 NDRPDR iter NAT44 env 5
276
277     plot-vpp-soak-2n-skx:
278       csit-vpp-perf-report-iterative-2009-2n-skx:
279         - 33  # rls2009 soak env 5
280         - 34  # rls2009 soak env 5
281
282     plot-vpp-nfv-2n-skx-ndrpdr:
283       csit-vpp-perf-report-iterative-2009-2n-skx:
284         - 38  # rls2009 nf-density iter env 5
285         - 41  # rls2009 nf-density iter env 5
286         - 45  # rls2009 nf-density iter env 5
287         - 47  # rls2009 nf-density iter env 5
288         - 49  # rls2009 nf-density iter env 5
289         - 63  # rls2009 nf-density iter env 5
290         - 65  # rls2009 nf-density iter env 5
291         - 66  # rls2009 nf-density iter env 5
292         - 71  # rls2009 nf-density iter env 5
293         - 72  # rls2009 nf-density iter env 5
294
295     plot-vpp-nfv-2n-skx-mrr:
296       csit-vpp-perf-report-iterative-2009-2n-skx:
297         - 50  # rls2009 MRR nf-density iter env 5
298
299     plot-vpp-nfv-reconf-2n-skx:
300       csit-vpp-perf-report-iterative-2009-2n-skx:
301         - 27  # rls2009 reconf env 5
302         - 28  # rls2009 reconf env 5
303         - 29  # rls2009 reconf env 5
304         - 30  # rls2009 reconf env 5
305         - 31  # rls2009 reconf env 5
306         - 32  # rls2009 reconf env 5
307         - 61  # rls2009 reconf env 5
308         - 62  # rls2009 reconf env 5
309         - 68  # rls2009 reconf env 5
310         - 70  # rls2009 reconf env 5
311
312     plot-dpdk-throughput-latency-2n-skx:
313       csit-dpdk-perf-report-iterative-2009-2n-skx:
314         - 4   # NDRPDR iter env5
315         - 5   # NDRPDR iter env5
316         - 6   # NDRPDR iter env5
317         - 7   # NDRPDR iter env5
318         - 8   # NDRPDR iter env5
319         - 9   # NDRPDR iter env5
320         - 10  # NDRPDR iter env5
321         - 11  # NDRPDR iter env5
322         - 12  # NDRPDR iter env5
323         - 13  # NDRPDR iter env5
324
325     plot-dpdk-hdrh-lat-2n-skx:
326       csit-dpdk-perf-report-iterative-2009-2n-skx:
327         - 4   # NDRPDR iter env5
328
329     # 2n-clx
330
331     plot-vpp-throughput-lat-tsa-2n-clx:
332       csit-vpp-perf-report-iterative-2009-2n-clx:
333         - 36  # rls2009 NDRPDR iter env 5
334         - 39  # rls2009 NDRPDR iter env 5
335         - 40  # rls2009 NDRPDR iter env 5
336         - 65  # rls2009 NDRPDR iter env 5
337         - 66  # rls2009 NDRPDR iter env 5
338         - 79  # rls2009 NDRPDR iter env 5
339         - 82  # rls2009 NDRPDR iter env 5
340         - 88  # rls2009 NDRPDR iter env 5
341         - 89  # rls2009 NDRPDR iter env 5
342         - 90  # rls2009 NDRPDR iter env 5
343         - 114 # rls2009 NDRPDR iter NAT44 env 5
344         - 115 # rls2009 NDRPDR iter NAT44 env 5
345         - 116 # rls2009 NDRPDR iter NAT44 env 5
346         - 117 # rls2009 NDRPDR iter NAT44 env 5
347         - 118 # rls2009 NDRPDR iter NAT44 env 5
348         - 119 # rls2009 NDRPDR iter NAT44 env 5
349         - 121 # rls2009 NDRPDR iter NAT44 env 5
350         - 122 # rls2009 NDRPDR iter NAT44 env 5
351         - 123 # rls2009 NDRPDR iter NAT44 env 5
352         - 126 # rls2009 NDRPDR iter NAT44 env 5
353
354     plot-vpp-hdrh-lat-2n-clx:
355       csit-vpp-perf-report-iterative-2009-2n-clx:
356         - 36  # rls2009 NDRPDR iter env 5
357
358     plot-vpp-hdrh-lat-2n-clx-nat44:
359       csit-vpp-perf-report-iterative-2009-2n-clx:
360         - 123 # rls2009 NDRPDR iter NAT44 env 5
361
362     plot-vpp-nfv-2n-clx-ndrpdr:
363       csit-vpp-perf-report-iterative-2009-2n-clx:
364         - 37  # rls2009 nf-density iter env 5
365         - 43  # rls2009 nf-density iter env 5
366         - 69  # rls2009 nf-density iter env 5
367         - 70  # rls2009 nf-density iter env 5
368         - 71  # rls2009 nf-density iter env 5
369         - 72  # rls2009 nf-density iter env 5
370         - 73  # rls2009 nf-density iter env 5
371         - 74  # rls2009 nf-density iter env 5
372         - 75  # rls2009 nf-density iter env 5
373         - 76  # rls2009 nf-density iter env 5
374
375     plot-vpp-nfv-2n-clx-mrr:
376       csit-vpp-perf-report-iterative-2009-2n-clx:
377         - 45  # rls2009 MRR nf-density iter env 5
378
379     plot-vpp-nfv-reconf-2n-clx:
380       csit-vpp-perf-report-iterative-2009-2n-clx:
381         - 25  # rls2009 reconf env 5
382         - 27  # rls2009 reconf env 5
383         - 28  # rls2009 reconf env 5
384         - 29  # rls2009 reconf env 5
385         - 30  # rls2009 reconf env 5
386         - 30  # rls2009 reconf env 5
387         - 32  # rls2009 reconf env 5
388         - 48  # rls2009 reconf env 5
389         - 53  # rls2009 reconf env 5
390         - 68  # rls2009 reconf env 5
391
392     plot-vpp-soak-2n-clx:
393       csit-vpp-perf-report-iterative-2009-2n-clx:
394         - 33  # rls2009 soak env 5
395         - 34  # rls2009 soak env 5
396
397     plot-dpdk-throughput-latency-2n-clx:
398       csit-dpdk-perf-report-iterative-2009-2n-clx:
399         - 4   # NDRPDR iter env5
400         - 5   # NDRPDR iter env5
401         - 6   # NDRPDR iter env5
402         - 7   # NDRPDR iter env5
403         - 8   # NDRPDR iter env5
404         - 9   # NDRPDR iter env5
405         - 10  # NDRPDR iter env5
406         - 11  # NDRPDR iter env5
407         - 12  # NDRPDR iter env5
408         - 13  # NDRPDR iter env5
409
410     plot-dpdk-hdrh-lat-2n-clx:
411       csit-dpdk-perf-report-iterative-2009-2n-clx:
412         - 4   # NDRPDR iter env5
413
414     # 3n-tsh
415
416     plot-vpp-throughput-lat-tsa-3n-tsh:
417       csit-vpp-perf-report-iterative-2009-3n-tsh:
418         - 14  # rls2009 NDRPDR iter env 5
419         - 20  # rls2009 NDRPDR iter env 5
420         - 21  # rls2009 NDRPDR iter env 5
421         - 22  # rls2009 NDRPDR iter env 5
422         - 23  # rls2009 NDRPDR iter env 5
423         - 28  # rls2009 NDRPDR iter env 5
424         - 30  # rls2009 NDRPDR iter env 5
425         - 33  # rls2009 NDRPDR iter env 5
426         - 38  # rls2009 NDRPDR iter env 5
427         - 41  # rls2009 NDRPDR iter env 5
428
429     plot-vpp-hdrh-lat-3n-tsh:
430       csit-vpp-perf-report-iterative-2009-3n-tsh:
431         - 14  # rls2009 NDRPDR iter env 5
432
433     plot-dpdk-throughput-latency-3n-tsh:
434       csit-dpdk-perf-report-iterative-2009-3n-tsh:
435         - 1   # NDRPDR iter env5
436         - 2   # NDRPDR iter env5
437         - 3   # NDRPDR iter env5
438         - 4   # NDRPDR iter env5
439         - 5   # NDRPDR iter env5
440         - 6   # NDRPDR iter env5
441         - 7   # NDRPDR iter env5
442         - 9   # NDRPDR iter env5
443         - 10  # NDRPDR iter env5
444         - 11  # NDRPDR iter env5
445
446     plot-dpdk-hdrh-lat-3n-tsh:
447       csit-dpdk-perf-report-iterative-2009-3n-tsh:
448         - 1   # NDRPDR iter env5
449
450     # 3n-dnv
451
452     plot-vpp-throughput-lat-tsa-3n-dnv:
453       csit-vpp-perf-report-iterative-2009-3n-dnv:
454         - 3   # rls2009 NDRPDR iter env 5
455         - 6   # rls2009 NDRPDR iter env 5
456         - 7   # rls2009 NDRPDR iter env 5
457         - 8   # rls2009 NDRPDR iter env 5
458         - 10  # rls2009 NDRPDR iter env 5
459         - 11  # rls2009 NDRPDR iter env 5
460         - 12  # rls2009 NDRPDR iter env 5
461         - 14  # rls2009 NDRPDR iter env 5
462         - 15  # rls2009 NDRPDR iter env 5
463         - 24  # rls2009 NDRPDR iter env 5
464
465 #    plot-dpdk-throughput-latency-3n-dnv:
466 #      # No data
467 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
468
469     # 2n-dnv
470
471     plot-vpp-throughput-lat-tsa-2n-dnv:
472       csit-vpp-perf-report-iterative-2009-2n-dnv:
473         - 3   # rls2009 NDRPDR iter env 5
474         - 5   # rls2009 NDRPDR iter env 5
475         - 6   # rls2009 NDRPDR iter env 5
476         - 7   # rls2009 NDRPDR iter env 5
477         - 9   # rls2009 NDRPDR iter env 5
478         - 10  # rls2009 NDRPDR iter env 5
479         - 11  # rls2009 NDRPDR iter env 5
480         - 12  # rls2009 NDRPDR iter env 5
481         - 14  # rls2009 NDRPDR iter env 5
482         - 15  # rls2009 NDRPDR iter env 5
483
484 #    plot-dpdk-throughput-latency-2n-dnv:
485 #      # No data
486 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
487
488     ###########################################################################
489     # Simple tables (only one data set):
490
491     # NIC Comparisons
492
493     vpp-nic-comparison-3n-skx:
494       csit-vpp-perf-report-iterative-2009-3n-skx:
495         - 26  # rls2009 NDRPDR iter env 5
496         - 27  # rls2009 NDRPDR iter env 5
497         - 28  # rls2009 NDRPDR iter env 5
498         - 29  # rls2009 NDRPDR iter env 5
499         - 35  # rls2009 NDRPDR iter env 5
500         - 36  # rls2009 NDRPDR iter env 5
501         - 37  # rls2009 NDRPDR iter env 5
502         - 38  # rls2009 NDRPDR iter env 5
503         - 39  # rls2009 NDRPDR iter env 5
504         - 40  # rls2009 NDRPDR iter env 5
505
506     vpp-nic-comparison-2n-skx:
507       csit-vpp-perf-report-iterative-2009-2n-skx:
508         - 35  # rls2009 NDRPDR iter env 5
509         - 36  # rls2009 NDRPDR iter env 5
510         - 37  # rls2009 NDRPDR iter env 5
511         - 39  # rls2009 NDRPDR iter env 5
512         - 40  # rls2009 NDRPDR iter env 5
513         - 42  # rls2009 NDRPDR iter env 5
514         - 43  # rls2009 NDRPDR iter env 5
515         - 44  # rls2009 NDRPDR iter env 5
516         - 46  # rls2009 NDRPDR iter env 5
517         - 48  # rls2009 NDRPDR iter env 5
518         - 110 # rls2009 NDRPDR iter NAT44 env 5
519         - 111 # rls2009 NDRPDR iter NAT44 env 5
520         - 112 # rls2009 NDRPDR iter NAT44 env 5
521         - 113 # rls2009 NDRPDR iter NAT44 env 5
522         - 114 # rls2009 NDRPDR iter NAT44 env 5
523         - 115 # rls2009 NDRPDR iter NAT44 env 5
524         - 116 # rls2009 NDRPDR iter NAT44 env 5
525         - 118 # rls2009 NDRPDR iter NAT44 env 5
526         - 119 # rls2009 NDRPDR iter NAT44 env 5
527         - 121 # rls2009 NDRPDR iter NAT44 env 5
528
529     vpp-nic-comparison-3n-skx-mrr:
530       csit-vpp-perf-report-iterative-2009-3n-skx:
531         - 24  # rls2009 MRR iter env 5
532
533     vpp-nic-comparison-2n-skx-mrr:
534       csit-vpp-perf-report-iterative-2009-2n-skx:
535         - 120 # rls2009 MRR iter env 5
536
537     # Results
538
539     vpp-perf-results-3n-hsw:
540       csit-vpp-perf-report-coverage-2009-3n-hsw:
541         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
542         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
543         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
544         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
545         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
546         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
547         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
548         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
549         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
550         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
551         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
552         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
553         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
554         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
555         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
556         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
557         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
558         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
559         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
560         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
561         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
562         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
563         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
564         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
565         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
566         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
567         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
568         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
569         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
570         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
571         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
572         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
573         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
574         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
575         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
576
577     vpp-perf-results-3n-skx:
578       csit-vpp-perf-report-coverage-2009-3n-skx:
579         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
580         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
581         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
582         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
583         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
584         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
585         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
586         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
587         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
588         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
589         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
590         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
591         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
592         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
593         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
594         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
595         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
596         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
597         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
598         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
599         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
600         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
601         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
602         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
603         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
604         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
605         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
606         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
607         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
608         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
609         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
610         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
611         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
612         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
613         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
614         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
615
616     vpp-perf-results-2n-skx:
617       csit-vpp-perf-report-coverage-2009-2n-skx:
618         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
619         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
620         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
621         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
622         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
623         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
624         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
625         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
626         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
627         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
628         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
629         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
630         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
631         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
632         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
633         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
634         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
635
636     vpp-perf-results-2n-clx:
637       csit-vpp-perf-report-coverage-2009-2n-clx:
638         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
639         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
640         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
641         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
642         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
643         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
644         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
645         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
646         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
647         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
648         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
649         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
650         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
651         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
652         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
653         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
654         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
655
656     vpp-perf-results-3n-tsh:
657       csit-vpp-perf-report-iterative-2009-3n-tsh:
658         - 14  # rls2009 NDRPDR iter env 5
659
660     vpp-perf-results-3n-dnv:
661       csit-vpp-perf-report-coverage-2009-3n-dnv:
662         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
663         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
664         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
665         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
666         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
667         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
668         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
669         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
670         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
671
672     vpp-perf-results-2n-dnv:
673       csit-vpp-perf-report-coverage-2009-2n-dnv:
674         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
675         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
676         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
677         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
678         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
679         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
680
681     vpp-mrr-results-3n-hsw:
682       csit-vpp-perf-report-iterative-2009-3n-hsw:
683         - 23  # rls2009 MRR iter env 5
684
685     vpp-mrr-results-3n-skx:
686       csit-vpp-perf-report-iterative-2009-3n-skx:
687         - 24  # rls2009 MRR iter env 5
688
689     vpp-mrr-results-2n-skx:
690       csit-vpp-perf-report-iterative-2009-2n-skx:
691         - 120 # rls2009 MRR iter env 5
692
693     vpp-mrr-results-2n-clx:
694       csit-vpp-perf-report-iterative-2009-2n-clx:
695         - 125 # rls2009 MRR iter env 5
696
697     vpp-mrr-results-3n-tsh:
698       csit-vpp-perf-report-iterative-2009-3n-tsh:
699         - 15  # rls2009 MRR iter env 5
700
701     vpp-mrr-results-3n-dnv:
702       csit-vpp-perf-report-iterative-2009-3n-dnv:
703         - 22  # rls2009 MRR iter env 5
704
705     vpp-mrr-results-2n-dnv:
706       csit-vpp-perf-report-iterative-2009-2n-dnv:
707         - 13  # rls2009 MRR iter env 5
708
709     vpp-device-results-ubuntu:
710       csit-vpp-device-2009-ubuntu1804-1n-skx:
711         - 131 # rls2009 env 5
712
713     dpdk-perf-results-3n-hsw:
714       csit-dpdk-perf-report-iterative-2009-3n-hsw:
715         - 6   # NDRPDR iter env5
716
717     dpdk-perf-results-3n-skx:
718       csit-dpdk-perf-report-iterative-2009-3n-skx:
719         - 4   # NDRPDR sel env5
720
721     dpdk-perf-results-2n-skx:
722       csit-dpdk-perf-report-iterative-2009-2n-skx:
723         - 4   # NDRPDR iter env5
724
725     dpdk-perf-results-2n-clx:
726       csit-dpdk-perf-report-iterative-2009-2n-clx:
727         - 4   # NDRPDR iter env5
728
729 #    dpdk-perf-results-2n-dnv:
730 #      # No data
731 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
732
733 #    dpdk-perf-results-3n-dnv:
734 #      # No data
735 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
736
737     dpdk-perf-results-3n-tsh:
738       csit-dpdk-perf-report-iterative-2009-3n-tsh:
739         - 1   # NDRPDR iter env5
740
741 ###########################################################################
742     # Tables (more than one data set)
743
744     # Performance changes
745
746     vpp-performance-changes-3n-hsw-h1:
747       csit-vpp-perf-report-iterative-2005-3n-hsw:
748         - 31  # NDRPDR sel 2001.0-4
749         - 32  # NDRPDR sel 2001.0-4
750         - 33  # NDRPDR sel 2001.0-4
751         - 34  # NDRPDR sel 2001.0-4
752         - 35  # NDRPDR sel 2001.0-4
753         - 36  # NDRPDR sel 2001.0-4
754         - 38  # NDRPDR sel 2001.0-4
755     vpp-performance-changes-3n-hsw-ref-env4:
756       csit-vpp-perf-report-iterative-2005-3n-hsw:
757         - 20  # NDRPDR sel env 4
758         - 21  # NDRPDR sel env 4
759         - 22  # NDRPDR sel env 4
760         - 23  # NDRPDR sel env 4
761         - 24  # NDRPDR sel env 4
762         - 25  # NDRPDR sel env 4
763         - 26  # NDRPDR sel env 4
764         - 27  # NDRPDR sel env 4
765         - 28  # NDRPDR sel env 4
766         - 29  # NDRPDR sel env 4
767     vpp-performance-changes-3n-hsw-ref-env5:
768       csit-vpp-perf-report-iterative-2009-3n-hsw:
769         - 9   # rls2005 NDRPDR iter env 5
770         - 10  # rls2005 NDRPDR iter env 5
771         - 11  # rls2005 NDRPDR iter env 5
772         - 12  # rls2005 NDRPDR iter env 5
773         - 13  # rls2005 NDRPDR iter env 5
774         - 14  # rls2005 NDRPDR iter env 5
775         - 15  # rls2005 NDRPDR iter env 5
776         - 16  # rls2005 NDRPDR iter env 5
777         - 17  # rls2005 NDRPDR iter env 5
778         - 19  # rls2005 NDRPDR iter env 5
779     vpp-performance-changes-3n-hsw-cmp:
780       csit-vpp-perf-report-iterative-2009-3n-hsw:
781         - 21  # rls2009 NDRPDR iter env 5
782         - 22  # rls2009 NDRPDR iter env 5
783         - 24  # rls2009 NDRPDR iter env 5
784         - 25  # rls2009 NDRPDR iter env 5
785         - 26  # rls2009 NDRPDR iter env 5
786         - 27  # rls2009 NDRPDR iter env 5
787         - 28  # rls2009 NDRPDR iter env 5
788         - 29  # rls2009 NDRPDR iter env 5
789         - 30  # rls2009 NDRPDR iter env 5
790         - 31  # rls2009 NDRPDR iter env 5
791
792     vpp-performance-changes-3n-skx-h1:
793       csit-vpp-perf-report-iterative-2005-3n-skx:
794         - 50  # NDRPDR sel 2001.0-4
795         - 51  # NDRPDR sel 2001.0-4
796         - 52  # NDRPDR sel 2001.0-4
797         - 53  # NDRPDR sel 2001.0-4
798         - 54  # NDRPDR sel 2001.0-4
799     vpp-performance-changes-3n-skx-ref-env4:
800       csit-vpp-perf-report-iterative-2005-3n-skx:
801         - 42  # NDRPDR sel env 4
802         - 43  # NDRPDR sel env 4
803         - 44  # NDRPDR sel env 4
804         - 45  # NDRPDR sel env 4
805         - 47  # NDRPDR sel env 4
806         - 55  # NDRPDR sel env 4
807         - 56  # NDRPDR sel env 4
808         - 57  # NDRPDR sel env 4
809         - 61  # NDRPDR sel env 4
810         - 62  # NDRPDR sel env 4
811     vpp-performance-changes-3n-skx-ref-env5:
812       csit-vpp-perf-report-iterative-2009-3n-skx:
813         - 13  # rls2005 NDRPDR iter env 5
814         - 18  # rls2005 NDRPDR iter env 5
815         - 19  # rls2005 NDRPDR iter env 5
816         - 41  # rls2005 NDRPDR iter env 5
817         - 43  # rls2005 NDRPDR iter env 5
818         - 44  # rls2005 NDRPDR iter env 5
819         - 45  # rls2005 NDRPDR iter env 5
820         - 46  # rls2005 NDRPDR iter env 5
821         - 48  # rls2005 NDRPDR iter env 5
822         - 49  # rls2005 NDRPDR iter env 5
823     vpp-performance-changes-3n-skx-cmp:
824       csit-vpp-perf-report-iterative-2009-3n-skx:
825         - 26  # rls2009 NDRPDR iter env 5
826         - 27  # rls2009 NDRPDR iter env 5
827         - 28  # rls2009 NDRPDR iter env 5
828         - 29  # rls2009 NDRPDR iter env 5
829         - 35  # rls2009 NDRPDR iter env 5
830         - 36  # rls2009 NDRPDR iter env 5
831         - 37  # rls2009 NDRPDR iter env 5
832         - 38  # rls2009 NDRPDR iter env 5
833         - 39  # rls2009 NDRPDR iter env 5
834         - 40  # rls2009 NDRPDR iter env 5
835
836     vpp-performance-changes-2n-skx-h1:
837       csit-vpp-perf-report-iterative-2005-2n-skx:
838         - 100 # NDRPDR sel 2001.0-4
839         - 101 # NDRPDR sel 2001.0-4
840         - 102 # NDRPDR sel 2001.0-4
841         - 103 # NDRPDR sel 2001.0-4
842         - 104 # NDRPDR sel 2001.0-4
843         - 105 # NDRPDR sel 2001.0-4
844     vpp-performance-changes-2n-skx-ref-env4:
845       csit-vpp-perf-report-iterative-2005-2n-skx:
846         - 88  # NDRPDR sel env 4
847         - 89  # NDRPDR sel env 4
848         - 90  # NDRPDR sel env 4
849         - 91  # NDRPDR sel env 4
850         - 92  # NDRPDR sel env 4
851         - 93  # NDRPDR sel env 4
852         - 94  # NDRPDR sel env 4
853         - 125 # NDRPDR sel env 4
854         - 126 # NDRPDR sel env 4
855         - 127 # NDRPDR sel env 4
856     vpp-performance-changes-2n-skx-ref-env5:
857       csit-vpp-perf-report-iterative-2009-2n-skx:
858         - 13  # rls2005 NDRPDR iter env 5
859         - 16  # rls2005 NDRPDR iter env 5
860         - 17  # rls2005 NDRPDR iter env 5
861         - 18  # rls2005 NDRPDR iter env 5
862         - 19  # rls2005 NDRPDR iter env 5
863         - 21  # rls2005 NDRPDR iter env 5
864         - 22  # rls2005 NDRPDR iter env 5
865         - 23  # rls2005 NDRPDR iter env 5
866         - 24  # rls2005 NDRPDR iter env 5
867         - 25  # rls2005 NDRPDR iter env 5
868     vpp-performance-changes-2n-skx-cmp:
869       csit-vpp-perf-report-iterative-2009-2n-skx:
870         - 35  # rls2009 NDRPDR iter env 5
871         - 36  # rls2009 NDRPDR iter env 5
872         - 37  # rls2009 NDRPDR iter env 5
873         - 39  # rls2009 NDRPDR iter env 5
874         - 40  # rls2009 NDRPDR iter env 5
875         - 42  # rls2009 NDRPDR iter env 5
876         - 43  # rls2009 NDRPDR iter env 5
877         - 44  # rls2009 NDRPDR iter env 5
878         - 46  # rls2009 NDRPDR iter env 5
879         - 48  # rls2009 NDRPDR iter env 5
880         - 110 # rls2009 NDRPDR iter NAT44 env 5
881         - 111 # rls2009 NDRPDR iter NAT44 env 5
882         - 112 # rls2009 NDRPDR iter NAT44 env 5
883         - 113 # rls2009 NDRPDR iter NAT44 env 5
884         - 114 # rls2009 NDRPDR iter NAT44 env 5
885         - 115 # rls2009 NDRPDR iter NAT44 env 5
886         - 116 # rls2009 NDRPDR iter NAT44 env 5
887         - 118 # rls2009 NDRPDR iter NAT44 env 5
888         - 119 # rls2009 NDRPDR iter NAT44 env 5
889         - 121 # rls2009 NDRPDR iter NAT44 env 5
890
891     vpp-performance-changes-2n-clx-h1:
892       csit-vpp-perf-report-iterative-2005-2n-clx:
893         - 73  # NDRPDR sel 2001.0-4
894         - 74  # NDRPDR sel 2001.0-4
895         - 75  # NDRPDR sel 2001.0-4
896         - 76  # NDRPDR sel 2001.0-4
897         - 77  # NDRPDR sel 2001.0-4
898         - 78  # NDRPDR sel 2001.0-4
899         - 79  # NDRPDR sel 2001.0-4
900         - 80  # NDRPDR sel 2001.0-4
901     vpp-performance-changes-2n-clx-ref-env4:
902       csit-vpp-perf-report-iterative-2005-2n-clx:
903         - 62  # NDRPDR sel env 4
904         - 63  # NDRPDR sel env 4
905         - 64  # NDRPDR sel env 4
906         - 65  # NDRPDR sel env 4
907         - 66  # NDRPDR sel env 4
908         - 68  # NDRPDR sel env 4
909         - 69  # NDRPDR sel env 4
910         - 70  # NDRPDR sel env 4
911         - 103 # NDRPDR sel env 4
912         - 104 # NDRPDR sel env 4
913     vpp-performance-changes-2n-clx-ref-env5:
914       csit-vpp-perf-report-iterative-2009-2n-clx:
915         - 13  # rls2005 NDRPDR iter env 5
916         - 15  # rls2005 NDRPDR iter env 5
917         - 17  # rls2005 NDRPDR iter env 5
918         - 18  # rls2005 NDRPDR iter env 5
919         - 19  # rls2005 NDRPDR iter env 5
920         - 20  # rls2005 NDRPDR iter env 5
921         - 21  # rls2005 NDRPDR iter env 5
922         - 22  # rls2005 NDRPDR iter env 5
923         - 23  # rls2005 NDRPDR iter env 5
924         - 24  # rls2005 NDRPDR iter env 5
925     vpp-performance-changes-2n-clx-cmp:
926       csit-vpp-perf-report-iterative-2009-2n-clx:
927         - 36  # rls2009 NDRPDR iter env 5
928         - 39  # rls2009 NDRPDR iter env 5
929         - 40  # rls2009 NDRPDR iter env 5
930         - 65  # rls2009 NDRPDR iter env 5
931         - 66  # rls2009 NDRPDR iter env 5
932         - 79  # rls2009 NDRPDR iter env 5
933         - 82  # rls2009 NDRPDR iter env 5
934         - 88  # rls2009 NDRPDR iter env 5
935         - 89  # rls2009 NDRPDR iter env 5
936         - 90  # rls2009 NDRPDR iter env 5
937         - 114 # rls2009 NDRPDR iter NAT44 env 5
938         - 115 # rls2009 NDRPDR iter NAT44 env 5
939         - 116 # rls2009 NDRPDR iter NAT44 env 5
940         - 117 # rls2009 NDRPDR iter NAT44 env 5
941         - 118 # rls2009 NDRPDR iter NAT44 env 5
942         - 119 # rls2009 NDRPDR iter NAT44 env 5
943         - 121 # rls2009 NDRPDR iter NAT44 env 5
944         - 122 # rls2009 NDRPDR iter NAT44 env 5
945         - 123 # rls2009 NDRPDR iter NAT44 env 5
946         - 126 # rls2009 NDRPDR iter NAT44 env 5
947
948     vpp-performance-changes-2n-dnv-h1:
949       csit-vpp-perf-verify-2001-2n-dnv:
950         - 4   # NDRPDR sel
951         - 5   # NDRPDR sel
952         - 6   # NDRPDR sel
953         - 7   # NDRPDR sel
954         - 8   # NDRPDR sel
955         - 9   # NDRPDR sel
956         - 10  # NDRPDR sel
957         - 11  # NDRPDR sel
958         - 13  # NDRPDR sel
959         - 16  # NDRPDR sel
960     vpp-performance-changes-2n-dnv-ref:
961       csit-vpp-perf-report-iterative-2009-2n-dnv:
962         - 16  # rls2005 NDRPDR iter env 5
963         - 17  # rls2005 NDRPDR iter env 5
964         - 18  # rls2005 NDRPDR iter env 5
965         - 19  # rls2005 NDRPDR iter env 5
966         - 21  # rls2005 NDRPDR iter env 5
967         - 24  # rls2005 NDRPDR iter env 5
968         - 27  # rls2005 NDRPDR iter env 5
969         - 28  # rls2005 NDRPDR iter env 5
970         - 29  # rls2005 NDRPDR iter env 5
971         - 30  # rls2005 NDRPDR iter env 5
972     vpp-performance-changes-2n-dnv-cmp:
973       csit-vpp-perf-report-iterative-2009-2n-dnv:
974         - 3   # rls2009 NDRPDR iter env 5
975         - 5   # rls2009 NDRPDR iter env 5
976         - 6   # rls2009 NDRPDR iter env 5
977         - 7   # rls2009 NDRPDR iter env 5
978         - 9   # rls2009 NDRPDR iter env 5
979         - 10  # rls2009 NDRPDR iter env 5
980         - 11  # rls2009 NDRPDR iter env 5
981         - 12  # rls2009 NDRPDR iter env 5
982         - 14  # rls2009 NDRPDR iter env 5
983         - 15  # rls2009 NDRPDR iter env 5
984
985     vpp-performance-changes-3n-dnv-h1:
986       csit-vpp-perf-verify-2001-3n-dnv:
987         - 5   # NDRPDR sel
988         - 6   # NDRPDR sel
989         - 7   # NDRPDR sel
990         - 8   # NDRPDR sel
991         - 9   # NDRPDR sel
992         - 10  # NDRPDR sel
993         - 12  # NDRPDR sel
994         - 16  # NDRPDR sel
995         - 17  # NDRPDR sel
996         - 18  # NDRPDR sel
997     vpp-performance-changes-3n-dnv-ref:
998       csit-vpp-perf-report-iterative-2009-3n-dnv:
999         - 16  # rls2005 NDRPDR iter env 5
1000         - 23  # rls2005 NDRPDR iter env 5
1001         - 25  # rls2005 NDRPDR iter env 5
1002         - 26  # rls2005 NDRPDR iter env 5
1003         - 27  # rls2005 NDRPDR iter env 5
1004         - 28  # rls2005 NDRPDR iter env 5
1005         - 29  # rls2005 NDRPDR iter env 5
1006         - 30  # rls2005 NDRPDR iter env 5
1007         - 31  # rls2005 NDRPDR iter env 5
1008         - 32  # rls2005 NDRPDR iter env 5
1009     vpp-performance-changes-3n-dnv-cmp:
1010       csit-vpp-perf-report-iterative-2009-3n-dnv:
1011         - 3   # rls2009 NDRPDR iter env 5
1012         - 6   # rls2009 NDRPDR iter env 5
1013         - 7   # rls2009 NDRPDR iter env 5
1014         - 8   # rls2009 NDRPDR iter env 5
1015         - 10  # rls2009 NDRPDR iter env 5
1016         - 11  # rls2009 NDRPDR iter env 5
1017         - 12  # rls2009 NDRPDR iter env 5
1018         - 14  # rls2009 NDRPDR iter env 5
1019         - 15  # rls2009 NDRPDR iter env 5
1020         - 24  # rls2009 NDRPDR iter env 5
1021
1022     vpp-performance-changes-3n-tsh-h1:
1023       csit-vpp-perf-report-iterative-2005-3n-tsh:
1024         - 28  # NDRPDR sel 2001.0-4
1025         - 29  # NDRPDR sel 2001.0-4
1026         - 31  # NDRPDR sel 2001.0-4
1027     vpp-performance-changes-3n-tsh-ref-env4:
1028       csit-vpp-perf-report-iterative-2005-3n-tsh:
1029         - 23  # NDRPDR sel env 4
1030         - 25  # NDRPDR sel env 4
1031         - 33  # NDRPDR sel env 4
1032         - 34  # NDRPDR sel env 4
1033         - 35  # NDRPDR sel env 4
1034         - 36  # NDRPDR sel env 4
1035         - 37  # NDRPDR sel env 4
1036         - 38  # NDRPDR sel env 4
1037         - 39  # NDRPDR sel env 4
1038         - 40  # NDRPDR sel env 4
1039     vpp-performance-changes-3n-tsh-ref-env5:
1040       csit-vpp-perf-report-iterative-2009-3n-tsh:
1041         - 8   # rls2005 NDRPDR iter env 5
1042         - 11  # rls2005 NDRPDR iter env 5
1043         - 12  # rls2005 NDRPDR iter env 5
1044         - 24  # rls2005 NDRPDR iter env 5
1045         - 27  # rls2005 NDRPDR iter env 5
1046         - 29  # rls2005 NDRPDR iter env 5
1047         - 31  # rls2005 NDRPDR iter env 5
1048         - 39  # rls2005 NDRPDR iter env 5
1049         - 40  # rls2005 NDRPDR iter env 5
1050         - 42  # rls2005 NDRPDR iter env 5
1051     vpp-performance-changes-3n-tsh-cmp:
1052       csit-vpp-perf-report-iterative-2009-3n-tsh:
1053         - 14  # rls2009 NDRPDR iter env 5
1054         - 20  # rls2009 NDRPDR iter env 5
1055         - 21  # rls2009 NDRPDR iter env 5
1056         - 22  # rls2009 NDRPDR iter env 5
1057         - 23  # rls2009 NDRPDR iter env 5
1058         - 28  # rls2009 NDRPDR iter env 5
1059         - 30  # rls2009 NDRPDR iter env 5
1060         - 33  # rls2009 NDRPDR iter env 5
1061         - 38  # rls2009 NDRPDR iter env 5
1062         - 41  # rls2009 NDRPDR iter env 5
1063
1064     vpp-soak-vs-ndr-2n-skx-ref:
1065       csit-vpp-perf-report-iterative-2009-2n-skx:
1066         - 35  # rls2009 NDRPDR iter env 5
1067         - 36  # rls2009 NDRPDR iter env 5
1068         - 37  # rls2009 NDRPDR iter env 5
1069         - 39  # rls2009 NDRPDR iter env 5
1070         - 40  # rls2009 NDRPDR iter env 5
1071         - 42  # rls2009 NDRPDR iter env 5
1072         - 43  # rls2009 NDRPDR iter env 5
1073         - 44  # rls2009 NDRPDR iter env 5
1074         - 46  # rls2009 NDRPDR iter env 5
1075         - 48  # rls2009 NDRPDR iter env 5
1076     vpp-soak-vs-ndr-2n-skx-cmp:
1077       csit-vpp-perf-report-iterative-2009-2n-skx:
1078         - 33  # rls2009 soak env 5
1079         - 34  # rls2009 soak env 5
1080     vpp-soak-vs-ndr-2n-skx:
1081       csit-vpp-perf-report-iterative-2009-2n-skx:
1082         - 35  # rls2009 NDRPDR iter env 5
1083         - 36  # rls2009 NDRPDR iter env 5
1084         - 37  # rls2009 NDRPDR iter env 5
1085         - 39  # rls2009 NDRPDR iter env 5
1086         - 40  # rls2009 NDRPDR iter env 5
1087         - 42  # rls2009 NDRPDR iter env 5
1088         - 43  # rls2009 NDRPDR iter env 5
1089         - 44  # rls2009 NDRPDR iter env 5
1090         - 46  # rls2009 NDRPDR iter env 5
1091         - 48  # rls2009 NDRPDR iter env 5
1092         - 33  # rls2009 soak env 5
1093         - 34  # rls2009 soak env 5
1094
1095     vpp-soak-vs-ndr-2n-clx-ref:
1096       csit-vpp-perf-report-iterative-2009-2n-clx:
1097         - 36  # rls2009 NDRPDR iter env 5
1098         - 39  # rls2009 NDRPDR iter env 5
1099         - 40  # rls2009 NDRPDR iter env 5
1100         - 65  # rls2009 NDRPDR iter env 5
1101         - 66  # rls2009 NDRPDR iter env 5
1102         - 79  # rls2009 NDRPDR iter env 5
1103         - 82  # rls2009 NDRPDR iter env 5
1104         - 88  # rls2009 NDRPDR iter env 5
1105         - 89  # rls2009 NDRPDR iter env 5
1106         - 90  # rls2009 NDRPDR iter env 5
1107     vpp-soak-vs-ndr-2n-clx-cmp:
1108       csit-vpp-perf-report-iterative-2009-2n-clx:
1109         - 33  # rls2009 soak env 5
1110         - 34  # rls2009 soak env 5
1111     vpp-soak-vs-ndr-2n-clx:
1112       csit-vpp-perf-report-iterative-2009-2n-clx:
1113         - 36  # rls2009 NDRPDR iter env 5
1114         - 39  # rls2009 NDRPDR iter env 5
1115         - 40  # rls2009 NDRPDR iter env 5
1116         - 65  # rls2009 NDRPDR iter env 5
1117         - 66  # rls2009 NDRPDR iter env 5
1118         - 79  # rls2009 NDRPDR iter env 5
1119         - 82  # rls2009 NDRPDR iter env 5
1120         - 88  # rls2009 NDRPDR iter env 5
1121         - 89  # rls2009 NDRPDR iter env 5
1122         - 90  # rls2009 NDRPDR iter env 5
1123         - 33  # rls2009 soak env 5
1124         - 34  # rls2009 soak env 5
1125
1126     vpp-performance-changes-3n-hsw-mrr-h1:
1127       csit-vpp-perf-verify-2001-3n-hsw:
1128         - 17  # MRR sel
1129     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1130       csit-vpp-perf-report-iterative-2005-3n-hsw:
1131         - 30  # MRR env 4
1132     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1133       csit-vpp-perf-report-iterative-2009-3n-hsw:
1134         - 18  # rls2005 MRR iter env 5
1135     vpp-performance-changes-3n-hsw-mrr-cmp:
1136       csit-vpp-perf-report-iterative-2009-3n-hsw:
1137         - 23  # rls2009 MRR iter env 5
1138
1139     vpp-performance-changes-3n-skx-mrr-h1:
1140       csit-vpp-perf-verify-2001-3n-skx:
1141         - 50  # MRR sel
1142         - 53  # MRR sel addition
1143     vpp-performance-changes-3n-skx-mrr-ref-env4:
1144       csit-vpp-perf-report-iterative-2005-3n-skx:
1145         - 49  # MRR sel env 4
1146     vpp-performance-changes-3n-skx-mrr-ref-env5:
1147       csit-vpp-perf-report-iterative-2009-3n-skx:
1148         - 17  # rls2005 MRR iter env 5
1149     vpp-performance-changes-3n-skx-mrr-cmp:
1150       csit-vpp-perf-report-iterative-2009-3n-skx:
1151         - 24  # rls2009 MRR iter env 5
1152
1153     vpp-performance-changes-2n-skx-mrr-h1:
1154       csit-vpp-perf-verify-2001-2n-skx:
1155         - 101 # MRR sel
1156         - 128 # MRR sel addition
1157     vpp-performance-changes-2n-skx-mrr-ref-env4:
1158       csit-vpp-perf-report-iterative-2005-2n-skx:
1159         - 99  # MRR sel env 4
1160     vpp-performance-changes-2n-skx-mrr-ref-env5:
1161       csit-vpp-perf-report-iterative-2009-2n-skx:
1162         - 20  # rls2005 MRR iter env 5
1163     vpp-performance-changes-2n-skx-mrr-cmp:
1164       csit-vpp-perf-report-iterative-2009-2n-skx:
1165         - 120 # rls2009 MRR iter env 5
1166
1167     vpp-performance-changes-2n-clx-mrr-h1:
1168       csit-vpp-perf-verify-2001-2n-clx:
1169         - 39  # MRR
1170     vpp-performance-changes-2n-clx-mrr-ref-env4:
1171       csit-vpp-perf-report-iterative-2005-2n-clx:
1172         - 72   # MRR sel env 4
1173     vpp-performance-changes-2n-clx-mrr-ref-env5:
1174       csit-vpp-perf-report-iterative-2009-2n-clx:
1175         - 77  # rls2005 MRR iter env 5
1176     vpp-performance-changes-2n-clx-mrr-cmp:
1177       csit-vpp-perf-report-iterative-2009-2n-clx:
1178         - 125 # rls2009 MRR iter env 5
1179
1180     vpp-performance-changes-2n-dnv-mrr-h1:
1181       csit-vpp-perf-verify-2001-2n-dnv:
1182         - 12  # MRR sel
1183     vpp-performance-changes-2n-dnv-mrr-ref:
1184       csit-vpp-perf-report-iterative-2009-2n-dnv:
1185         - 23  # rls2005 MRR iter env 5
1186     vpp-performance-changes-2n-dnv-mrr-cmp:
1187       csit-vpp-perf-report-iterative-2009-2n-dnv:
1188         - 13  # rls2009 MRR iter env 5
1189
1190     vpp-performance-changes-3n-dnv-mrr-h1:
1191       csit-vpp-perf-verify-2001-3n-dnv:
1192         - 11  # MRR sel
1193     vpp-performance-changes-3n-dnv-mrr-ref:
1194       csit-vpp-perf-report-iterative-2009-3n-dnv:
1195         - 19  # rls2005 MRR iter env 5
1196     vpp-performance-changes-3n-dnv-mrr-cmp:
1197       csit-vpp-perf-report-iterative-2009-3n-dnv:
1198         - 22  # rls2009 MRR iter env 5
1199
1200     vpp-performance-changes-3n-tsh-mrr-h1:
1201       csit-vpp-perf-verify-2001-3n-tsh:
1202         - 9   # MRR sel
1203     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1204       csit-vpp-perf-report-iterative-2005-3n-tsh:
1205         - 27  # MRR sel env 4
1206     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1207       csit-vpp-perf-report-iterative-2009-3n-tsh:
1208         - 13  # rls2005 MRR iter env 5
1209     vpp-performance-changes-3n-tsh-mrr-cmp:
1210       csit-vpp-perf-report-iterative-2009-3n-tsh:
1211         - 15  # rls2009 MRR iter env 5
1212
1213     dpdk-performance-changes-3n-hsw-h1:
1214       csit-dpdk-perf-verify-2001-3n-hsw:
1215         - 4   # NDRPDR sel
1216         - 5   # NDRPDR sel
1217         - 6   # NDRPDR sel
1218         - 7   # NDRPDR sel
1219         - 8   # NDRPDR sel
1220         - 9   # NDRPDR sel
1221         - 10  # NDRPDR sel
1222         - 11  # NDRPDR sel
1223         - 12  # NDRPDR sel
1224         - 13  # NDRPDR sel
1225         - 15  # NDRPDR sel
1226         - 16  # NDRPDR sel
1227         - 17  # NDRPDR sel
1228         - 18  # NDRPDR sel
1229         - 19  # NDRPDR sel
1230         - 20  # NDRPDR sel
1231         - 21  # NDRPDR sel
1232         - 22  # NDRPDR sel
1233         - 23  # NDRPDR sel
1234         - 24  # NDRPDR sel
1235     dpdk-performance-changes-3n-hsw-ref:
1236       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1237         - 25  # NDRPDR iter
1238         - 26  # NDRPDR iter
1239         - 27  # NDRPDR iter
1240         - 28  # NDRPDR iter
1241         - 29  # NDRPDR iter
1242         - 30  # NDRPDR iter
1243         - 31  # NDRPDR iter
1244         - 32  # NDRPDR iter
1245         - 33  # NDRPDR iter
1246         - 34  # NDRPDR iter
1247     dpdk-performance-changes-3n-hsw-cmp:
1248       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1249         - 6   # NDRPDR iter env5
1250         - 7   # NDRPDR iter env5
1251         - 8   # NDRPDR iter env5
1252         - 9   # NDRPDR iter env5
1253         - 10  # NDRPDR iter env5
1254         - 11  # NDRPDR iter env5
1255         - 12  # NDRPDR iter env5
1256         - 13  # NDRPDR iter env5
1257         - 14  # NDRPDR iter env5
1258         - 15  # NDRPDR iter env5
1259
1260     dpdk-performance-changes-3n-skx-h1:
1261       csit-dpdk-perf-verify-2001-3n-skx:
1262         - 29  # NDRPDR sel xxv710
1263         - 33  # NDRPDR sel xxv710
1264         - 34  # NDRPDR sel xxv710
1265         - 35  # NDRPDR sel xxv710
1266         - 36  # NDRPDR sel xxv710
1267         - 37  # NDRPDR sel xxv710
1268         - 41  # NDRPDR sel xxv710
1269         - 42  # NDRPDR sel xxv710
1270         - 43  # NDRPDR sel xxv710
1271         - 45  # NDRPDR sel xxv710
1272         - 30  # NDRPDR sel x710
1273         - 31  # NDRPDR sel x710
1274         - 32  # NDRPDR sel x710
1275         - 38  # NDRPDR sel x710
1276         - 39  # NDRPDR sel x710
1277         - 40  # NDRPDR sel x710
1278         - 44  # NDRPDR sel x710
1279         - 46  # NDRPDR sel x710
1280         - 47  # NDRPDR sel x710
1281         - 48  # NDRPDR sel x710
1282     dpdk-performance-changes-3n-skx-ref:
1283       csit-dpdk-perf-report-iterative-2005-3n-skx:
1284         - 28  # NDRPDR iter
1285         - 29  # NDRPDR iter
1286         - 30  # NDRPDR iter
1287         - 31  # NDRPDR iter
1288         - 32  # NDRPDR iter
1289         - 33  # NDRPDR iter
1290         - 34  # NDRPDR iter
1291         - 35  # NDRPDR iter
1292         - 36  # NDRPDR iter
1293         - 37  # NDRPDR iter
1294     dpdk-performance-changes-3n-skx-cmp:
1295       csit-dpdk-perf-report-iterative-2009-3n-skx:
1296         - 4   # NDRPDR sel env5
1297         - 5   # NDRPDR sel env5
1298         - 6   # NDRPDR sel env5
1299         - 7   # NDRPDR sel env5
1300         - 8   # NDRPDR sel env5
1301         - 9   # NDRPDR sel env5
1302         - 14  # NDRPDR sel env5
1303         - 11  # NDRPDR sel env5
1304         - 12  # NDRPDR sel env5
1305         - 13  # NDRPDR sel env5
1306
1307     dpdk-performance-changes-2n-skx-h1:
1308       csit-dpdk-perf-verify-2001-2n-skx:
1309         - 35  # NDRPDR sel xxv710
1310         - 36  # NDRPDR sel xxv710
1311         - 37  # NDRPDR sel xxv710
1312         - 41  # NDRPDR sel xxv710
1313         - 42  # NDRPDR sel xxv710
1314         - 43  # NDRPDR sel xxv710
1315         - 46  # NDRPDR sel xxv710
1316         - 47  # NDRPDR sel xxv710
1317         - 52  # NDRPDR sel xxv710
1318         - 53  # NDRPDR sel xxv710
1319         - 38  # NDRPDR sel x710
1320         - 39  # NDRPDR sel x710
1321         - 40  # NDRPDR sel x710
1322         - 44  # NDRPDR sel x710
1323         - 45  # NDRPDR sel x710
1324         - 48  # NDRPDR sel x710
1325         - 49  # NDRPDR sel x710
1326         - 50  # NDRPDR sel x710
1327         - 51  # NDRPDR sel x710
1328         - 54  # NDRPDR sel x710
1329     dpdk-performance-changes-2n-skx-ref:
1330       csit-dpdk-perf-report-iterative-2005-2n-skx:
1331         - 20  # NDRPDR iter
1332         - 21  # NDRPDR iter
1333         - 22  # NDRPDR iter
1334         - 23  # NDRPDR iter
1335         - 24  # NDRPDR iter
1336         - 25  # NDRPDR iter
1337         - 26  # NDRPDR iter
1338         - 27  # NDRPDR iter
1339         - 28  # NDRPDR iter
1340         - 29  # NDRPDR iter
1341     dpdk-performance-changes-2n-skx-cmp:
1342       csit-dpdk-perf-report-iterative-2009-2n-skx:
1343         - 4   # NDRPDR iter env5
1344         - 5   # NDRPDR iter env5
1345         - 6   # NDRPDR iter env5
1346         - 7   # NDRPDR iter env5
1347         - 8   # NDRPDR iter env5
1348         - 9   # NDRPDR iter env5
1349         - 10  # NDRPDR iter env5
1350         - 11  # NDRPDR iter env5
1351         - 12  # NDRPDR iter env5
1352         - 13  # NDRPDR iter env5
1353
1354     dpdk-performance-changes-2n-clx-h1:
1355       csit-dpdk-perf-verify-2001-2n-clx:
1356         - 15  # NDRPDR sel
1357         - 16  # NDRPDR sel
1358         - 17  # NDRPDR sel
1359         - 18  # NDRPDR sel
1360         - 19  # NDRPDR sel
1361         - 20  # NDRPDR sel
1362         - 21  # NDRPDR sel
1363         - 22  # NDRPDR sel
1364         - 23  # NDRPDR sel
1365         - 24  # NDRPDR sel
1366         - 25  # NDRPDR sel
1367         - 26  # NDRPDR sel
1368         - 27  # NDRPDR sel
1369         - 28  # NDRPDR sel
1370         - 29  # NDRPDR sel
1371         - 30  # NDRPDR sel
1372         - 31  # NDRPDR sel
1373         - 32  # NDRPDR sel
1374         - 33  # NDRPDR sel
1375         - 34  # NDRPDR sel
1376     dpdk-performance-changes-2n-clx-ref:
1377       csit-dpdk-perf-report-iterative-2005-2n-clx:
1378         - 20  # NDRPDR iter
1379         - 21  # NDRPDR iter
1380         - 22  # NDRPDR iter
1381         - 23  # NDRPDR iter
1382         - 24  # NDRPDR iter
1383         - 25  # NDRPDR iter
1384         - 26  # NDRPDR iter
1385         - 27  # NDRPDR iter
1386         - 28  # NDRPDR iter
1387         - 29  # NDRPDR iter
1388     dpdk-performance-changes-2n-clx-cmp:
1389       csit-dpdk-perf-report-iterative-2009-2n-clx:
1390         - 4   # NDRPDR iter env5
1391         - 5   # NDRPDR iter env5
1392         - 6   # NDRPDR iter env5
1393         - 7   # NDRPDR iter env5
1394         - 8   # NDRPDR iter env5
1395         - 9   # NDRPDR iter env5
1396         - 10  # NDRPDR iter env5
1397         - 11  # NDRPDR iter env5
1398         - 12  # NDRPDR iter env5
1399         - 13  # NDRPDR iter env5
1400
1401 #    dpdk-performance-changes-2n-dnv-h1:
1402 #      csit-dpdk-perf-verify-2001-2n-dnv:
1403 #        - 9   # NDRPDR sel
1404 #        - 10  # NDRPDR sel
1405 #        - 11  # NDRPDR sel
1406 #        - 12  # NDRPDR sel
1407 #        - 13  # NDRPDR sel
1408 #        - 14  # NDRPDR sel
1409 #        - 15  # NDRPDR sel
1410 #        - 16  # NDRPDR sel
1411 #        - 17  # NDRPDR sel
1412 #        - 18  # NDRPDR sel
1413 #    dpdk-performance-changes-2n-dnv-ref:
1414 #      # No data
1415 #    dpdk-performance-changes-2n-dnv-cmp:
1416 #      # No data
1417 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1418
1419 #    dpdk-performance-changes-3n-dnv-h1:
1420 #      csit-dpdk-perf-verify-2001-3n-dnv:
1421 #        - 12  # NDRPDR sel
1422 #        - 13  # NDRPDR sel
1423 #        - 14  # NDRPDR sel
1424 #        - 15  # NDRPDR sel
1425 #        - 16  # NDRPDR sel
1426 #        - 17  # NDRPDR sel
1427 #        - 18  # NDRPDR sel
1428 #        - 19  # NDRPDR sel
1429 #        - 20  # NDRPDR sel
1430 #        - 22  # NDRPDR sel
1431 #    dpdk-performance-changes-3n-dnv-ref:
1432 #      # No data
1433 #    dpdk-performance-changes-3n-dnv-cmp:
1434 #      # No data
1435 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1436
1437     dpdk-performance-changes-3n-tsh-h1:
1438       csit-dpdk-perf-verify-2001-3n-tsh:
1439         - 3   # NDRPDR sel
1440         - 4   # NDRPDR sel
1441         - 5   # NDRPDR sel
1442         - 9   # NDRPDR sel
1443         - 10  # NDRPDR sel
1444         - 11  # NDRPDR sel
1445         - 12  # NDRPDR sel
1446         - 14  # NDRPDR sel
1447         - 15  # NDRPDR sel
1448         - 18  # NDRPDR sel
1449     dpdk-performance-changes-3n-tsh-ref:
1450       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1451         - 5   # NDRPDR sel
1452     dpdk-performance-changes-3n-tsh-cmp:
1453       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1454         - 1   # NDRPDR iter env5
1455         - 2   # NDRPDR iter env5
1456         - 3   # NDRPDR iter env5
1457         - 4   # NDRPDR iter env5
1458         - 5   # NDRPDR iter env5
1459         - 6   # NDRPDR iter env5
1460         - 7   # NDRPDR iter env5
1461         - 9   # NDRPDR iter env5
1462         - 10  # NDRPDR iter env5
1463         - 11  # NDRPDR iter env5
1464
1465     # Compare testbeds
1466
1467     vpp-compare-testbeds-ref:
1468       csit-vpp-perf-report-iterative-2009-3n-hsw:
1469         - 21  # rls2009 NDRPDR iter env 5
1470         - 22  # rls2009 NDRPDR iter env 5
1471         - 24  # rls2009 NDRPDR iter env 5
1472         - 25  # rls2009 NDRPDR iter env 5
1473         - 26  # rls2009 NDRPDR iter env 5
1474         - 27  # rls2009 NDRPDR iter env 5
1475         - 28  # rls2009 NDRPDR iter env 5
1476         - 29  # rls2009 NDRPDR iter env 5
1477         - 30  # rls2009 NDRPDR iter env 5
1478         - 31  # rls2009 NDRPDR iter env 5
1479     vpp-compare-testbeds-cmp:
1480       csit-vpp-perf-report-iterative-2009-3n-skx:
1481         - 26  # rls2009 NDRPDR iter env 5
1482         - 27  # rls2009 NDRPDR iter env 5
1483         - 28  # rls2009 NDRPDR iter env 5
1484         - 29  # rls2009 NDRPDR iter env 5
1485         - 35  # rls2009 NDRPDR iter env 5
1486         - 36  # rls2009 NDRPDR iter env 5
1487         - 37  # rls2009 NDRPDR iter env 5
1488         - 38  # rls2009 NDRPDR iter env 5
1489         - 39  # rls2009 NDRPDR iter env 5
1490         - 40  # rls2009 NDRPDR iter env 5
1491
1492     vpp-compare-testbeds-skx-clx-ref:
1493       csit-vpp-perf-report-iterative-2009-2n-skx:
1494         - 35  # rls2009 NDRPDR iter env 5
1495         - 36  # rls2009 NDRPDR iter env 5
1496         - 37  # rls2009 NDRPDR iter env 5
1497         - 39  # rls2009 NDRPDR iter env 5
1498         - 40  # rls2009 NDRPDR iter env 5
1499         - 42  # rls2009 NDRPDR iter env 5
1500         - 43  # rls2009 NDRPDR iter env 5
1501         - 44  # rls2009 NDRPDR iter env 5
1502         - 46  # rls2009 NDRPDR iter env 5
1503         - 48  # rls2009 NDRPDR iter env 5
1504         - 110 # rls2009 NDRPDR iter NAT44 env 5
1505         - 111 # rls2009 NDRPDR iter NAT44 env 5
1506         - 112 # rls2009 NDRPDR iter NAT44 env 5
1507         - 113 # rls2009 NDRPDR iter NAT44 env 5
1508         - 114 # rls2009 NDRPDR iter NAT44 env 5
1509         - 115 # rls2009 NDRPDR iter NAT44 env 5
1510         - 116 # rls2009 NDRPDR iter NAT44 env 5
1511         - 118 # rls2009 NDRPDR iter NAT44 env 5
1512         - 119 # rls2009 NDRPDR iter NAT44 env 5
1513         - 121 # rls2009 NDRPDR iter NAT44 env 5
1514     vpp-compare-testbeds-skx-clx-cmp:
1515       csit-vpp-perf-report-iterative-2009-2n-clx:
1516         - 36  # rls2009 NDRPDR iter env 5
1517         - 39  # rls2009 NDRPDR iter env 5
1518         - 40  # rls2009 NDRPDR iter env 5
1519         - 65  # rls2009 NDRPDR iter env 5
1520         - 66  # rls2009 NDRPDR iter env 5
1521         - 79  # rls2009 NDRPDR iter env 5
1522         - 82  # rls2009 NDRPDR iter env 5
1523         - 88  # rls2009 NDRPDR iter env 5
1524         - 89  # rls2009 NDRPDR iter env 5
1525         - 90  # rls2009 NDRPDR iter env 5
1526         - 114 # rls2009 NDRPDR iter NAT44 env 5
1527         - 115 # rls2009 NDRPDR iter NAT44 env 5
1528         - 116 # rls2009 NDRPDR iter NAT44 env 5
1529         - 117 # rls2009 NDRPDR iter NAT44 env 5
1530         - 118 # rls2009 NDRPDR iter NAT44 env 5
1531         - 119 # rls2009 NDRPDR iter NAT44 env 5
1532         - 121 # rls2009 NDRPDR iter NAT44 env 5
1533         - 122 # rls2009 NDRPDR iter NAT44 env 5
1534         - 123 # rls2009 NDRPDR iter NAT44 env 5
1535         - 126 # rls2009 NDRPDR iter NAT44 env 5
1536
1537     vpp-compare-testbeds-hsw-clx-ref:
1538       csit-vpp-perf-report-iterative-2009-3n-hsw:
1539         - 21  # rls2009 NDRPDR iter env 5
1540         - 22  # rls2009 NDRPDR iter env 5
1541         - 24  # rls2009 NDRPDR iter env 5
1542         - 25  # rls2009 NDRPDR iter env 5
1543         - 26  # rls2009 NDRPDR iter env 5
1544         - 27  # rls2009 NDRPDR iter env 5
1545         - 28  # rls2009 NDRPDR iter env 5
1546         - 29  # rls2009 NDRPDR iter env 5
1547         - 30  # rls2009 NDRPDR iter env 5
1548         - 31  # rls2009 NDRPDR iter env 5
1549     vpp-compare-testbeds-hsw-clx-cmp:
1550       csit-vpp-perf-report-iterative-2009-2n-clx:
1551         - 36  # rls2009 NDRPDR iter env 5
1552         - 39  # rls2009 NDRPDR iter env 5
1553         - 40  # rls2009 NDRPDR iter env 5
1554         - 65  # rls2009 NDRPDR iter env 5
1555         - 66  # rls2009 NDRPDR iter env 5
1556         - 79  # rls2009 NDRPDR iter env 5
1557         - 82  # rls2009 NDRPDR iter env 5
1558         - 88  # rls2009 NDRPDR iter env 5
1559         - 89  # rls2009 NDRPDR iter env 5
1560         - 90  # rls2009 NDRPDR iter env 5
1561
1562     vpp-compare-testbeds-mrr-ref:
1563       csit-vpp-perf-report-iterative-2009-3n-hsw:
1564         - 23  # rls2009 MRR iter env 5
1565     vpp-compare-testbeds-mrr-cmp:
1566       csit-vpp-perf-report-iterative-2009-3n-skx:
1567         - 24  # rls2009 MRR iter env 5
1568
1569     vpp-compare-testbeds-mrr-skx-clx-ref:
1570       csit-vpp-perf-report-iterative-2009-2n-skx:
1571         - 120 # rls2009 MRR iter env 5
1572     vpp-compare-testbeds-mrr-skx-clx-cmp:
1573       csit-vpp-perf-report-iterative-2009-2n-clx:
1574         - 125 # rls2009 MRR iter env 5
1575
1576     vpp-compare-testbeds-mrr-hsw-clx-ref:
1577       csit-vpp-perf-report-iterative-2009-3n-hsw:
1578         - 23  # rls2009 MRR iter env 5
1579     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1580       csit-vpp-perf-report-iterative-2009-2n-clx:
1581         - 125 # rls2009 MRR iter env 5
1582
1583     dpdk-compare-testbeds-ref:
1584       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1585         - 6   # NDRPDR iter env5
1586         - 7   # NDRPDR iter env5
1587         - 8   # NDRPDR iter env5
1588         - 9   # NDRPDR iter env5
1589         - 10  # NDRPDR iter env5
1590         - 11  # NDRPDR iter env5
1591         - 12  # NDRPDR iter env5
1592         - 13  # NDRPDR iter env5
1593         - 14  # NDRPDR iter env5
1594         - 15  # NDRPDR iter env5
1595     dpdk-compare-testbeds-cmp:
1596       csit-dpdk-perf-report-iterative-2009-3n-skx:
1597         - 4   # NDRPDR sel env5
1598         - 5   # NDRPDR sel env5
1599         - 6   # NDRPDR sel env5
1600         - 7   # NDRPDR sel env5
1601         - 8   # NDRPDR sel env5
1602         - 9   # NDRPDR sel env5
1603         - 14  # NDRPDR sel env5
1604         - 11  # NDRPDR sel env5
1605         - 12  # NDRPDR sel env5
1606         - 13  # NDRPDR sel env5
1607
1608     dpdk-compare-testbeds-skx-clx-ref:
1609       csit-dpdk-perf-report-iterative-2009-2n-skx:
1610         - 4   # NDRPDR iter env5
1611         - 5   # NDRPDR iter env5
1612         - 6   # NDRPDR iter env5
1613         - 7   # NDRPDR iter env5
1614         - 8   # NDRPDR iter env5
1615         - 9   # NDRPDR iter env5
1616         - 10  # NDRPDR iter env5
1617         - 11  # NDRPDR iter env5
1618         - 12  # NDRPDR iter env5
1619         - 13  # NDRPDR iter env5
1620     dpdk-compare-testbeds-skx-clx-cmp:
1621       csit-dpdk-perf-report-iterative-2009-2n-clx:
1622         - 4   # NDRPDR iter env5
1623         - 5   # NDRPDR iter env5
1624         - 6   # NDRPDR iter env5
1625         - 7   # NDRPDR iter env5
1626         - 8   # NDRPDR iter env5
1627         - 9   # NDRPDR iter env5
1628         - 10  # NDRPDR iter env5
1629         - 11  # NDRPDR iter env5
1630         - 12  # NDRPDR iter env5
1631         - 13  # NDRPDR iter env5
1632
1633     # Compare topologies
1634
1635     vpp-compare-topologies-ref:
1636       csit-vpp-perf-report-iterative-2009-3n-skx:
1637         - 26  # rls2009 NDRPDR iter env 5
1638         - 27  # rls2009 NDRPDR iter env 5
1639         - 28  # rls2009 NDRPDR iter env 5
1640         - 29  # rls2009 NDRPDR iter env 5
1641         - 35  # rls2009 NDRPDR iter env 5
1642         - 36  # rls2009 NDRPDR iter env 5
1643         - 37  # rls2009 NDRPDR iter env 5
1644         - 38  # rls2009 NDRPDR iter env 5
1645         - 39  # rls2009 NDRPDR iter env 5
1646         - 40  # rls2009 NDRPDR iter env 5
1647     vpp-compare-topologies-cmp:
1648       csit-vpp-perf-report-iterative-2009-2n-skx:
1649         - 35  # rls2009 NDRPDR iter env 5
1650         - 36  # rls2009 NDRPDR iter env 5
1651         - 37  # rls2009 NDRPDR iter env 5
1652         - 39  # rls2009 NDRPDR iter env 5
1653         - 40  # rls2009 NDRPDR iter env 5
1654         - 42  # rls2009 NDRPDR iter env 5
1655         - 43  # rls2009 NDRPDR iter env 5
1656         - 44  # rls2009 NDRPDR iter env 5
1657         - 46  # rls2009 NDRPDR iter env 5
1658         - 48  # rls2009 NDRPDR iter env 5
1659
1660     vpp-compare-topologies-mrr-ref:
1661       csit-vpp-perf-report-iterative-2009-3n-skx:
1662         - 24  # rls2009 MRR iter env 5
1663     vpp-compare-topologies-mrr-cmp:
1664       csit-vpp-perf-report-iterative-2009-2n-skx:
1665         - 120 # rls2009 MRR iter env 5
1666
1667     dpdk-compare-topologies-ref:
1668       csit-dpdk-perf-report-iterative-2009-3n-skx:
1669         - 4   # NDRPDR sel env5
1670         - 5   # NDRPDR sel env5
1671         - 6   # NDRPDR sel env5
1672         - 7   # NDRPDR sel env5
1673         - 8   # NDRPDR sel env5
1674         - 9   # NDRPDR sel env5
1675         - 14  # NDRPDR sel env5
1676         - 11  # NDRPDR sel env5
1677         - 12  # NDRPDR sel env5
1678         - 13  # NDRPDR sel env5
1679     dpdk-compare-topologies-cmp:
1680       csit-dpdk-perf-report-iterative-2009-2n-skx:
1681         - 4   # NDRPDR iter env5
1682         - 5   # NDRPDR iter env5
1683         - 6   # NDRPDR iter env5
1684         - 7   # NDRPDR iter env5
1685         - 8   # NDRPDR iter env5
1686         - 9   # NDRPDR iter env5
1687         - 10  # NDRPDR iter env5
1688         - 11  # NDRPDR iter env5
1689         - 12  # NDRPDR iter env5
1690         - 13  # NDRPDR iter env5
1691
1692   plot-layouts:
1693
1694     plot-soak-throughput:
1695       titlefont:
1696         size: 16
1697       xaxis:
1698         title: "<b>Test Cases [Index]</b>"
1699         titlefont:
1700           size: 14
1701         autorange: True
1702         fixedrange: False
1703         gridcolor: "rgb(230, 230, 230)"
1704         linecolor: "rgb(220, 220, 220)"
1705         linewidth: 1
1706         showgrid: True
1707         showline: True
1708         showticklabels: True
1709         tickcolor: "rgb(220, 220, 220)"
1710         tickmode: "linear"
1711         tickfont:
1712           size: 14
1713         zeroline: False
1714       yaxis:
1715         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1716         titlefont:
1717           size: 14
1718         gridcolor: "rgb(230, 230, 230)"
1719         hoverformat: ".4r"
1720         tickformat: ".3r"
1721         linecolor: "rgb(220, 220, 220)"
1722         linewidth: 1
1723         showgrid: True
1724         showline: True
1725         showticklabels: True
1726         tickcolor: "rgb(220, 220, 220)"
1727         tickfont:
1728           size: 14
1729         zeroline: False
1730         range: [0,50]
1731       autosize: False
1732       margin:
1733         t: 50
1734         b: 0
1735         l: 80
1736         r: 20
1737       showlegend: True
1738       legend:
1739         orientation: "h"
1740         font:
1741           size: 14
1742       width: 700
1743       height: 900
1744       paper_bgcolor: "#fff"
1745       plot_bgcolor: "#fff"
1746       hoverlabel:
1747         namelength: -1
1748
1749     plot-service-density:
1750       titlefont:
1751         size: 16
1752       xaxis:
1753         side: "top"
1754         autorange: True
1755         fixedrange: False
1756         showgrid: False
1757         showline: False
1758         showticklabels: False
1759         ticks: ""
1760         ticklen: 0
1761         tickwidth: 0
1762         zeroline: False
1763       yaxis:
1764         autorange: "reversed"
1765         showgrid: False
1766         showline: False
1767         showticklabels: False
1768         ticks: ""
1769         ticklen: 0
1770         tickwidth: 0
1771         zeroline: False
1772       showlegend: False
1773       paper_bgcolor: "#fff"
1774       plot_bgcolor: "#fff"
1775       width: 700
1776       height: 700
1777       hoverlabel:
1778         namelength: -1
1779
1780     plot-hoststack:
1781       titlefont:
1782         size: 16
1783       xaxis:
1784         title: "<b>Test Cases [Index]</b>"
1785         titlefont:
1786           size: 14
1787         autorange: True
1788         fixedrange: False
1789         gridcolor: "rgb(230, 230, 230)"
1790         linecolor: "rgb(220, 220, 220)"
1791         linewidth: 1
1792         showgrid: True
1793         showline: True
1794         showticklabels: True
1795         tickcolor: "rgb(220, 220, 220)"
1796         tickmode: "linear"
1797         tickfont:
1798           size: 14
1799         zeroline: False
1800       yaxis:
1801         title: "<b>Bandwidth [Gbps]</b>"
1802         titlefont:
1803           size: 14
1804         gridcolor: "rgb(230, 230, 230)"
1805         hoverformat: ".4s"
1806         linecolor: "rgb(220, 220, 220)"
1807         linewidth: 1
1808         rangemode: "tozero"
1809         showgrid: True
1810         showline: True
1811         showticklabels: True
1812         tickcolor: "rgb(230, 230, 230)"
1813         tickformat: ".3s"
1814         tickfont:
1815           size: 14
1816         zeroline: False
1817       autosize: False
1818       margin:
1819         t: 50
1820         b: 20
1821         l: 80
1822         r: 20
1823       showlegend: True
1824       legend:
1825         orientation: "h"
1826         font:
1827           size: 14
1828       width: 700
1829       height: 800
1830       paper_bgcolor: "#fff"
1831       plot_bgcolor: "#fff"
1832       hoverlabel:
1833         namelength: -1
1834
1835     plot-throughput:
1836       titlefont:
1837         size: 16
1838       xaxis:
1839         title: "<b>Test Cases [Index]</b>"
1840         titlefont:
1841           size: 14
1842         autorange: True
1843         fixedrange: False
1844         gridcolor: "rgb(230, 230, 230)"
1845         linecolor: "rgb(220, 220, 220)"
1846         linewidth: 1
1847         showgrid: True
1848         showline: True
1849         showticklabels: True
1850         tickcolor: "rgb(220, 220, 220)"
1851         tickmode: "linear"
1852         tickfont:
1853           size: 14
1854         zeroline: False
1855       yaxis:
1856         title: "<b>Packet Throughput [Mpps]</b>"
1857         titlefont:
1858           size: 14
1859         gridcolor: "rgb(230, 230, 230)"
1860         hoverformat: ".4r"
1861         tickformat: ".3r"
1862         linecolor: "rgb(220, 220, 220)"
1863         linewidth: 1
1864         showgrid: True
1865         showline: True
1866         showticklabels: True
1867         tickcolor: "rgb(220, 220, 220)"
1868         tickfont:
1869           size: 14
1870         zeroline: False
1871         range: [0,50]
1872       autosize: False
1873       margin:
1874         t: 50
1875         b: 0
1876         l: 80
1877         r: 20
1878       showlegend: True
1879       legend:
1880         orientation: "h"
1881         font:
1882           size: 14
1883       width: 700
1884       height: 900
1885       paper_bgcolor: "#fff"
1886       plot_bgcolor: "#fff"
1887       hoverlabel:
1888         namelength: -1
1889
1890     plot-throughput-gbps:
1891       titlefont:
1892         size: 16
1893       xaxis:
1894         title: "<b>Test Cases [Index]</b>"
1895         titlefont:
1896           size: 14
1897         autorange: True
1898         fixedrange: False
1899         gridcolor: "rgb(230, 230, 230)"
1900         linecolor: "rgb(220, 220, 220)"
1901         linewidth: 1
1902         showgrid: True
1903         showline: True
1904         showticklabels: True
1905         tickcolor: "rgb(220, 220, 220)"
1906         tickmode: "linear"
1907         tickfont:
1908           size: 14
1909         zeroline: False
1910       yaxis:
1911         title: "<b>Packet Throughput [Gbps]</b>"
1912         titlefont:
1913           size: 14
1914         gridcolor: "rgb(230, 230, 230)"
1915         hoverformat: ".4r"
1916         tickformat: ".3r"
1917         linecolor: "rgb(220, 220, 220)"
1918         linewidth: 1
1919         showgrid: True
1920         showline: True
1921         showticklabels: True
1922         tickcolor: "rgb(220, 220, 220)"
1923         tickfont:
1924           size: 14
1925         zeroline: False
1926         range: [0,10]
1927       autosize: False
1928       margin:
1929         t: 50
1930         b: 0
1931         l: 80
1932         r: 20
1933       showlegend: True
1934       legend:
1935         orientation: "h"
1936         font:
1937           size: 14
1938       width: 700
1939       height: 900
1940       paper_bgcolor: "#fff"
1941       plot_bgcolor: "#fff"
1942       hoverlabel:
1943         namelength: -1
1944
1945     plot-cps:
1946       titlefont:
1947         size: 16
1948       xaxis:
1949         title: "<b>Test Cases [Index]</b>"
1950         titlefont:
1951           size: 14
1952         autorange: True
1953         fixedrange: False
1954         gridcolor: "rgb(230, 230, 230)"
1955         linecolor: "rgb(220, 220, 220)"
1956         linewidth: 1
1957         showgrid: True
1958         showline: True
1959         showticklabels: True
1960         tickcolor: "rgb(220, 220, 220)"
1961         tickmode: "linear"
1962         tickfont:
1963           size: 14
1964         zeroline: False
1965       yaxis:
1966         title: "<b>Connection Rate [Mcps]</b>"
1967         titlefont:
1968           size: 14
1969         gridcolor: "rgb(230, 230, 230)"
1970         hoverformat: ".4r"
1971         tickformat: ".3s"
1972         linecolor: "rgb(220, 220, 220)"
1973         linewidth: 1
1974         showgrid: True
1975         showline: True
1976         showticklabels: True
1977         tickcolor: "rgb(220, 220, 220)"
1978         tickfont:
1979           size: 14
1980         zeroline: False
1981         range: [0,10]
1982       autosize: False
1983       margin:
1984         t: 50
1985         b: 0
1986         l: 80
1987         r: 20
1988       showlegend: True
1989       legend:
1990         orientation: "h"
1991         font:
1992           size: 14
1993       width: 700
1994       height: 900
1995       paper_bgcolor: "#fff"
1996       plot_bgcolor: "#fff"
1997       hoverlabel:
1998         namelength: -1
1999
2000     plot-throughput-speedup-analysis:
2001       titlefont:
2002         size: 16
2003       xaxis:
2004         title: "<b>Number of Cores [Qty]</b>"
2005         titlefont:
2006           size: 14
2007         autorange: True
2008         fixedrange: False
2009         gridcolor: "rgb(230, 230, 230)"
2010         linecolor: "rgb(220, 220, 220)"
2011         linewidth: 1
2012         showgrid: True
2013         showline: True
2014         showticklabels: True
2015         tickcolor: "rgb(238, 238, 238)"
2016         tickmode: "linear"
2017         tickfont:
2018           size: 14
2019         zeroline: False
2020       yaxis:
2021         title: "<b>Packet Throughput [Mpps]</b>"
2022         titlefont:
2023           size: 14
2024         type: "linear"
2025         gridcolor: "rgb(230, 230, 230)"
2026         hoverformat: ".4s"
2027         linecolor: "rgb(220, 220, 220)"
2028         linewidth: 1
2029         showgrid: True
2030         showline: True
2031         showticklabels: True
2032         tickcolor: "rgb(220, 220, 220)"
2033         tickformat: ".4s"
2034         tickfont:
2035           size: 14
2036         zeroline: True
2037         rangemode: "tozero"
2038         range: [0,100]
2039       legend:
2040         orientation: "h"
2041         font:
2042           size: 14
2043         xanchor: "left"
2044         yanchor: "top"
2045         x: 0
2046         y: -0.2
2047         bgcolor: "rgba(255, 255, 255, 0)"
2048         bordercolor: "rgba(255, 255, 255, 0)"
2049         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2050       autosize: False
2051       margin:
2052           't': 50
2053           'b': 150
2054           'l': 85
2055           'r': 10
2056       showlegend: True
2057       width: 700
2058       height: 700
2059       paper_bgcolor: "#fff"
2060       plot_bgcolor: "#fff"
2061       hoverlabel:
2062         namelength: -1
2063       annotations: [
2064         {
2065           text: "_ _          __          ...",
2066           align: "left",
2067           showarrow: False,
2068           xref: "paper",
2069           yref: "paper",
2070           xanchor: "left",
2071           yanchor: "top",
2072           x: 0,
2073           y: -0.14,
2074           font: {
2075             family: "Consolas, Courier New",
2076             size: 13
2077           },
2078         },
2079         {
2080           text: "    Perfect     Measured     Limit",
2081           align: "left",
2082           showarrow: False,
2083           xref: "paper",
2084           yref: "paper",
2085           xanchor: "left",
2086           yanchor: "top",
2087           x: 0,
2088           y: -0.15,
2089           font: {
2090             family: "Consolas, Courier New",
2091             size: 13
2092           },
2093         },
2094       ]
2095
2096     plot-throughput-speedup-analysis-gbps:
2097       titlefont:
2098         size: 16
2099       xaxis:
2100         title: "<b>Number of Cores [Qty]</b>"
2101         titlefont:
2102           size: 14
2103         autorange: True
2104         fixedrange: False
2105         gridcolor: "rgb(230, 230, 230)"
2106         linecolor: "rgb(220, 220, 220)"
2107         linewidth: 1
2108         showgrid: True
2109         showline: True
2110         showticklabels: True
2111         tickcolor: "rgb(238, 238, 238)"
2112         tickmode: "linear"
2113         tickfont:
2114           size: 14
2115         zeroline: False
2116       yaxis:
2117         title: "<b>Packet Throughput [Gbps]</b>"
2118         titlefont:
2119           size: 14
2120         type: "linear"
2121         gridcolor: "rgb(230, 230, 230)"
2122         hoverformat: ".4s"
2123         linecolor: "rgb(220, 220, 220)"
2124         linewidth: 1
2125         showgrid: True
2126         showline: True
2127         showticklabels: True
2128         tickcolor: "rgb(220, 220, 220)"
2129         tickformat: ".4s"
2130         tickfont:
2131           size: 14
2132         zeroline: True
2133         rangemode: "tozero"
2134         range: [0,100]
2135       legend:
2136         orientation: "h"
2137         font:
2138           size: 14
2139         xanchor: "left"
2140         yanchor: "top"
2141         x: 0
2142         y: -0.2
2143         bgcolor: "rgba(255, 255, 255, 0)"
2144         bordercolor: "rgba(255, 255, 255, 0)"
2145         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2146       autosize: False
2147       margin:
2148           't': 50
2149           'b': 150
2150           'l': 85
2151           'r': 10
2152       showlegend: True
2153       width: 700
2154       height: 700
2155       paper_bgcolor: "#fff"
2156       plot_bgcolor: "#fff"
2157       hoverlabel:
2158         namelength: -1
2159       annotations: [
2160         {
2161           text: "_ _          __",
2162           align: "left",
2163           showarrow: False,
2164           xref: "paper",
2165           yref: "paper",
2166           xanchor: "left",
2167           yanchor: "top",
2168           x: 0,
2169           y: -0.13,
2170           font: {
2171             family: "Consolas, Courier New",
2172             size: 13
2173           },
2174         },
2175         {
2176           text: "    Perfect     Measured",
2177           align: "left",
2178           showarrow: False,
2179           xref: "paper",
2180           yref: "paper",
2181           xanchor: "left",
2182           yanchor: "top",
2183           x: 0,
2184           y: -0.15,
2185           font: {
2186             family: "Consolas, Courier New",
2187             size: 13
2188           },
2189         },
2190       ]
2191
2192     plot-throughput-speedup-analysis-cps:
2193       titlefont:
2194         size: 16
2195       xaxis:
2196         title: "<b>Number of Cores [Qty]</b>"
2197         titlefont:
2198           size: 14
2199         autorange: True
2200         fixedrange: False
2201         gridcolor: "rgb(230, 230, 230)"
2202         linecolor: "rgb(220, 220, 220)"
2203         linewidth: 1
2204         showgrid: True
2205         showline: True
2206         showticklabels: True
2207         tickcolor: "rgb(238, 238, 238)"
2208         tickmode: "linear"
2209         tickfont:
2210           size: 14
2211         zeroline: False
2212       yaxis:
2213         title: "<b>Connection Rate [Mcps]</b>"
2214         titlefont:
2215           size: 14
2216         type: "linear"
2217         gridcolor: "rgb(230, 230, 230)"
2218         hoverformat: ".4s"
2219         linecolor: "rgb(220, 220, 220)"
2220         linewidth: 1
2221         showgrid: True
2222         showline: True
2223         showticklabels: True
2224         tickcolor: "rgb(220, 220, 220)"
2225         tickformat: ".4s"
2226         tickfont:
2227           size: 14
2228         zeroline: True
2229         rangemode: "tozero"
2230         range: [0,100]
2231       legend:
2232         orientation: "h"
2233         font:
2234           size: 14
2235         xanchor: "left"
2236         yanchor: "top"
2237         x: 0
2238         y: -0.2
2239         bgcolor: "rgba(255, 255, 255, 0)"
2240         bordercolor: "rgba(255, 255, 255, 0)"
2241         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2242       autosize: False
2243       margin:
2244           't': 50
2245           'b': 150
2246           'l': 85
2247           'r': 10
2248       showlegend: True
2249       width: 700
2250       height: 700
2251       paper_bgcolor: "#fff"
2252       plot_bgcolor: "#fff"
2253       hoverlabel:
2254         namelength: -1
2255       annotations: [
2256         {
2257           text: "_ _          __",
2258           align: "left",
2259           showarrow: False,
2260           xref: "paper",
2261           yref: "paper",
2262           xanchor: "left",
2263           yanchor: "top",
2264           x: 0,
2265           y: -0.13,
2266           font: {
2267             family: "Consolas, Courier New",
2268             size: 13
2269           },
2270         },
2271         {
2272           text: "    Perfect     Measured",
2273           align: "left",
2274           showarrow: False,
2275           xref: "paper",
2276           yref: "paper",
2277           xanchor: "left",
2278           yanchor: "top",
2279           x: 0,
2280           y: -0.15,
2281           font: {
2282             family: "Consolas, Courier New",
2283             size: 13
2284           },
2285         },
2286       ]
2287
2288     plot-latency:
2289       titlefont:
2290         size: 16
2291       xaxis:
2292         title: "<b>Direction</b>"
2293         titlefont:
2294           size: 14
2295         autorange: True
2296         fixedrange: False
2297         gridcolor: "rgb(230, 230, 230)"
2298         linecolor: "rgb(220, 220, 220)"
2299         linewidth: 1
2300         showgrid: True
2301         showline: True
2302         showticklabels: False
2303         tickcolor: "rgb(220, 220, 220)"
2304         tickmode: "linear"
2305         tickfont:
2306           size: 14
2307         zeroline: False
2308       yaxis:
2309         title: "<b>Packet Latency [uSec]</b>"
2310         titlefont:
2311           size: 14
2312         type: "linear"
2313         gridcolor: "rgb(230, 230, 230)"
2314         hoverformat: ".4s"
2315         linecolor: "rgb(220, 220, 220)"
2316         linewidth: 1
2317         showgrid: True
2318         showline: True
2319         showticklabels: True
2320         tickcolor: "rgb(220, 220, 220)"
2321         tickformat: ".4s"
2322         tickfont:
2323           size: 14
2324         zeroline: True
2325         rangemode: "tozero"
2326       legend:
2327         orientation: "h"
2328         font:
2329           size: 14
2330         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2331       autosize: False
2332       margin:
2333           't': 50
2334           'b': 150
2335           'l': 80
2336           'r': 10
2337       showlegend: True
2338       width: 700
2339       height: 700
2340       paper_bgcolor: "#fff"
2341       plot_bgcolor: "#fff"
2342       hoverlabel:
2343         namelength: -1
2344
2345     plot-hdrh-latency:
2346       title:
2347         text: ""
2348         xanchor: "center"
2349         x: 0.5
2350         font:
2351           size: 16
2352       width: 700
2353       plot_bgcolor: "white"
2354       annotations:
2355         - font:
2356             size: 14
2357           showarrow: False
2358           text: "<b>Packet Latency [uSec]</b>"
2359           x: 1
2360           xanchor: "right"
2361           xref: "paper"
2362           y: -0.045
2363           yanchor: "top"
2364           yref: "paper"
2365         - font:
2366             size: 14
2367           showarrow: False
2368           text: "<b>Probability [%]</b>"
2369           textangle: 270
2370           x: -0.06
2371           xanchor: "center"
2372           xref: "paper"
2373           y: 0.5
2374           yanchor: "middle"
2375           yref: "paper"
2376         - font:
2377             size: 14
2378           showarrow: False
2379           text: "<b>Direction: E-W</b>"
2380           x: 0.24
2381           xanchor: "center"
2382           xref: "paper"
2383           y: 1.05
2384           yanchor: "bottom"
2385           yref: "paper"
2386         - font:
2387             size: 14
2388           showarrow: False
2389           text: "<b>Direction: W-E</b>"
2390           x: 0.74
2391           xanchor: "center"
2392           xref: "paper"
2393           y: 1.05
2394           yanchor: "bottom"
2395           yref: "paper"
2396
2397     plot-hdrh-latency-percentile:
2398       title:
2399         text: ""
2400         xanchor: "center"
2401         x: 0.5
2402         font:
2403           size: 16
2404       xaxis:
2405         type: "log"
2406         title: "<b>Percentile [%]</b>"
2407         titlefont:
2408           size: 14
2409         autorange: True
2410         fixedrange: False
2411         gridcolor: "rgb(230, 230, 230)"
2412         linecolor: "rgb(220, 220, 220)"
2413         linewidth: 1
2414         showgrid: True
2415         showline: True
2416         showticklabels: True
2417         tickcolor: "rgb(220, 220, 220)"
2418         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2419         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2420         tickfont:
2421           size: 14
2422       yaxis:
2423         title: "<b>Packet Latency [uSec]</b>"
2424         titlefont:
2425           size: 14
2426         gridcolor: "rgb(230, 230, 230)"
2427         linecolor: "rgb(220, 220, 220)"
2428         linewidth: 1
2429         showgrid: True
2430         showline: True
2431         showticklabels: True
2432         tickcolor: "rgb(220, 220, 220)"
2433         tickfont:
2434           size: 14
2435       autosize: False
2436       showlegend: True
2437       legend:
2438         traceorder: "normal"
2439         orientation: "h"
2440         font:
2441           size: 14
2442         xanchor: "left"
2443         yanchor: "top"
2444         x: 0
2445         y: -0.15
2446         bgcolor: "rgba(255, 255, 255, 0)"
2447         bordercolor: "rgba(255, 255, 255, 0)"
2448       width: 700
2449       height: 700
2450       paper_bgcolor: "white"
2451       plot_bgcolor: "white"
2452
2453     plot-hdrh-latency-by-percentile:
2454       title:
2455         text: "<b>Latency by Percentile Distribution</b>"
2456         xanchor: "center"
2457         x: 0.5
2458         font:
2459           size: 18
2460       showlegend: True
2461       legend:
2462         traceorder: "normal"
2463         orientation: "h"
2464         font:
2465           size: 16
2466         xanchor: "left"
2467         yanchor: "top"
2468         x: 0
2469         y: -0.2
2470         bgcolor: "rgba(255, 255, 255, 0)"
2471         bordercolor: "rgba(255, 255, 255, 0)"
2472       xaxis:
2473         type: "linear"
2474         title: "<b>Percentile [%]</b>"
2475         titlefont:
2476           size: 14
2477         autorange: False
2478         fixedrange: False
2479         range: [0, 100]
2480         gridcolor: "rgb(230, 230, 230)"
2481         linecolor: "rgb(220, 220, 220)"
2482         linewidth: 1
2483         showgrid: True
2484         showline: True
2485         showticklabels: True
2486         tickcolor: "rgb(220, 220, 220)"
2487         tickvals: [0, 25, 50, 75, 100]
2488         ticktext: [0, 25, 50, 75, 100]
2489         tickfont:
2490           size: 14
2491       yaxis:
2492         title: "<b>One-Way Latency per Direction [uSec]</b>"
2493         titlefont:
2494           size: 14
2495         gridcolor: "rgb(230, 230, 230)"
2496         linecolor: "rgb(220, 220, 220)"
2497         linewidth: 1
2498         showgrid: True
2499         showline: True
2500         showticklabels: True
2501         tickcolor: "rgb(220, 220, 220)"
2502         tickfont:
2503           size: 14
2504       width: 700
2505       height: 700
2506       paper_bgcolor: "white"
2507       plot_bgcolor: "white"
2508
2509 - type: "static"
2510   src-path: "{DIR[RST]}"
2511   dst-path: "{DIR[WORKING,SRC]}"
2512
2513 - type: "input"
2514   general:
2515     file-name: "output_info.xml.gz"
2516     file-format: ".gz"
2517     arch-file-format:
2518       - ".gz"
2519       - ".zip"
2520     download-path: "{job}/{build}/archives/{filename}"
2521     extract: "output.xml"
2522
2523     zip-file-name: "robot-plugin.zip"
2524     zip-file-format: ".zip"
2525     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2526     zip-extract: "robot-plugin/output.xml"
2527
2528   builds:
2529
2530     csit-vpp-perf-verify-2001-3n-hsw:
2531       - 17  # MRR sel
2532     csit-vpp-perf-report-iterative-2005-3n-hsw:
2533       - 20  # NDRPDR sel env 4
2534       - 21  # NDRPDR sel env 4
2535       - 22  # NDRPDR sel env 4
2536       - 23  # NDRPDR sel env 4
2537       - 24  # NDRPDR sel env 4
2538       - 25  # NDRPDR sel env 4
2539       - 26  # NDRPDR sel env 4
2540       - 27  # NDRPDR sel env 4
2541       - 28  # NDRPDR sel env 4
2542       - 29  # NDRPDR sel env 4
2543       - 30  # MRR env 4
2544       - 31  # NDRPDR sel 2001.0-4
2545       - 32  # NDRPDR sel 2001.0-4
2546       - 33  # NDRPDR sel 2001.0-4
2547       - 34  # NDRPDR sel 2001.0-4
2548       - 35  # NDRPDR sel 2001.0-4
2549       - 36  # NDRPDR sel 2001.0-4
2550       - 38  # NDRPDR sel 2001.0-4
2551     csit-vpp-perf-report-iterative-2009-3n-hsw:
2552       - 18  # rls2005 MRR iter env 5
2553       - 9   # rls2005 NDRPDR iter env 5
2554       - 10  # rls2005 NDRPDR iter env 5
2555       - 11  # rls2005 NDRPDR iter env 5
2556       - 12  # rls2005 NDRPDR iter env 5
2557       - 13  # rls2005 NDRPDR iter env 5
2558       - 14  # rls2005 NDRPDR iter env 5
2559       - 15  # rls2005 NDRPDR iter env 5
2560       - 16  # rls2005 NDRPDR iter env 5
2561       - 17  # rls2005 NDRPDR iter env 5
2562       - 19  # rls2005 NDRPDR iter env 5
2563       - 23  # rls2009 MRR iter env 5
2564       - 21  # rls2009 NDRPDR iter env 5
2565       - 22  # rls2009 NDRPDR iter env 5
2566       - 24  # rls2009 NDRPDR iter env 5
2567       - 25  # rls2009 NDRPDR iter env 5
2568       - 26  # rls2009 NDRPDR iter env 5
2569       - 27  # rls2009 NDRPDR iter env 5
2570       - 28  # rls2009 NDRPDR iter env 5
2571       - 29  # rls2009 NDRPDR iter env 5
2572       - 30  # rls2009 NDRPDR iter env 5
2573       - 31  # rls2009 NDRPDR iter env 5
2574       - 32  # rls2009 Hoststack iter env 5
2575       - 33  # rls2009 Hoststack iter env 5
2576       - 34  # rls2009 Hoststack iter env 5
2577       - 35  # rls2009 Hoststack iter env 5
2578       - 36  # rls2009 Hoststack iter env 5
2579       - 37  # rls2009 Hoststack iter env 5
2580       - 38  # rls2009 Hoststack iter env 5
2581       - 39  # rls2009 Hoststack iter env 5
2582       - 40  # rls2009 Hoststack iter env 5
2583       - 41  # rls2009 Hoststack iter env 5
2584     csit-vpp-perf-report-coverage-2009-3n-hsw:
2585       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2586       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2587       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2588       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2589       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2590       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2591       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2592       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2593       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2594       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2595       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2596       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2597       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2598       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2599       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2600       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2601       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2602       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2603       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2604       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2605       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2606       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2607       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2608       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2609       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2610       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2611       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2612       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2613       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2614       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2615       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2616       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2617       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2618       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2619       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2620
2621     csit-vpp-perf-verify-2001-3n-skx:
2622       - 50  # MRR sel
2623       - 53  # MRR sel addition
2624     csit-vpp-perf-report-iterative-2005-3n-skx:
2625       - 4   # NDRPDR sel
2626       - 5   # NDRPDR sel ??? all x710 failed
2627       - 33  # NDRPDR sel
2628       - 28  # NDRPDR sel
2629       - 34  # NDRPDR sel
2630       - 42  # NDRPDR sel env 4
2631       - 43  # NDRPDR sel env 4
2632       - 44  # NDRPDR sel env 4
2633       - 45  # NDRPDR sel env 4
2634       - 47  # NDRPDR sel env 4
2635       - 55  # NDRPDR sel env 4
2636       - 56  # NDRPDR sel env 4
2637       - 57  # NDRPDR sel env 4
2638       - 61  # NDRPDR sel env 4
2639       - 62  # NDRPDR sel env 4
2640       - 50  # NDRPDR sel 2001.0-4
2641       - 51  # NDRPDR sel 2001.0-4
2642       - 52  # NDRPDR sel 2001.0-4
2643       - 53  # NDRPDR sel 2001.0-4
2644       - 54  # NDRPDR sel 2001.0-4
2645       - 49  # MRR sel env 4
2646     csit-vpp-perf-report-iterative-2009-3n-skx:
2647       - 17  # rls2005 MRR iter env 5
2648       - 13  # rls2005 NDRPDR iter env 5
2649       - 18  # rls2005 NDRPDR iter env 5
2650       - 19  # rls2005 NDRPDR iter env 5
2651       - 41  # rls2005 NDRPDR iter env 5
2652       - 43  # rls2005 NDRPDR iter env 5
2653       - 44  # rls2005 NDRPDR iter env 5
2654       - 45  # rls2005 NDRPDR iter env 5
2655       - 46  # rls2005 NDRPDR iter env 5
2656       - 48  # rls2005 NDRPDR iter env 5
2657       - 49  # rls2005 NDRPDR iter env 5
2658       - 24  # rls2009 MRR iter env 5
2659       - 26  # rls2009 NDRPDR iter env 5
2660       - 27  # rls2009 NDRPDR iter env 5
2661       - 28  # rls2009 NDRPDR iter env 5
2662       - 29  # rls2009 NDRPDR iter env 5
2663       - 35  # rls2009 NDRPDR iter env 5
2664       - 36  # rls2009 NDRPDR iter env 5
2665       - 37  # rls2009 NDRPDR iter env 5
2666       - 38  # rls2009 NDRPDR iter env 5
2667       - 39  # rls2009 NDRPDR iter env 5
2668       - 40  # rls2009 NDRPDR iter env 5
2669     csit-vpp-perf-report-coverage-2009-3n-skx:
2670       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2671       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2672       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2673       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2674       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2675       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2676       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2677       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2678       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2679       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2680       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2681       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2682       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2683       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2684       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2685       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2686       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2687       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2688       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2689       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2690       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2691       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2692       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2693       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2694       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2695       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2696       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2697       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2698       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2699       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2700       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2701       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2702       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2703       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2704       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2705       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2706
2707     csit-vpp-perf-verify-2001-2n-skx:
2708       - 101  # MRR sel - old
2709       - 128  # MRR sel addition - old
2710     csit-vpp-perf-report-iterative-2005-2n-skx:
2711       - 88  # NDRPDR sel env 4
2712       - 89  # NDRPDR sel env 4
2713       - 90  # NDRPDR sel env 4
2714       - 91  # NDRPDR sel env 4
2715       - 92  # NDRPDR sel env 4
2716       - 93  # NDRPDR sel env 4
2717       - 94  # NDRPDR sel env 4
2718       - 125 # NDRPDR sel env 4
2719       - 126 # NDRPDR sel env 4
2720       - 127 # NDRPDR sel env 4
2721       - 100 # NDRPDR sel 2001.0-4
2722       - 101 # NDRPDR sel 2001.0-4
2723       - 102 # NDRPDR sel 2001.0-4
2724       - 103 # NDRPDR sel 2001.0-4
2725       - 104 # NDRPDR sel 2001.0-4
2726       - 105 # NDRPDR sel 2001.0-4
2727       - 99  # MRR sel env 4
2728     csit-vpp-perf-report-iterative-2009-2n-skx:
2729       - 20  # rls2005 MRR iter env 5
2730       - 13  # rls2005 NDRPDR iter env 5
2731       - 16  # rls2005 NDRPDR iter env 5
2732       - 17  # rls2005 NDRPDR iter env 5
2733       - 18  # rls2005 NDRPDR iter env 5
2734       - 19  # rls2005 NDRPDR iter env 5
2735       - 21  # rls2005 NDRPDR iter env 5
2736       - 22  # rls2005 NDRPDR iter env 5
2737       - 23  # rls2005 NDRPDR iter env 5
2738       - 24  # rls2005 NDRPDR iter env 5
2739       - 25  # rls2005 NDRPDR iter env 5
2740       - 120 # rls2009 MRR iter env 5
2741       - 35  # rls2009 NDRPDR iter env 5
2742       - 36  # rls2009 NDRPDR iter env 5
2743       - 37  # rls2009 NDRPDR iter env 5
2744       - 39  # rls2009 NDRPDR iter env 5
2745       - 40  # rls2009 NDRPDR iter env 5
2746       - 42  # rls2009 NDRPDR iter env 5
2747       - 43  # rls2009 NDRPDR iter env 5
2748       - 44  # rls2009 NDRPDR iter env 5
2749       - 46  # rls2009 NDRPDR iter env 5
2750       - 48  # rls2009 NDRPDR iter env 5
2751       - 110 # rls2009 NDRPDR iter NAT44 env 5
2752       - 111 # rls2009 NDRPDR iter NAT44 env 5
2753       - 112 # rls2009 NDRPDR iter NAT44 env 5
2754       - 113 # rls2009 NDRPDR iter NAT44 env 5
2755       - 114 # rls2009 NDRPDR iter NAT44 env 5
2756       - 115 # rls2009 NDRPDR iter NAT44 env 5
2757       - 116 # rls2009 NDRPDR iter NAT44 env 5
2758       - 118 # rls2009 NDRPDR iter NAT44 env 5
2759       - 119 # rls2009 NDRPDR iter NAT44 env 5
2760       - 121 # rls2009 NDRPDR iter NAT44 env 5
2761       - 38  # rls2009 nf-density iter env 5
2762       - 41  # rls2009 nf-density iter env 5
2763       - 45  # rls2009 nf-density iter env 5
2764       - 47  # rls2009 nf-density iter env 5
2765       - 49  # rls2009 nf-density iter env 5
2766       - 63  # rls2009 nf-density iter env 5
2767       - 65  # rls2009 nf-density iter env 5
2768       - 66  # rls2009 nf-density iter env 5
2769       - 71  # rls2009 nf-density iter env 5
2770       - 72  # rls2009 nf-density iter env 5
2771       - 50  # rls2009 MRR nf-density iter env 5
2772       - 27  # rls2009 reconf env 5
2773       - 28  # rls2009 reconf env 5
2774       - 29  # rls2009 reconf env 5
2775       - 30  # rls2009 reconf env 5
2776       - 31  # rls2009 reconf env 5
2777       - 32  # rls2009 reconf env 5
2778       - 61  # rls2009 reconf env 5
2779       - 62  # rls2009 reconf env 5
2780       - 68  # rls2009 reconf env 5
2781       - 70  # rls2009 reconf env 5
2782       - 33  # rls2009 soak env 5
2783       - 34  # rls2009 soak env 5
2784     csit-vpp-perf-report-coverage-2009-2n-skx:
2785       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2786       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2787       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2788       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2789       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2790       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2791       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2792       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2793       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2794       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2795       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2796       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2797       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2798       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2799       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2800       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2801       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2802
2803     csit-vpp-perf-verify-2001-2n-clx:
2804       - 39  # MRR
2805     csit-vpp-perf-report-iterative-2005-2n-clx:
2806       - 62  # NDRPDR sel env 4
2807       - 63  # NDRPDR sel env 4
2808       - 64  # NDRPDR sel env 4
2809       - 65  # NDRPDR sel env 4
2810       - 66  # NDRPDR sel env 4
2811       - 68  # NDRPDR sel env 4
2812       - 69  # NDRPDR sel env 4
2813       - 70  # NDRPDR sel env 4
2814       - 103 # NDRPDR sel env 4
2815       - 104 # NDRPDR sel env 4
2816       - 73  # NDRPDR sel 2001.0-4
2817       - 74  # NDRPDR sel 2001.0-4
2818       - 75  # NDRPDR sel 2001.0-4
2819       - 76  # NDRPDR sel 2001.0-4
2820       - 77  # NDRPDR sel 2001.0-4
2821       - 78  # NDRPDR sel 2001.0-4
2822       - 79  # NDRPDR sel 2001.0-4
2823       - 80  # NDRPDR sel 2001.0-4
2824       - 72  # MRR env 4
2825     csit-vpp-perf-report-iterative-2009-2n-clx:
2826       - 77  # rls2005 MRR iter env 5
2827       - 13  # rls2005 NDRPDR iter env 5
2828       - 15  # rls2005 NDRPDR iter env 5
2829       - 17  # rls2005 NDRPDR iter env 5
2830       - 18  # rls2005 NDRPDR iter env 5
2831       - 19  # rls2005 NDRPDR iter env 5
2832       - 20  # rls2005 NDRPDR iter env 5
2833       - 21  # rls2005 NDRPDR iter env 5
2834       - 22  # rls2005 NDRPDR iter env 5
2835       - 23  # rls2005 NDRPDR iter env 5
2836       - 24  # rls2005 NDRPDR iter env 5
2837       - 125 # rls2009 MRR iter env 5
2838       - 36  # rls2009 NDRPDR iter env 5
2839       - 39  # rls2009 NDRPDR iter env 5
2840       - 40  # rls2009 NDRPDR iter env 5
2841       - 65  # rls2009 NDRPDR iter env 5
2842       - 66  # rls2009 NDRPDR iter env 5
2843       - 79  # rls2009 NDRPDR iter env 5
2844       - 82  # rls2009 NDRPDR iter env 5
2845       - 88  # rls2009 NDRPDR iter env 5
2846       - 89  # rls2009 NDRPDR iter env 5
2847       - 90  # rls2009 NDRPDR iter env 5
2848       - 114 # rls2009 NDRPDR iter NAT44 env 5
2849       - 115 # rls2009 NDRPDR iter NAT44 env 5
2850       - 116 # rls2009 NDRPDR iter NAT44 env 5
2851       - 117 # rls2009 NDRPDR iter NAT44 env 5
2852       - 118 # rls2009 NDRPDR iter NAT44 env 5
2853       - 119 # rls2009 NDRPDR iter NAT44 env 5
2854       - 121 # rls2009 NDRPDR iter NAT44 env 5
2855       - 122 # rls2009 NDRPDR iter NAT44 env 5
2856       - 123 # rls2009 NDRPDR iter NAT44 env 5
2857       - 126 # rls2009 NDRPDR iter NAT44 env 5
2858       - 37  # rls2009 nf-density iter env 5
2859       - 43  # rls2009 nf-density iter env 5
2860       - 69  # rls2009 nf-density iter env 5
2861       - 70  # rls2009 nf-density iter env 5
2862       - 71  # rls2009 nf-density iter env 5
2863       - 72  # rls2009 nf-density iter env 5
2864       - 73  # rls2009 nf-density iter env 5
2865       - 74  # rls2009 nf-density iter env 5
2866       - 75  # rls2009 nf-density iter env 5
2867       - 76  # rls2009 nf-density iter env 5
2868       - 45  # rls2009 MRR nf-density iter env 5
2869       - 25  # rls2009 reconf env 5
2870       - 27  # rls2009 reconf env 5
2871       - 28  # rls2009 reconf env 5
2872       - 29  # rls2009 reconf env 5
2873       - 30  # rls2009 reconf env 5
2874       - 30  # rls2009 reconf env 5
2875       - 32  # rls2009 reconf env 5
2876       - 48  # rls2009 reconf env 5
2877       - 53  # rls2009 reconf env 5
2878       - 68  # rls2009 reconf env 5
2879       - 33  # rls2009 soak env 5
2880       - 34  # rls2009 soak env 5
2881     csit-vpp-perf-report-coverage-2009-2n-clx:
2882       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2883       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2884       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2885       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2886       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2887       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2888       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2889       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2890       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2891       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2892       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2893       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2894       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2895       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2896       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2897       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2898       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2899
2900     csit-vpp-perf-verify-2001-3n-tsh:
2901       - 9   # MRR sel
2902     csit-vpp-perf-report-iterative-2005-3n-tsh:
2903       - 23  # NDRPDR sel env 4
2904       - 25  # NDRPDR sel env 4
2905       - 33  # NDRPDR sel env 4
2906       - 34  # NDRPDR sel env 4
2907       - 35  # NDRPDR sel env 4
2908       - 36  # NDRPDR sel env 4
2909       - 37  # NDRPDR sel env 4
2910       - 38  # NDRPDR sel env 4
2911       - 39  # NDRPDR sel env 4
2912       - 40  # NDRPDR sel env 4
2913       - 28  # NDRPDR sel 2001.0-4
2914       - 29  # NDRPDR sel 2001.0-4
2915       - 31  # NDRPDR sel 2001.0-4
2916       - 27  # MRR sel env 4
2917     csit-vpp-perf-report-iterative-2009-3n-tsh:
2918       - 8   # rls2005 NDRPDR iter env 5
2919       - 11  # rls2005 NDRPDR iter env 5
2920       - 12  # rls2005 NDRPDR iter env 5
2921       - 24  # rls2005 NDRPDR iter env 5
2922       - 27  # rls2005 NDRPDR iter env 5
2923       - 29  # rls2005 NDRPDR iter env 5
2924       - 31  # rls2005 NDRPDR iter env 5
2925       - 39  # rls2005 NDRPDR iter env 5
2926       - 40  # rls2005 NDRPDR iter env 5
2927       - 42  # rls2005 NDRPDR iter env 5
2928       - 13  # rls2005 MRR iter env 5
2929       - 14  # rls2009 NDRPDR iter env 5
2930       - 20  # rls2009 NDRPDR iter env 5
2931       - 21  # rls2009 NDRPDR iter env 5
2932       - 22  # rls2009 NDRPDR iter env 5
2933       - 23  # rls2009 NDRPDR iter env 5
2934       - 28  # rls2009 NDRPDR iter env 5
2935       - 30  # rls2009 NDRPDR iter env 5
2936       - 33  # rls2009 NDRPDR iter env 5
2937       - 38  # rls2009 NDRPDR iter env 5
2938       - 41  # rls2009 NDRPDR iter env 5
2939       - 15  # rls2009 MRR iter env 5
2940
2941     csit-vpp-perf-verify-2001-3n-dnv:
2942       - 5   # NDRPDR sel
2943       - 6   # NDRPDR sel
2944       - 7   # NDRPDR sel
2945       - 8   # NDRPDR sel
2946       - 9   # NDRPDR sel
2947       - 10  # NDRPDR sel
2948       - 12  # NDRPDR sel
2949       - 16  # NDRPDR sel
2950       - 17  # NDRPDR sel
2951       - 18  # NDRPDR sel
2952       - 11  # MRR sel
2953     csit-vpp-perf-report-iterative-2009-3n-dnv:
2954       - 16  # rls2005 NDRPDR iter env 5
2955       - 23  # rls2005 NDRPDR iter env 5
2956       - 25  # rls2005 NDRPDR iter env 5
2957       - 26  # rls2005 NDRPDR iter env 5
2958       - 27  # rls2005 NDRPDR iter env 5
2959       - 28  # rls2005 NDRPDR iter env 5
2960       - 29  # rls2005 NDRPDR iter env 5
2961       - 30  # rls2005 NDRPDR iter env 5
2962       - 31  # rls2005 NDRPDR iter env 5
2963       - 32  # rls2005 NDRPDR iter env 5
2964       - 19  # rls2005 MRR iter env 5
2965       - 3   # rls2009 NDRPDR iter env 5
2966       - 6   # rls2009 NDRPDR iter env 5
2967       - 7   # rls2009 NDRPDR iter env 5
2968       - 8   # rls2009 NDRPDR iter env 5
2969       - 10  # rls2009 NDRPDR iter env 5
2970       - 11  # rls2009 NDRPDR iter env 5
2971       - 12  # rls2009 NDRPDR iter env 5
2972       - 14  # rls2009 NDRPDR iter env 5
2973       - 15  # rls2009 NDRPDR iter env 5
2974       - 24  # rls2009 NDRPDR iter env 5
2975       - 22  # rls2009 MRR iter env 5
2976     csit-vpp-perf-report-coverage-2009-3n-dnv:
2977       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
2978       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
2979       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
2980       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
2981       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
2982       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
2983       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
2984       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
2985       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
2986
2987     csit-vpp-perf-verify-2001-2n-dnv:
2988       - 4   # NDRPDR sel
2989       - 5   # NDRPDR sel
2990       - 6   # NDRPDR sel
2991       - 7   # NDRPDR sel
2992       - 8   # NDRPDR sel
2993       - 9   # NDRPDR sel
2994       - 10  # NDRPDR sel
2995       - 11  # NDRPDR sel
2996       - 13  # NDRPDR sel
2997       - 16  # NDRPDR sel
2998       - 12  # MRR sel
2999     csit-vpp-perf-report-iterative-2009-2n-dnv:
3000       - 16  # rls2005 NDRPDR iter env 5
3001       - 17  # rls2005 NDRPDR iter env 5
3002       - 18  # rls2005 NDRPDR iter env 5
3003       - 19  # rls2005 NDRPDR iter env 5
3004       - 21  # rls2005 NDRPDR iter env 5
3005       - 24  # rls2005 NDRPDR iter env 5
3006       - 27  # rls2005 NDRPDR iter env 5
3007       - 28  # rls2005 NDRPDR iter env 5
3008       - 29  # rls2005 NDRPDR iter env 5
3009       - 30  # rls2005 NDRPDR iter env 5
3010       - 23  # rls2005 MRR iter env 5
3011       - 3   # rls2009 NDRPDR iter env 5
3012       - 5   # rls2009 NDRPDR iter env 5
3013       - 6   # rls2009 NDRPDR iter env 5
3014       - 7   # rls2009 NDRPDR iter env 5
3015       - 9   # rls2009 NDRPDR iter env 5
3016       - 10  # rls2009 NDRPDR iter env 5
3017       - 11  # rls2009 NDRPDR iter env 5
3018       - 12  # rls2009 NDRPDR iter env 5
3019       - 14  # rls2009 NDRPDR iter env 5
3020       - 15  # rls2009 NDRPDR iter env 5
3021       - 13  # rls2009 MRR iter env 5
3022     csit-vpp-perf-report-coverage-2009-2n-dnv:
3023       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3024       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3025       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3026       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3027       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3028       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3029
3030     csit-dpdk-perf-verify-2001-3n-hsw:
3031       - 4   # NDRPDR sel
3032       - 5   # NDRPDR sel
3033       - 6   # NDRPDR sel
3034       - 7   # NDRPDR sel
3035       - 8   # NDRPDR sel
3036       - 9   # NDRPDR sel
3037       - 10  # NDRPDR sel
3038       - 11  # NDRPDR sel
3039       - 12  # NDRPDR sel
3040       - 13  # NDRPDR sel
3041       - 15  # NDRPDR sel
3042       - 16  # NDRPDR sel
3043       - 17  # NDRPDR sel
3044       - 18  # NDRPDR sel
3045       - 19  # NDRPDR sel
3046       - 20  # NDRPDR sel
3047       - 21  # NDRPDR sel
3048       - 22  # NDRPDR sel
3049       - 23  # NDRPDR sel
3050       - 24  # NDRPDR sel
3051     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3052       - 25  # NDRPDR iter
3053       - 26  # NDRPDR iter
3054       - 27  # NDRPDR iter
3055       - 28  # NDRPDR iter
3056       - 29  # NDRPDR iter
3057       - 30  # NDRPDR iter
3058       - 31  # NDRPDR iter
3059       - 32  # NDRPDR iter
3060       - 33  # NDRPDR iter
3061       - 34  # NDRPDR iter
3062     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3063       - 6   # NDRPDR iter env5
3064       - 7   # NDRPDR iter env5
3065       - 8   # NDRPDR iter env5
3066       - 9   # NDRPDR iter env5
3067       - 10  # NDRPDR iter env5
3068       - 11  # NDRPDR iter env5
3069       - 12  # NDRPDR iter env5
3070       - 13  # NDRPDR iter env5
3071       - 14  # NDRPDR iter env5
3072       - 15  # NDRPDR iter env5
3073
3074     csit-dpdk-perf-verify-2001-3n-skx:
3075       - 29  # NDRPDR sel xxv710
3076       - 33  # NDRPDR sel xxv710
3077       - 34  # NDRPDR sel xxv710
3078       - 35  # NDRPDR sel xxv710
3079       - 36  # NDRPDR sel xxv710
3080       - 37  # NDRPDR sel xxv710
3081       - 41  # NDRPDR sel xxv710
3082       - 42  # NDRPDR sel xxv710
3083       - 43  # NDRPDR sel xxv710
3084       - 45  # NDRPDR sel xxv710
3085       - 30  # NDRPDR sel x710
3086       - 31  # NDRPDR sel x710
3087       - 32  # NDRPDR sel x710
3088       - 38  # NDRPDR sel x710
3089       - 39  # NDRPDR sel x710
3090       - 40  # NDRPDR sel x710
3091       - 44  # NDRPDR sel x710
3092       - 46  # NDRPDR sel x710
3093       - 47  # NDRPDR sel x710
3094       - 48  # NDRPDR sel x710
3095     csit-dpdk-perf-report-iterative-2005-3n-skx:
3096       - 28  # NDRPDR iter
3097       - 29  # NDRPDR iter
3098       - 30  # NDRPDR iter
3099       - 31  # NDRPDR iter
3100       - 32  # NDRPDR iter
3101       - 33  # NDRPDR iter
3102       - 34  # NDRPDR iter
3103       - 35  # NDRPDR iter
3104       - 36  # NDRPDR iter
3105       - 37  # NDRPDR iter
3106     csit-dpdk-perf-report-iterative-2009-3n-skx:
3107       - 4   # NDRPDR sel env5
3108       - 5   # NDRPDR sel env5
3109       - 6   # NDRPDR sel env5
3110       - 7   # NDRPDR sel env5
3111       - 8   # NDRPDR sel env5
3112       - 9   # NDRPDR sel env5
3113       - 14  # NDRPDR sel env5
3114       - 11  # NDRPDR sel env5
3115       - 12  # NDRPDR sel env5
3116       - 13  # NDRPDR sel env5
3117
3118     csit-dpdk-perf-verify-2001-2n-skx:
3119       - 35  # NDRPDR sel xxv710
3120       - 36  # NDRPDR sel xxv710
3121       - 37  # NDRPDR sel xxv710
3122       - 41  # NDRPDR sel xxv710
3123       - 42  # NDRPDR sel xxv710
3124       - 43  # NDRPDR sel xxv710
3125       - 46  # NDRPDR sel xxv710
3126       - 47  # NDRPDR sel xxv710
3127       - 52  # NDRPDR sel xxv710
3128       - 53  # NDRPDR sel xxv710
3129       - 38  # NDRPDR sel x710
3130       - 39  # NDRPDR sel x710
3131       - 40  # NDRPDR sel x710
3132       - 44  # NDRPDR sel x710
3133       - 45  # NDRPDR sel x710
3134       - 48  # NDRPDR sel x710
3135       - 49  # NDRPDR sel x710
3136       - 50  # NDRPDR sel x710
3137       - 51  # NDRPDR sel x710
3138       - 54  # NDRPDR sel x710
3139     csit-dpdk-perf-report-iterative-2005-2n-skx:
3140       - 20  # NDRPDR iter
3141       - 21  # NDRPDR iter
3142       - 22  # NDRPDR iter
3143       - 23  # NDRPDR iter
3144       - 24  # NDRPDR iter
3145       - 25  # NDRPDR iter
3146       - 26  # NDRPDR iter
3147       - 27  # NDRPDR iter
3148       - 28  # NDRPDR iter
3149       - 29  # NDRPDR iter
3150     csit-dpdk-perf-report-iterative-2009-2n-skx:
3151       - 4   # NDRPDR iter env5
3152       - 5   # NDRPDR iter env5
3153       - 6   # NDRPDR iter env5
3154       - 7   # NDRPDR iter env5
3155       - 8   # NDRPDR iter env5
3156       - 9   # NDRPDR iter env5
3157       - 10  # NDRPDR iter env5
3158       - 11  # NDRPDR iter env5
3159       - 12  # NDRPDR iter env5
3160       - 13  # NDRPDR iter env5
3161
3162     csit-dpdk-perf-verify-2001-2n-clx:
3163       - 15  # NDRPDR sel
3164       - 16  # NDRPDR sel
3165       - 17  # NDRPDR sel
3166       - 18  # NDRPDR sel
3167       - 19  # NDRPDR sel
3168       - 20  # NDRPDR sel
3169       - 21  # NDRPDR sel
3170       - 22  # NDRPDR sel
3171       - 23  # NDRPDR sel
3172       - 24  # NDRPDR sel
3173       - 25  # NDRPDR sel
3174       - 26  # NDRPDR sel
3175       - 27  # NDRPDR sel
3176       - 28  # NDRPDR sel
3177       - 29  # NDRPDR sel
3178       - 30  # NDRPDR sel
3179       - 31  # NDRPDR sel
3180       - 32  # NDRPDR sel
3181       - 33  # NDRPDR sel
3182       - 34  # NDRPDR sel
3183     csit-dpdk-perf-report-iterative-2005-2n-clx:
3184       - 20  # NDRPDR iter
3185       - 21  # NDRPDR iter
3186       - 22  # NDRPDR iter
3187       - 23  # NDRPDR iter
3188       - 24  # NDRPDR iter
3189       - 25  # NDRPDR iter