Improve release notes
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
56
57     # Detailed test configurations
58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
78
79     # Detailed tests operational data
80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
90
91     # Latencies:
92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
94
95     # .css patch file to fix tables generated by Sphinx
96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
98
99   urls:
100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
104     DIR[NEXUS,DOC]: "report/_static/archive"
105
106   make-dirs:
107   # List the directories which are created while preparing the environment.
108   # All directories MUST be defined in "paths" section.
109   - "DIR[WORKING,DATA]"
110   - "DIR[STATIC,VPP]"
111   - "DIR[STATIC,DPDK]"
112   - "DIR[STATIC,ARCH]"
113   - "DIR[BUILD,LATEX]"
114   - "DIR[WORKING,SRC]"
115   - "DIR[WORKING,SRC,STATIC]"
116
117   remove-dirs:
118   # List the directories which are deleted while cleaning the environment.
119   # All directories MUST be defined in "paths" section.
120   #- "DIR[BUILD,HTML]"
121   - "DIR[WORKING,DATA]"
122
123   build-dirs:
124   # List the directories where the results (build) is stored.
125   # All directories MUST be defined in "paths" section.
126   - "DIR[BUILD,HTML]"
127   - "DIR[BUILD,LATEX]"
128
129 - type: "configuration"
130
131   mapping-file: "mapping_report.yaml"
132
133   limits:
134     nic:
135       x520: 24460000
136       x553: 29761905
137       x710: 35800000
138       xxv710: 35800000
139       xl710: 35800000
140       cx556a: 148809523.81
141
142     link:
143       10ge: 14880952.38
144       25ge: 37202380.95
145       40ge: 59523809.52
146       100ge: 148809523.81
147
148     pci:
149       pci-g3-x8: 74404761.90
150       pci-g3-x16: 148809523.81
151
152   data-sets:
153
154     ###########################################################################
155     # Plots:
156
157     # 3n-hsw
158
159     plot-vpp-throughput-lat-tsa-3n-hsw:
160       csit-vpp-perf-report-iterative-2009-3n-hsw:
161         - 21  # rls2009 NDRPDR iter env 5
162         - 22  # rls2009 NDRPDR iter env 5
163         - 24  # rls2009 NDRPDR iter env 5
164         - 25  # rls2009 NDRPDR iter env 5
165         - 26  # rls2009 NDRPDR iter env 5
166         - 27  # rls2009 NDRPDR iter env 5
167         - 28  # rls2009 NDRPDR iter env 5
168         - 29  # rls2009 NDRPDR iter env 5
169         - 30  # rls2009 NDRPDR iter env 5
170         - 31  # rls2009 NDRPDR iter env 5
171
172     plot-vpp-hdrh-lat-3n-hsw:
173       csit-vpp-perf-report-iterative-2009-3n-hsw:
174         - 22  # rls2009 NDRPDR iter env 5
175
176     plot-vpp-hoststack-3n-hsw:
177       csit-vpp-perf-report-iterative-2009-3n-hsw:
178         - 32  # rls2009 Hoststack iter env 5
179         - 33  # rls2009 Hoststack iter env 5
180         - 34  # rls2009 Hoststack iter env 5
181         - 35  # rls2009 Hoststack iter env 5
182         - 36  # rls2009 Hoststack iter env 5
183         - 37  # rls2009 Hoststack iter env 5
184         - 38  # rls2009 Hoststack iter env 5
185         - 39  # rls2009 Hoststack iter env 5
186         - 40  # rls2009 Hoststack iter env 5
187         - 41  # rls2009 Hoststack iter env 5
188
189     plot-dpdk-throughput-latency-3n-hsw:
190       csit-dpdk-perf-report-iterative-2009-3n-hsw:
191         - 6   # NDRPDR iter env5
192         - 7   # NDRPDR iter env5
193         - 8   # NDRPDR iter env5
194         - 9   # NDRPDR iter env5
195         - 10  # NDRPDR iter env5
196         - 11  # NDRPDR iter env5
197         - 12  # NDRPDR iter env5
198         - 13  # NDRPDR iter env5
199         - 14  # NDRPDR iter env5
200         - 15  # NDRPDR iter env5
201
202     plot-dpdk-hdrh-lat-3n-hsw:
203       csit-dpdk-perf-report-iterative-2009-3n-hsw:
204         - 6   # NDRPDR iter env5
205
206     # 3n-skx
207
208     plot-vpp-throughput-lat-tsa-3n-skx:
209       csit-vpp-perf-report-iterative-2009-3n-skx:
210         - 26  # rls2009 NDRPDR iter env 5
211         - 27  # rls2009 NDRPDR iter env 5
212         - 28  # rls2009 NDRPDR iter env 5
213         - 29  # rls2009 NDRPDR iter env 5
214         - 35  # rls2009 NDRPDR iter env 5
215         - 36  # rls2009 NDRPDR iter env 5
216         - 37  # rls2009 NDRPDR iter env 5
217         - 38  # rls2009 NDRPDR iter env 5
218         - 39  # rls2009 NDRPDR iter env 5
219         - 40  # rls2009 NDRPDR iter env 5
220
221     plot-vpp-hdrh-lat-3n-skx:
222       csit-vpp-perf-report-iterative-2009-3n-skx:
223         - 27  # rls2009 NDRPDR iter env 5
224
225 #    plot-vpp-nfv-3n-skx-ndrpdr:
226 #      # No data
227 #      csit-vpp-perf-report-iterative-2009-3n-skx:
228
229 #    plot-vpp-nfv-3n-skx-mrr:
230 #      # No data
231 #      csit-vpp-perf-report-iterative-2009-3n-skx:
232
233     plot-dpdk-throughput-latency-3n-skx:
234       csit-dpdk-perf-report-iterative-2009-3n-skx:
235         - 4   # NDRPDR sel env5
236         - 5   # NDRPDR sel env5
237         - 6   # NDRPDR sel env5
238         - 7   # NDRPDR sel env5
239         - 8   # NDRPDR sel env5
240         - 9   # NDRPDR sel env5
241         - 14  # NDRPDR sel env5
242         - 11  # NDRPDR sel env5
243         - 12  # NDRPDR sel env5
244         - 13  # NDRPDR sel env5
245
246     plot-dpdk-hdrh-lat-3n-skx:
247       csit-dpdk-perf-report-iterative-2009-3n-skx:
248         - 4   # NDRPDR sel env5
249
250     # 2n-skx
251
252     plot-vpp-throughput-lat-tsa-2n-skx:
253       csit-vpp-perf-report-iterative-2009-2n-skx:
254         - 35  # rls2009 NDRPDR iter env 5
255         - 36  # rls2009 NDRPDR iter env 5
256         - 37  # rls2009 NDRPDR iter env 5
257         - 39  # rls2009 NDRPDR iter env 5
258         - 40  # rls2009 NDRPDR iter env 5
259         - 42  # rls2009 NDRPDR iter env 5
260         - 43  # rls2009 NDRPDR iter env 5
261         - 44  # rls2009 NDRPDR iter env 5
262         - 46  # rls2009 NDRPDR iter env 5
263         - 48  # rls2009 NDRPDR iter env 5
264         - 110 # rls2009 NDRPDR iter NAT44 env 5
265         - 111 # rls2009 NDRPDR iter NAT44 env 5
266         - 112 # rls2009 NDRPDR iter NAT44 env 5
267         - 113 # rls2009 NDRPDR iter NAT44 env 5
268         - 114 # rls2009 NDRPDR iter NAT44 env 5
269         - 115 # rls2009 NDRPDR iter NAT44 env 5
270         - 116 # rls2009 NDRPDR iter NAT44 env 5
271         - 118 # rls2009 NDRPDR iter NAT44 env 5
272         - 119 # rls2009 NDRPDR iter NAT44 env 5
273         - 121 # rls2009 NDRPDR iter NAT44 env 5
274
275     plot-vpp-hdrh-lat-2n-skx:
276       csit-vpp-perf-report-iterative-2009-2n-skx:
277         - 35  # rls2009 NDRPDR iter env 5
278
279     plot-vpp-hdrh-lat-2n-skx-nat44:
280       csit-vpp-perf-report-iterative-2009-2n-skx:
281         - 110 # rls2009 NDRPDR iter NAT44 env 5
282
283     plot-vpp-soak-2n-skx:
284       csit-vpp-perf-report-iterative-2009-2n-skx:
285         - 33  # rls2009 soak env 5
286         - 34  # rls2009 soak env 5
287
288     plot-vpp-nfv-2n-skx-ndrpdr:
289       csit-vpp-perf-report-iterative-2009-2n-skx:
290         - 38  # rls2009 nf-density iter env 5
291         - 41  # rls2009 nf-density iter env 5
292         - 45  # rls2009 nf-density iter env 5
293         - 47  # rls2009 nf-density iter env 5
294         - 49  # rls2009 nf-density iter env 5
295         - 63  # rls2009 nf-density iter env 5
296         - 65  # rls2009 nf-density iter env 5
297         - 66  # rls2009 nf-density iter env 5
298         - 71  # rls2009 nf-density iter env 5
299         - 72  # rls2009 nf-density iter env 5
300
301     plot-vpp-nfv-2n-skx-mrr:
302       csit-vpp-perf-report-iterative-2009-2n-skx:
303         - 50  # rls2009 MRR nf-density iter env 5
304
305     plot-vpp-nfv-reconf-2n-skx:
306       csit-vpp-perf-report-iterative-2009-2n-skx:
307         - 27  # rls2009 reconf env 5
308         - 28  # rls2009 reconf env 5
309         - 29  # rls2009 reconf env 5
310         - 30  # rls2009 reconf env 5
311         - 31  # rls2009 reconf env 5
312         - 32  # rls2009 reconf env 5
313         - 61  # rls2009 reconf env 5
314         - 62  # rls2009 reconf env 5
315         - 68  # rls2009 reconf env 5
316         - 70  # rls2009 reconf env 5
317
318     plot-dpdk-throughput-latency-2n-skx:
319       csit-dpdk-perf-report-iterative-2009-2n-skx:
320         - 4   # NDRPDR iter env5
321         - 5   # NDRPDR iter env5
322         - 6   # NDRPDR iter env5
323         - 7   # NDRPDR iter env5
324         - 8   # NDRPDR iter env5
325         - 9   # NDRPDR iter env5
326         - 10  # NDRPDR iter env5
327         - 11  # NDRPDR iter env5
328         - 12  # NDRPDR iter env5
329         - 13  # NDRPDR iter env5
330
331     plot-dpdk-hdrh-lat-2n-skx:
332       csit-dpdk-perf-report-iterative-2009-2n-skx:
333         - 4   # NDRPDR iter env5
334
335     # 2n-zn2
336
337     plot-vpp-throughput-lat-tsa-2n-zn2-turbo:
338       csit-vpp-perf-report-iterative-2009-2n-zn2:
339         - 3   # rls2009 NDRPDR turbo iter env 5
340         - 4   # rls2009 NDRPDR turbo iter env 5
341         - 6   # rls2009 NDRPDR turbo iter env 5
342         - 7   # rls2009 NDRPDR turbo iter env 5
343         - 8   # rls2009 NDRPDR turbo iter env 5
344         - 9   # rls2009 NDRPDR turbo iter env 5
345         - 10  # rls2009 NDRPDR turbo iter env 5
346         - 11  # rls2009 NDRPDR turbo iter env 5
347
348     plot-vpp-hdrh-lat-2n-zn2-turbo:
349       csit-vpp-perf-report-iterative-2009-2n-zn2:
350         - 3   # rls2009 NDRPDR turbo iter env 5
351
352     plot-dpdk-throughput-latency-2n-zn2-turbo:
353       csit-dpdk-perf-report-iterative-2009-2n-zn2:
354         - 1   # NDRPDR turbo iter env5
355
356     plot-dpdk-hdrh-lat-2n-zn2-turbo:
357       csit-dpdk-perf-report-iterative-2009-2n-zn2:
358         - 1   # NDRPDR turbo iter env5
359
360     plot-vpp-throughput-lat-tsa-2n-zn2:
361       csit-vpp-perf-report-iterative-2009-2n-zn2:
362         - 17  # rls2009 NDRPDR iter env 5
363         - 18  # rls2009 NDRPDR iter env 5
364
365     plot-vpp-hdrh-lat-2n-zn2:
366       csit-vpp-perf-report-iterative-2009-2n-zn2:
367         - 18  # rls2009 NDRPDR iter env 5
368
369     plot-dpdk-throughput-latency-2n-zn2:
370       csit-dpdk-perf-report-iterative-2009-2n-zn2:
371         - 16  # NDRPDR iter env5
372         - 21  # NDRPDR iter env5
373         - 22  # NDRPDR iter env5
374         - 23  # NDRPDR iter env5
375         - 24  # NDRPDR iter env5
376         - 25  # NDRPDR iter env5
377         - 29  # NDRPDR iter env5
378
379     plot-dpdk-hdrh-lat-2n-zn2:
380       csit-dpdk-perf-report-iterative-2009-2n-zn2:
381         - 16  # NDRPDR iter env5
382
383     # 2n-clx
384
385     plot-vpp-throughput-lat-tsa-2n-clx:
386       csit-vpp-perf-report-iterative-2009-2n-clx:
387         - 36  # rls2009 NDRPDR iter env 5
388         - 39  # rls2009 NDRPDR iter env 5
389         - 40  # rls2009 NDRPDR iter env 5
390         - 65  # rls2009 NDRPDR iter env 5
391         - 66  # rls2009 NDRPDR iter env 5
392         - 79  # rls2009 NDRPDR iter env 5
393         - 82  # rls2009 NDRPDR iter env 5
394         - 88  # rls2009 NDRPDR iter env 5
395         - 89  # rls2009 NDRPDR iter env 5
396         - 90  # rls2009 NDRPDR iter env 5
397         - 114 # rls2009 NDRPDR iter NAT44 env 5
398         - 115 # rls2009 NDRPDR iter NAT44 env 5
399         - 116 # rls2009 NDRPDR iter NAT44 env 5
400         - 117 # rls2009 NDRPDR iter NAT44 env 5
401         - 118 # rls2009 NDRPDR iter NAT44 env 5
402         - 119 # rls2009 NDRPDR iter NAT44 env 5
403         - 121 # rls2009 NDRPDR iter NAT44 env 5
404         - 122 # rls2009 NDRPDR iter NAT44 env 5
405         - 123 # rls2009 NDRPDR iter NAT44 env 5
406         - 126 # rls2009 NDRPDR iter NAT44 env 5
407
408     plot-vpp-hdrh-lat-2n-clx:
409       csit-vpp-perf-report-iterative-2009-2n-clx:
410         - 36  # rls2009 NDRPDR iter env 5
411
412     plot-vpp-hdrh-lat-2n-clx-nat44:
413       csit-vpp-perf-report-iterative-2009-2n-clx:
414         - 123 # rls2009 NDRPDR iter NAT44 env 5
415
416     plot-vpp-nfv-2n-clx-ndrpdr:
417       csit-vpp-perf-report-iterative-2009-2n-clx:
418         - 37  # rls2009 nf-density iter env 5
419         - 43  # rls2009 nf-density iter env 5
420         - 69  # rls2009 nf-density iter env 5
421         - 70  # rls2009 nf-density iter env 5
422         - 71  # rls2009 nf-density iter env 5
423         - 72  # rls2009 nf-density iter env 5
424         - 73  # rls2009 nf-density iter env 5
425         - 74  # rls2009 nf-density iter env 5
426         - 75  # rls2009 nf-density iter env 5
427         - 76  # rls2009 nf-density iter env 5
428
429     plot-vpp-nfv-2n-clx-mrr:
430       csit-vpp-perf-report-iterative-2009-2n-clx:
431         - 45  # rls2009 MRR nf-density iter env 5
432
433     plot-vpp-nfv-reconf-2n-clx:
434       csit-vpp-perf-report-iterative-2009-2n-clx:
435         - 25  # rls2009 reconf env 5
436         - 27  # rls2009 reconf env 5
437         - 28  # rls2009 reconf env 5
438         - 29  # rls2009 reconf env 5
439         - 30  # rls2009 reconf env 5
440         - 30  # rls2009 reconf env 5
441         - 32  # rls2009 reconf env 5
442         - 48  # rls2009 reconf env 5
443         - 53  # rls2009 reconf env 5
444         - 68  # rls2009 reconf env 5
445
446     plot-vpp-soak-2n-clx:
447       csit-vpp-perf-report-iterative-2009-2n-clx:
448         - 33  # rls2009 soak env 5
449         - 34  # rls2009 soak env 5
450
451     plot-dpdk-throughput-latency-2n-clx:
452       csit-dpdk-perf-report-iterative-2009-2n-clx:
453         - 4   # NDRPDR iter env5
454         - 5   # NDRPDR iter env5
455         - 6   # NDRPDR iter env5
456         - 7   # NDRPDR iter env5
457         - 8   # NDRPDR iter env5
458         - 9   # NDRPDR iter env5
459         - 10  # NDRPDR iter env5
460         - 11  # NDRPDR iter env5
461         - 12  # NDRPDR iter env5
462         - 13  # NDRPDR iter env5
463
464     plot-dpdk-hdrh-lat-2n-clx:
465       csit-dpdk-perf-report-iterative-2009-2n-clx:
466         - 4   # NDRPDR iter env5
467
468     # 3n-tsh
469
470     plot-vpp-throughput-lat-tsa-3n-tsh:
471       csit-vpp-perf-report-iterative-2009-3n-tsh:
472         - 14  # rls2009 NDRPDR iter env 5
473         - 20  # rls2009 NDRPDR iter env 5
474         - 21  # rls2009 NDRPDR iter env 5
475         - 22  # rls2009 NDRPDR iter env 5
476         - 23  # rls2009 NDRPDR iter env 5
477         - 28  # rls2009 NDRPDR iter env 5
478         - 30  # rls2009 NDRPDR iter env 5
479         - 33  # rls2009 NDRPDR iter env 5
480         - 38  # rls2009 NDRPDR iter env 5
481         - 41  # rls2009 NDRPDR iter env 5
482
483     plot-vpp-hdrh-lat-3n-tsh:
484       csit-vpp-perf-report-iterative-2009-3n-tsh:
485         - 14  # rls2009 NDRPDR iter env 5
486
487     plot-dpdk-throughput-latency-3n-tsh:
488       csit-dpdk-perf-report-iterative-2009-3n-tsh:
489         - 1   # NDRPDR iter env5
490         - 2   # NDRPDR iter env5
491         - 3   # NDRPDR iter env5
492         - 4   # NDRPDR iter env5
493         - 5   # NDRPDR iter env5
494         - 6   # NDRPDR iter env5
495         - 7   # NDRPDR iter env5
496         - 9   # NDRPDR iter env5
497         - 10  # NDRPDR iter env5
498         - 11  # NDRPDR iter env5
499
500     plot-dpdk-hdrh-lat-3n-tsh:
501       csit-dpdk-perf-report-iterative-2009-3n-tsh:
502         - 1   # NDRPDR iter env5
503
504     # 3n-dnv
505
506     plot-vpp-throughput-lat-tsa-3n-dnv:
507       csit-vpp-perf-report-iterative-2009-3n-dnv:
508         - 3   # rls2009 NDRPDR iter env 5
509         - 6   # rls2009 NDRPDR iter env 5
510         - 7   # rls2009 NDRPDR iter env 5
511         - 8   # rls2009 NDRPDR iter env 5
512         - 10  # rls2009 NDRPDR iter env 5
513         - 11  # rls2009 NDRPDR iter env 5
514         - 12  # rls2009 NDRPDR iter env 5
515         - 14  # rls2009 NDRPDR iter env 5
516         - 15  # rls2009 NDRPDR iter env 5
517         - 24  # rls2009 NDRPDR iter env 5
518
519 #    plot-dpdk-throughput-latency-3n-dnv:
520 #      # No data
521 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
522
523     # 2n-dnv
524
525     plot-vpp-throughput-lat-tsa-2n-dnv:
526       csit-vpp-perf-report-iterative-2009-2n-dnv:
527         - 3   # rls2009 NDRPDR iter env 5
528         - 5   # rls2009 NDRPDR iter env 5
529         - 6   # rls2009 NDRPDR iter env 5
530         - 7   # rls2009 NDRPDR iter env 5
531         - 9   # rls2009 NDRPDR iter env 5
532         - 10  # rls2009 NDRPDR iter env 5
533         - 11  # rls2009 NDRPDR iter env 5
534         - 12  # rls2009 NDRPDR iter env 5
535         - 14  # rls2009 NDRPDR iter env 5
536         - 15  # rls2009 NDRPDR iter env 5
537
538 #    plot-dpdk-throughput-latency-2n-dnv:
539 #      # No data
540 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
541
542     ###########################################################################
543     # Simple tables (only one data set):
544
545     # NIC Comparisons
546
547     vpp-nic-comparison-3n-skx:
548       csit-vpp-perf-report-iterative-2009-3n-skx:
549         - 26  # rls2009 NDRPDR iter env 5
550         - 27  # rls2009 NDRPDR iter env 5
551         - 28  # rls2009 NDRPDR iter env 5
552         - 29  # rls2009 NDRPDR iter env 5
553         - 35  # rls2009 NDRPDR iter env 5
554         - 36  # rls2009 NDRPDR iter env 5
555         - 37  # rls2009 NDRPDR iter env 5
556         - 38  # rls2009 NDRPDR iter env 5
557         - 39  # rls2009 NDRPDR iter env 5
558         - 40  # rls2009 NDRPDR iter env 5
559
560     vpp-nic-comparison-2n-skx:
561       csit-vpp-perf-report-iterative-2009-2n-skx:
562         - 35  # rls2009 NDRPDR iter env 5
563         - 36  # rls2009 NDRPDR iter env 5
564         - 37  # rls2009 NDRPDR iter env 5
565         - 39  # rls2009 NDRPDR iter env 5
566         - 40  # rls2009 NDRPDR iter env 5
567         - 42  # rls2009 NDRPDR iter env 5
568         - 43  # rls2009 NDRPDR iter env 5
569         - 44  # rls2009 NDRPDR iter env 5
570         - 46  # rls2009 NDRPDR iter env 5
571         - 48  # rls2009 NDRPDR iter env 5
572         - 110 # rls2009 NDRPDR iter NAT44 env 5
573         - 111 # rls2009 NDRPDR iter NAT44 env 5
574         - 112 # rls2009 NDRPDR iter NAT44 env 5
575         - 113 # rls2009 NDRPDR iter NAT44 env 5
576         - 114 # rls2009 NDRPDR iter NAT44 env 5
577         - 115 # rls2009 NDRPDR iter NAT44 env 5
578         - 116 # rls2009 NDRPDR iter NAT44 env 5
579         - 118 # rls2009 NDRPDR iter NAT44 env 5
580         - 119 # rls2009 NDRPDR iter NAT44 env 5
581         - 121 # rls2009 NDRPDR iter NAT44 env 5
582
583     vpp-nic-comparison-3n-skx-mrr:
584       csit-vpp-perf-report-iterative-2009-3n-skx:
585         - 24  # rls2009 MRR iter env 5
586
587     vpp-nic-comparison-2n-skx-mrr:
588       csit-vpp-perf-report-iterative-2009-2n-skx:
589         - 120 # rls2009 MRR iter env 5
590
591     # Results
592
593     vpp-perf-results-3n-hsw:
594       csit-vpp-perf-report-coverage-2009-3n-hsw:
595         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
596         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
597         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
598         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
599         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
600         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
601         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
602         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
603         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
604         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
605         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
606         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
607         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
608         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
609         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
610         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
611         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
612         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
613         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
614         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
615         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
616         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
617         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
618         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
619         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
620         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
621         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
622         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
623         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
624         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
625         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
626         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
627         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
628         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
629         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
630
631     vpp-perf-results-3n-skx:
632       csit-vpp-perf-report-coverage-2009-3n-skx:
633         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
634         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
635         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
636         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
637         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
638         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
639         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
640         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
641         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
642         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
643         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
644         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
645         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
646         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
647         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
648         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
649         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
650         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
651         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
652         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
653         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
654         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
655         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
656         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
657         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
658         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
659         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
660         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
661         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
662         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
663         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
664         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
665         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
666         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
667         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
668         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
669
670     vpp-perf-results-2n-skx:
671       csit-vpp-perf-report-coverage-2009-2n-skx:
672         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
673         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
674         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
675         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
676         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
677         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
678         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
679         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
680         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
681         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
682         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
683         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
684         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
685         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
686         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
687         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
688         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
689
690     vpp-perf-results-2n-zn2:
691       csit-vpp-perf-report-iterative-2009-2n-zn2:
692         - 18  # rls2009 NDRPDR iter env 5
693
694     vpp-perf-results-2n-clx:
695       csit-vpp-perf-report-coverage-2009-2n-clx:
696         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
697         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
698         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
699         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
700         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
701         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
702         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
703         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
704         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
705         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
706         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
707         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
708         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
709         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
710         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
711         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
712         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
713
714     vpp-perf-results-3n-tsh:
715       csit-vpp-perf-report-iterative-2009-3n-tsh:
716         - 14  # rls2009 NDRPDR iter env 5
717
718     vpp-perf-results-3n-dnv:
719       csit-vpp-perf-report-coverage-2009-3n-dnv:
720         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
721         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
722         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
723         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
724         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
725         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
726         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
727         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
728         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
729
730     vpp-perf-results-2n-dnv:
731       csit-vpp-perf-report-coverage-2009-2n-dnv:
732         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
733         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
734         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
735         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
736         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
737         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
738
739     vpp-mrr-results-3n-hsw:
740       csit-vpp-perf-report-iterative-2009-3n-hsw:
741         - 23  # rls2009 MRR iter env 5
742
743     vpp-mrr-results-3n-skx:
744       csit-vpp-perf-report-iterative-2009-3n-skx:
745         - 24  # rls2009 MRR iter env 5
746
747     vpp-mrr-results-2n-skx:
748       csit-vpp-perf-report-iterative-2009-2n-skx:
749         - 120 # rls2009 MRR iter env 5
750
751     vpp-mrr-results-2n-zn2:
752       csit-vpp-perf-report-iterative-2009-2n-zn2:
753         - 15  # rls2009 MRR iter env 5
754
755     vpp-mrr-results-2n-clx:
756       csit-vpp-perf-report-iterative-2009-2n-clx:
757         - 125 # rls2009 MRR iter env 5
758
759     vpp-mrr-results-3n-tsh:
760       csit-vpp-perf-report-iterative-2009-3n-tsh:
761         - 15  # rls2009 MRR iter env 5
762
763     vpp-mrr-results-3n-dnv:
764       csit-vpp-perf-report-iterative-2009-3n-dnv:
765         - 22  # rls2009 MRR iter env 5
766
767     vpp-mrr-results-2n-dnv:
768       csit-vpp-perf-report-iterative-2009-2n-dnv:
769         - 13  # rls2009 MRR iter env 5
770
771     vpp-device-results-ubuntu:
772       csit-vpp-device-2009-ubuntu1804-1n-skx:
773         - 131 # rls2009 env 5
774
775     dpdk-perf-results-3n-hsw:
776       csit-dpdk-perf-report-iterative-2009-3n-hsw:
777         - 6   # NDRPDR iter env5
778
779     dpdk-perf-results-3n-skx:
780       csit-dpdk-perf-report-iterative-2009-3n-skx:
781         - 4   # NDRPDR sel env5
782
783     dpdk-perf-results-2n-skx:
784       csit-dpdk-perf-report-iterative-2009-2n-skx:
785         - 4   # NDRPDR iter env5
786
787     dpdk-perf-results-2n-zn2:
788       csit-dpdk-perf-report-iterative-2009-2n-zn2:
789         - 16  # NDRPDR iter env5
790
791     dpdk-perf-results-2n-clx:
792       csit-dpdk-perf-report-iterative-2009-2n-clx:
793         - 4   # NDRPDR iter env5
794
795 #    dpdk-perf-results-2n-dnv:
796 #      # No data
797 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
798
799 #    dpdk-perf-results-3n-dnv:
800 #      # No data
801 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
802
803     dpdk-perf-results-3n-tsh:
804       csit-dpdk-perf-report-iterative-2009-3n-tsh:
805         - 1   # NDRPDR iter env5
806
807 ###########################################################################
808     # Tables (more than one data set)
809
810     # Performance changes
811
812     vpp-performance-changes-3n-hsw-h1:
813       csit-vpp-perf-report-iterative-2005-3n-hsw:
814         - 31  # NDRPDR sel 2001.0-4
815         - 32  # NDRPDR sel 2001.0-4
816         - 33  # NDRPDR sel 2001.0-4
817         - 34  # NDRPDR sel 2001.0-4
818         - 35  # NDRPDR sel 2001.0-4
819         - 36  # NDRPDR sel 2001.0-4
820         - 38  # NDRPDR sel 2001.0-4
821     vpp-performance-changes-3n-hsw-ref-env4:
822       csit-vpp-perf-report-iterative-2005-3n-hsw:
823         - 20  # NDRPDR sel env 4
824         - 21  # NDRPDR sel env 4
825         - 22  # NDRPDR sel env 4
826         - 23  # NDRPDR sel env 4
827         - 24  # NDRPDR sel env 4
828         - 25  # NDRPDR sel env 4
829         - 26  # NDRPDR sel env 4
830         - 27  # NDRPDR sel env 4
831         - 28  # NDRPDR sel env 4
832         - 29  # NDRPDR sel env 4
833     vpp-performance-changes-3n-hsw-ref-env5:
834       csit-vpp-perf-report-iterative-2009-3n-hsw:
835         - 9   # rls2005 NDRPDR iter env 5
836         - 10  # rls2005 NDRPDR iter env 5
837         - 11  # rls2005 NDRPDR iter env 5
838         - 12  # rls2005 NDRPDR iter env 5
839         - 13  # rls2005 NDRPDR iter env 5
840         - 14  # rls2005 NDRPDR iter env 5
841         - 15  # rls2005 NDRPDR iter env 5
842         - 16  # rls2005 NDRPDR iter env 5
843         - 17  # rls2005 NDRPDR iter env 5
844         - 19  # rls2005 NDRPDR iter env 5
845     vpp-performance-changes-3n-hsw-cmp:
846       csit-vpp-perf-report-iterative-2009-3n-hsw:
847         - 21  # rls2009 NDRPDR iter env 5
848         - 22  # rls2009 NDRPDR iter env 5
849         - 24  # rls2009 NDRPDR iter env 5
850         - 25  # rls2009 NDRPDR iter env 5
851         - 26  # rls2009 NDRPDR iter env 5
852         - 27  # rls2009 NDRPDR iter env 5
853         - 28  # rls2009 NDRPDR iter env 5
854         - 29  # rls2009 NDRPDR iter env 5
855         - 30  # rls2009 NDRPDR iter env 5
856         - 31  # rls2009 NDRPDR iter env 5
857
858     vpp-performance-changes-3n-skx-h1:
859       csit-vpp-perf-report-iterative-2005-3n-skx:
860         - 50  # NDRPDR sel 2001.0-4
861         - 51  # NDRPDR sel 2001.0-4
862         - 52  # NDRPDR sel 2001.0-4
863         - 53  # NDRPDR sel 2001.0-4
864         - 54  # NDRPDR sel 2001.0-4
865     vpp-performance-changes-3n-skx-ref-env4:
866       csit-vpp-perf-report-iterative-2005-3n-skx:
867         - 42  # NDRPDR sel env 4
868         - 43  # NDRPDR sel env 4
869         - 44  # NDRPDR sel env 4
870         - 45  # NDRPDR sel env 4
871         - 47  # NDRPDR sel env 4
872         - 55  # NDRPDR sel env 4
873         - 56  # NDRPDR sel env 4
874         - 57  # NDRPDR sel env 4
875         - 61  # NDRPDR sel env 4
876         - 62  # NDRPDR sel env 4
877     vpp-performance-changes-3n-skx-ref-env5:
878       csit-vpp-perf-report-iterative-2009-3n-skx:
879         - 13  # rls2005 NDRPDR iter env 5
880         - 18  # rls2005 NDRPDR iter env 5
881         - 19  # rls2005 NDRPDR iter env 5
882         - 41  # rls2005 NDRPDR iter env 5
883         - 43  # rls2005 NDRPDR iter env 5
884         - 44  # rls2005 NDRPDR iter env 5
885         - 45  # rls2005 NDRPDR iter env 5
886         - 46  # rls2005 NDRPDR iter env 5
887         - 48  # rls2005 NDRPDR iter env 5
888         - 49  # rls2005 NDRPDR iter env 5
889     vpp-performance-changes-3n-skx-cmp:
890       csit-vpp-perf-report-iterative-2009-3n-skx:
891         - 26  # rls2009 NDRPDR iter env 5
892         - 27  # rls2009 NDRPDR iter env 5
893         - 28  # rls2009 NDRPDR iter env 5
894         - 29  # rls2009 NDRPDR iter env 5
895         - 35  # rls2009 NDRPDR iter env 5
896         - 36  # rls2009 NDRPDR iter env 5
897         - 37  # rls2009 NDRPDR iter env 5
898         - 38  # rls2009 NDRPDR iter env 5
899         - 39  # rls2009 NDRPDR iter env 5
900         - 40  # rls2009 NDRPDR iter env 5
901
902     vpp-performance-changes-2n-skx-h1:
903       csit-vpp-perf-report-iterative-2005-2n-skx:
904         - 100 # NDRPDR sel 2001.0-4
905         - 101 # NDRPDR sel 2001.0-4
906         - 102 # NDRPDR sel 2001.0-4
907         - 103 # NDRPDR sel 2001.0-4
908         - 104 # NDRPDR sel 2001.0-4
909         - 105 # NDRPDR sel 2001.0-4
910     vpp-performance-changes-2n-skx-ref-env4:
911       csit-vpp-perf-report-iterative-2005-2n-skx:
912         - 88  # NDRPDR sel env 4
913         - 89  # NDRPDR sel env 4
914         - 90  # NDRPDR sel env 4
915         - 91  # NDRPDR sel env 4
916         - 92  # NDRPDR sel env 4
917         - 93  # NDRPDR sel env 4
918         - 94  # NDRPDR sel env 4
919         - 125 # NDRPDR sel env 4
920         - 126 # NDRPDR sel env 4
921         - 127 # NDRPDR sel env 4
922     vpp-performance-changes-2n-skx-ref-env5:
923       csit-vpp-perf-report-iterative-2009-2n-skx:
924         - 13  # rls2005 NDRPDR iter env 5
925         - 16  # rls2005 NDRPDR iter env 5
926         - 17  # rls2005 NDRPDR iter env 5
927         - 18  # rls2005 NDRPDR iter env 5
928         - 19  # rls2005 NDRPDR iter env 5
929         - 21  # rls2005 NDRPDR iter env 5
930         - 22  # rls2005 NDRPDR iter env 5
931         - 23  # rls2005 NDRPDR iter env 5
932         - 24  # rls2005 NDRPDR iter env 5
933         - 25  # rls2005 NDRPDR iter env 5
934     vpp-performance-changes-2n-skx-cmp:
935       csit-vpp-perf-report-iterative-2009-2n-skx:
936         - 35  # rls2009 NDRPDR iter env 5
937         - 36  # rls2009 NDRPDR iter env 5
938         - 37  # rls2009 NDRPDR iter env 5
939         - 39  # rls2009 NDRPDR iter env 5
940         - 40  # rls2009 NDRPDR iter env 5
941         - 42  # rls2009 NDRPDR iter env 5
942         - 43  # rls2009 NDRPDR iter env 5
943         - 44  # rls2009 NDRPDR iter env 5
944         - 46  # rls2009 NDRPDR iter env 5
945         - 48  # rls2009 NDRPDR iter env 5
946         - 110 # rls2009 NDRPDR iter NAT44 env 5
947         - 111 # rls2009 NDRPDR iter NAT44 env 5
948         - 112 # rls2009 NDRPDR iter NAT44 env 5
949         - 113 # rls2009 NDRPDR iter NAT44 env 5
950         - 114 # rls2009 NDRPDR iter NAT44 env 5
951         - 115 # rls2009 NDRPDR iter NAT44 env 5
952         - 116 # rls2009 NDRPDR iter NAT44 env 5
953         - 118 # rls2009 NDRPDR iter NAT44 env 5
954         - 119 # rls2009 NDRPDR iter NAT44 env 5
955         - 121 # rls2009 NDRPDR iter NAT44 env 5
956
957     vpp-performance-changes-2n-clx-h1:
958       csit-vpp-perf-report-iterative-2005-2n-clx:
959         - 73  # NDRPDR sel 2001.0-4
960         - 74  # NDRPDR sel 2001.0-4
961         - 75  # NDRPDR sel 2001.0-4
962         - 76  # NDRPDR sel 2001.0-4
963         - 77  # NDRPDR sel 2001.0-4
964         - 78  # NDRPDR sel 2001.0-4
965         - 79  # NDRPDR sel 2001.0-4
966         - 80  # NDRPDR sel 2001.0-4
967     vpp-performance-changes-2n-clx-ref-env4:
968       csit-vpp-perf-report-iterative-2005-2n-clx:
969         - 62  # NDRPDR sel env 4
970         - 63  # NDRPDR sel env 4
971         - 64  # NDRPDR sel env 4
972         - 65  # NDRPDR sel env 4
973         - 66  # NDRPDR sel env 4
974         - 68  # NDRPDR sel env 4
975         - 69  # NDRPDR sel env 4
976         - 70  # NDRPDR sel env 4
977         - 103 # NDRPDR sel env 4
978         - 104 # NDRPDR sel env 4
979     vpp-performance-changes-2n-clx-ref-env5:
980       csit-vpp-perf-report-iterative-2009-2n-clx:
981         - 13  # rls2005 NDRPDR iter env 5
982         - 15  # rls2005 NDRPDR iter env 5
983         - 17  # rls2005 NDRPDR iter env 5
984         - 18  # rls2005 NDRPDR iter env 5
985         - 19  # rls2005 NDRPDR iter env 5
986         - 20  # rls2005 NDRPDR iter env 5
987         - 21  # rls2005 NDRPDR iter env 5
988         - 22  # rls2005 NDRPDR iter env 5
989         - 23  # rls2005 NDRPDR iter env 5
990         - 24  # rls2005 NDRPDR iter env 5
991     vpp-performance-changes-2n-clx-cmp:
992       csit-vpp-perf-report-iterative-2009-2n-clx:
993         - 36  # rls2009 NDRPDR iter env 5
994         - 39  # rls2009 NDRPDR iter env 5
995         - 40  # rls2009 NDRPDR iter env 5
996         - 65  # rls2009 NDRPDR iter env 5
997         - 66  # rls2009 NDRPDR iter env 5
998         - 79  # rls2009 NDRPDR iter env 5
999         - 82  # rls2009 NDRPDR iter env 5
1000         - 88  # rls2009 NDRPDR iter env 5
1001         - 89  # rls2009 NDRPDR iter env 5
1002         - 90  # rls2009 NDRPDR iter env 5
1003         - 114 # rls2009 NDRPDR iter NAT44 env 5
1004         - 115 # rls2009 NDRPDR iter NAT44 env 5
1005         - 116 # rls2009 NDRPDR iter NAT44 env 5
1006         - 117 # rls2009 NDRPDR iter NAT44 env 5
1007         - 118 # rls2009 NDRPDR iter NAT44 env 5
1008         - 119 # rls2009 NDRPDR iter NAT44 env 5
1009         - 121 # rls2009 NDRPDR iter NAT44 env 5
1010         - 122 # rls2009 NDRPDR iter NAT44 env 5
1011         - 123 # rls2009 NDRPDR iter NAT44 env 5
1012         - 126 # rls2009 NDRPDR iter NAT44 env 5
1013
1014     vpp-performance-changes-2n-dnv-h1:
1015       csit-vpp-perf-verify-2001-2n-dnv:
1016         - 4   # NDRPDR sel
1017         - 5   # NDRPDR sel
1018         - 6   # NDRPDR sel
1019         - 7   # NDRPDR sel
1020         - 8   # NDRPDR sel
1021         - 9   # NDRPDR sel
1022         - 10  # NDRPDR sel
1023         - 11  # NDRPDR sel
1024         - 13  # NDRPDR sel
1025         - 16  # NDRPDR sel
1026     vpp-performance-changes-2n-dnv-ref:
1027       csit-vpp-perf-report-iterative-2009-2n-dnv:
1028         - 16  # rls2005 NDRPDR iter env 5
1029         - 17  # rls2005 NDRPDR iter env 5
1030         - 18  # rls2005 NDRPDR iter env 5
1031         - 19  # rls2005 NDRPDR iter env 5
1032         - 21  # rls2005 NDRPDR iter env 5
1033         - 24  # rls2005 NDRPDR iter env 5
1034         - 27  # rls2005 NDRPDR iter env 5
1035         - 28  # rls2005 NDRPDR iter env 5
1036         - 29  # rls2005 NDRPDR iter env 5
1037         - 30  # rls2005 NDRPDR iter env 5
1038     vpp-performance-changes-2n-dnv-cmp:
1039       csit-vpp-perf-report-iterative-2009-2n-dnv:
1040         - 3   # rls2009 NDRPDR iter env 5
1041         - 5   # rls2009 NDRPDR iter env 5
1042         - 6   # rls2009 NDRPDR iter env 5
1043         - 7   # rls2009 NDRPDR iter env 5
1044         - 9   # rls2009 NDRPDR iter env 5
1045         - 10  # rls2009 NDRPDR iter env 5
1046         - 11  # rls2009 NDRPDR iter env 5
1047         - 12  # rls2009 NDRPDR iter env 5
1048         - 14  # rls2009 NDRPDR iter env 5
1049         - 15  # rls2009 NDRPDR iter env 5
1050
1051     vpp-performance-changes-3n-dnv-h1:
1052       csit-vpp-perf-verify-2001-3n-dnv:
1053         - 5   # NDRPDR sel
1054         - 6   # NDRPDR sel
1055         - 7   # NDRPDR sel
1056         - 8   # NDRPDR sel
1057         - 9   # NDRPDR sel
1058         - 10  # NDRPDR sel
1059         - 12  # NDRPDR sel
1060         - 16  # NDRPDR sel
1061         - 17  # NDRPDR sel
1062         - 18  # NDRPDR sel
1063     vpp-performance-changes-3n-dnv-ref:
1064       csit-vpp-perf-report-iterative-2009-3n-dnv:
1065         - 16  # rls2005 NDRPDR iter env 5
1066         - 23  # rls2005 NDRPDR iter env 5
1067         - 25  # rls2005 NDRPDR iter env 5
1068         - 26  # rls2005 NDRPDR iter env 5
1069         - 27  # rls2005 NDRPDR iter env 5
1070         - 28  # rls2005 NDRPDR iter env 5
1071         - 29  # rls2005 NDRPDR iter env 5
1072         - 30  # rls2005 NDRPDR iter env 5
1073         - 31  # rls2005 NDRPDR iter env 5
1074         - 32  # rls2005 NDRPDR iter env 5
1075     vpp-performance-changes-3n-dnv-cmp:
1076       csit-vpp-perf-report-iterative-2009-3n-dnv:
1077         - 3   # rls2009 NDRPDR iter env 5
1078         - 6   # rls2009 NDRPDR iter env 5
1079         - 7   # rls2009 NDRPDR iter env 5
1080         - 8   # rls2009 NDRPDR iter env 5
1081         - 10  # rls2009 NDRPDR iter env 5
1082         - 11  # rls2009 NDRPDR iter env 5
1083         - 12  # rls2009 NDRPDR iter env 5
1084         - 14  # rls2009 NDRPDR iter env 5
1085         - 15  # rls2009 NDRPDR iter env 5
1086         - 24  # rls2009 NDRPDR iter env 5
1087
1088     vpp-performance-changes-3n-tsh-h1:
1089       csit-vpp-perf-report-iterative-2005-3n-tsh:
1090         - 28  # NDRPDR sel 2001.0-4
1091         - 29  # NDRPDR sel 2001.0-4
1092         - 31  # NDRPDR sel 2001.0-4
1093     vpp-performance-changes-3n-tsh-ref-env4:
1094       csit-vpp-perf-report-iterative-2005-3n-tsh:
1095         - 23  # NDRPDR sel env 4
1096         - 25  # NDRPDR sel env 4
1097         - 33  # NDRPDR sel env 4
1098         - 34  # NDRPDR sel env 4
1099         - 35  # NDRPDR sel env 4
1100         - 36  # NDRPDR sel env 4
1101         - 37  # NDRPDR sel env 4
1102         - 38  # NDRPDR sel env 4
1103         - 39  # NDRPDR sel env 4
1104         - 40  # NDRPDR sel env 4
1105     vpp-performance-changes-3n-tsh-ref-env5:
1106       csit-vpp-perf-report-iterative-2009-3n-tsh:
1107         - 8   # rls2005 NDRPDR iter env 5
1108         - 11  # rls2005 NDRPDR iter env 5
1109         - 12  # rls2005 NDRPDR iter env 5
1110         - 24  # rls2005 NDRPDR iter env 5
1111         - 27  # rls2005 NDRPDR iter env 5
1112         - 29  # rls2005 NDRPDR iter env 5
1113         - 31  # rls2005 NDRPDR iter env 5
1114         - 39  # rls2005 NDRPDR iter env 5
1115         - 40  # rls2005 NDRPDR iter env 5
1116         - 42  # rls2005 NDRPDR iter env 5
1117     vpp-performance-changes-3n-tsh-cmp:
1118       csit-vpp-perf-report-iterative-2009-3n-tsh:
1119         - 14  # rls2009 NDRPDR iter env 5
1120         - 20  # rls2009 NDRPDR iter env 5
1121         - 21  # rls2009 NDRPDR iter env 5
1122         - 22  # rls2009 NDRPDR iter env 5
1123         - 23  # rls2009 NDRPDR iter env 5
1124         - 28  # rls2009 NDRPDR iter env 5
1125         - 30  # rls2009 NDRPDR iter env 5
1126         - 33  # rls2009 NDRPDR iter env 5
1127         - 38  # rls2009 NDRPDR iter env 5
1128         - 41  # rls2009 NDRPDR iter env 5
1129
1130     vpp-soak-vs-ndr-2n-skx-ref:
1131       csit-vpp-perf-report-iterative-2009-2n-skx:
1132         - 35  # rls2009 NDRPDR iter env 5
1133         - 36  # rls2009 NDRPDR iter env 5
1134         - 37  # rls2009 NDRPDR iter env 5
1135         - 39  # rls2009 NDRPDR iter env 5
1136         - 40  # rls2009 NDRPDR iter env 5
1137         - 42  # rls2009 NDRPDR iter env 5
1138         - 43  # rls2009 NDRPDR iter env 5
1139         - 44  # rls2009 NDRPDR iter env 5
1140         - 46  # rls2009 NDRPDR iter env 5
1141         - 48  # rls2009 NDRPDR iter env 5
1142     vpp-soak-vs-ndr-2n-skx-cmp:
1143       csit-vpp-perf-report-iterative-2009-2n-skx:
1144         - 33  # rls2009 soak env 5
1145         - 34  # rls2009 soak env 5
1146     vpp-soak-vs-ndr-2n-skx:
1147       csit-vpp-perf-report-iterative-2009-2n-skx:
1148         - 35  # rls2009 NDRPDR iter env 5
1149         - 36  # rls2009 NDRPDR iter env 5
1150         - 37  # rls2009 NDRPDR iter env 5
1151         - 39  # rls2009 NDRPDR iter env 5
1152         - 40  # rls2009 NDRPDR iter env 5
1153         - 42  # rls2009 NDRPDR iter env 5
1154         - 43  # rls2009 NDRPDR iter env 5
1155         - 44  # rls2009 NDRPDR iter env 5
1156         - 46  # rls2009 NDRPDR iter env 5
1157         - 48  # rls2009 NDRPDR iter env 5
1158         - 33  # rls2009 soak env 5
1159         - 34  # rls2009 soak env 5
1160
1161     vpp-soak-vs-ndr-2n-clx-ref:
1162       csit-vpp-perf-report-iterative-2009-2n-clx:
1163         - 36  # rls2009 NDRPDR iter env 5
1164         - 39  # rls2009 NDRPDR iter env 5
1165         - 40  # rls2009 NDRPDR iter env 5
1166         - 65  # rls2009 NDRPDR iter env 5
1167         - 66  # rls2009 NDRPDR iter env 5
1168         - 79  # rls2009 NDRPDR iter env 5
1169         - 82  # rls2009 NDRPDR iter env 5
1170         - 88  # rls2009 NDRPDR iter env 5
1171         - 89  # rls2009 NDRPDR iter env 5
1172         - 90  # rls2009 NDRPDR iter env 5
1173     vpp-soak-vs-ndr-2n-clx-cmp:
1174       csit-vpp-perf-report-iterative-2009-2n-clx:
1175         - 33  # rls2009 soak env 5
1176         - 34  # rls2009 soak env 5
1177     vpp-soak-vs-ndr-2n-clx:
1178       csit-vpp-perf-report-iterative-2009-2n-clx:
1179         - 36  # rls2009 NDRPDR iter env 5
1180         - 39  # rls2009 NDRPDR iter env 5
1181         - 40  # rls2009 NDRPDR iter env 5
1182         - 65  # rls2009 NDRPDR iter env 5
1183         - 66  # rls2009 NDRPDR iter env 5
1184         - 79  # rls2009 NDRPDR iter env 5
1185         - 82  # rls2009 NDRPDR iter env 5
1186         - 88  # rls2009 NDRPDR iter env 5
1187         - 89  # rls2009 NDRPDR iter env 5
1188         - 90  # rls2009 NDRPDR iter env 5
1189         - 33  # rls2009 soak env 5
1190         - 34  # rls2009 soak env 5
1191
1192     vpp-performance-changes-3n-hsw-mrr-h1:
1193       csit-vpp-perf-verify-2001-3n-hsw:
1194         - 17  # MRR sel
1195     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1196       csit-vpp-perf-report-iterative-2005-3n-hsw:
1197         - 30  # MRR env 4
1198     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1199       csit-vpp-perf-report-iterative-2009-3n-hsw:
1200         - 18  # rls2005 MRR iter env 5
1201     vpp-performance-changes-3n-hsw-mrr-cmp:
1202       csit-vpp-perf-report-iterative-2009-3n-hsw:
1203         - 23  # rls2009 MRR iter env 5
1204
1205     vpp-performance-changes-3n-skx-mrr-h1:
1206       csit-vpp-perf-verify-2001-3n-skx:
1207         - 50  # MRR sel
1208         - 53  # MRR sel addition
1209     vpp-performance-changes-3n-skx-mrr-ref-env4:
1210       csit-vpp-perf-report-iterative-2005-3n-skx:
1211         - 49  # MRR sel env 4
1212     vpp-performance-changes-3n-skx-mrr-ref-env5:
1213       csit-vpp-perf-report-iterative-2009-3n-skx:
1214         - 17  # rls2005 MRR iter env 5
1215     vpp-performance-changes-3n-skx-mrr-cmp:
1216       csit-vpp-perf-report-iterative-2009-3n-skx:
1217         - 24  # rls2009 MRR iter env 5
1218
1219     vpp-performance-changes-2n-skx-mrr-h1:
1220       csit-vpp-perf-verify-2001-2n-skx:
1221         - 101 # MRR sel
1222         - 128 # MRR sel addition
1223     vpp-performance-changes-2n-skx-mrr-ref-env4:
1224       csit-vpp-perf-report-iterative-2005-2n-skx:
1225         - 99  # MRR sel env 4
1226     vpp-performance-changes-2n-skx-mrr-ref-env5:
1227       csit-vpp-perf-report-iterative-2009-2n-skx:
1228         - 20  # rls2005 MRR iter env 5
1229     vpp-performance-changes-2n-skx-mrr-cmp:
1230       csit-vpp-perf-report-iterative-2009-2n-skx:
1231         - 120 # rls2009 MRR iter env 5
1232
1233     vpp-performance-changes-2n-clx-mrr-h1:
1234       csit-vpp-perf-verify-2001-2n-clx:
1235         - 39  # MRR
1236     vpp-performance-changes-2n-clx-mrr-ref-env4:
1237       csit-vpp-perf-report-iterative-2005-2n-clx:
1238         - 72   # MRR sel env 4
1239     vpp-performance-changes-2n-clx-mrr-ref-env5:
1240       csit-vpp-perf-report-iterative-2009-2n-clx:
1241         - 77  # rls2005 MRR iter env 5
1242     vpp-performance-changes-2n-clx-mrr-cmp:
1243       csit-vpp-perf-report-iterative-2009-2n-clx:
1244         - 125 # rls2009 MRR iter env 5
1245
1246     vpp-performance-changes-2n-dnv-mrr-h1:
1247       csit-vpp-perf-verify-2001-2n-dnv:
1248         - 12  # MRR sel
1249     vpp-performance-changes-2n-dnv-mrr-ref:
1250       csit-vpp-perf-report-iterative-2009-2n-dnv:
1251         - 23  # rls2005 MRR iter env 5
1252     vpp-performance-changes-2n-dnv-mrr-cmp:
1253       csit-vpp-perf-report-iterative-2009-2n-dnv:
1254         - 13  # rls2009 MRR iter env 5
1255
1256     vpp-performance-changes-3n-dnv-mrr-h1:
1257       csit-vpp-perf-verify-2001-3n-dnv:
1258         - 11  # MRR sel
1259     vpp-performance-changes-3n-dnv-mrr-ref:
1260       csit-vpp-perf-report-iterative-2009-3n-dnv:
1261         - 19  # rls2005 MRR iter env 5
1262     vpp-performance-changes-3n-dnv-mrr-cmp:
1263       csit-vpp-perf-report-iterative-2009-3n-dnv:
1264         - 22  # rls2009 MRR iter env 5
1265
1266     vpp-performance-changes-3n-tsh-mrr-h1:
1267       csit-vpp-perf-verify-2001-3n-tsh:
1268         - 9   # MRR sel
1269     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1270       csit-vpp-perf-report-iterative-2005-3n-tsh:
1271         - 27  # MRR sel env 4
1272     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1273       csit-vpp-perf-report-iterative-2009-3n-tsh:
1274         - 13  # rls2005 MRR iter env 5
1275     vpp-performance-changes-3n-tsh-mrr-cmp:
1276       csit-vpp-perf-report-iterative-2009-3n-tsh:
1277         - 15  # rls2009 MRR iter env 5
1278
1279     dpdk-performance-changes-3n-hsw-h1:
1280       csit-dpdk-perf-verify-2001-3n-hsw:
1281         - 4   # NDRPDR sel
1282         - 5   # NDRPDR sel
1283         - 6   # NDRPDR sel
1284         - 7   # NDRPDR sel
1285         - 8   # NDRPDR sel
1286         - 9   # NDRPDR sel
1287         - 10  # NDRPDR sel
1288         - 11  # NDRPDR sel
1289         - 12  # NDRPDR sel
1290         - 13  # NDRPDR sel
1291         - 15  # NDRPDR sel
1292         - 16  # NDRPDR sel
1293         - 17  # NDRPDR sel
1294         - 18  # NDRPDR sel
1295         - 19  # NDRPDR sel
1296         - 20  # NDRPDR sel
1297         - 21  # NDRPDR sel
1298         - 22  # NDRPDR sel
1299         - 23  # NDRPDR sel
1300         - 24  # NDRPDR sel
1301     dpdk-performance-changes-3n-hsw-ref:
1302       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1303         - 25  # NDRPDR iter
1304         - 26  # NDRPDR iter
1305         - 27  # NDRPDR iter
1306         - 28  # NDRPDR iter
1307         - 29  # NDRPDR iter
1308         - 30  # NDRPDR iter
1309         - 31  # NDRPDR iter
1310         - 32  # NDRPDR iter
1311         - 33  # NDRPDR iter
1312         - 34  # NDRPDR iter
1313     dpdk-performance-changes-3n-hsw-cmp:
1314       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1315         - 6   # NDRPDR iter env5
1316         - 7   # NDRPDR iter env5
1317         - 8   # NDRPDR iter env5
1318         - 9   # NDRPDR iter env5
1319         - 10  # NDRPDR iter env5
1320         - 11  # NDRPDR iter env5
1321         - 12  # NDRPDR iter env5
1322         - 13  # NDRPDR iter env5
1323         - 14  # NDRPDR iter env5
1324         - 15  # NDRPDR iter env5
1325
1326     dpdk-performance-changes-3n-skx-h1:
1327       csit-dpdk-perf-verify-2001-3n-skx:
1328         - 29  # NDRPDR sel xxv710
1329         - 33  # NDRPDR sel xxv710
1330         - 34  # NDRPDR sel xxv710
1331         - 35  # NDRPDR sel xxv710
1332         - 36  # NDRPDR sel xxv710
1333         - 37  # NDRPDR sel xxv710
1334         - 41  # NDRPDR sel xxv710
1335         - 42  # NDRPDR sel xxv710
1336         - 43  # NDRPDR sel xxv710
1337         - 45  # NDRPDR sel xxv710
1338         - 30  # NDRPDR sel x710
1339         - 31  # NDRPDR sel x710
1340         - 32  # NDRPDR sel x710
1341         - 38  # NDRPDR sel x710
1342         - 39  # NDRPDR sel x710
1343         - 40  # NDRPDR sel x710
1344         - 44  # NDRPDR sel x710
1345         - 46  # NDRPDR sel x710
1346         - 47  # NDRPDR sel x710
1347         - 48  # NDRPDR sel x710
1348     dpdk-performance-changes-3n-skx-ref:
1349       csit-dpdk-perf-report-iterative-2005-3n-skx:
1350         - 28  # NDRPDR iter
1351         - 29  # NDRPDR iter
1352         - 30  # NDRPDR iter
1353         - 31  # NDRPDR iter
1354         - 32  # NDRPDR iter
1355         - 33  # NDRPDR iter
1356         - 34  # NDRPDR iter
1357         - 35  # NDRPDR iter
1358         - 36  # NDRPDR iter
1359         - 37  # NDRPDR iter
1360     dpdk-performance-changes-3n-skx-cmp:
1361       csit-dpdk-perf-report-iterative-2009-3n-skx:
1362         - 4   # NDRPDR sel env5
1363         - 5   # NDRPDR sel env5
1364         - 6   # NDRPDR sel env5
1365         - 7   # NDRPDR sel env5
1366         - 8   # NDRPDR sel env5
1367         - 9   # NDRPDR sel env5
1368         - 14  # NDRPDR sel env5
1369         - 11  # NDRPDR sel env5
1370         - 12  # NDRPDR sel env5
1371         - 13  # NDRPDR sel env5
1372
1373     dpdk-performance-changes-2n-skx-h1:
1374       csit-dpdk-perf-verify-2001-2n-skx:
1375         - 35  # NDRPDR sel xxv710
1376         - 36  # NDRPDR sel xxv710
1377         - 37  # NDRPDR sel xxv710
1378         - 41  # NDRPDR sel xxv710
1379         - 42  # NDRPDR sel xxv710
1380         - 43  # NDRPDR sel xxv710
1381         - 46  # NDRPDR sel xxv710
1382         - 47  # NDRPDR sel xxv710
1383         - 52  # NDRPDR sel xxv710
1384         - 53  # NDRPDR sel xxv710
1385         - 38  # NDRPDR sel x710
1386         - 39  # NDRPDR sel x710
1387         - 40  # NDRPDR sel x710
1388         - 44  # NDRPDR sel x710
1389         - 45  # NDRPDR sel x710
1390         - 48  # NDRPDR sel x710
1391         - 49  # NDRPDR sel x710
1392         - 50  # NDRPDR sel x710
1393         - 51  # NDRPDR sel x710
1394         - 54  # NDRPDR sel x710
1395     dpdk-performance-changes-2n-skx-ref:
1396       csit-dpdk-perf-report-iterative-2005-2n-skx:
1397         - 20  # NDRPDR iter
1398         - 21  # NDRPDR iter
1399         - 22  # NDRPDR iter
1400         - 23  # NDRPDR iter
1401         - 24  # NDRPDR iter
1402         - 25  # NDRPDR iter
1403         - 26  # NDRPDR iter
1404         - 27  # NDRPDR iter
1405         - 28  # NDRPDR iter
1406         - 29  # NDRPDR iter
1407     dpdk-performance-changes-2n-skx-cmp:
1408       csit-dpdk-perf-report-iterative-2009-2n-skx:
1409         - 4   # NDRPDR iter env5
1410         - 5   # NDRPDR iter env5
1411         - 6   # NDRPDR iter env5
1412         - 7   # NDRPDR iter env5
1413         - 8   # NDRPDR iter env5
1414         - 9   # NDRPDR iter env5
1415         - 10  # NDRPDR iter env5
1416         - 11  # NDRPDR iter env5
1417         - 12  # NDRPDR iter env5
1418         - 13  # NDRPDR iter env5
1419
1420     dpdk-performance-changes-2n-clx-h1:
1421       csit-dpdk-perf-verify-2001-2n-clx:
1422         - 15  # NDRPDR sel
1423         - 16  # NDRPDR sel
1424         - 17  # NDRPDR sel
1425         - 18  # NDRPDR sel
1426         - 19  # NDRPDR sel
1427         - 20  # NDRPDR sel
1428         - 21  # NDRPDR sel
1429         - 22  # NDRPDR sel
1430         - 23  # NDRPDR sel
1431         - 24  # NDRPDR sel
1432         - 25  # NDRPDR sel
1433         - 26  # NDRPDR sel
1434         - 27  # NDRPDR sel
1435         - 28  # NDRPDR sel
1436         - 29  # NDRPDR sel
1437         - 30  # NDRPDR sel
1438         - 31  # NDRPDR sel
1439         - 32  # NDRPDR sel
1440         - 33  # NDRPDR sel
1441         - 34  # NDRPDR sel
1442     dpdk-performance-changes-2n-clx-ref:
1443       csit-dpdk-perf-report-iterative-2005-2n-clx:
1444         - 20  # NDRPDR iter
1445         - 21  # NDRPDR iter
1446         - 22  # NDRPDR iter
1447         - 23  # NDRPDR iter
1448         - 24  # NDRPDR iter
1449         - 25  # NDRPDR iter
1450         - 26  # NDRPDR iter
1451         - 27  # NDRPDR iter
1452         - 28  # NDRPDR iter
1453         - 29  # NDRPDR iter
1454     dpdk-performance-changes-2n-clx-cmp:
1455       csit-dpdk-perf-report-iterative-2009-2n-clx:
1456         - 4   # NDRPDR iter env5
1457         - 5   # NDRPDR iter env5
1458         - 6   # NDRPDR iter env5
1459         - 7   # NDRPDR iter env5
1460         - 8   # NDRPDR iter env5
1461         - 9   # NDRPDR iter env5
1462         - 10  # NDRPDR iter env5
1463         - 11  # NDRPDR iter env5
1464         - 12  # NDRPDR iter env5
1465         - 13  # NDRPDR iter env5
1466
1467 #    dpdk-performance-changes-2n-dnv-h1:
1468 #      csit-dpdk-perf-verify-2001-2n-dnv:
1469 #        - 9   # NDRPDR sel
1470 #        - 10  # NDRPDR sel
1471 #        - 11  # NDRPDR sel
1472 #        - 12  # NDRPDR sel
1473 #        - 13  # NDRPDR sel
1474 #        - 14  # NDRPDR sel
1475 #        - 15  # NDRPDR sel
1476 #        - 16  # NDRPDR sel
1477 #        - 17  # NDRPDR sel
1478 #        - 18  # NDRPDR sel
1479 #    dpdk-performance-changes-2n-dnv-ref:
1480 #      # No data
1481 #    dpdk-performance-changes-2n-dnv-cmp:
1482 #      # No data
1483 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1484
1485 #    dpdk-performance-changes-3n-dnv-h1:
1486 #      csit-dpdk-perf-verify-2001-3n-dnv:
1487 #        - 12  # NDRPDR sel
1488 #        - 13  # NDRPDR sel
1489 #        - 14  # NDRPDR sel
1490 #        - 15  # NDRPDR sel
1491 #        - 16  # NDRPDR sel
1492 #        - 17  # NDRPDR sel
1493 #        - 18  # NDRPDR sel
1494 #        - 19  # NDRPDR sel
1495 #        - 20  # NDRPDR sel
1496 #        - 22  # NDRPDR sel
1497 #    dpdk-performance-changes-3n-dnv-ref:
1498 #      # No data
1499 #    dpdk-performance-changes-3n-dnv-cmp:
1500 #      # No data
1501 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1502
1503     dpdk-performance-changes-3n-tsh-h1:
1504       csit-dpdk-perf-verify-2001-3n-tsh:
1505         - 3   # NDRPDR sel
1506         - 4   # NDRPDR sel
1507         - 5   # NDRPDR sel
1508         - 9   # NDRPDR sel
1509         - 10  # NDRPDR sel
1510         - 11  # NDRPDR sel
1511         - 12  # NDRPDR sel
1512         - 14  # NDRPDR sel
1513         - 15  # NDRPDR sel
1514         - 18  # NDRPDR sel
1515     dpdk-performance-changes-3n-tsh-ref:
1516       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1517         - 5   # NDRPDR sel
1518     dpdk-performance-changes-3n-tsh-cmp:
1519       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1520         - 1   # NDRPDR iter env5
1521         - 2   # NDRPDR iter env5
1522         - 3   # NDRPDR iter env5
1523         - 4   # NDRPDR iter env5
1524         - 5   # NDRPDR iter env5
1525         - 6   # NDRPDR iter env5
1526         - 7   # NDRPDR iter env5
1527         - 9   # NDRPDR iter env5
1528         - 10  # NDRPDR iter env5
1529         - 11  # NDRPDR iter env5
1530
1531     # Compare testbeds
1532
1533     vpp-compare-testbeds-ref:
1534       csit-vpp-perf-report-iterative-2009-3n-hsw:
1535         - 21  # rls2009 NDRPDR iter env 5
1536         - 22  # rls2009 NDRPDR iter env 5
1537         - 24  # rls2009 NDRPDR iter env 5
1538         - 25  # rls2009 NDRPDR iter env 5
1539         - 26  # rls2009 NDRPDR iter env 5
1540         - 27  # rls2009 NDRPDR iter env 5
1541         - 28  # rls2009 NDRPDR iter env 5
1542         - 29  # rls2009 NDRPDR iter env 5
1543         - 30  # rls2009 NDRPDR iter env 5
1544         - 31  # rls2009 NDRPDR iter env 5
1545     vpp-compare-testbeds-cmp:
1546       csit-vpp-perf-report-iterative-2009-3n-skx:
1547         - 26  # rls2009 NDRPDR iter env 5
1548         - 27  # rls2009 NDRPDR iter env 5
1549         - 28  # rls2009 NDRPDR iter env 5
1550         - 29  # rls2009 NDRPDR iter env 5
1551         - 35  # rls2009 NDRPDR iter env 5
1552         - 36  # rls2009 NDRPDR iter env 5
1553         - 37  # rls2009 NDRPDR iter env 5
1554         - 38  # rls2009 NDRPDR iter env 5
1555         - 39  # rls2009 NDRPDR iter env 5
1556         - 40  # rls2009 NDRPDR iter env 5
1557
1558     vpp-compare-testbeds-skx-clx-ref:
1559       csit-vpp-perf-report-iterative-2009-2n-skx:
1560         - 35  # rls2009 NDRPDR iter env 5
1561         - 36  # rls2009 NDRPDR iter env 5
1562         - 37  # rls2009 NDRPDR iter env 5
1563         - 39  # rls2009 NDRPDR iter env 5
1564         - 40  # rls2009 NDRPDR iter env 5
1565         - 42  # rls2009 NDRPDR iter env 5
1566         - 43  # rls2009 NDRPDR iter env 5
1567         - 44  # rls2009 NDRPDR iter env 5
1568         - 46  # rls2009 NDRPDR iter env 5
1569         - 48  # rls2009 NDRPDR iter env 5
1570         - 110 # rls2009 NDRPDR iter NAT44 env 5
1571         - 111 # rls2009 NDRPDR iter NAT44 env 5
1572         - 112 # rls2009 NDRPDR iter NAT44 env 5
1573         - 113 # rls2009 NDRPDR iter NAT44 env 5
1574         - 114 # rls2009 NDRPDR iter NAT44 env 5
1575         - 115 # rls2009 NDRPDR iter NAT44 env 5
1576         - 116 # rls2009 NDRPDR iter NAT44 env 5
1577         - 118 # rls2009 NDRPDR iter NAT44 env 5
1578         - 119 # rls2009 NDRPDR iter NAT44 env 5
1579         - 121 # rls2009 NDRPDR iter NAT44 env 5
1580     vpp-compare-testbeds-skx-clx-cmp:
1581       csit-vpp-perf-report-iterative-2009-2n-clx:
1582         - 36  # rls2009 NDRPDR iter env 5
1583         - 39  # rls2009 NDRPDR iter env 5
1584         - 40  # rls2009 NDRPDR iter env 5
1585         - 65  # rls2009 NDRPDR iter env 5
1586         - 66  # rls2009 NDRPDR iter env 5
1587         - 79  # rls2009 NDRPDR iter env 5
1588         - 82  # rls2009 NDRPDR iter env 5
1589         - 88  # rls2009 NDRPDR iter env 5
1590         - 89  # rls2009 NDRPDR iter env 5
1591         - 90  # rls2009 NDRPDR iter env 5
1592         - 114 # rls2009 NDRPDR iter NAT44 env 5
1593         - 115 # rls2009 NDRPDR iter NAT44 env 5
1594         - 116 # rls2009 NDRPDR iter NAT44 env 5
1595         - 117 # rls2009 NDRPDR iter NAT44 env 5
1596         - 118 # rls2009 NDRPDR iter NAT44 env 5
1597         - 119 # rls2009 NDRPDR iter NAT44 env 5
1598         - 121 # rls2009 NDRPDR iter NAT44 env 5
1599         - 122 # rls2009 NDRPDR iter NAT44 env 5
1600         - 123 # rls2009 NDRPDR iter NAT44 env 5
1601         - 126 # rls2009 NDRPDR iter NAT44 env 5
1602
1603     vpp-compare-testbeds-hsw-clx-ref:
1604       csit-vpp-perf-report-iterative-2009-3n-hsw:
1605         - 21  # rls2009 NDRPDR iter env 5
1606         - 22  # rls2009 NDRPDR iter env 5
1607         - 24  # rls2009 NDRPDR iter env 5
1608         - 25  # rls2009 NDRPDR iter env 5
1609         - 26  # rls2009 NDRPDR iter env 5
1610         - 27  # rls2009 NDRPDR iter env 5
1611         - 28  # rls2009 NDRPDR iter env 5
1612         - 29  # rls2009 NDRPDR iter env 5
1613         - 30  # rls2009 NDRPDR iter env 5
1614         - 31  # rls2009 NDRPDR iter env 5
1615     vpp-compare-testbeds-hsw-clx-cmp:
1616       csit-vpp-perf-report-iterative-2009-2n-clx:
1617         - 36  # rls2009 NDRPDR iter env 5
1618         - 39  # rls2009 NDRPDR iter env 5
1619         - 40  # rls2009 NDRPDR iter env 5
1620         - 65  # rls2009 NDRPDR iter env 5
1621         - 66  # rls2009 NDRPDR iter env 5
1622         - 79  # rls2009 NDRPDR iter env 5
1623         - 82  # rls2009 NDRPDR iter env 5
1624         - 88  # rls2009 NDRPDR iter env 5
1625         - 89  # rls2009 NDRPDR iter env 5
1626         - 90  # rls2009 NDRPDR iter env 5
1627
1628     vpp-compare-testbeds-mrr-ref:
1629       csit-vpp-perf-report-iterative-2009-3n-hsw:
1630         - 23  # rls2009 MRR iter env 5
1631     vpp-compare-testbeds-mrr-cmp:
1632       csit-vpp-perf-report-iterative-2009-3n-skx:
1633         - 24  # rls2009 MRR iter env 5
1634
1635     vpp-compare-testbeds-mrr-skx-clx-ref:
1636       csit-vpp-perf-report-iterative-2009-2n-skx:
1637         - 120 # rls2009 MRR iter env 5
1638     vpp-compare-testbeds-mrr-skx-clx-cmp:
1639       csit-vpp-perf-report-iterative-2009-2n-clx:
1640         - 125 # rls2009 MRR iter env 5
1641
1642     vpp-compare-testbeds-mrr-hsw-clx-ref:
1643       csit-vpp-perf-report-iterative-2009-3n-hsw:
1644         - 23  # rls2009 MRR iter env 5
1645     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1646       csit-vpp-perf-report-iterative-2009-2n-clx:
1647         - 125 # rls2009 MRR iter env 5
1648
1649     dpdk-compare-testbeds-ref:
1650       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1651         - 6   # NDRPDR iter env5
1652         - 7   # NDRPDR iter env5
1653         - 8   # NDRPDR iter env5
1654         - 9   # NDRPDR iter env5
1655         - 10  # NDRPDR iter env5
1656         - 11  # NDRPDR iter env5
1657         - 12  # NDRPDR iter env5
1658         - 13  # NDRPDR iter env5
1659         - 14  # NDRPDR iter env5
1660         - 15  # NDRPDR iter env5
1661     dpdk-compare-testbeds-cmp:
1662       csit-dpdk-perf-report-iterative-2009-3n-skx:
1663         - 4   # NDRPDR sel env5
1664         - 5   # NDRPDR sel env5
1665         - 6   # NDRPDR sel env5
1666         - 7   # NDRPDR sel env5
1667         - 8   # NDRPDR sel env5
1668         - 9   # NDRPDR sel env5
1669         - 14  # NDRPDR sel env5
1670         - 11  # NDRPDR sel env5
1671         - 12  # NDRPDR sel env5
1672         - 13  # NDRPDR sel env5
1673
1674     dpdk-compare-testbeds-skx-clx-ref:
1675       csit-dpdk-perf-report-iterative-2009-2n-skx:
1676         - 4   # NDRPDR iter env5
1677         - 5   # NDRPDR iter env5
1678         - 6   # NDRPDR iter env5
1679         - 7   # NDRPDR iter env5
1680         - 8   # NDRPDR iter env5
1681         - 9   # NDRPDR iter env5
1682         - 10  # NDRPDR iter env5
1683         - 11  # NDRPDR iter env5
1684         - 12  # NDRPDR iter env5
1685         - 13  # NDRPDR iter env5
1686     dpdk-compare-testbeds-skx-clx-cmp:
1687       csit-dpdk-perf-report-iterative-2009-2n-clx:
1688         - 4   # NDRPDR iter env5
1689         - 5   # NDRPDR iter env5
1690         - 6   # NDRPDR iter env5
1691         - 7   # NDRPDR iter env5
1692         - 8   # NDRPDR iter env5
1693         - 9   # NDRPDR iter env5
1694         - 10  # NDRPDR iter env5
1695         - 11  # NDRPDR iter env5
1696         - 12  # NDRPDR iter env5
1697         - 13  # NDRPDR iter env5
1698
1699     # Compare topologies
1700
1701     vpp-compare-topologies-ref:
1702       csit-vpp-perf-report-iterative-2009-3n-skx:
1703         - 26  # rls2009 NDRPDR iter env 5
1704         - 27  # rls2009 NDRPDR iter env 5
1705         - 28  # rls2009 NDRPDR iter env 5
1706         - 29  # rls2009 NDRPDR iter env 5
1707         - 35  # rls2009 NDRPDR iter env 5
1708         - 36  # rls2009 NDRPDR iter env 5
1709         - 37  # rls2009 NDRPDR iter env 5
1710         - 38  # rls2009 NDRPDR iter env 5
1711         - 39  # rls2009 NDRPDR iter env 5
1712         - 40  # rls2009 NDRPDR iter env 5
1713     vpp-compare-topologies-cmp:
1714       csit-vpp-perf-report-iterative-2009-2n-skx:
1715         - 35  # rls2009 NDRPDR iter env 5
1716         - 36  # rls2009 NDRPDR iter env 5
1717         - 37  # rls2009 NDRPDR iter env 5
1718         - 39  # rls2009 NDRPDR iter env 5
1719         - 40  # rls2009 NDRPDR iter env 5
1720         - 42  # rls2009 NDRPDR iter env 5
1721         - 43  # rls2009 NDRPDR iter env 5
1722         - 44  # rls2009 NDRPDR iter env 5
1723         - 46  # rls2009 NDRPDR iter env 5
1724         - 48  # rls2009 NDRPDR iter env 5
1725
1726     vpp-compare-topologies-mrr-ref:
1727       csit-vpp-perf-report-iterative-2009-3n-skx:
1728         - 24  # rls2009 MRR iter env 5
1729     vpp-compare-topologies-mrr-cmp:
1730       csit-vpp-perf-report-iterative-2009-2n-skx:
1731         - 120 # rls2009 MRR iter env 5
1732
1733     dpdk-compare-topologies-ref:
1734       csit-dpdk-perf-report-iterative-2009-3n-skx:
1735         - 4   # NDRPDR sel env5
1736         - 5   # NDRPDR sel env5
1737         - 6   # NDRPDR sel env5
1738         - 7   # NDRPDR sel env5
1739         - 8   # NDRPDR sel env5
1740         - 9   # NDRPDR sel env5
1741         - 14  # NDRPDR sel env5
1742         - 11  # NDRPDR sel env5
1743         - 12  # NDRPDR sel env5
1744         - 13  # NDRPDR sel env5
1745     dpdk-compare-topologies-cmp:
1746       csit-dpdk-perf-report-iterative-2009-2n-skx:
1747         - 4   # NDRPDR iter env5
1748         - 5   # NDRPDR iter env5
1749         - 6   # NDRPDR iter env5
1750         - 7   # NDRPDR iter env5
1751         - 8   # NDRPDR iter env5
1752         - 9   # NDRPDR iter env5
1753         - 10  # NDRPDR iter env5
1754         - 11  # NDRPDR iter env5
1755         - 12  # NDRPDR iter env5
1756         - 13  # NDRPDR iter env5
1757
1758   plot-layouts:
1759
1760     plot-soak-throughput:
1761       titlefont:
1762         size: 16
1763       xaxis:
1764         title: "<b>Test Cases [Index]</b>"
1765         titlefont:
1766           size: 14
1767         autorange: True
1768         fixedrange: False
1769         gridcolor: "rgb(230, 230, 230)"
1770         linecolor: "rgb(220, 220, 220)"
1771         linewidth: 1
1772         showgrid: True
1773         showline: True
1774         showticklabels: True
1775         tickcolor: "rgb(220, 220, 220)"
1776         tickmode: "linear"
1777         tickfont:
1778           size: 14
1779         zeroline: False
1780       yaxis:
1781         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1782         titlefont:
1783           size: 14
1784         gridcolor: "rgb(230, 230, 230)"
1785         hoverformat: ".4r"
1786         tickformat: ".3r"
1787         linecolor: "rgb(220, 220, 220)"
1788         linewidth: 1
1789         showgrid: True
1790         showline: True
1791         showticklabels: True
1792         tickcolor: "rgb(220, 220, 220)"
1793         tickfont:
1794           size: 14
1795         zeroline: False
1796         range: [0,50]
1797       autosize: False
1798       margin:
1799         t: 50
1800         b: 0
1801         l: 80
1802         r: 20
1803       showlegend: True
1804       legend:
1805         orientation: "h"
1806         font:
1807           size: 14
1808       width: 700
1809       height: 900
1810       paper_bgcolor: "#fff"
1811       plot_bgcolor: "#fff"
1812       hoverlabel:
1813         namelength: -1
1814
1815     plot-service-density:
1816       titlefont:
1817         size: 16
1818       xaxis:
1819         side: "top"
1820         autorange: True
1821         fixedrange: False
1822         showgrid: False
1823         showline: False
1824         showticklabels: False
1825         ticks: ""
1826         ticklen: 0
1827         tickwidth: 0
1828         zeroline: False
1829       yaxis:
1830         autorange: "reversed"
1831         showgrid: False
1832         showline: False
1833         showticklabels: False
1834         ticks: ""
1835         ticklen: 0
1836         tickwidth: 0
1837         zeroline: False
1838       showlegend: False
1839       paper_bgcolor: "#fff"
1840       plot_bgcolor: "#fff"
1841       width: 700
1842       height: 700
1843       hoverlabel:
1844         namelength: -1
1845
1846     plot-hoststack:
1847       titlefont:
1848         size: 16
1849       xaxis:
1850         title: "<b>Test Cases [Index]</b>"
1851         titlefont:
1852           size: 14
1853         autorange: True
1854         fixedrange: False
1855         gridcolor: "rgb(230, 230, 230)"
1856         linecolor: "rgb(220, 220, 220)"
1857         linewidth: 1
1858         showgrid: True
1859         showline: True
1860         showticklabels: True
1861         tickcolor: "rgb(220, 220, 220)"
1862         tickmode: "linear"
1863         tickfont:
1864           size: 14
1865         zeroline: False
1866       yaxis:
1867         title: "<b>Bandwidth [Gbps]</b>"
1868         titlefont:
1869           size: 14
1870         gridcolor: "rgb(230, 230, 230)"
1871         hoverformat: ".4s"
1872         linecolor: "rgb(220, 220, 220)"
1873         linewidth: 1
1874         rangemode: "tozero"
1875         showgrid: True
1876         showline: True
1877         showticklabels: True
1878         tickcolor: "rgb(230, 230, 230)"
1879         tickformat: ".3s"
1880         tickfont:
1881           size: 14
1882         zeroline: False
1883       autosize: False
1884       margin:
1885         t: 50
1886         b: 20
1887         l: 80
1888         r: 20
1889       showlegend: True
1890       legend:
1891         orientation: "h"
1892         font:
1893           size: 14
1894       width: 700
1895       height: 800
1896       paper_bgcolor: "#fff"
1897       plot_bgcolor: "#fff"
1898       hoverlabel:
1899         namelength: -1
1900
1901     plot-throughput:
1902       titlefont:
1903         size: 16
1904       xaxis:
1905         title: "<b>Test Cases [Index]</b>"
1906         titlefont:
1907           size: 14
1908         autorange: True
1909         fixedrange: False
1910         gridcolor: "rgb(230, 230, 230)"
1911         linecolor: "rgb(220, 220, 220)"
1912         linewidth: 1
1913         showgrid: True
1914         showline: True
1915         showticklabels: True
1916         tickcolor: "rgb(220, 220, 220)"
1917         tickmode: "linear"
1918         tickfont:
1919           size: 14
1920         zeroline: False
1921       yaxis:
1922         title: "<b>Packet Throughput [Mpps]</b>"
1923         titlefont:
1924           size: 14
1925         gridcolor: "rgb(230, 230, 230)"
1926         hoverformat: ".4r"
1927         tickformat: ".3r"
1928         linecolor: "rgb(220, 220, 220)"
1929         linewidth: 1
1930         showgrid: True
1931         showline: True
1932         showticklabels: True
1933         tickcolor: "rgb(220, 220, 220)"
1934         tickfont:
1935           size: 14
1936         zeroline: False
1937         range: [0,50]
1938       autosize: False
1939       margin:
1940         t: 50
1941         b: 0
1942         l: 80
1943         r: 20
1944       showlegend: True
1945       legend:
1946         orientation: "h"
1947         font:
1948           size: 14
1949       width: 700
1950       height: 900
1951       paper_bgcolor: "#fff"
1952       plot_bgcolor: "#fff"
1953       hoverlabel:
1954         namelength: -1
1955
1956     plot-throughput-gbps:
1957       titlefont:
1958         size: 16
1959       xaxis:
1960         title: "<b>Test Cases [Index]</b>"
1961         titlefont:
1962           size: 14
1963         autorange: True
1964         fixedrange: False
1965         gridcolor: "rgb(230, 230, 230)"
1966         linecolor: "rgb(220, 220, 220)"
1967         linewidth: 1
1968         showgrid: True
1969         showline: True
1970         showticklabels: True
1971         tickcolor: "rgb(220, 220, 220)"
1972         tickmode: "linear"
1973         tickfont:
1974           size: 14
1975         zeroline: False
1976       yaxis:
1977         title: "<b>Packet Throughput [Gbps]</b>"
1978         titlefont:
1979           size: 14
1980         gridcolor: "rgb(230, 230, 230)"
1981         hoverformat: ".4r"
1982         tickformat: ".3r"
1983         linecolor: "rgb(220, 220, 220)"
1984         linewidth: 1
1985         showgrid: True
1986         showline: True
1987         showticklabels: True
1988         tickcolor: "rgb(220, 220, 220)"
1989         tickfont:
1990           size: 14
1991         zeroline: False
1992         range: [0,10]
1993       autosize: False
1994       margin:
1995         t: 50
1996         b: 0
1997         l: 80
1998         r: 20
1999       showlegend: True
2000       legend:
2001         orientation: "h"
2002         font:
2003           size: 14
2004       width: 700
2005       height: 900
2006       paper_bgcolor: "#fff"
2007       plot_bgcolor: "#fff"
2008       hoverlabel:
2009         namelength: -1
2010
2011     plot-cps:
2012       titlefont:
2013         size: 16
2014       xaxis:
2015         title: "<b>Test Cases [Index]</b>"
2016         titlefont:
2017           size: 14
2018         autorange: True
2019         fixedrange: False
2020         gridcolor: "rgb(230, 230, 230)"
2021         linecolor: "rgb(220, 220, 220)"
2022         linewidth: 1
2023         showgrid: True
2024         showline: True
2025         showticklabels: True
2026         tickcolor: "rgb(220, 220, 220)"
2027         tickmode: "linear"
2028         tickfont:
2029           size: 14
2030         zeroline: False
2031       yaxis:
2032         title: "<b>Connection Rate [Mcps]</b>"
2033         titlefont:
2034           size: 14
2035         gridcolor: "rgb(230, 230, 230)"
2036         hoverformat: ".4r"
2037         tickformat: ".3s"
2038         linecolor: "rgb(220, 220, 220)"
2039         linewidth: 1
2040         showgrid: True
2041         showline: True
2042         showticklabels: True
2043         tickcolor: "rgb(220, 220, 220)"
2044         tickfont:
2045           size: 14
2046         zeroline: False
2047         range: [0,10]
2048       autosize: False
2049       margin:
2050         t: 50
2051         b: 0
2052         l: 80
2053         r: 20
2054       showlegend: True
2055       legend:
2056         orientation: "h"
2057         font:
2058           size: 14
2059       width: 700
2060       height: 900
2061       paper_bgcolor: "#fff"
2062       plot_bgcolor: "#fff"
2063       hoverlabel:
2064         namelength: -1
2065
2066     plot-throughput-speedup-analysis:
2067       titlefont:
2068         size: 16
2069       xaxis:
2070         title: "<b>Number of Cores [Qty]</b>"
2071         titlefont:
2072           size: 14
2073         autorange: True
2074         fixedrange: False
2075         gridcolor: "rgb(230, 230, 230)"
2076         linecolor: "rgb(220, 220, 220)"
2077         linewidth: 1
2078         showgrid: True
2079         showline: True
2080         showticklabels: True
2081         tickcolor: "rgb(238, 238, 238)"
2082         tickmode: "linear"
2083         tickfont:
2084           size: 14
2085         zeroline: False
2086       yaxis:
2087         title: "<b>Packet Throughput [Mpps]</b>"
2088         titlefont:
2089           size: 14
2090         type: "linear"
2091         gridcolor: "rgb(230, 230, 230)"
2092         hoverformat: ".4s"
2093         linecolor: "rgb(220, 220, 220)"
2094         linewidth: 1
2095         showgrid: True
2096         showline: True
2097         showticklabels: True
2098         tickcolor: "rgb(220, 220, 220)"
2099         tickformat: ".4s"
2100         tickfont:
2101           size: 14
2102         zeroline: True
2103         rangemode: "tozero"
2104         range: [0,100]
2105       legend:
2106         orientation: "h"
2107         font:
2108           size: 14
2109         xanchor: "left"
2110         yanchor: "top"
2111         x: 0
2112         y: -0.2
2113         bgcolor: "rgba(255, 255, 255, 0)"
2114         bordercolor: "rgba(255, 255, 255, 0)"
2115         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2116       autosize: False
2117       margin:
2118           't': 50
2119           'b': 150
2120           'l': 85
2121           'r': 10
2122       showlegend: True
2123       width: 700
2124       height: 700
2125       paper_bgcolor: "#fff"
2126       plot_bgcolor: "#fff"
2127       hoverlabel:
2128         namelength: -1
2129       annotations: [
2130         {
2131           text: "_ _          __          ...",
2132           align: "left",
2133           showarrow: False,
2134           xref: "paper",
2135           yref: "paper",
2136           xanchor: "left",
2137           yanchor: "top",
2138           x: 0,
2139           y: -0.14,
2140           font: {
2141             family: "Consolas, Courier New",
2142             size: 13
2143           },
2144         },
2145         {
2146           text: "    Perfect     Measured     Limit",
2147           align: "left",
2148           showarrow: False,
2149           xref: "paper",
2150           yref: "paper",
2151           xanchor: "left",
2152           yanchor: "top",
2153           x: 0,
2154           y: -0.15,
2155           font: {
2156             family: "Consolas, Courier New",
2157             size: 13
2158           },
2159         },
2160       ]
2161
2162     plot-throughput-speedup-analysis-gbps:
2163       titlefont:
2164         size: 16
2165       xaxis:
2166         title: "<b>Number of Cores [Qty]</b>"
2167         titlefont:
2168           size: 14
2169         autorange: True
2170         fixedrange: False
2171         gridcolor: "rgb(230, 230, 230)"
2172         linecolor: "rgb(220, 220, 220)"
2173         linewidth: 1
2174         showgrid: True
2175         showline: True
2176         showticklabels: True
2177         tickcolor: "rgb(238, 238, 238)"
2178         tickmode: "linear"
2179         tickfont:
2180           size: 14
2181         zeroline: False
2182       yaxis:
2183         title: "<b>Packet Throughput [Gbps]</b>"
2184         titlefont:
2185           size: 14
2186         type: "linear"
2187         gridcolor: "rgb(230, 230, 230)"
2188         hoverformat: ".4s"
2189         linecolor: "rgb(220, 220, 220)"
2190         linewidth: 1
2191         showgrid: True
2192         showline: True
2193         showticklabels: True
2194         tickcolor: "rgb(220, 220, 220)"
2195         tickformat: ".4s"
2196         tickfont:
2197           size: 14
2198         zeroline: True
2199         rangemode: "tozero"
2200         range: [0,100]
2201       legend:
2202         orientation: "h"
2203         font:
2204           size: 14
2205         xanchor: "left"
2206         yanchor: "top"
2207         x: 0
2208         y: -0.2
2209         bgcolor: "rgba(255, 255, 255, 0)"
2210         bordercolor: "rgba(255, 255, 255, 0)"
2211         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2212       autosize: False
2213       margin:
2214           't': 50
2215           'b': 150
2216           'l': 85
2217           'r': 10
2218       showlegend: True
2219       width: 700
2220       height: 700
2221       paper_bgcolor: "#fff"
2222       plot_bgcolor: "#fff"
2223       hoverlabel:
2224         namelength: -1
2225       annotations: [
2226         {
2227           text: "_ _          __",
2228           align: "left",
2229           showarrow: False,
2230           xref: "paper",
2231           yref: "paper",
2232           xanchor: "left",
2233           yanchor: "top",
2234           x: 0,
2235           y: -0.13,
2236           font: {
2237             family: "Consolas, Courier New",
2238             size: 13
2239           },
2240         },
2241         {
2242           text: "    Perfect     Measured",
2243           align: "left",
2244           showarrow: False,
2245           xref: "paper",
2246           yref: "paper",
2247           xanchor: "left",
2248           yanchor: "top",
2249           x: 0,
2250           y: -0.15,
2251           font: {
2252             family: "Consolas, Courier New",
2253             size: 13
2254           },
2255         },
2256       ]
2257
2258     plot-throughput-speedup-analysis-cps:
2259       titlefont:
2260         size: 16
2261       xaxis:
2262         title: "<b>Number of Cores [Qty]</b>"
2263         titlefont:
2264           size: 14
2265         autorange: True
2266         fixedrange: False
2267         gridcolor: "rgb(230, 230, 230)"
2268         linecolor: "rgb(220, 220, 220)"
2269         linewidth: 1
2270         showgrid: True
2271         showline: True
2272         showticklabels: True
2273         tickcolor: "rgb(238, 238, 238)"
2274         tickmode: "linear"
2275         tickfont:
2276           size: 14
2277         zeroline: False
2278       yaxis:
2279         title: "<b>Connection Rate [Mcps]</b>"
2280         titlefont:
2281           size: 14
2282         type: "linear"
2283         gridcolor: "rgb(230, 230, 230)"
2284         hoverformat: ".4s"
2285         linecolor: "rgb(220, 220, 220)"
2286         linewidth: 1
2287         showgrid: True
2288         showline: True
2289         showticklabels: True
2290         tickcolor: "rgb(220, 220, 220)"
2291         tickformat: ".4s"
2292         tickfont:
2293           size: 14
2294         zeroline: True
2295         rangemode: "tozero"
2296         range: [0,100]
2297       legend:
2298         orientation: "h"
2299         font:
2300           size: 14
2301         xanchor: "left"
2302         yanchor: "top"
2303         x: 0
2304         y: -0.2
2305         bgcolor: "rgba(255, 255, 255, 0)"
2306         bordercolor: "rgba(255, 255, 255, 0)"
2307         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2308       autosize: False
2309       margin:
2310           't': 50
2311           'b': 150
2312           'l': 85
2313           'r': 10
2314       showlegend: True
2315       width: 700
2316       height: 700
2317       paper_bgcolor: "#fff"
2318       plot_bgcolor: "#fff"
2319       hoverlabel:
2320         namelength: -1
2321       annotations: [
2322         {
2323           text: "_ _          __",
2324           align: "left",
2325           showarrow: False,
2326           xref: "paper",
2327           yref: "paper",
2328           xanchor: "left",
2329           yanchor: "top",
2330           x: 0,
2331           y: -0.13,
2332           font: {
2333             family: "Consolas, Courier New",
2334             size: 13
2335           },
2336         },
2337         {
2338           text: "    Perfect     Measured",
2339           align: "left",
2340           showarrow: False,
2341           xref: "paper",
2342           yref: "paper",
2343           xanchor: "left",
2344           yanchor: "top",
2345           x: 0,
2346           y: -0.15,
2347           font: {
2348             family: "Consolas, Courier New",
2349             size: 13
2350           },
2351         },
2352       ]
2353
2354     plot-latency:
2355       titlefont:
2356         size: 16
2357       xaxis:
2358         title: "<b>Direction</b>"
2359         titlefont:
2360           size: 14
2361         autorange: True
2362         fixedrange: False
2363         gridcolor: "rgb(230, 230, 230)"
2364         linecolor: "rgb(220, 220, 220)"
2365         linewidth: 1
2366         showgrid: True
2367         showline: True
2368         showticklabels: False
2369         tickcolor: "rgb(220, 220, 220)"
2370         tickmode: "linear"
2371         tickfont:
2372           size: 14
2373         zeroline: False
2374       yaxis:
2375         title: "<b>Packet Latency [uSec]</b>"
2376         titlefont:
2377           size: 14
2378         type: "linear"
2379         gridcolor: "rgb(230, 230, 230)"
2380         hoverformat: ".4s"
2381         linecolor: "rgb(220, 220, 220)"
2382         linewidth: 1
2383         showgrid: True
2384         showline: True
2385         showticklabels: True
2386         tickcolor: "rgb(220, 220, 220)"
2387         tickformat: ".4s"
2388         tickfont:
2389           size: 14
2390         zeroline: True
2391         rangemode: "tozero"
2392       legend:
2393         orientation: "h"
2394         font:
2395           size: 14
2396         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2397       autosize: False
2398       margin:
2399           't': 50
2400           'b': 150
2401           'l': 80
2402           'r': 10
2403       showlegend: True
2404       width: 700
2405       height: 700
2406       paper_bgcolor: "#fff"
2407       plot_bgcolor: "#fff"
2408       hoverlabel:
2409         namelength: -1
2410
2411     plot-hdrh-latency:
2412       title:
2413         text: ""
2414         xanchor: "center"
2415         x: 0.5
2416         font:
2417           size: 16
2418       width: 700
2419       plot_bgcolor: "white"
2420       annotations:
2421         - font:
2422             size: 14
2423           showarrow: False
2424           text: "<b>Packet Latency [uSec]</b>"
2425           x: 1
2426           xanchor: "right"
2427           xref: "paper"
2428           y: -0.045
2429           yanchor: "top"
2430           yref: "paper"
2431         - font:
2432             size: 14
2433           showarrow: False
2434           text: "<b>Probability [%]</b>"
2435           textangle: 270
2436           x: -0.06
2437           xanchor: "center"
2438           xref: "paper"
2439           y: 0.5
2440           yanchor: "middle"
2441           yref: "paper"
2442         - font:
2443             size: 14
2444           showarrow: False
2445           text: "<b>Direction: E-W</b>"
2446           x: 0.24
2447           xanchor: "center"
2448           xref: "paper"
2449           y: 1.05
2450           yanchor: "bottom"
2451           yref: "paper"
2452         - font:
2453             size: 14
2454           showarrow: False
2455           text: "<b>Direction: W-E</b>"
2456           x: 0.74
2457           xanchor: "center"
2458           xref: "paper"
2459           y: 1.05
2460           yanchor: "bottom"
2461           yref: "paper"
2462
2463     plot-hdrh-latency-percentile:
2464       title:
2465         text: ""
2466         xanchor: "center"
2467         x: 0.5
2468         font:
2469           size: 16
2470       xaxis:
2471         type: "log"
2472         title: "<b>Percentile [%]</b>"
2473         titlefont:
2474           size: 14
2475         autorange: True
2476         fixedrange: False
2477         gridcolor: "rgb(230, 230, 230)"
2478         linecolor: "rgb(220, 220, 220)"
2479         linewidth: 1
2480         showgrid: True
2481         showline: True
2482         showticklabels: True
2483         tickcolor: "rgb(220, 220, 220)"
2484         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2485         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2486         tickfont:
2487           size: 14
2488       yaxis:
2489         title: "<b>Packet Latency [uSec]</b>"
2490         titlefont:
2491           size: 14
2492         gridcolor: "rgb(230, 230, 230)"
2493         linecolor: "rgb(220, 220, 220)"
2494         linewidth: 1
2495         showgrid: True
2496         showline: True
2497         showticklabels: True
2498         tickcolor: "rgb(220, 220, 220)"
2499         tickfont:
2500           size: 14
2501       autosize: False
2502       showlegend: True
2503       legend:
2504         traceorder: "normal"
2505         orientation: "h"
2506         font:
2507           size: 14
2508         xanchor: "left"
2509         yanchor: "top"
2510         x: 0
2511         y: -0.15
2512         bgcolor: "rgba(255, 255, 255, 0)"
2513         bordercolor: "rgba(255, 255, 255, 0)"
2514       width: 700
2515       height: 700
2516       paper_bgcolor: "white"
2517       plot_bgcolor: "white"
2518
2519     plot-hdrh-latency-by-percentile:
2520       title:
2521         text: "<b>Latency by Percentile Distribution</b>"
2522         xanchor: "center"
2523         x: 0.5
2524         font:
2525           size: 18
2526       showlegend: True
2527       legend:
2528         traceorder: "normal"
2529         orientation: "h"
2530         font:
2531           size: 16
2532         xanchor: "left"
2533         yanchor: "top"
2534         x: 0
2535         y: -0.2
2536         bgcolor: "rgba(255, 255, 255, 0)"
2537         bordercolor: "rgba(255, 255, 255, 0)"
2538       xaxis:
2539         type: "linear"
2540         title: "<b>Percentile [%]</b>"
2541         titlefont:
2542           size: 14
2543         autorange: False
2544         fixedrange: False
2545         range: [0, 100]
2546         gridcolor: "rgb(230, 230, 230)"
2547         linecolor: "rgb(220, 220, 220)"
2548         linewidth: 1
2549         showgrid: True
2550         showline: True
2551         showticklabels: True
2552         tickcolor: "rgb(220, 220, 220)"
2553         tickvals: [0, 25, 50, 75, 100]
2554         ticktext: [0, 25, 50, 75, 100]
2555         tickfont:
2556           size: 14
2557       yaxis:
2558         title: "<b>One-Way Latency per Direction [uSec]</b>"
2559         titlefont:
2560           size: 14
2561         gridcolor: "rgb(230, 230, 230)"
2562         linecolor: "rgb(220, 220, 220)"
2563         linewidth: 1
2564         showgrid: True
2565         showline: True
2566         showticklabels: True
2567         tickcolor: "rgb(220, 220, 220)"
2568         tickfont:
2569           size: 14
2570       width: 700
2571       height: 700
2572       paper_bgcolor: "white"
2573       plot_bgcolor: "white"
2574
2575 - type: "static"
2576   src-path: "{DIR[RST]}"
2577   dst-path: "{DIR[WORKING,SRC]}"
2578
2579 - type: "input"
2580   general:
2581     file-name: "output_info.xml.gz"
2582     file-format: ".gz"
2583     arch-file-format:
2584       - ".gz"
2585       - ".zip"
2586     download-path: "{job}/{build}/archives/{filename}"
2587     extract: "output.xml"
2588
2589     zip-file-name: "robot-plugin.zip"
2590     zip-file-format: ".zip"
2591     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2592     zip-extract: "robot-plugin/output.xml"
2593
2594   builds:
2595
2596     csit-vpp-perf-verify-2001-3n-hsw:
2597       - 17  # MRR sel
2598     csit-vpp-perf-report-iterative-2005-3n-hsw:
2599       - 20  # NDRPDR sel env 4
2600       - 21  # NDRPDR sel env 4
2601       - 22  # NDRPDR sel env 4
2602       - 23  # NDRPDR sel env 4
2603       - 24  # NDRPDR sel env 4
2604       - 25  # NDRPDR sel env 4
2605       - 26  # NDRPDR sel env 4
2606       - 27  # NDRPDR sel env 4
2607       - 28  # NDRPDR sel env 4
2608       - 29  # NDRPDR sel env 4
2609       - 30  # MRR env 4
2610       - 31  # NDRPDR sel 2001.0-4
2611       - 32  # NDRPDR sel 2001.0-4
2612       - 33  # NDRPDR sel 2001.0-4
2613       - 34  # NDRPDR sel 2001.0-4
2614       - 35  # NDRPDR sel 2001.0-4
2615       - 36  # NDRPDR sel 2001.0-4
2616       - 38  # NDRPDR sel 2001.0-4
2617     csit-vpp-perf-report-iterative-2009-3n-hsw:
2618       - 18  # rls2005 MRR iter env 5
2619       - 9   # rls2005 NDRPDR iter env 5
2620       - 10  # rls2005 NDRPDR iter env 5
2621       - 11  # rls2005 NDRPDR iter env 5
2622       - 12  # rls2005 NDRPDR iter env 5
2623       - 13  # rls2005 NDRPDR iter env 5
2624       - 14  # rls2005 NDRPDR iter env 5
2625       - 15  # rls2005 NDRPDR iter env 5
2626       - 16  # rls2005 NDRPDR iter env 5
2627       - 17  # rls2005 NDRPDR iter env 5
2628       - 19  # rls2005 NDRPDR iter env 5
2629       - 23  # rls2009 MRR iter env 5
2630       - 21  # rls2009 NDRPDR iter env 5
2631       - 22  # rls2009 NDRPDR iter env 5
2632       - 24  # rls2009 NDRPDR iter env 5
2633       - 25  # rls2009 NDRPDR iter env 5
2634       - 26  # rls2009 NDRPDR iter env 5
2635       - 27  # rls2009 NDRPDR iter env 5
2636       - 28  # rls2009 NDRPDR iter env 5
2637       - 29  # rls2009 NDRPDR iter env 5
2638       - 30  # rls2009 NDRPDR iter env 5
2639       - 31  # rls2009 NDRPDR iter env 5
2640       - 32  # rls2009 Hoststack iter env 5
2641       - 33  # rls2009 Hoststack iter env 5
2642       - 34  # rls2009 Hoststack iter env 5
2643       - 35  # rls2009 Hoststack iter env 5
2644       - 36  # rls2009 Hoststack iter env 5
2645       - 37  # rls2009 Hoststack iter env 5
2646       - 38  # rls2009 Hoststack iter env 5
2647       - 39  # rls2009 Hoststack iter env 5
2648       - 40  # rls2009 Hoststack iter env 5
2649       - 41  # rls2009 Hoststack iter env 5
2650     csit-vpp-perf-report-coverage-2009-3n-hsw:
2651       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2652       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2653       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2654       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2655       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2656       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2657       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2658       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2659       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2660       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2661       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2662       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2663       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2664       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2665       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2666       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2667       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2668       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2669       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2670       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2671       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2672       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2673       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2674       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2675       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2676       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2677       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2678       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2679       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2680       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2681       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2682       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2683       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2684       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2685       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2686
2687     csit-vpp-perf-verify-2001-3n-skx:
2688       - 50  # MRR sel
2689       - 53  # MRR sel addition
2690     csit-vpp-perf-report-iterative-2005-3n-skx:
2691       - 4   # NDRPDR sel
2692       - 5   # NDRPDR sel ??? all x710 failed
2693       - 33  # NDRPDR sel
2694       - 28  # NDRPDR sel
2695       - 34  # NDRPDR sel
2696       - 42  # NDRPDR sel env 4
2697       - 43  # NDRPDR sel env 4
2698       - 44  # NDRPDR sel env 4
2699       - 45  # NDRPDR sel env 4
2700       - 47  # NDRPDR sel env 4
2701       - 55  # NDRPDR sel env 4
2702       - 56  # NDRPDR sel env 4
2703       - 57  # NDRPDR sel env 4
2704       - 61  # NDRPDR sel env 4
2705       - 62  # NDRPDR sel env 4
2706       - 50  # NDRPDR sel 2001.0-4
2707       - 51  # NDRPDR sel 2001.0-4
2708       - 52  # NDRPDR sel 2001.0-4
2709       - 53  # NDRPDR sel 2001.0-4
2710       - 54  # NDRPDR sel 2001.0-4
2711       - 49  # MRR sel env 4
2712     csit-vpp-perf-report-iterative-2009-3n-skx:
2713       - 17  # rls2005 MRR iter env 5
2714       - 13  # rls2005 NDRPDR iter env 5
2715       - 18  # rls2005 NDRPDR iter env 5
2716       - 19  # rls2005 NDRPDR iter env 5
2717       - 41  # rls2005 NDRPDR iter env 5
2718       - 43  # rls2005 NDRPDR iter env 5
2719       - 44  # rls2005 NDRPDR iter env 5
2720       - 45  # rls2005 NDRPDR iter env 5
2721       - 46  # rls2005 NDRPDR iter env 5
2722       - 48  # rls2005 NDRPDR iter env 5
2723       - 49  # rls2005 NDRPDR iter env 5
2724       - 24  # rls2009 MRR iter env 5
2725       - 26  # rls2009 NDRPDR iter env 5
2726       - 27  # rls2009 NDRPDR iter env 5
2727       - 28  # rls2009 NDRPDR iter env 5
2728       - 29  # rls2009 NDRPDR iter env 5
2729       - 35  # rls2009 NDRPDR iter env 5
2730       - 36  # rls2009 NDRPDR iter env 5
2731       - 37  # rls2009 NDRPDR iter env 5
2732       - 38  # rls2009 NDRPDR iter env 5
2733       - 39  # rls2009 NDRPDR iter env 5
2734       - 40  # rls2009 NDRPDR iter env 5
2735     csit-vpp-perf-report-coverage-2009-3n-skx:
2736       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2737       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2738       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2739       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2740       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2741       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2742       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2743       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2744       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2745       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2746       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2747       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2748       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2749       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2750       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2751       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2752       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2753       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2754       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2755       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2756       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2757       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2758       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2759       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2760       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2761       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2762       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2763       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2764       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2765       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2766       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2767       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2768       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2769       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2770       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2771       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2772
2773     csit-vpp-perf-verify-2001-2n-skx:
2774       - 101  # MRR sel - old
2775       - 128  # MRR sel addition - old
2776     csit-vpp-perf-report-iterative-2005-2n-skx:
2777       - 88  # NDRPDR sel env 4
2778       - 89  # NDRPDR sel env 4
2779       - 90  # NDRPDR sel env 4
2780       - 91  # NDRPDR sel env 4
2781       - 92  # NDRPDR sel env 4
2782       - 93  # NDRPDR sel env 4
2783       - 94  # NDRPDR sel env 4
2784       - 125 # NDRPDR sel env 4
2785       - 126 # NDRPDR sel env 4
2786       - 127 # NDRPDR sel env 4
2787       - 100 # NDRPDR sel 2001.0-4
2788       - 101 # NDRPDR sel 2001.0-4
2789       - 102 # NDRPDR sel 2001.0-4
2790       - 103 # NDRPDR sel 2001.0-4
2791       - 104 # NDRPDR sel 2001.0-4
2792       - 105 # NDRPDR sel 2001.0-4
2793       - 99  # MRR sel env 4
2794     csit-vpp-perf-report-iterative-2009-2n-skx:
2795       - 20  # rls2005 MRR iter env 5
2796       - 13  # rls2005 NDRPDR iter env 5
2797       - 16  # rls2005 NDRPDR iter env 5
2798       - 17  # rls2005 NDRPDR iter env 5
2799       - 18  # rls2005 NDRPDR iter env 5
2800       - 19  # rls2005 NDRPDR iter env 5
2801       - 21  # rls2005 NDRPDR iter env 5
2802       - 22  # rls2005 NDRPDR iter env 5
2803       - 23  # rls2005 NDRPDR iter env 5
2804       - 24  # rls2005 NDRPDR iter env 5
2805       - 25  # rls2005 NDRPDR iter env 5
2806       - 120 # rls2009 MRR iter env 5
2807       - 35  # rls2009 NDRPDR iter env 5
2808       - 36  # rls2009 NDRPDR iter env 5
2809       - 37  # rls2009 NDRPDR iter env 5
2810       - 39  # rls2009 NDRPDR iter env 5
2811       - 40  # rls2009 NDRPDR iter env 5
2812       - 42  # rls2009 NDRPDR iter env 5
2813       - 43  # rls2009 NDRPDR iter env 5
2814       - 44  # rls2009 NDRPDR iter env 5
2815       - 46  # rls2009 NDRPDR iter env 5
2816       - 48  # rls2009 NDRPDR iter env 5
2817       - 110 # rls2009 NDRPDR iter NAT44 env 5
2818       - 111 # rls2009 NDRPDR iter NAT44 env 5
2819       - 112 # rls2009 NDRPDR iter NAT44 env 5
2820       - 113 # rls2009 NDRPDR iter NAT44 env 5
2821       - 114 # rls2009 NDRPDR iter NAT44 env 5
2822       - 115 # rls2009 NDRPDR iter NAT44 env 5
2823       - 116 # rls2009 NDRPDR iter NAT44 env 5
2824       - 118 # rls2009 NDRPDR iter NAT44 env 5
2825       - 119 # rls2009 NDRPDR iter NAT44 env 5
2826       - 121 # rls2009 NDRPDR iter NAT44 env 5
2827       - 38  # rls2009 nf-density iter env 5
2828       - 41  # rls2009 nf-density iter env 5
2829       - 45  # rls2009 nf-density iter env 5
2830       - 47  # rls2009 nf-density iter env 5
2831       - 49  # rls2009 nf-density iter env 5
2832       - 63  # rls2009 nf-density iter env 5
2833       - 65  # rls2009 nf-density iter env 5
2834       - 66  # rls2009 nf-density iter env 5
2835       - 71  # rls2009 nf-density iter env 5
2836       - 72  # rls2009 nf-density iter env 5
2837       - 50  # rls2009 MRR nf-density iter env 5
2838       - 27  # rls2009 reconf env 5
2839       - 28  # rls2009 reconf env 5
2840       - 29  # rls2009 reconf env 5
2841       - 30  # rls2009 reconf env 5
2842       - 31  # rls2009 reconf env 5
2843       - 32  # rls2009 reconf env 5
2844       - 61  # rls2009 reconf env 5
2845       - 62  # rls2009 reconf env 5
2846       - 68  # rls2009 reconf env 5
2847       - 70  # rls2009 reconf env 5
2848       - 33  # rls2009 soak env 5
2849       - 34  # rls2009 soak env 5
2850     csit-vpp-perf-report-coverage-2009-2n-skx:
2851       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2852       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2853       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2854       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2855       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2856       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2857       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2858       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2859       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2860       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2861       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2862       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2863       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2864       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2865       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2866       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2867       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2868
2869     csit-vpp-perf-verify-2001-2n-clx:
2870       - 39  # MRR
2871     csit-vpp-perf-report-iterative-2005-2n-clx:
2872       - 62  # NDRPDR sel env 4
2873       - 63  # NDRPDR sel env 4
2874       - 64  # NDRPDR sel env 4
2875       - 65  # NDRPDR sel env 4
2876       - 66  # NDRPDR sel env 4
2877       - 68  # NDRPDR sel env 4
2878       - 69  # NDRPDR sel env 4
2879       - 70  # NDRPDR sel env 4
2880       - 103 # NDRPDR sel env 4
2881       - 104 # NDRPDR sel env 4
2882       - 73  # NDRPDR sel 2001.0-4
2883       - 74  # NDRPDR sel 2001.0-4
2884       - 75  # NDRPDR sel 2001.0-4
2885       - 76  # NDRPDR sel 2001.0-4
2886       - 77  # NDRPDR sel 2001.0-4
2887       - 78  # NDRPDR sel 2001.0-4
2888       - 79  # NDRPDR sel 2001.0-4
2889       - 80  # NDRPDR sel 2001.0-4
2890       - 72  # MRR env 4
2891     csit-vpp-perf-report-iterative-2009-2n-clx:
2892       - 77  # rls2005 MRR iter env 5
2893       - 13  # rls2005 NDRPDR iter env 5
2894       - 15  # rls2005 NDRPDR iter env 5
2895       - 17  # rls2005 NDRPDR iter env 5
2896       - 18  # rls2005 NDRPDR iter env 5
2897       - 19  # rls2005 NDRPDR iter env 5
2898       - 20  # rls2005 NDRPDR iter env 5
2899       - 21  # rls2005 NDRPDR iter env 5
2900       - 22  # rls2005 NDRPDR iter env 5
2901       - 23  # rls2005 NDRPDR iter env 5
2902       - 24  # rls2005 NDRPDR iter env 5
2903       - 125 # rls2009 MRR iter env 5
2904       - 36  # rls2009 NDRPDR iter env 5
2905       - 39  # rls2009 NDRPDR iter env 5
2906       - 40  # rls2009 NDRPDR iter env 5
2907       - 65  # rls2009 NDRPDR iter env 5
2908       - 66  # rls2009 NDRPDR iter env 5
2909       - 79  # rls2009 NDRPDR iter env 5
2910       - 82  # rls2009 NDRPDR iter env 5
2911       - 88  # rls2009 NDRPDR iter env 5
2912       - 89  # rls2009 NDRPDR iter env 5
2913       - 90  # rls2009 NDRPDR iter env 5
2914       - 114 # rls2009 NDRPDR iter NAT44 env 5
2915       - 115 # rls2009 NDRPDR iter NAT44 env 5
2916       - 116 # rls2009 NDRPDR iter NAT44 env 5
2917       - 117 # rls2009 NDRPDR iter NAT44 env 5
2918       - 118 # rls2009 NDRPDR iter NAT44 env 5
2919       - 119 # rls2009 NDRPDR iter NAT44 env 5
2920       - 121 # rls2009 NDRPDR iter NAT44 env 5
2921       - 122 # rls2009 NDRPDR iter NAT44 env 5
2922       - 123 # rls2009 NDRPDR iter NAT44 env 5
2923       - 126 # rls2009 NDRPDR iter NAT44 env 5
2924       - 37  # rls2009 nf-density iter env 5
2925       - 43  # rls2009 nf-density iter env 5
2926       - 69  # rls2009 nf-density iter env 5
2927       - 70  # rls2009 nf-density iter env 5
2928       - 71  # rls2009 nf-density iter env 5
2929       - 72  # rls2009 nf-density iter env 5
2930       - 73  # rls2009 nf-density iter env 5
2931       - 74  # rls2009 nf-density iter env 5
2932       - 75  # rls2009 nf-density iter env 5
2933       - 76  # rls2009 nf-density iter env 5
2934       - 45  # rls2009 MRR nf-density iter env 5
2935       - 25  # rls2009 reconf env 5
2936       - 27  # rls2009 reconf env 5
2937       - 28  # rls2009 reconf env 5
2938       - 29  # rls2009 reconf env 5
2939       - 30  # rls2009 reconf env 5
2940       - 30  # rls2009 reconf env 5
2941       - 32  # rls2009 reconf env 5
2942       - 48  # rls2009 reconf env 5
2943       - 53  # rls2009 reconf env 5
2944       - 68  # rls2009 reconf env 5
2945       - 33  # rls2009 soak env 5
2946       - 34  # rls2009 soak env 5
2947     csit-vpp-perf-report-coverage-2009-2n-clx:
2948       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2949       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2950       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2951       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2952       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2953       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2954       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2955       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2956       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2957       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2958       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2959       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2960       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2961       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2962       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2963       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2964       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2965
2966     csit-vpp-perf-report-iterative-2009-2n-zn2:
2967       - 1   # rls2009 MRR turbo iter env 5
2968       - 3   # rls2009 NDRPDR turbo iter env 5
2969       - 4   # rls2009 NDRPDR turbo iter env 5
2970       - 6   # rls2009 NDRPDR turbo iter env 5
2971       - 7   # rls2009 NDRPDR turbo iter env 5
2972       - 8   # rls2009 NDRPDR turbo iter env 5
2973       - 9   # rls2009 NDRPDR turbo iter env 5
2974       - 10  # rls2009 NDRPDR turbo iter env 5
2975       - 11  # rls2009 NDRPDR turbo iter env 5
2976       - 15  # rls2009 MRR iter env 5
2977       - 17  # rls2009 NDRPDR iter env 5
2978       - 18  # rls2009 NDRPDR iter env 5
2979
2980     csit-vpp-perf-verify-2001-3n-tsh:
2981       - 9   # MRR sel
2982     csit-vpp-perf-report-iterative-2005-3n-tsh:
2983       - 23  # NDRPDR sel env 4
2984       - 25  # NDRPDR sel env 4
2985       - 33  # NDRPDR sel env 4
2986       - 34  # NDRPDR sel env 4
2987       - 35  # NDRPDR sel env 4
2988       - 36  # NDRPDR sel env 4
2989       - 37  # NDRPDR sel env 4
2990       - 38  # NDRPDR sel env 4
2991       - 39  # NDRPDR sel env 4
2992       - 40  # NDRPDR sel env 4
2993       - 28  # NDRPDR sel 2001.0-4
2994       - 29  # NDRPDR sel 2001.0-4
2995       - 31  # NDRPDR sel 2001.0-4
2996       - 27  # MRR sel env 4
2997     csit-vpp-perf-report-iterative-2009-3n-tsh:
2998       - 8   # rls2005 NDRPDR iter env 5
2999       - 11  # rls2005 NDRPDR iter env 5
3000       - 12  # rls2005 NDRPDR iter env 5
3001       - 24  # rls2005 NDRPDR iter env 5
3002       - 27  # rls2005 NDRPDR iter env 5
3003       - 29  # rls2005 NDRPDR iter env 5
3004       - 31  # rls2005 NDRPDR iter env 5
3005       - 39  # rls2005 NDRPDR iter env 5
3006       - 40  # rls2005 NDRPDR iter env 5
3007       - 42  # rls2005 NDRPDR iter env 5
3008       - 13  # rls2005 MRR iter env 5
3009       - 14  # rls2009 NDRPDR iter env 5
3010       - 20  # rls2009 NDRPDR iter env 5
3011       - 21  # rls2009 NDRPDR iter env 5
3012       - 22  # rls2009 NDRPDR iter env 5
3013       - 23  # rls2009 NDRPDR iter env 5
3014       - 28  # rls2009 NDRPDR iter env 5
3015       - 30  # rls2009 NDRPDR iter env 5
3016       - 33  # rls2009 NDRPDR iter env 5
3017       - 38  # rls2009 NDRPDR iter env 5
3018       - 41  # rls2009 NDRPDR iter env 5
3019       - 15  # rls2009 MRR iter env 5
3020
3021     csit-vpp-perf-verify-2001-3n-dnv:
3022       - 5   # NDRPDR sel
3023       - 6   # NDRPDR sel
3024       - 7   # NDRPDR sel
3025       - 8   # NDRPDR sel
3026       - 9   # NDRPDR sel
3027       - 10  # NDRPDR sel
3028       - 12  # NDRPDR sel
3029       - 16  # NDRPDR sel
3030       - 17  # NDRPDR sel
3031       - 18  # NDRPDR sel
3032       - 11  # MRR sel
3033     csit-vpp-perf-report-iterative-2009-3n-dnv:
3034       - 16  # rls2005 NDRPDR iter env 5
3035       - 23  # rls2005 NDRPDR iter env 5
3036       - 25  # rls2005 NDRPDR iter env 5
3037       - 26  # rls2005 NDRPDR iter env 5
3038       - 27  # rls2005 NDRPDR iter env 5
3039       - 28  # rls2005 NDRPDR iter env 5
3040       - 29  # rls2005 NDRPDR iter env 5
3041       - 30  # rls2005 NDRPDR iter env 5
3042       - 31  # rls2005 NDRPDR iter env 5
3043       - 32  # rls2005 NDRPDR iter env 5
3044       - 19  # rls2005 MRR iter env 5
3045       - 3   # rls2009 NDRPDR iter env 5
3046       - 6   # rls2009 NDRPDR iter env 5
3047       - 7   # rls2009 NDRPDR iter env 5
3048       - 8   # rls2009 NDRPDR iter env 5
3049       - 10  # rls2009 NDRPDR iter env 5
3050       - 11  # rls2009 NDRPDR iter env 5
3051       - 12  # rls2009 NDRPDR iter env 5
3052       - 14  # rls2009 NDRPDR iter env 5
3053       - 15  # rls2009 NDRPDR iter env 5
3054       - 24  # rls2009 NDRPDR iter env 5
3055       - 22  # rls2009 MRR iter env 5
3056     csit-vpp-perf-report-coverage-2009-3n-dnv:
3057       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
3058       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
3059       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
3060       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
3061       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
3062       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
3063       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
3064       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
3065       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
3066
3067     csit-vpp-perf-verify-2001-2n-dnv:
3068       - 4   # NDRPDR sel
3069       - 5   # NDRPDR sel
3070       - 6   # NDRPDR sel
3071       - 7   # NDRPDR sel
3072       - 8   # NDRPDR sel
3073       - 9   # NDRPDR sel
3074       - 10  # NDRPDR sel
3075       - 11  # NDRPDR sel
3076       - 13  # NDRPDR sel
3077       - 16  # NDRPDR sel
3078       - 12  # MRR sel
3079     csit-vpp-perf-report-iterative-2009-2n-dnv:
3080       - 16  # rls2005 NDRPDR iter env 5
3081       - 17  # rls2005 NDRPDR iter env 5
3082       - 18  # rls2005 NDRPDR iter env 5
3083       - 19  # rls2005 NDRPDR iter env 5
3084       - 21  # rls2005 NDRPDR iter env 5
3085       - 24  # rls2005 NDRPDR iter env 5
3086       - 27  # rls2005 NDRPDR iter env 5
3087       - 28  # rls2005 NDRPDR iter env 5
3088       - 29  # rls2005 NDRPDR iter env 5
3089       - 30  # rls2005 NDRPDR iter env 5
3090       - 23  # rls2005 MRR iter env 5
3091       - 3   # rls2009 NDRPDR iter env 5
3092       - 5   # rls2009 NDRPDR iter env 5
3093       - 6   # rls2009 NDRPDR iter env 5
3094       - 7   # rls2009 NDRPDR iter env 5
3095       - 9   # rls2009 NDRPDR iter env 5
3096       - 10  # rls2009 NDRPDR iter env 5
3097       - 11  # rls2009 NDRPDR iter env 5
3098       - 12  # rls2009 NDRPDR iter env 5
3099       - 14  # rls2009 NDRPDR iter env 5
3100       - 15  # rls2009 NDRPDR iter env 5
3101       - 13  # rls2009 MRR iter env 5
3102     csit-vpp-perf-report-coverage-2009-2n-dnv:
3103       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3104       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3105       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3106       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3107       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3108       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3109
3110     csit-dpdk-perf-verify-2001-3n-hsw:
3111       - 4   # NDRPDR sel
3112       - 5   # NDRPDR sel
3113       - 6   # NDRPDR sel
3114       - 7   # NDRPDR sel
3115       - 8   # NDRPDR sel
3116       - 9   # NDRPDR sel
3117       - 10  # NDRPDR sel
3118       - 11  # NDRPDR sel
3119       - 12  # NDRPDR sel
3120       - 13  # NDRPDR sel
3121       - 15  # NDRPDR sel
3122       - 16  # NDRPDR sel
3123       - 17  # NDRPDR sel
3124       - 18  # NDRPDR sel
3125       - 19  # NDRPDR sel
3126       - 20  # NDRPDR sel
3127       - 21  # NDRPDR sel
3128       - 22  # NDRPDR sel
3129       - 23  # NDRPDR sel
3130       - 24  # NDRPDR sel
3131     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3132       - 25  # NDRPDR iter
3133       - 26  # NDRPDR iter
3134       - 27  # NDRPDR iter
3135       - 28  # NDRPDR iter
3136       - 29  # NDRPDR iter
3137       - 30  # NDRPDR iter
3138       - 31  # NDRPDR iter
3139       - 32  # NDRPDR iter
3140       - 33  # NDRPDR iter
3141       - 34  # NDRPDR iter
3142     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3143       - 6   # NDRPDR iter env5
3144       - 7   # NDRPDR iter env5
3145       - 8   # NDRPDR iter env5
3146       - 9   # NDRPDR iter env5
3147       - 10  # NDRPDR iter env5
3148       - 11  # NDRPDR iter env5
3149       - 12  # NDRPDR iter env5
3150       - 13  # NDRPDR iter env5
3151       - 14  # NDRPDR iter env5
3152       - 15  # NDRPDR iter env5
3153
3154     csit-dpdk-perf-verify-2001-3n-skx:
3155       - 29  # NDRPDR sel xxv710
3156       - 33  # NDRPDR sel xxv710
3157       - 34  # NDRPDR sel xxv710
3158       - 35  # NDRPDR sel xxv710
3159       - 36  # NDRPDR sel xxv710
3160       - 37  # NDRPDR sel xxv710
3161       - 41  # NDRPDR sel xxv710
3162       - 42  # NDRPDR sel xxv710
3163       - 43  # NDRPDR sel xxv710
3164       - 45  # NDRPDR sel xxv710
3165       - 30  # NDRPDR sel x710
3166       - 31  # NDRPDR sel x710
3167       - 32  # NDRPDR sel x710
3168       - 38  # NDRPDR sel x710
3169       - 39  # NDRPDR sel x710
3170       - 40  # NDRPDR sel x710
3171       - 44  # NDRPDR sel x710
3172       - 46  # NDRPDR sel x710
3173       - 47  # NDRPDR sel x710
3174       - 48  # NDRPDR sel x710
3175     csit-dpdk-perf-report-iterative-2005-3n-skx:
3176       - 28  # NDRPDR iter
3177       - 29  # NDRPDR iter
3178       - 30  # NDRPDR iter
3179       - 31  # NDRPDR iter
3180       - 32  # NDRPDR iter
3181       - 33  # NDRPDR iter
3182       - 34  # NDRPDR iter
3183       - 35  # NDRPDR iter
3184       - 36  # NDRPDR iter
3185       - 37  # NDRPDR iter
3186     csit-dpdk-perf-report-iterative-2009-3n-skx:
3187       - 4   # NDRPDR sel env5
3188       - 5   # NDRPDR sel env5
3189