Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
56
57     # Detailed test configurations
58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
78
79     # Detailed tests operational data
80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
90
91     # Latencies:
92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
94
95     # .css patch file to fix tables generated by Sphinx
96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
98
99   urls:
100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
104     DIR[NEXUS,DOC]: "report/_static/archive"
105
106   make-dirs:
107   # List the directories which are created while preparing the environment.
108   # All directories MUST be defined in "paths" section.
109   - "DIR[WORKING,DATA]"
110   - "DIR[STATIC,VPP]"
111   - "DIR[STATIC,DPDK]"
112   - "DIR[STATIC,ARCH]"
113   - "DIR[BUILD,LATEX]"
114   - "DIR[WORKING,SRC]"
115   - "DIR[WORKING,SRC,STATIC]"
116
117   remove-dirs:
118   # List the directories which are deleted while cleaning the environment.
119   # All directories MUST be defined in "paths" section.
120   #- "DIR[BUILD,HTML]"
121   - "DIR[WORKING,DATA]"
122
123   build-dirs:
124   # List the directories where the results (build) is stored.
125   # All directories MUST be defined in "paths" section.
126   - "DIR[BUILD,HTML]"
127   - "DIR[BUILD,LATEX]"
128
129 - type: "configuration"
130
131   mapping-file: "mapping_report.yaml"
132
133   limits:
134     nic:
135       x520: 24460000
136       x553: 29761905
137       x710: 35800000
138       xxv710: 35800000
139       xl710: 35800000
140       cx556a: 148809523.81
141
142     link:
143       10ge: 14880952.38
144       25ge: 37202380.95
145       40ge: 59523809.52
146       100ge: 148809523.81
147
148     pci:
149       pci-g3-x8: 74404761.90
150       pci-g3-x16: 148809523.81
151
152   data-sets:
153
154     ###########################################################################
155     # Plots:
156
157     # 3n-hsw
158
159     plot-vpp-throughput-lat-tsa-3n-hsw:
160       csit-vpp-perf-report-iterative-2009-3n-hsw:
161         - 21  # rls2009 NDRPDR iter env 5
162         - 22  # rls2009 NDRPDR iter env 5
163         - 24  # rls2009 NDRPDR iter env 5
164         - 25  # rls2009 NDRPDR iter env 5
165         - 26  # rls2009 NDRPDR iter env 5
166         - 27  # rls2009 NDRPDR iter env 5
167         - 28  # rls2009 NDRPDR iter env 5
168         - 29  # rls2009 NDRPDR iter env 5
169         - 30  # rls2009 NDRPDR iter env 5
170         - 31  # rls2009 NDRPDR iter env 5
171
172     plot-vpp-hdrh-lat-3n-hsw:
173       csit-vpp-perf-report-iterative-2009-3n-hsw:
174         - 22  # rls2009 NDRPDR iter env 5
175
176     plot-vpp-hoststack-3n-hsw:
177       csit-vpp-perf-report-iterative-2009-3n-hsw:
178         - 32  # rls2009 Hoststack iter env 5
179         - 33  # rls2009 Hoststack iter env 5
180         - 34  # rls2009 Hoststack iter env 5
181         - 35  # rls2009 Hoststack iter env 5
182         - 36  # rls2009 Hoststack iter env 5
183         - 37  # rls2009 Hoststack iter env 5
184         - 38  # rls2009 Hoststack iter env 5
185         - 39  # rls2009 Hoststack iter env 5
186         - 40  # rls2009 Hoststack iter env 5
187         - 41  # rls2009 Hoststack iter env 5
188
189     plot-dpdk-throughput-latency-3n-hsw:
190       csit-dpdk-perf-report-iterative-2009-3n-hsw:
191         - 6   # NDRPDR iter env5
192         - 7   # NDRPDR iter env5
193         - 8   # NDRPDR iter env5
194         - 9   # NDRPDR iter env5
195         - 10  # NDRPDR iter env5
196         - 11  # NDRPDR iter env5
197         - 12  # NDRPDR iter env5
198         - 13  # NDRPDR iter env5
199         - 14  # NDRPDR iter env5
200         - 15  # NDRPDR iter env5
201
202     plot-dpdk-hdrh-lat-3n-hsw:
203       csit-dpdk-perf-report-iterative-2009-3n-hsw:
204         - 6   # NDRPDR iter env5
205
206     # 3n-skx
207
208     plot-vpp-throughput-lat-tsa-3n-skx:
209       csit-vpp-perf-report-iterative-2009-3n-skx:
210         - 26  # rls2009 NDRPDR iter env 5
211         - 27  # rls2009 NDRPDR iter env 5
212         - 28  # rls2009 NDRPDR iter env 5
213         - 29  # rls2009 NDRPDR iter env 5
214         - 35  # rls2009 NDRPDR iter env 5
215         - 36  # rls2009 NDRPDR iter env 5
216         - 37  # rls2009 NDRPDR iter env 5
217         - 38  # rls2009 NDRPDR iter env 5
218         - 39  # rls2009 NDRPDR iter env 5
219         - 40  # rls2009 NDRPDR iter env 5
220
221     plot-vpp-hdrh-lat-3n-skx:
222       csit-vpp-perf-report-iterative-2009-3n-skx:
223         - 27  # rls2009 NDRPDR iter env 5
224
225 #    plot-vpp-nfv-3n-skx-ndrpdr:
226 #      # No data
227 #      csit-vpp-perf-report-iterative-2009-3n-skx:
228
229 #    plot-vpp-nfv-3n-skx-mrr:
230 #      # No data
231 #      csit-vpp-perf-report-iterative-2009-3n-skx:
232
233     plot-dpdk-throughput-latency-3n-skx:
234       csit-dpdk-perf-report-iterative-2009-3n-skx:
235         - 4   # NDRPDR sel env5
236         - 5   # NDRPDR sel env5
237         - 6   # NDRPDR sel env5
238         - 7   # NDRPDR sel env5
239         - 8   # NDRPDR sel env5
240         - 9   # NDRPDR sel env5
241         - 14  # NDRPDR sel env5
242         - 11  # NDRPDR sel env5
243         - 12  # NDRPDR sel env5
244         - 13  # NDRPDR sel env5
245
246     plot-dpdk-hdrh-lat-3n-skx:
247       csit-dpdk-perf-report-iterative-2009-3n-skx:
248         - 4   # NDRPDR sel env5
249
250     # 2n-skx
251
252     plot-vpp-throughput-lat-tsa-2n-skx:
253       csit-vpp-perf-report-iterative-2009-2n-skx:
254         - 35  # rls2009 NDRPDR iter env 5
255         - 36  # rls2009 NDRPDR iter env 5
256         - 37  # rls2009 NDRPDR iter env 5
257         - 39  # rls2009 NDRPDR iter env 5
258         - 40  # rls2009 NDRPDR iter env 5
259         - 42  # rls2009 NDRPDR iter env 5
260         - 43  # rls2009 NDRPDR iter env 5
261         - 44  # rls2009 NDRPDR iter env 5
262         - 46  # rls2009 NDRPDR iter env 5
263         - 48  # rls2009 NDRPDR iter env 5
264         - 110 # rls2009 NDRPDR iter NAT44 env 5
265         - 111 # rls2009 NDRPDR iter NAT44 env 5
266         - 112 # rls2009 NDRPDR iter NAT44 env 5
267         - 113 # rls2009 NDRPDR iter NAT44 env 5
268         - 114 # rls2009 NDRPDR iter NAT44 env 5
269         - 115 # rls2009 NDRPDR iter NAT44 env 5
270         - 116 # rls2009 NDRPDR iter NAT44 env 5
271         - 118 # rls2009 NDRPDR iter NAT44 env 5
272         - 119 # rls2009 NDRPDR iter NAT44 env 5
273         - 121 # rls2009 NDRPDR iter NAT44 env 5
274
275     plot-vpp-hdrh-lat-2n-skx:
276       csit-vpp-perf-report-iterative-2009-2n-skx:
277         - 35  # rls2009 NDRPDR iter env 5
278
279     plot-vpp-hdrh-lat-2n-skx-nat44:
280       csit-vpp-perf-report-iterative-2009-2n-skx:
281         - 110 # rls2009 NDRPDR iter NAT44 env 5
282
283     plot-vpp-soak-2n-skx:
284       csit-vpp-perf-report-iterative-2009-2n-skx:
285         - 33  # rls2009 soak env 5
286         - 34  # rls2009 soak env 5
287
288     plot-vpp-nfv-2n-skx-ndrpdr:
289       csit-vpp-perf-report-iterative-2009-2n-skx:
290         - 38  # rls2009 nf-density iter env 5
291         - 41  # rls2009 nf-density iter env 5
292         - 45  # rls2009 nf-density iter env 5
293         - 47  # rls2009 nf-density iter env 5
294         - 49  # rls2009 nf-density iter env 5
295         - 63  # rls2009 nf-density iter env 5
296         - 65  # rls2009 nf-density iter env 5
297         - 66  # rls2009 nf-density iter env 5
298         - 71  # rls2009 nf-density iter env 5
299         - 72  # rls2009 nf-density iter env 5
300
301     plot-vpp-nfv-2n-skx-mrr:
302       csit-vpp-perf-report-iterative-2009-2n-skx:
303         - 50  # rls2009 MRR nf-density iter env 5
304
305     plot-vpp-nfv-reconf-2n-skx:
306       csit-vpp-perf-report-iterative-2009-2n-skx:
307         - 27  # rls2009 reconf env 5
308         - 28  # rls2009 reconf env 5
309         - 29  # rls2009 reconf env 5
310         - 30  # rls2009 reconf env 5
311         - 31  # rls2009 reconf env 5
312         - 32  # rls2009 reconf env 5
313         - 61  # rls2009 reconf env 5
314         - 62  # rls2009 reconf env 5
315         - 68  # rls2009 reconf env 5
316         - 70  # rls2009 reconf env 5
317
318     plot-dpdk-throughput-latency-2n-skx:
319       csit-dpdk-perf-report-iterative-2009-2n-skx:
320         - 4   # NDRPDR iter env5
321         - 5   # NDRPDR iter env5
322         - 6   # NDRPDR iter env5
323         - 7   # NDRPDR iter env5
324         - 8   # NDRPDR iter env5
325         - 9   # NDRPDR iter env5
326         - 10  # NDRPDR iter env5
327         - 11  # NDRPDR iter env5
328         - 12  # NDRPDR iter env5
329         - 13  # NDRPDR iter env5
330
331     plot-dpdk-hdrh-lat-2n-skx:
332       csit-dpdk-perf-report-iterative-2009-2n-skx:
333         - 4   # NDRPDR iter env5
334
335     # 2n-zn2
336
337     plot-vpp-throughput-lat-tsa-2n-zn2-turbo:
338       csit-vpp-perf-report-iterative-2009-2n-zn2:
339         - 3   # rls2009 NDRPDR turbo iter env 5
340         - 4   # rls2009 NDRPDR turbo iter env 5
341         - 6   # rls2009 NDRPDR turbo iter env 5
342         - 7   # rls2009 NDRPDR turbo iter env 5
343         - 8   # rls2009 NDRPDR turbo iter env 5
344         - 9   # rls2009 NDRPDR turbo iter env 5
345         - 10  # rls2009 NDRPDR turbo iter env 5
346         - 11  # rls2009 NDRPDR turbo iter env 5
347
348     plot-vpp-hdrh-lat-2n-zn2-turbo:
349       csit-vpp-perf-report-iterative-2009-2n-zn2:
350         - 3   # rls2009 NDRPDR turbo iter env 5
351
352     plot-dpdk-throughput-latency-2n-zn2-turbo:
353       csit-dpdk-perf-report-iterative-2009-2n-zn2:
354         - 1   # NDRPDR turbo iter env5
355
356     plot-dpdk-hdrh-lat-2n-zn2-turbo:
357       csit-dpdk-perf-report-iterative-2009-2n-zn2:
358         - 1   # NDRPDR turbo iter env5
359
360     plot-vpp-throughput-lat-tsa-2n-zn2:
361       csit-vpp-perf-report-iterative-2009-2n-zn2:
362         - 17  # rls2009 NDRPDR iter env 5
363         - 18  # rls2009 NDRPDR iter env 5
364
365     plot-vpp-hdrh-lat-2n-zn2:
366       csit-vpp-perf-report-iterative-2009-2n-zn2:
367         - 18  # rls2009 NDRPDR iter env 5
368
369     plot-dpdk-throughput-latency-2n-zn2:
370       csit-dpdk-perf-report-iterative-2009-2n-zn2:
371         - 16  # NDRPDR iter env5
372
373     plot-dpdk-hdrh-lat-2n-zn2:
374       csit-dpdk-perf-report-iterative-2009-2n-zn2:
375         - 16  # NDRPDR iter env5
376
377     # 2n-clx
378
379     plot-vpp-throughput-lat-tsa-2n-clx:
380       csit-vpp-perf-report-iterative-2009-2n-clx:
381         - 36  # rls2009 NDRPDR iter env 5
382         - 39  # rls2009 NDRPDR iter env 5
383         - 40  # rls2009 NDRPDR iter env 5
384         - 65  # rls2009 NDRPDR iter env 5
385         - 66  # rls2009 NDRPDR iter env 5
386         - 79  # rls2009 NDRPDR iter env 5
387         - 82  # rls2009 NDRPDR iter env 5
388         - 88  # rls2009 NDRPDR iter env 5
389         - 89  # rls2009 NDRPDR iter env 5
390         - 90  # rls2009 NDRPDR iter env 5
391         - 114 # rls2009 NDRPDR iter NAT44 env 5
392         - 115 # rls2009 NDRPDR iter NAT44 env 5
393         - 116 # rls2009 NDRPDR iter NAT44 env 5
394         - 117 # rls2009 NDRPDR iter NAT44 env 5
395         - 118 # rls2009 NDRPDR iter NAT44 env 5
396         - 119 # rls2009 NDRPDR iter NAT44 env 5
397         - 121 # rls2009 NDRPDR iter NAT44 env 5
398         - 122 # rls2009 NDRPDR iter NAT44 env 5
399         - 123 # rls2009 NDRPDR iter NAT44 env 5
400         - 126 # rls2009 NDRPDR iter NAT44 env 5
401
402     plot-vpp-hdrh-lat-2n-clx:
403       csit-vpp-perf-report-iterative-2009-2n-clx:
404         - 36  # rls2009 NDRPDR iter env 5
405
406     plot-vpp-hdrh-lat-2n-clx-nat44:
407       csit-vpp-perf-report-iterative-2009-2n-clx:
408         - 123 # rls2009 NDRPDR iter NAT44 env 5
409
410     plot-vpp-nfv-2n-clx-ndrpdr:
411       csit-vpp-perf-report-iterative-2009-2n-clx:
412         - 37  # rls2009 nf-density iter env 5
413         - 43  # rls2009 nf-density iter env 5
414         - 69  # rls2009 nf-density iter env 5
415         - 70  # rls2009 nf-density iter env 5
416         - 71  # rls2009 nf-density iter env 5
417         - 72  # rls2009 nf-density iter env 5
418         - 73  # rls2009 nf-density iter env 5
419         - 74  # rls2009 nf-density iter env 5
420         - 75  # rls2009 nf-density iter env 5
421         - 76  # rls2009 nf-density iter env 5
422
423     plot-vpp-nfv-2n-clx-mrr:
424       csit-vpp-perf-report-iterative-2009-2n-clx:
425         - 45  # rls2009 MRR nf-density iter env 5
426
427     plot-vpp-nfv-reconf-2n-clx:
428       csit-vpp-perf-report-iterative-2009-2n-clx:
429         - 25  # rls2009 reconf env 5
430         - 27  # rls2009 reconf env 5
431         - 28  # rls2009 reconf env 5
432         - 29  # rls2009 reconf env 5
433         - 30  # rls2009 reconf env 5
434         - 30  # rls2009 reconf env 5
435         - 32  # rls2009 reconf env 5
436         - 48  # rls2009 reconf env 5
437         - 53  # rls2009 reconf env 5
438         - 68  # rls2009 reconf env 5
439
440     plot-vpp-soak-2n-clx:
441       csit-vpp-perf-report-iterative-2009-2n-clx:
442         - 33  # rls2009 soak env 5
443         - 34  # rls2009 soak env 5
444
445     plot-dpdk-throughput-latency-2n-clx:
446       csit-dpdk-perf-report-iterative-2009-2n-clx:
447         - 4   # NDRPDR iter env5
448         - 5   # NDRPDR iter env5
449         - 6   # NDRPDR iter env5
450         - 7   # NDRPDR iter env5
451         - 8   # NDRPDR iter env5
452         - 9   # NDRPDR iter env5
453         - 10  # NDRPDR iter env5
454         - 11  # NDRPDR iter env5
455         - 12  # NDRPDR iter env5
456         - 13  # NDRPDR iter env5
457
458     plot-dpdk-hdrh-lat-2n-clx:
459       csit-dpdk-perf-report-iterative-2009-2n-clx:
460         - 4   # NDRPDR iter env5
461
462     # 3n-tsh
463
464     plot-vpp-throughput-lat-tsa-3n-tsh:
465       csit-vpp-perf-report-iterative-2009-3n-tsh:
466         - 14  # rls2009 NDRPDR iter env 5
467         - 20  # rls2009 NDRPDR iter env 5
468         - 21  # rls2009 NDRPDR iter env 5
469         - 22  # rls2009 NDRPDR iter env 5
470         - 23  # rls2009 NDRPDR iter env 5
471         - 28  # rls2009 NDRPDR iter env 5
472         - 30  # rls2009 NDRPDR iter env 5
473         - 33  # rls2009 NDRPDR iter env 5
474         - 38  # rls2009 NDRPDR iter env 5
475         - 41  # rls2009 NDRPDR iter env 5
476
477     plot-vpp-hdrh-lat-3n-tsh:
478       csit-vpp-perf-report-iterative-2009-3n-tsh:
479         - 14  # rls2009 NDRPDR iter env 5
480
481     plot-dpdk-throughput-latency-3n-tsh:
482       csit-dpdk-perf-report-iterative-2009-3n-tsh:
483         - 1   # NDRPDR iter env5
484         - 2   # NDRPDR iter env5
485         - 3   # NDRPDR iter env5
486         - 4   # NDRPDR iter env5
487         - 5   # NDRPDR iter env5
488         - 6   # NDRPDR iter env5
489         - 7   # NDRPDR iter env5
490         - 9   # NDRPDR iter env5
491         - 10  # NDRPDR iter env5
492         - 11  # NDRPDR iter env5
493
494     plot-dpdk-hdrh-lat-3n-tsh:
495       csit-dpdk-perf-report-iterative-2009-3n-tsh:
496         - 1   # NDRPDR iter env5
497
498     # 3n-dnv
499
500     plot-vpp-throughput-lat-tsa-3n-dnv:
501       csit-vpp-perf-report-iterative-2009-3n-dnv:
502         - 3   # rls2009 NDRPDR iter env 5
503         - 6   # rls2009 NDRPDR iter env 5
504         - 7   # rls2009 NDRPDR iter env 5
505         - 8   # rls2009 NDRPDR iter env 5
506         - 10  # rls2009 NDRPDR iter env 5
507         - 11  # rls2009 NDRPDR iter env 5
508         - 12  # rls2009 NDRPDR iter env 5
509         - 14  # rls2009 NDRPDR iter env 5
510         - 15  # rls2009 NDRPDR iter env 5
511         - 24  # rls2009 NDRPDR iter env 5
512
513 #    plot-dpdk-throughput-latency-3n-dnv:
514 #      # No data
515 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
516
517     # 2n-dnv
518
519     plot-vpp-throughput-lat-tsa-2n-dnv:
520       csit-vpp-perf-report-iterative-2009-2n-dnv:
521         - 3   # rls2009 NDRPDR iter env 5
522         - 5   # rls2009 NDRPDR iter env 5
523         - 6   # rls2009 NDRPDR iter env 5
524         - 7   # rls2009 NDRPDR iter env 5
525         - 9   # rls2009 NDRPDR iter env 5
526         - 10  # rls2009 NDRPDR iter env 5
527         - 11  # rls2009 NDRPDR iter env 5
528         - 12  # rls2009 NDRPDR iter env 5
529         - 14  # rls2009 NDRPDR iter env 5
530         - 15  # rls2009 NDRPDR iter env 5
531
532 #    plot-dpdk-throughput-latency-2n-dnv:
533 #      # No data
534 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
535
536     ###########################################################################
537     # Simple tables (only one data set):
538
539     # NIC Comparisons
540
541     vpp-nic-comparison-3n-skx:
542       csit-vpp-perf-report-iterative-2009-3n-skx:
543         - 26  # rls2009 NDRPDR iter env 5
544         - 27  # rls2009 NDRPDR iter env 5
545         - 28  # rls2009 NDRPDR iter env 5
546         - 29  # rls2009 NDRPDR iter env 5
547         - 35  # rls2009 NDRPDR iter env 5
548         - 36  # rls2009 NDRPDR iter env 5
549         - 37  # rls2009 NDRPDR iter env 5
550         - 38  # rls2009 NDRPDR iter env 5
551         - 39  # rls2009 NDRPDR iter env 5
552         - 40  # rls2009 NDRPDR iter env 5
553
554     vpp-nic-comparison-2n-skx:
555       csit-vpp-perf-report-iterative-2009-2n-skx:
556         - 35  # rls2009 NDRPDR iter env 5
557         - 36  # rls2009 NDRPDR iter env 5
558         - 37  # rls2009 NDRPDR iter env 5
559         - 39  # rls2009 NDRPDR iter env 5
560         - 40  # rls2009 NDRPDR iter env 5
561         - 42  # rls2009 NDRPDR iter env 5
562         - 43  # rls2009 NDRPDR iter env 5
563         - 44  # rls2009 NDRPDR iter env 5
564         - 46  # rls2009 NDRPDR iter env 5
565         - 48  # rls2009 NDRPDR iter env 5
566         - 110 # rls2009 NDRPDR iter NAT44 env 5
567         - 111 # rls2009 NDRPDR iter NAT44 env 5
568         - 112 # rls2009 NDRPDR iter NAT44 env 5
569         - 113 # rls2009 NDRPDR iter NAT44 env 5
570         - 114 # rls2009 NDRPDR iter NAT44 env 5
571         - 115 # rls2009 NDRPDR iter NAT44 env 5
572         - 116 # rls2009 NDRPDR iter NAT44 env 5
573         - 118 # rls2009 NDRPDR iter NAT44 env 5
574         - 119 # rls2009 NDRPDR iter NAT44 env 5
575         - 121 # rls2009 NDRPDR iter NAT44 env 5
576
577     vpp-nic-comparison-3n-skx-mrr:
578       csit-vpp-perf-report-iterative-2009-3n-skx:
579         - 24  # rls2009 MRR iter env 5
580
581     vpp-nic-comparison-2n-skx-mrr:
582       csit-vpp-perf-report-iterative-2009-2n-skx:
583         - 120 # rls2009 MRR iter env 5
584
585     # Results
586
587     vpp-perf-results-3n-hsw:
588       csit-vpp-perf-report-coverage-2009-3n-hsw:
589         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
590         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
591         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
592         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
593         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
594         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
595         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
596         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
597         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
598         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
599         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
600         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
601         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
602         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
603         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
604         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
605         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
606         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
607         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
608         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
609         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
610         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
611         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
612         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
613         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
614         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
615         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
616         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
617         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
618         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
619         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
620         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
621         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
622         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
623         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
624
625     vpp-perf-results-3n-skx:
626       csit-vpp-perf-report-coverage-2009-3n-skx:
627         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
628         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
629         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
630         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
631         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
632         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
633         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
634         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
635         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
636         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
637         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
638         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
639         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
640         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
641         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
642         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
643         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
644         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
645         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
646         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
647         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
648         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
649         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
650         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
651         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
652         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
653         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
654         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
655         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
656         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
657         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
658         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
659         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
660         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
661         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
662         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
663
664     vpp-perf-results-2n-skx:
665       csit-vpp-perf-report-coverage-2009-2n-skx:
666         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
667         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
668         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
669         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
670         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
671         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
672         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
673         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
674         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
675         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
676         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
677         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
678         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
679         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
680         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
681         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
682         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
683
684     vpp-perf-results-2n-zn2:
685       csit-vpp-perf-report-iterative-2009-2n-zn2:
686         - 18  # rls2009 NDRPDR iter env 5
687
688     vpp-perf-results-2n-clx:
689       csit-vpp-perf-report-coverage-2009-2n-clx:
690         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
691         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
692         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
693         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
694         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
695         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
696         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
697         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
698         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
699         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
700         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
701         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
702         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
703         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
704         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
705         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
706         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
707
708     vpp-perf-results-3n-tsh:
709       csit-vpp-perf-report-iterative-2009-3n-tsh:
710         - 14  # rls2009 NDRPDR iter env 5
711
712     vpp-perf-results-3n-dnv:
713       csit-vpp-perf-report-coverage-2009-3n-dnv:
714         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
715         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
716         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
717         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
718         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
719         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
720         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
721         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
722         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
723
724     vpp-perf-results-2n-dnv:
725       csit-vpp-perf-report-coverage-2009-2n-dnv:
726         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
727         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
728         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
729         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
730         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
731         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
732
733     vpp-mrr-results-3n-hsw:
734       csit-vpp-perf-report-iterative-2009-3n-hsw:
735         - 23  # rls2009 MRR iter env 5
736
737     vpp-mrr-results-3n-skx:
738       csit-vpp-perf-report-iterative-2009-3n-skx:
739         - 24  # rls2009 MRR iter env 5
740
741     vpp-mrr-results-2n-skx:
742       csit-vpp-perf-report-iterative-2009-2n-skx:
743         - 120 # rls2009 MRR iter env 5
744
745     vpp-mrr-results-2n-zn2:
746       csit-vpp-perf-report-iterative-2009-2n-zn2:
747         - 15  # rls2009 MRR iter env 5
748
749     vpp-mrr-results-2n-clx:
750       csit-vpp-perf-report-iterative-2009-2n-clx:
751         - 125 # rls2009 MRR iter env 5
752
753     vpp-mrr-results-3n-tsh:
754       csit-vpp-perf-report-iterative-2009-3n-tsh:
755         - 15  # rls2009 MRR iter env 5
756
757     vpp-mrr-results-3n-dnv:
758       csit-vpp-perf-report-iterative-2009-3n-dnv:
759         - 22  # rls2009 MRR iter env 5
760
761     vpp-mrr-results-2n-dnv:
762       csit-vpp-perf-report-iterative-2009-2n-dnv:
763         - 13  # rls2009 MRR iter env 5
764
765     vpp-device-results-ubuntu:
766       csit-vpp-device-2009-ubuntu1804-1n-skx:
767         - 131 # rls2009 env 5
768
769     dpdk-perf-results-3n-hsw:
770       csit-dpdk-perf-report-iterative-2009-3n-hsw:
771         - 6   # NDRPDR iter env5
772
773     dpdk-perf-results-3n-skx:
774       csit-dpdk-perf-report-iterative-2009-3n-skx:
775         - 4   # NDRPDR sel env5
776
777     dpdk-perf-results-2n-skx:
778       csit-dpdk-perf-report-iterative-2009-2n-skx:
779         - 4   # NDRPDR iter env5
780
781     dpdk-perf-results-2n-zn2:
782       csit-dpdk-perf-report-iterative-2009-2n-zn2:
783         - 16  # NDRPDR iter env5
784
785     dpdk-perf-results-2n-clx:
786       csit-dpdk-perf-report-iterative-2009-2n-clx:
787         - 4   # NDRPDR iter env5
788
789 #    dpdk-perf-results-2n-dnv:
790 #      # No data
791 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
792
793 #    dpdk-perf-results-3n-dnv:
794 #      # No data
795 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
796
797     dpdk-perf-results-3n-tsh:
798       csit-dpdk-perf-report-iterative-2009-3n-tsh:
799         - 1   # NDRPDR iter env5
800
801 ###########################################################################
802     # Tables (more than one data set)
803
804     # Performance changes
805
806     vpp-performance-changes-3n-hsw-h1:
807       csit-vpp-perf-report-iterative-2005-3n-hsw:
808         - 31  # NDRPDR sel 2001.0-4
809         - 32  # NDRPDR sel 2001.0-4
810         - 33  # NDRPDR sel 2001.0-4
811         - 34  # NDRPDR sel 2001.0-4
812         - 35  # NDRPDR sel 2001.0-4
813         - 36  # NDRPDR sel 2001.0-4
814         - 38  # NDRPDR sel 2001.0-4
815     vpp-performance-changes-3n-hsw-ref-env4:
816       csit-vpp-perf-report-iterative-2005-3n-hsw:
817         - 20  # NDRPDR sel env 4
818         - 21  # NDRPDR sel env 4
819         - 22  # NDRPDR sel env 4
820         - 23  # NDRPDR sel env 4
821         - 24  # NDRPDR sel env 4
822         - 25  # NDRPDR sel env 4
823         - 26  # NDRPDR sel env 4
824         - 27  # NDRPDR sel env 4
825         - 28  # NDRPDR sel env 4
826         - 29  # NDRPDR sel env 4
827     vpp-performance-changes-3n-hsw-ref-env5:
828       csit-vpp-perf-report-iterative-2009-3n-hsw:
829         - 9   # rls2005 NDRPDR iter env 5
830         - 10  # rls2005 NDRPDR iter env 5
831         - 11  # rls2005 NDRPDR iter env 5
832         - 12  # rls2005 NDRPDR iter env 5
833         - 13  # rls2005 NDRPDR iter env 5
834         - 14  # rls2005 NDRPDR iter env 5
835         - 15  # rls2005 NDRPDR iter env 5
836         - 16  # rls2005 NDRPDR iter env 5
837         - 17  # rls2005 NDRPDR iter env 5
838         - 19  # rls2005 NDRPDR iter env 5
839     vpp-performance-changes-3n-hsw-cmp:
840       csit-vpp-perf-report-iterative-2009-3n-hsw:
841         - 21  # rls2009 NDRPDR iter env 5
842         - 22  # rls2009 NDRPDR iter env 5
843         - 24  # rls2009 NDRPDR iter env 5
844         - 25  # rls2009 NDRPDR iter env 5
845         - 26  # rls2009 NDRPDR iter env 5
846         - 27  # rls2009 NDRPDR iter env 5
847         - 28  # rls2009 NDRPDR iter env 5
848         - 29  # rls2009 NDRPDR iter env 5
849         - 30  # rls2009 NDRPDR iter env 5
850         - 31  # rls2009 NDRPDR iter env 5
851
852     vpp-performance-changes-3n-skx-h1:
853       csit-vpp-perf-report-iterative-2005-3n-skx:
854         - 50  # NDRPDR sel 2001.0-4
855         - 51  # NDRPDR sel 2001.0-4
856         - 52  # NDRPDR sel 2001.0-4
857         - 53  # NDRPDR sel 2001.0-4
858         - 54  # NDRPDR sel 2001.0-4
859     vpp-performance-changes-3n-skx-ref-env4:
860       csit-vpp-perf-report-iterative-2005-3n-skx:
861         - 42  # NDRPDR sel env 4
862         - 43  # NDRPDR sel env 4
863         - 44  # NDRPDR sel env 4
864         - 45  # NDRPDR sel env 4
865         - 47  # NDRPDR sel env 4
866         - 55  # NDRPDR sel env 4
867         - 56  # NDRPDR sel env 4
868         - 57  # NDRPDR sel env 4
869         - 61  # NDRPDR sel env 4
870         - 62  # NDRPDR sel env 4
871     vpp-performance-changes-3n-skx-ref-env5:
872       csit-vpp-perf-report-iterative-2009-3n-skx:
873         - 13  # rls2005 NDRPDR iter env 5
874         - 18  # rls2005 NDRPDR iter env 5
875         - 19  # rls2005 NDRPDR iter env 5
876         - 41  # rls2005 NDRPDR iter env 5
877         - 43  # rls2005 NDRPDR iter env 5
878         - 44  # rls2005 NDRPDR iter env 5
879         - 45  # rls2005 NDRPDR iter env 5
880         - 46  # rls2005 NDRPDR iter env 5
881         - 48  # rls2005 NDRPDR iter env 5
882         - 49  # rls2005 NDRPDR iter env 5
883     vpp-performance-changes-3n-skx-cmp:
884       csit-vpp-perf-report-iterative-2009-3n-skx:
885         - 26  # rls2009 NDRPDR iter env 5
886         - 27  # rls2009 NDRPDR iter env 5
887         - 28  # rls2009 NDRPDR iter env 5
888         - 29  # rls2009 NDRPDR iter env 5
889         - 35  # rls2009 NDRPDR iter env 5
890         - 36  # rls2009 NDRPDR iter env 5
891         - 37  # rls2009 NDRPDR iter env 5
892         - 38  # rls2009 NDRPDR iter env 5
893         - 39  # rls2009 NDRPDR iter env 5
894         - 40  # rls2009 NDRPDR iter env 5
895
896     vpp-performance-changes-2n-skx-h1:
897       csit-vpp-perf-report-iterative-2005-2n-skx:
898         - 100 # NDRPDR sel 2001.0-4
899         - 101 # NDRPDR sel 2001.0-4
900         - 102 # NDRPDR sel 2001.0-4
901         - 103 # NDRPDR sel 2001.0-4
902         - 104 # NDRPDR sel 2001.0-4
903         - 105 # NDRPDR sel 2001.0-4
904     vpp-performance-changes-2n-skx-ref-env4:
905       csit-vpp-perf-report-iterative-2005-2n-skx:
906         - 88  # NDRPDR sel env 4
907         - 89  # NDRPDR sel env 4
908         - 90  # NDRPDR sel env 4
909         - 91  # NDRPDR sel env 4
910         - 92  # NDRPDR sel env 4
911         - 93  # NDRPDR sel env 4
912         - 94  # NDRPDR sel env 4
913         - 125 # NDRPDR sel env 4
914         - 126 # NDRPDR sel env 4
915         - 127 # NDRPDR sel env 4
916     vpp-performance-changes-2n-skx-ref-env5:
917       csit-vpp-perf-report-iterative-2009-2n-skx:
918         - 13  # rls2005 NDRPDR iter env 5
919         - 16  # rls2005 NDRPDR iter env 5
920         - 17  # rls2005 NDRPDR iter env 5
921         - 18  # rls2005 NDRPDR iter env 5
922         - 19  # rls2005 NDRPDR iter env 5
923         - 21  # rls2005 NDRPDR iter env 5
924         - 22  # rls2005 NDRPDR iter env 5
925         - 23  # rls2005 NDRPDR iter env 5
926         - 24  # rls2005 NDRPDR iter env 5
927         - 25  # rls2005 NDRPDR iter env 5
928     vpp-performance-changes-2n-skx-cmp:
929       csit-vpp-perf-report-iterative-2009-2n-skx:
930         - 35  # rls2009 NDRPDR iter env 5
931         - 36  # rls2009 NDRPDR iter env 5
932         - 37  # rls2009 NDRPDR iter env 5
933         - 39  # rls2009 NDRPDR iter env 5
934         - 40  # rls2009 NDRPDR iter env 5
935         - 42  # rls2009 NDRPDR iter env 5
936         - 43  # rls2009 NDRPDR iter env 5
937         - 44  # rls2009 NDRPDR iter env 5
938         - 46  # rls2009 NDRPDR iter env 5
939         - 48  # rls2009 NDRPDR iter env 5
940         - 110 # rls2009 NDRPDR iter NAT44 env 5
941         - 111 # rls2009 NDRPDR iter NAT44 env 5
942         - 112 # rls2009 NDRPDR iter NAT44 env 5
943         - 113 # rls2009 NDRPDR iter NAT44 env 5
944         - 114 # rls2009 NDRPDR iter NAT44 env 5
945         - 115 # rls2009 NDRPDR iter NAT44 env 5
946         - 116 # rls2009 NDRPDR iter NAT44 env 5
947         - 118 # rls2009 NDRPDR iter NAT44 env 5
948         - 119 # rls2009 NDRPDR iter NAT44 env 5
949         - 121 # rls2009 NDRPDR iter NAT44 env 5
950
951     vpp-performance-changes-2n-clx-h1:
952       csit-vpp-perf-report-iterative-2005-2n-clx:
953         - 73  # NDRPDR sel 2001.0-4
954         - 74  # NDRPDR sel 2001.0-4
955         - 75  # NDRPDR sel 2001.0-4
956         - 76  # NDRPDR sel 2001.0-4
957         - 77  # NDRPDR sel 2001.0-4
958         - 78  # NDRPDR sel 2001.0-4
959         - 79  # NDRPDR sel 2001.0-4
960         - 80  # NDRPDR sel 2001.0-4
961     vpp-performance-changes-2n-clx-ref-env4:
962       csit-vpp-perf-report-iterative-2005-2n-clx:
963         - 62  # NDRPDR sel env 4
964         - 63  # NDRPDR sel env 4
965         - 64  # NDRPDR sel env 4
966         - 65  # NDRPDR sel env 4
967         - 66  # NDRPDR sel env 4
968         - 68  # NDRPDR sel env 4
969         - 69  # NDRPDR sel env 4
970         - 70  # NDRPDR sel env 4
971         - 103 # NDRPDR sel env 4
972         - 104 # NDRPDR sel env 4
973     vpp-performance-changes-2n-clx-ref-env5:
974       csit-vpp-perf-report-iterative-2009-2n-clx:
975         - 13  # rls2005 NDRPDR iter env 5
976         - 15  # rls2005 NDRPDR iter env 5
977         - 17  # rls2005 NDRPDR iter env 5
978         - 18  # rls2005 NDRPDR iter env 5
979         - 19  # rls2005 NDRPDR iter env 5
980         - 20  # rls2005 NDRPDR iter env 5
981         - 21  # rls2005 NDRPDR iter env 5
982         - 22  # rls2005 NDRPDR iter env 5
983         - 23  # rls2005 NDRPDR iter env 5
984         - 24  # rls2005 NDRPDR iter env 5
985     vpp-performance-changes-2n-clx-cmp:
986       csit-vpp-perf-report-iterative-2009-2n-clx:
987         - 36  # rls2009 NDRPDR iter env 5
988         - 39  # rls2009 NDRPDR iter env 5
989         - 40  # rls2009 NDRPDR iter env 5
990         - 65  # rls2009 NDRPDR iter env 5
991         - 66  # rls2009 NDRPDR iter env 5
992         - 79  # rls2009 NDRPDR iter env 5
993         - 82  # rls2009 NDRPDR iter env 5
994         - 88  # rls2009 NDRPDR iter env 5
995         - 89  # rls2009 NDRPDR iter env 5
996         - 90  # rls2009 NDRPDR iter env 5
997         - 114 # rls2009 NDRPDR iter NAT44 env 5
998         - 115 # rls2009 NDRPDR iter NAT44 env 5
999         - 116 # rls2009 NDRPDR iter NAT44 env 5
1000         - 117 # rls2009 NDRPDR iter NAT44 env 5
1001         - 118 # rls2009 NDRPDR iter NAT44 env 5
1002         - 119 # rls2009 NDRPDR iter NAT44 env 5
1003         - 121 # rls2009 NDRPDR iter NAT44 env 5
1004         - 122 # rls2009 NDRPDR iter NAT44 env 5
1005         - 123 # rls2009 NDRPDR iter NAT44 env 5
1006         - 126 # rls2009 NDRPDR iter NAT44 env 5
1007
1008     vpp-performance-changes-2n-dnv-h1:
1009       csit-vpp-perf-verify-2001-2n-dnv:
1010         - 4   # NDRPDR sel
1011         - 5   # NDRPDR sel
1012         - 6   # NDRPDR sel
1013         - 7   # NDRPDR sel
1014         - 8   # NDRPDR sel
1015         - 9   # NDRPDR sel
1016         - 10  # NDRPDR sel
1017         - 11  # NDRPDR sel
1018         - 13  # NDRPDR sel
1019         - 16  # NDRPDR sel
1020     vpp-performance-changes-2n-dnv-ref:
1021       csit-vpp-perf-report-iterative-2009-2n-dnv:
1022         - 16  # rls2005 NDRPDR iter env 5
1023         - 17  # rls2005 NDRPDR iter env 5
1024         - 18  # rls2005 NDRPDR iter env 5
1025         - 19  # rls2005 NDRPDR iter env 5
1026         - 21  # rls2005 NDRPDR iter env 5
1027         - 24  # rls2005 NDRPDR iter env 5
1028         - 27  # rls2005 NDRPDR iter env 5
1029         - 28  # rls2005 NDRPDR iter env 5
1030         - 29  # rls2005 NDRPDR iter env 5
1031         - 30  # rls2005 NDRPDR iter env 5
1032     vpp-performance-changes-2n-dnv-cmp:
1033       csit-vpp-perf-report-iterative-2009-2n-dnv:
1034         - 3   # rls2009 NDRPDR iter env 5
1035         - 5   # rls2009 NDRPDR iter env 5
1036         - 6   # rls2009 NDRPDR iter env 5
1037         - 7   # rls2009 NDRPDR iter env 5
1038         - 9   # rls2009 NDRPDR iter env 5
1039         - 10  # rls2009 NDRPDR iter env 5
1040         - 11  # rls2009 NDRPDR iter env 5
1041         - 12  # rls2009 NDRPDR iter env 5
1042         - 14  # rls2009 NDRPDR iter env 5
1043         - 15  # rls2009 NDRPDR iter env 5
1044
1045     vpp-performance-changes-3n-dnv-h1:
1046       csit-vpp-perf-verify-2001-3n-dnv:
1047         - 5   # NDRPDR sel
1048         - 6   # NDRPDR sel
1049         - 7   # NDRPDR sel
1050         - 8   # NDRPDR sel
1051         - 9   # NDRPDR sel
1052         - 10  # NDRPDR sel
1053         - 12  # NDRPDR sel
1054         - 16  # NDRPDR sel
1055         - 17  # NDRPDR sel
1056         - 18  # NDRPDR sel
1057     vpp-performance-changes-3n-dnv-ref:
1058       csit-vpp-perf-report-iterative-2009-3n-dnv:
1059         - 16  # rls2005 NDRPDR iter env 5
1060         - 23  # rls2005 NDRPDR iter env 5
1061         - 25  # rls2005 NDRPDR iter env 5
1062         - 26  # rls2005 NDRPDR iter env 5
1063         - 27  # rls2005 NDRPDR iter env 5
1064         - 28  # rls2005 NDRPDR iter env 5
1065         - 29  # rls2005 NDRPDR iter env 5
1066         - 30  # rls2005 NDRPDR iter env 5
1067         - 31  # rls2005 NDRPDR iter env 5
1068         - 32  # rls2005 NDRPDR iter env 5
1069     vpp-performance-changes-3n-dnv-cmp:
1070       csit-vpp-perf-report-iterative-2009-3n-dnv:
1071         - 3   # rls2009 NDRPDR iter env 5
1072         - 6   # rls2009 NDRPDR iter env 5
1073         - 7   # rls2009 NDRPDR iter env 5
1074         - 8   # rls2009 NDRPDR iter env 5
1075         - 10  # rls2009 NDRPDR iter env 5
1076         - 11  # rls2009 NDRPDR iter env 5
1077         - 12  # rls2009 NDRPDR iter env 5
1078         - 14  # rls2009 NDRPDR iter env 5
1079         - 15  # rls2009 NDRPDR iter env 5
1080         - 24  # rls2009 NDRPDR iter env 5
1081
1082     vpp-performance-changes-3n-tsh-h1:
1083       csit-vpp-perf-report-iterative-2005-3n-tsh:
1084         - 28  # NDRPDR sel 2001.0-4
1085         - 29  # NDRPDR sel 2001.0-4
1086         - 31  # NDRPDR sel 2001.0-4
1087     vpp-performance-changes-3n-tsh-ref-env4:
1088       csit-vpp-perf-report-iterative-2005-3n-tsh:
1089         - 23  # NDRPDR sel env 4
1090         - 25  # NDRPDR sel env 4
1091         - 33  # NDRPDR sel env 4
1092         - 34  # NDRPDR sel env 4
1093         - 35  # NDRPDR sel env 4
1094         - 36  # NDRPDR sel env 4
1095         - 37  # NDRPDR sel env 4
1096         - 38  # NDRPDR sel env 4
1097         - 39  # NDRPDR sel env 4
1098         - 40  # NDRPDR sel env 4
1099     vpp-performance-changes-3n-tsh-ref-env5:
1100       csit-vpp-perf-report-iterative-2009-3n-tsh:
1101         - 8   # rls2005 NDRPDR iter env 5
1102         - 11  # rls2005 NDRPDR iter env 5
1103         - 12  # rls2005 NDRPDR iter env 5
1104         - 24  # rls2005 NDRPDR iter env 5
1105         - 27  # rls2005 NDRPDR iter env 5
1106         - 29  # rls2005 NDRPDR iter env 5
1107         - 31  # rls2005 NDRPDR iter env 5
1108         - 39  # rls2005 NDRPDR iter env 5
1109         - 40  # rls2005 NDRPDR iter env 5
1110         - 42  # rls2005 NDRPDR iter env 5
1111     vpp-performance-changes-3n-tsh-cmp:
1112       csit-vpp-perf-report-iterative-2009-3n-tsh:
1113         - 14  # rls2009 NDRPDR iter env 5
1114         - 20  # rls2009 NDRPDR iter env 5
1115         - 21  # rls2009 NDRPDR iter env 5
1116         - 22  # rls2009 NDRPDR iter env 5
1117         - 23  # rls2009 NDRPDR iter env 5
1118         - 28  # rls2009 NDRPDR iter env 5
1119         - 30  # rls2009 NDRPDR iter env 5
1120         - 33  # rls2009 NDRPDR iter env 5
1121         - 38  # rls2009 NDRPDR iter env 5
1122         - 41  # rls2009 NDRPDR iter env 5
1123
1124     vpp-soak-vs-ndr-2n-skx-ref:
1125       csit-vpp-perf-report-iterative-2009-2n-skx:
1126         - 35  # rls2009 NDRPDR iter env 5
1127         - 36  # rls2009 NDRPDR iter env 5
1128         - 37  # rls2009 NDRPDR iter env 5
1129         - 39  # rls2009 NDRPDR iter env 5
1130         - 40  # rls2009 NDRPDR iter env 5
1131         - 42  # rls2009 NDRPDR iter env 5
1132         - 43  # rls2009 NDRPDR iter env 5
1133         - 44  # rls2009 NDRPDR iter env 5
1134         - 46  # rls2009 NDRPDR iter env 5
1135         - 48  # rls2009 NDRPDR iter env 5
1136     vpp-soak-vs-ndr-2n-skx-cmp:
1137       csit-vpp-perf-report-iterative-2009-2n-skx:
1138         - 33  # rls2009 soak env 5
1139         - 34  # rls2009 soak env 5
1140     vpp-soak-vs-ndr-2n-skx:
1141       csit-vpp-perf-report-iterative-2009-2n-skx:
1142         - 35  # rls2009 NDRPDR iter env 5
1143         - 36  # rls2009 NDRPDR iter env 5
1144         - 37  # rls2009 NDRPDR iter env 5
1145         - 39  # rls2009 NDRPDR iter env 5
1146         - 40  # rls2009 NDRPDR iter env 5
1147         - 42  # rls2009 NDRPDR iter env 5
1148         - 43  # rls2009 NDRPDR iter env 5
1149         - 44  # rls2009 NDRPDR iter env 5
1150         - 46  # rls2009 NDRPDR iter env 5
1151         - 48  # rls2009 NDRPDR iter env 5
1152         - 33  # rls2009 soak env 5
1153         - 34  # rls2009 soak env 5
1154
1155     vpp-soak-vs-ndr-2n-clx-ref:
1156       csit-vpp-perf-report-iterative-2009-2n-clx:
1157         - 36  # rls2009 NDRPDR iter env 5
1158         - 39  # rls2009 NDRPDR iter env 5
1159         - 40  # rls2009 NDRPDR iter env 5
1160         - 65  # rls2009 NDRPDR iter env 5
1161         - 66  # rls2009 NDRPDR iter env 5
1162         - 79  # rls2009 NDRPDR iter env 5
1163         - 82  # rls2009 NDRPDR iter env 5
1164         - 88  # rls2009 NDRPDR iter env 5
1165         - 89  # rls2009 NDRPDR iter env 5
1166         - 90  # rls2009 NDRPDR iter env 5
1167     vpp-soak-vs-ndr-2n-clx-cmp:
1168       csit-vpp-perf-report-iterative-2009-2n-clx:
1169         - 33  # rls2009 soak env 5
1170         - 34  # rls2009 soak env 5
1171     vpp-soak-vs-ndr-2n-clx:
1172       csit-vpp-perf-report-iterative-2009-2n-clx:
1173         - 36  # rls2009 NDRPDR iter env 5
1174         - 39  # rls2009 NDRPDR iter env 5
1175         - 40  # rls2009 NDRPDR iter env 5
1176         - 65  # rls2009 NDRPDR iter env 5
1177         - 66  # rls2009 NDRPDR iter env 5
1178         - 79  # rls2009 NDRPDR iter env 5
1179         - 82  # rls2009 NDRPDR iter env 5
1180         - 88  # rls2009 NDRPDR iter env 5
1181         - 89  # rls2009 NDRPDR iter env 5
1182         - 90  # rls2009 NDRPDR iter env 5
1183         - 33  # rls2009 soak env 5
1184         - 34  # rls2009 soak env 5
1185
1186     vpp-performance-changes-3n-hsw-mrr-h1:
1187       csit-vpp-perf-verify-2001-3n-hsw:
1188         - 17  # MRR sel
1189     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1190       csit-vpp-perf-report-iterative-2005-3n-hsw:
1191         - 30  # MRR env 4
1192     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1193       csit-vpp-perf-report-iterative-2009-3n-hsw:
1194         - 18  # rls2005 MRR iter env 5
1195     vpp-performance-changes-3n-hsw-mrr-cmp:
1196       csit-vpp-perf-report-iterative-2009-3n-hsw:
1197         - 23  # rls2009 MRR iter env 5
1198
1199     vpp-performance-changes-3n-skx-mrr-h1:
1200       csit-vpp-perf-verify-2001-3n-skx:
1201         - 50  # MRR sel
1202         - 53  # MRR sel addition
1203     vpp-performance-changes-3n-skx-mrr-ref-env4:
1204       csit-vpp-perf-report-iterative-2005-3n-skx:
1205         - 49  # MRR sel env 4
1206     vpp-performance-changes-3n-skx-mrr-ref-env5:
1207       csit-vpp-perf-report-iterative-2009-3n-skx:
1208         - 17  # rls2005 MRR iter env 5
1209     vpp-performance-changes-3n-skx-mrr-cmp:
1210       csit-vpp-perf-report-iterative-2009-3n-skx:
1211         - 24  # rls2009 MRR iter env 5
1212
1213     vpp-performance-changes-2n-skx-mrr-h1:
1214       csit-vpp-perf-verify-2001-2n-skx:
1215         - 101 # MRR sel
1216         - 128 # MRR sel addition
1217     vpp-performance-changes-2n-skx-mrr-ref-env4:
1218       csit-vpp-perf-report-iterative-2005-2n-skx:
1219         - 99  # MRR sel env 4
1220     vpp-performance-changes-2n-skx-mrr-ref-env5:
1221       csit-vpp-perf-report-iterative-2009-2n-skx:
1222         - 20  # rls2005 MRR iter env 5
1223     vpp-performance-changes-2n-skx-mrr-cmp:
1224       csit-vpp-perf-report-iterative-2009-2n-skx:
1225         - 120 # rls2009 MRR iter env 5
1226
1227     vpp-performance-changes-2n-clx-mrr-h1:
1228       csit-vpp-perf-verify-2001-2n-clx:
1229         - 39  # MRR
1230     vpp-performance-changes-2n-clx-mrr-ref-env4:
1231       csit-vpp-perf-report-iterative-2005-2n-clx:
1232         - 72   # MRR sel env 4
1233     vpp-performance-changes-2n-clx-mrr-ref-env5:
1234       csit-vpp-perf-report-iterative-2009-2n-clx:
1235         - 77  # rls2005 MRR iter env 5
1236     vpp-performance-changes-2n-clx-mrr-cmp:
1237       csit-vpp-perf-report-iterative-2009-2n-clx:
1238         - 125 # rls2009 MRR iter env 5
1239
1240     vpp-performance-changes-2n-dnv-mrr-h1:
1241       csit-vpp-perf-verify-2001-2n-dnv:
1242         - 12  # MRR sel
1243     vpp-performance-changes-2n-dnv-mrr-ref:
1244       csit-vpp-perf-report-iterative-2009-2n-dnv:
1245         - 23  # rls2005 MRR iter env 5
1246     vpp-performance-changes-2n-dnv-mrr-cmp:
1247       csit-vpp-perf-report-iterative-2009-2n-dnv:
1248         - 13  # rls2009 MRR iter env 5
1249
1250     vpp-performance-changes-3n-dnv-mrr-h1:
1251       csit-vpp-perf-verify-2001-3n-dnv:
1252         - 11  # MRR sel
1253     vpp-performance-changes-3n-dnv-mrr-ref:
1254       csit-vpp-perf-report-iterative-2009-3n-dnv:
1255         - 19  # rls2005 MRR iter env 5
1256     vpp-performance-changes-3n-dnv-mrr-cmp:
1257       csit-vpp-perf-report-iterative-2009-3n-dnv:
1258         - 22  # rls2009 MRR iter env 5
1259
1260     vpp-performance-changes-3n-tsh-mrr-h1:
1261       csit-vpp-perf-verify-2001-3n-tsh:
1262         - 9   # MRR sel
1263     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1264       csit-vpp-perf-report-iterative-2005-3n-tsh:
1265         - 27  # MRR sel env 4
1266     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1267       csit-vpp-perf-report-iterative-2009-3n-tsh:
1268         - 13  # rls2005 MRR iter env 5
1269     vpp-performance-changes-3n-tsh-mrr-cmp:
1270       csit-vpp-perf-report-iterative-2009-3n-tsh:
1271         - 15  # rls2009 MRR iter env 5
1272
1273     dpdk-performance-changes-3n-hsw-h1:
1274       csit-dpdk-perf-verify-2001-3n-hsw:
1275         - 4   # NDRPDR sel
1276         - 5   # NDRPDR sel
1277         - 6   # NDRPDR sel
1278         - 7   # NDRPDR sel
1279         - 8   # NDRPDR sel
1280         - 9   # NDRPDR sel
1281         - 10  # NDRPDR sel
1282         - 11  # NDRPDR sel
1283         - 12  # NDRPDR sel
1284         - 13  # NDRPDR sel
1285         - 15  # NDRPDR sel
1286         - 16  # NDRPDR sel
1287         - 17  # NDRPDR sel
1288         - 18  # NDRPDR sel
1289         - 19  # NDRPDR sel
1290         - 20  # NDRPDR sel
1291         - 21  # NDRPDR sel
1292         - 22  # NDRPDR sel
1293         - 23  # NDRPDR sel
1294         - 24  # NDRPDR sel
1295     dpdk-performance-changes-3n-hsw-ref:
1296       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1297         - 25  # NDRPDR iter
1298         - 26  # NDRPDR iter
1299         - 27  # NDRPDR iter
1300         - 28  # NDRPDR iter
1301         - 29  # NDRPDR iter
1302         - 30  # NDRPDR iter
1303         - 31  # NDRPDR iter
1304         - 32  # NDRPDR iter
1305         - 33  # NDRPDR iter
1306         - 34  # NDRPDR iter
1307     dpdk-performance-changes-3n-hsw-cmp:
1308       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1309         - 6   # NDRPDR iter env5
1310         - 7   # NDRPDR iter env5
1311         - 8   # NDRPDR iter env5
1312         - 9   # NDRPDR iter env5
1313         - 10  # NDRPDR iter env5
1314         - 11  # NDRPDR iter env5
1315         - 12  # NDRPDR iter env5
1316         - 13  # NDRPDR iter env5
1317         - 14  # NDRPDR iter env5
1318         - 15  # NDRPDR iter env5
1319
1320     dpdk-performance-changes-3n-skx-h1:
1321       csit-dpdk-perf-verify-2001-3n-skx:
1322         - 29  # NDRPDR sel xxv710
1323         - 33  # NDRPDR sel xxv710
1324         - 34  # NDRPDR sel xxv710
1325         - 35  # NDRPDR sel xxv710
1326         - 36  # NDRPDR sel xxv710
1327         - 37  # NDRPDR sel xxv710
1328         - 41  # NDRPDR sel xxv710
1329         - 42  # NDRPDR sel xxv710
1330         - 43  # NDRPDR sel xxv710
1331         - 45  # NDRPDR sel xxv710
1332         - 30  # NDRPDR sel x710
1333         - 31  # NDRPDR sel x710
1334         - 32  # NDRPDR sel x710
1335         - 38  # NDRPDR sel x710
1336         - 39  # NDRPDR sel x710
1337         - 40  # NDRPDR sel x710
1338         - 44  # NDRPDR sel x710
1339         - 46  # NDRPDR sel x710
1340         - 47  # NDRPDR sel x710
1341         - 48  # NDRPDR sel x710
1342     dpdk-performance-changes-3n-skx-ref:
1343       csit-dpdk-perf-report-iterative-2005-3n-skx:
1344         - 28  # NDRPDR iter
1345         - 29  # NDRPDR iter
1346         - 30  # NDRPDR iter
1347         - 31  # NDRPDR iter
1348         - 32  # NDRPDR iter
1349         - 33  # NDRPDR iter
1350         - 34  # NDRPDR iter
1351         - 35  # NDRPDR iter
1352         - 36  # NDRPDR iter
1353         - 37  # NDRPDR iter
1354     dpdk-performance-changes-3n-skx-cmp:
1355       csit-dpdk-perf-report-iterative-2009-3n-skx:
1356         - 4   # NDRPDR sel env5
1357         - 5   # NDRPDR sel env5
1358         - 6   # NDRPDR sel env5
1359         - 7   # NDRPDR sel env5
1360         - 8   # NDRPDR sel env5
1361         - 9   # NDRPDR sel env5
1362         - 14  # NDRPDR sel env5
1363         - 11  # NDRPDR sel env5
1364         - 12  # NDRPDR sel env5
1365         - 13  # NDRPDR sel env5
1366
1367     dpdk-performance-changes-2n-skx-h1:
1368       csit-dpdk-perf-verify-2001-2n-skx:
1369         - 35  # NDRPDR sel xxv710
1370         - 36  # NDRPDR sel xxv710
1371         - 37  # NDRPDR sel xxv710
1372         - 41  # NDRPDR sel xxv710
1373         - 42  # NDRPDR sel xxv710
1374         - 43  # NDRPDR sel xxv710
1375         - 46  # NDRPDR sel xxv710
1376         - 47  # NDRPDR sel xxv710
1377         - 52  # NDRPDR sel xxv710
1378         - 53  # NDRPDR sel xxv710
1379         - 38  # NDRPDR sel x710
1380         - 39  # NDRPDR sel x710
1381         - 40  # NDRPDR sel x710
1382         - 44  # NDRPDR sel x710
1383         - 45  # NDRPDR sel x710
1384         - 48  # NDRPDR sel x710
1385         - 49  # NDRPDR sel x710
1386         - 50  # NDRPDR sel x710
1387         - 51  # NDRPDR sel x710
1388         - 54  # NDRPDR sel x710
1389     dpdk-performance-changes-2n-skx-ref:
1390       csit-dpdk-perf-report-iterative-2005-2n-skx:
1391         - 20  # NDRPDR iter
1392         - 21  # NDRPDR iter
1393         - 22  # NDRPDR iter
1394         - 23  # NDRPDR iter
1395         - 24  # NDRPDR iter
1396         - 25  # NDRPDR iter
1397         - 26  # NDRPDR iter
1398         - 27  # NDRPDR iter
1399         - 28  # NDRPDR iter
1400         - 29  # NDRPDR iter
1401     dpdk-performance-changes-2n-skx-cmp:
1402       csit-dpdk-perf-report-iterative-2009-2n-skx:
1403         - 4   # NDRPDR iter env5
1404         - 5   # NDRPDR iter env5
1405         - 6   # NDRPDR iter env5
1406         - 7   # NDRPDR iter env5
1407         - 8   # NDRPDR iter env5
1408         - 9   # NDRPDR iter env5
1409         - 10  # NDRPDR iter env5
1410         - 11  # NDRPDR iter env5
1411         - 12  # NDRPDR iter env5
1412         - 13  # NDRPDR iter env5
1413
1414     dpdk-performance-changes-2n-clx-h1:
1415       csit-dpdk-perf-verify-2001-2n-clx:
1416         - 15  # NDRPDR sel
1417         - 16  # NDRPDR sel
1418         - 17  # NDRPDR sel
1419         - 18  # NDRPDR sel
1420         - 19  # NDRPDR sel
1421         - 20  # NDRPDR sel
1422         - 21  # NDRPDR sel
1423         - 22  # NDRPDR sel
1424         - 23  # NDRPDR sel
1425         - 24  # NDRPDR sel
1426         - 25  # NDRPDR sel
1427         - 26  # NDRPDR sel
1428         - 27  # NDRPDR sel
1429         - 28  # NDRPDR sel
1430         - 29  # NDRPDR sel
1431         - 30  # NDRPDR sel
1432         - 31  # NDRPDR sel
1433         - 32  # NDRPDR sel
1434         - 33  # NDRPDR sel
1435         - 34  # NDRPDR sel
1436     dpdk-performance-changes-2n-clx-ref:
1437       csit-dpdk-perf-report-iterative-2005-2n-clx:
1438         - 20  # NDRPDR iter
1439         - 21  # NDRPDR iter
1440         - 22  # NDRPDR iter
1441         - 23  # NDRPDR iter
1442         - 24  # NDRPDR iter
1443         - 25  # NDRPDR iter
1444         - 26  # NDRPDR iter
1445         - 27  # NDRPDR iter
1446         - 28  # NDRPDR iter
1447         - 29  # NDRPDR iter
1448     dpdk-performance-changes-2n-clx-cmp:
1449       csit-dpdk-perf-report-iterative-2009-2n-clx:
1450         - 4   # NDRPDR iter env5
1451         - 5   # NDRPDR iter env5
1452         - 6   # NDRPDR iter env5
1453         - 7   # NDRPDR iter env5
1454         - 8   # NDRPDR iter env5
1455         - 9   # NDRPDR iter env5
1456         - 10  # NDRPDR iter env5
1457         - 11  # NDRPDR iter env5
1458         - 12  # NDRPDR iter env5
1459         - 13  # NDRPDR iter env5
1460
1461 #    dpdk-performance-changes-2n-dnv-h1:
1462 #      csit-dpdk-perf-verify-2001-2n-dnv:
1463 #        - 9   # NDRPDR sel
1464 #        - 10  # NDRPDR sel
1465 #        - 11  # NDRPDR sel
1466 #        - 12  # NDRPDR sel
1467 #        - 13  # NDRPDR sel
1468 #        - 14  # NDRPDR sel
1469 #        - 15  # NDRPDR sel
1470 #        - 16  # NDRPDR sel
1471 #        - 17  # NDRPDR sel
1472 #        - 18  # NDRPDR sel
1473 #    dpdk-performance-changes-2n-dnv-ref:
1474 #      # No data
1475 #    dpdk-performance-changes-2n-dnv-cmp:
1476 #      # No data
1477 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1478
1479 #    dpdk-performance-changes-3n-dnv-h1:
1480 #      csit-dpdk-perf-verify-2001-3n-dnv:
1481 #        - 12  # NDRPDR sel
1482 #        - 13  # NDRPDR sel
1483 #        - 14  # NDRPDR sel
1484 #        - 15  # NDRPDR sel
1485 #        - 16  # NDRPDR sel
1486 #        - 17  # NDRPDR sel
1487 #        - 18  # NDRPDR sel
1488 #        - 19  # NDRPDR sel
1489 #        - 20  # NDRPDR sel
1490 #        - 22  # NDRPDR sel
1491 #    dpdk-performance-changes-3n-dnv-ref:
1492 #      # No data
1493 #    dpdk-performance-changes-3n-dnv-cmp:
1494 #      # No data
1495 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1496
1497     dpdk-performance-changes-3n-tsh-h1:
1498       csit-dpdk-perf-verify-2001-3n-tsh:
1499         - 3   # NDRPDR sel
1500         - 4   # NDRPDR sel
1501         - 5   # NDRPDR sel
1502         - 9   # NDRPDR sel
1503         - 10  # NDRPDR sel
1504         - 11  # NDRPDR sel
1505         - 12  # NDRPDR sel
1506         - 14  # NDRPDR sel
1507         - 15  # NDRPDR sel
1508         - 18  # NDRPDR sel
1509     dpdk-performance-changes-3n-tsh-ref:
1510       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1511         - 5   # NDRPDR sel
1512     dpdk-performance-changes-3n-tsh-cmp:
1513       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1514         - 1   # NDRPDR iter env5
1515         - 2   # NDRPDR iter env5
1516         - 3   # NDRPDR iter env5
1517         - 4   # NDRPDR iter env5
1518         - 5   # NDRPDR iter env5
1519         - 6   # NDRPDR iter env5
1520         - 7   # NDRPDR iter env5
1521         - 9   # NDRPDR iter env5
1522         - 10  # NDRPDR iter env5
1523         - 11  # NDRPDR iter env5
1524
1525     # Compare testbeds
1526
1527     vpp-compare-testbeds-ref:
1528       csit-vpp-perf-report-iterative-2009-3n-hsw:
1529         - 21  # rls2009 NDRPDR iter env 5
1530         - 22  # rls2009 NDRPDR iter env 5
1531         - 24  # rls2009 NDRPDR iter env 5
1532         - 25  # rls2009 NDRPDR iter env 5
1533         - 26  # rls2009 NDRPDR iter env 5
1534         - 27  # rls2009 NDRPDR iter env 5
1535         - 28  # rls2009 NDRPDR iter env 5
1536         - 29  # rls2009 NDRPDR iter env 5
1537         - 30  # rls2009 NDRPDR iter env 5
1538         - 31  # rls2009 NDRPDR iter env 5
1539     vpp-compare-testbeds-cmp:
1540       csit-vpp-perf-report-iterative-2009-3n-skx:
1541         - 26  # rls2009 NDRPDR iter env 5
1542         - 27  # rls2009 NDRPDR iter env 5
1543         - 28  # rls2009 NDRPDR iter env 5
1544         - 29  # rls2009 NDRPDR iter env 5
1545         - 35  # rls2009 NDRPDR iter env 5
1546         - 36  # rls2009 NDRPDR iter env 5
1547         - 37  # rls2009 NDRPDR iter env 5
1548         - 38  # rls2009 NDRPDR iter env 5
1549         - 39  # rls2009 NDRPDR iter env 5
1550         - 40  # rls2009 NDRPDR iter env 5
1551
1552     vpp-compare-testbeds-skx-clx-ref:
1553       csit-vpp-perf-report-iterative-2009-2n-skx:
1554         - 35  # rls2009 NDRPDR iter env 5
1555         - 36  # rls2009 NDRPDR iter env 5
1556         - 37  # rls2009 NDRPDR iter env 5
1557         - 39  # rls2009 NDRPDR iter env 5
1558         - 40  # rls2009 NDRPDR iter env 5
1559         - 42  # rls2009 NDRPDR iter env 5
1560         - 43  # rls2009 NDRPDR iter env 5
1561         - 44  # rls2009 NDRPDR iter env 5
1562         - 46  # rls2009 NDRPDR iter env 5
1563         - 48  # rls2009 NDRPDR iter env 5
1564         - 110 # rls2009 NDRPDR iter NAT44 env 5
1565         - 111 # rls2009 NDRPDR iter NAT44 env 5
1566         - 112 # rls2009 NDRPDR iter NAT44 env 5
1567         - 113 # rls2009 NDRPDR iter NAT44 env 5
1568         - 114 # rls2009 NDRPDR iter NAT44 env 5
1569         - 115 # rls2009 NDRPDR iter NAT44 env 5
1570         - 116 # rls2009 NDRPDR iter NAT44 env 5
1571         - 118 # rls2009 NDRPDR iter NAT44 env 5
1572         - 119 # rls2009 NDRPDR iter NAT44 env 5
1573         - 121 # rls2009 NDRPDR iter NAT44 env 5
1574     vpp-compare-testbeds-skx-clx-cmp:
1575       csit-vpp-perf-report-iterative-2009-2n-clx:
1576         - 36  # rls2009 NDRPDR iter env 5
1577         - 39  # rls2009 NDRPDR iter env 5
1578         - 40  # rls2009 NDRPDR iter env 5
1579         - 65  # rls2009 NDRPDR iter env 5
1580         - 66  # rls2009 NDRPDR iter env 5
1581         - 79  # rls2009 NDRPDR iter env 5
1582         - 82  # rls2009 NDRPDR iter env 5
1583         - 88  # rls2009 NDRPDR iter env 5
1584         - 89  # rls2009 NDRPDR iter env 5
1585         - 90  # rls2009 NDRPDR iter env 5
1586         - 114 # rls2009 NDRPDR iter NAT44 env 5
1587         - 115 # rls2009 NDRPDR iter NAT44 env 5
1588         - 116 # rls2009 NDRPDR iter NAT44 env 5
1589         - 117 # rls2009 NDRPDR iter NAT44 env 5
1590         - 118 # rls2009 NDRPDR iter NAT44 env 5
1591         - 119 # rls2009 NDRPDR iter NAT44 env 5
1592         - 121 # rls2009 NDRPDR iter NAT44 env 5
1593         - 122 # rls2009 NDRPDR iter NAT44 env 5
1594         - 123 # rls2009 NDRPDR iter NAT44 env 5
1595         - 126 # rls2009 NDRPDR iter NAT44 env 5
1596
1597     vpp-compare-testbeds-hsw-clx-ref:
1598       csit-vpp-perf-report-iterative-2009-3n-hsw:
1599         - 21  # rls2009 NDRPDR iter env 5
1600         - 22  # rls2009 NDRPDR iter env 5
1601         - 24  # rls2009 NDRPDR iter env 5
1602         - 25  # rls2009 NDRPDR iter env 5
1603         - 26  # rls2009 NDRPDR iter env 5
1604         - 27  # rls2009 NDRPDR iter env 5
1605         - 28  # rls2009 NDRPDR iter env 5
1606         - 29  # rls2009 NDRPDR iter env 5
1607         - 30  # rls2009 NDRPDR iter env 5
1608         - 31  # rls2009 NDRPDR iter env 5
1609     vpp-compare-testbeds-hsw-clx-cmp:
1610       csit-vpp-perf-report-iterative-2009-2n-clx:
1611         - 36  # rls2009 NDRPDR iter env 5
1612         - 39  # rls2009 NDRPDR iter env 5
1613         - 40  # rls2009 NDRPDR iter env 5
1614         - 65  # rls2009 NDRPDR iter env 5
1615         - 66  # rls2009 NDRPDR iter env 5
1616         - 79  # rls2009 NDRPDR iter env 5
1617         - 82  # rls2009 NDRPDR iter env 5
1618         - 88  # rls2009 NDRPDR iter env 5
1619         - 89  # rls2009 NDRPDR iter env 5
1620         - 90  # rls2009 NDRPDR iter env 5
1621
1622     vpp-compare-testbeds-mrr-ref:
1623       csit-vpp-perf-report-iterative-2009-3n-hsw:
1624         - 23  # rls2009 MRR iter env 5
1625     vpp-compare-testbeds-mrr-cmp:
1626       csit-vpp-perf-report-iterative-2009-3n-skx:
1627         - 24  # rls2009 MRR iter env 5
1628
1629     vpp-compare-testbeds-mrr-skx-clx-ref:
1630       csit-vpp-perf-report-iterative-2009-2n-skx:
1631         - 120 # rls2009 MRR iter env 5
1632     vpp-compare-testbeds-mrr-skx-clx-cmp:
1633       csit-vpp-perf-report-iterative-2009-2n-clx:
1634         - 125 # rls2009 MRR iter env 5
1635
1636     vpp-compare-testbeds-mrr-hsw-clx-ref:
1637       csit-vpp-perf-report-iterative-2009-3n-hsw:
1638         - 23  # rls2009 MRR iter env 5
1639     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1640       csit-vpp-perf-report-iterative-2009-2n-clx:
1641         - 125 # rls2009 MRR iter env 5
1642
1643     dpdk-compare-testbeds-ref:
1644       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1645         - 6   # NDRPDR iter env5
1646         - 7   # NDRPDR iter env5
1647         - 8   # NDRPDR iter env5
1648         - 9   # NDRPDR iter env5
1649         - 10  # NDRPDR iter env5
1650         - 11  # NDRPDR iter env5
1651         - 12  # NDRPDR iter env5
1652         - 13  # NDRPDR iter env5
1653         - 14  # NDRPDR iter env5
1654         - 15  # NDRPDR iter env5
1655     dpdk-compare-testbeds-cmp:
1656       csit-dpdk-perf-report-iterative-2009-3n-skx:
1657         - 4   # NDRPDR sel env5
1658         - 5   # NDRPDR sel env5
1659         - 6   # NDRPDR sel env5
1660         - 7   # NDRPDR sel env5
1661         - 8   # NDRPDR sel env5
1662         - 9   # NDRPDR sel env5
1663         - 14  # NDRPDR sel env5
1664         - 11  # NDRPDR sel env5
1665         - 12  # NDRPDR sel env5
1666         - 13  # NDRPDR sel env5
1667
1668     dpdk-compare-testbeds-skx-clx-ref:
1669       csit-dpdk-perf-report-iterative-2009-2n-skx:
1670         - 4   # NDRPDR iter env5
1671         - 5   # NDRPDR iter env5
1672         - 6   # NDRPDR iter env5
1673         - 7   # NDRPDR iter env5
1674         - 8   # NDRPDR iter env5
1675         - 9   # NDRPDR iter env5
1676         - 10  # NDRPDR iter env5
1677         - 11  # NDRPDR iter env5
1678         - 12  # NDRPDR iter env5
1679         - 13  # NDRPDR iter env5
1680     dpdk-compare-testbeds-skx-clx-cmp:
1681       csit-dpdk-perf-report-iterative-2009-2n-clx:
1682         - 4   # NDRPDR iter env5
1683         - 5   # NDRPDR iter env5
1684         - 6   # NDRPDR iter env5
1685         - 7   # NDRPDR iter env5
1686         - 8   # NDRPDR iter env5
1687         - 9   # NDRPDR iter env5
1688         - 10  # NDRPDR iter env5
1689         - 11  # NDRPDR iter env5
1690         - 12  # NDRPDR iter env5
1691         - 13  # NDRPDR iter env5
1692
1693     # Compare topologies
1694
1695     vpp-compare-topologies-ref:
1696       csit-vpp-perf-report-iterative-2009-3n-skx:
1697         - 26  # rls2009 NDRPDR iter env 5
1698         - 27  # rls2009 NDRPDR iter env 5
1699         - 28  # rls2009 NDRPDR iter env 5
1700         - 29  # rls2009 NDRPDR iter env 5
1701         - 35  # rls2009 NDRPDR iter env 5
1702         - 36  # rls2009 NDRPDR iter env 5
1703         - 37  # rls2009 NDRPDR iter env 5
1704         - 38  # rls2009 NDRPDR iter env 5
1705         - 39  # rls2009 NDRPDR iter env 5
1706         - 40  # rls2009 NDRPDR iter env 5
1707     vpp-compare-topologies-cmp:
1708       csit-vpp-perf-report-iterative-2009-2n-skx:
1709         - 35  # rls2009 NDRPDR iter env 5
1710         - 36  # rls2009 NDRPDR iter env 5
1711         - 37  # rls2009 NDRPDR iter env 5
1712         - 39  # rls2009 NDRPDR iter env 5
1713         - 40  # rls2009 NDRPDR iter env 5
1714         - 42  # rls2009 NDRPDR iter env 5
1715         - 43  # rls2009 NDRPDR iter env 5
1716         - 44  # rls2009 NDRPDR iter env 5
1717         - 46  # rls2009 NDRPDR iter env 5
1718         - 48  # rls2009 NDRPDR iter env 5
1719
1720     vpp-compare-topologies-mrr-ref:
1721       csit-vpp-perf-report-iterative-2009-3n-skx:
1722         - 24  # rls2009 MRR iter env 5
1723     vpp-compare-topologies-mrr-cmp:
1724       csit-vpp-perf-report-iterative-2009-2n-skx:
1725         - 120 # rls2009 MRR iter env 5
1726
1727     dpdk-compare-topologies-ref:
1728       csit-dpdk-perf-report-iterative-2009-3n-skx:
1729         - 4   # NDRPDR sel env5
1730         - 5   # NDRPDR sel env5
1731         - 6   # NDRPDR sel env5
1732         - 7   # NDRPDR sel env5
1733         - 8   # NDRPDR sel env5
1734         - 9   # NDRPDR sel env5
1735         - 14  # NDRPDR sel env5
1736         - 11  # NDRPDR sel env5
1737         - 12  # NDRPDR sel env5
1738         - 13  # NDRPDR sel env5
1739     dpdk-compare-topologies-cmp:
1740       csit-dpdk-perf-report-iterative-2009-2n-skx:
1741         - 4   # NDRPDR iter env5
1742         - 5   # NDRPDR iter env5
1743         - 6   # NDRPDR iter env5
1744         - 7   # NDRPDR iter env5
1745         - 8   # NDRPDR iter env5
1746         - 9   # NDRPDR iter env5
1747         - 10  # NDRPDR iter env5
1748         - 11  # NDRPDR iter env5
1749         - 12  # NDRPDR iter env5
1750         - 13  # NDRPDR iter env5
1751
1752   plot-layouts:
1753
1754     plot-soak-throughput:
1755       titlefont:
1756         size: 16
1757       xaxis:
1758         title: "<b>Test Cases [Index]</b>"
1759         titlefont:
1760           size: 14
1761         autorange: True
1762         fixedrange: False
1763         gridcolor: "rgb(230, 230, 230)"
1764         linecolor: "rgb(220, 220, 220)"
1765         linewidth: 1
1766         showgrid: True
1767         showline: True
1768         showticklabels: True
1769         tickcolor: "rgb(220, 220, 220)"
1770         tickmode: "linear"
1771         tickfont:
1772           size: 14
1773         zeroline: False
1774       yaxis:
1775         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1776         titlefont:
1777           size: 14
1778         gridcolor: "rgb(230, 230, 230)"
1779         hoverformat: ".4r"
1780         tickformat: ".3r"
1781         linecolor: "rgb(220, 220, 220)"
1782         linewidth: 1
1783         showgrid: True
1784         showline: True
1785         showticklabels: True
1786         tickcolor: "rgb(220, 220, 220)"
1787         tickfont:
1788           size: 14
1789         zeroline: False
1790         range: [0,50]
1791       autosize: False
1792       margin:
1793         t: 50
1794         b: 0
1795         l: 80
1796         r: 20
1797       showlegend: True
1798       legend:
1799         orientation: "h"
1800         font:
1801           size: 14
1802       width: 700
1803       height: 900
1804       paper_bgcolor: "#fff"
1805       plot_bgcolor: "#fff"
1806       hoverlabel:
1807         namelength: -1
1808
1809     plot-service-density:
1810       titlefont:
1811         size: 16
1812       xaxis:
1813         side: "top"
1814         autorange: True
1815         fixedrange: False
1816         showgrid: False
1817         showline: False
1818         showticklabels: False
1819         ticks: ""
1820         ticklen: 0
1821         tickwidth: 0
1822         zeroline: False
1823       yaxis:
1824         autorange: "reversed"
1825         showgrid: False
1826         showline: False
1827         showticklabels: False
1828         ticks: ""
1829         ticklen: 0
1830         tickwidth: 0
1831         zeroline: False
1832       showlegend: False
1833       paper_bgcolor: "#fff"
1834       plot_bgcolor: "#fff"
1835       width: 700
1836       height: 700
1837       hoverlabel:
1838         namelength: -1
1839
1840     plot-hoststack:
1841       titlefont:
1842         size: 16
1843       xaxis:
1844         title: "<b>Test Cases [Index]</b>"
1845         titlefont:
1846           size: 14
1847         autorange: True
1848         fixedrange: False
1849         gridcolor: "rgb(230, 230, 230)"
1850         linecolor: "rgb(220, 220, 220)"
1851         linewidth: 1
1852         showgrid: True
1853         showline: True
1854         showticklabels: True
1855         tickcolor: "rgb(220, 220, 220)"
1856         tickmode: "linear"
1857         tickfont:
1858           size: 14
1859         zeroline: False
1860       yaxis:
1861         title: "<b>Bandwidth [Gbps]</b>"
1862         titlefont:
1863           size: 14
1864         gridcolor: "rgb(230, 230, 230)"
1865         hoverformat: ".4s"
1866         linecolor: "rgb(220, 220, 220)"
1867         linewidth: 1
1868         rangemode: "tozero"
1869         showgrid: True
1870         showline: True
1871         showticklabels: True
1872         tickcolor: "rgb(230, 230, 230)"
1873         tickformat: ".3s"
1874         tickfont:
1875           size: 14
1876         zeroline: False
1877       autosize: False
1878       margin:
1879         t: 50
1880         b: 20
1881         l: 80
1882         r: 20
1883       showlegend: True
1884       legend:
1885         orientation: "h"
1886         font:
1887           size: 14
1888       width: 700
1889       height: 800
1890       paper_bgcolor: "#fff"
1891       plot_bgcolor: "#fff"
1892       hoverlabel:
1893         namelength: -1
1894
1895     plot-throughput:
1896       titlefont:
1897         size: 16
1898       xaxis:
1899         title: "<b>Test Cases [Index]</b>"
1900         titlefont:
1901           size: 14
1902         autorange: True
1903         fixedrange: False
1904         gridcolor: "rgb(230, 230, 230)"
1905         linecolor: "rgb(220, 220, 220)"
1906         linewidth: 1
1907         showgrid: True
1908         showline: True
1909         showticklabels: True
1910         tickcolor: "rgb(220, 220, 220)"
1911         tickmode: "linear"
1912         tickfont:
1913           size: 14
1914         zeroline: False
1915       yaxis:
1916         title: "<b>Packet Throughput [Mpps]</b>"
1917         titlefont:
1918           size: 14
1919         gridcolor: "rgb(230, 230, 230)"
1920         hoverformat: ".4r"
1921         tickformat: ".3r"
1922         linecolor: "rgb(220, 220, 220)"
1923         linewidth: 1
1924         showgrid: True
1925         showline: True
1926         showticklabels: True
1927         tickcolor: "rgb(220, 220, 220)"
1928         tickfont:
1929           size: 14
1930         zeroline: False
1931         range: [0,50]
1932       autosize: False
1933       margin:
1934         t: 50
1935         b: 0
1936         l: 80
1937         r: 20
1938       showlegend: True
1939       legend:
1940         orientation: "h"
1941         font:
1942           size: 14
1943       width: 700
1944       height: 900
1945       paper_bgcolor: "#fff"
1946       plot_bgcolor: "#fff"
1947       hoverlabel:
1948         namelength: -1
1949
1950     plot-throughput-gbps:
1951       titlefont:
1952         size: 16
1953       xaxis:
1954         title: "<b>Test Cases [Index]</b>"
1955         titlefont:
1956           size: 14
1957         autorange: True
1958         fixedrange: False
1959         gridcolor: "rgb(230, 230, 230)"
1960         linecolor: "rgb(220, 220, 220)"
1961         linewidth: 1
1962         showgrid: True
1963         showline: True
1964         showticklabels: True
1965         tickcolor: "rgb(220, 220, 220)"
1966         tickmode: "linear"
1967         tickfont:
1968           size: 14
1969         zeroline: False
1970       yaxis:
1971         title: "<b>Packet Throughput [Gbps]</b>"
1972         titlefont:
1973           size: 14
1974         gridcolor: "rgb(230, 230, 230)"
1975         hoverformat: ".4r"
1976         tickformat: ".3r"
1977         linecolor: "rgb(220, 220, 220)"
1978         linewidth: 1
1979         showgrid: True
1980         showline: True
1981         showticklabels: True
1982         tickcolor: "rgb(220, 220, 220)"
1983         tickfont:
1984           size: 14
1985         zeroline: False
1986         range: [0,10]
1987       autosize: False
1988       margin:
1989         t: 50
1990         b: 0
1991         l: 80
1992         r: 20
1993       showlegend: True
1994       legend:
1995         orientation: "h"
1996         font:
1997           size: 14
1998       width: 700
1999       height: 900
2000       paper_bgcolor: "#fff"
2001       plot_bgcolor: "#fff"
2002       hoverlabel:
2003         namelength: -1
2004
2005     plot-cps:
2006       titlefont:
2007         size: 16
2008       xaxis:
2009         title: "<b>Test Cases [Index]</b>"
2010         titlefont:
2011           size: 14
2012         autorange: True
2013         fixedrange: False
2014         gridcolor: "rgb(230, 230, 230)"
2015         linecolor: "rgb(220, 220, 220)"
2016         linewidth: 1
2017         showgrid: True
2018         showline: True
2019         showticklabels: True
2020         tickcolor: "rgb(220, 220, 220)"
2021         tickmode: "linear"
2022         tickfont:
2023           size: 14
2024         zeroline: False
2025       yaxis:
2026         title: "<b>Connection Rate [Mcps]</b>"
2027         titlefont:
2028           size: 14
2029         gridcolor: "rgb(230, 230, 230)"
2030         hoverformat: ".4r"
2031         tickformat: ".3s"
2032         linecolor: "rgb(220, 220, 220)"
2033         linewidth: 1
2034         showgrid: True
2035         showline: True
2036         showticklabels: True
2037         tickcolor: "rgb(220, 220, 220)"
2038         tickfont:
2039           size: 14
2040         zeroline: False
2041         range: [0,10]
2042       autosize: False
2043       margin:
2044         t: 50
2045         b: 0
2046         l: 80
2047         r: 20
2048       showlegend: True
2049       legend:
2050         orientation: "h"
2051         font:
2052           size: 14
2053       width: 700
2054       height: 900
2055       paper_bgcolor: "#fff"
2056       plot_bgcolor: "#fff"
2057       hoverlabel:
2058         namelength: -1
2059
2060     plot-throughput-speedup-analysis:
2061       titlefont:
2062         size: 16
2063       xaxis:
2064         title: "<b>Number of Cores [Qty]</b>"
2065         titlefont:
2066           size: 14
2067         autorange: True
2068         fixedrange: False
2069         gridcolor: "rgb(230, 230, 230)"
2070         linecolor: "rgb(220, 220, 220)"
2071         linewidth: 1
2072         showgrid: True
2073         showline: True
2074         showticklabels: True
2075         tickcolor: "rgb(238, 238, 238)"
2076         tickmode: "linear"
2077         tickfont:
2078           size: 14
2079         zeroline: False
2080       yaxis:
2081         title: "<b>Packet Throughput [Mpps]</b>"
2082         titlefont:
2083           size: 14
2084         type: "linear"
2085         gridcolor: "rgb(230, 230, 230)"
2086         hoverformat: ".4s"
2087         linecolor: "rgb(220, 220, 220)"
2088         linewidth: 1
2089         showgrid: True
2090         showline: True
2091         showticklabels: True
2092         tickcolor: "rgb(220, 220, 220)"
2093         tickformat: ".4s"
2094         tickfont:
2095           size: 14
2096         zeroline: True
2097         rangemode: "tozero"
2098         range: [0,100]
2099       legend:
2100         orientation: "h"
2101         font:
2102           size: 14
2103         xanchor: "left"
2104         yanchor: "top"
2105         x: 0
2106         y: -0.2
2107         bgcolor: "rgba(255, 255, 255, 0)"
2108         bordercolor: "rgba(255, 255, 255, 0)"
2109         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2110       autosize: False
2111       margin:
2112           't': 50
2113           'b': 150
2114           'l': 85
2115           'r': 10
2116       showlegend: True
2117       width: 700
2118       height: 700
2119       paper_bgcolor: "#fff"
2120       plot_bgcolor: "#fff"
2121       hoverlabel:
2122         namelength: -1
2123       annotations: [
2124         {
2125           text: "_ _          __          ...",
2126           align: "left",
2127           showarrow: False,
2128           xref: "paper",
2129           yref: "paper",
2130           xanchor: "left",
2131           yanchor: "top",
2132           x: 0,
2133           y: -0.14,
2134           font: {
2135             family: "Consolas, Courier New",
2136             size: 13
2137           },
2138         },
2139         {
2140           text: "    Perfect     Measured     Limit",
2141           align: "left",
2142           showarrow: False,
2143           xref: "paper",
2144           yref: "paper",
2145           xanchor: "left",
2146           yanchor: "top",
2147           x: 0,
2148           y: -0.15,
2149           font: {
2150             family: "Consolas, Courier New",
2151             size: 13
2152           },
2153         },
2154       ]
2155
2156     plot-throughput-speedup-analysis-gbps:
2157       titlefont:
2158         size: 16
2159       xaxis:
2160         title: "<b>Number of Cores [Qty]</b>"
2161         titlefont:
2162           size: 14
2163         autorange: True
2164         fixedrange: False
2165         gridcolor: "rgb(230, 230, 230)"
2166         linecolor: "rgb(220, 220, 220)"
2167         linewidth: 1
2168         showgrid: True
2169         showline: True
2170         showticklabels: True
2171         tickcolor: "rgb(238, 238, 238)"
2172         tickmode: "linear"
2173         tickfont:
2174           size: 14
2175         zeroline: False
2176       yaxis:
2177         title: "<b>Packet Throughput [Gbps]</b>"
2178         titlefont:
2179           size: 14
2180         type: "linear"
2181         gridcolor: "rgb(230, 230, 230)"
2182         hoverformat: ".4s"
2183         linecolor: "rgb(220, 220, 220)"
2184         linewidth: 1
2185         showgrid: True
2186         showline: True
2187         showticklabels: True
2188         tickcolor: "rgb(220, 220, 220)"
2189         tickformat: ".4s"
2190         tickfont:
2191           size: 14
2192         zeroline: True
2193         rangemode: "tozero"
2194         range: [0,100]
2195       legend:
2196         orientation: "h"
2197         font:
2198           size: 14
2199         xanchor: "left"
2200         yanchor: "top"
2201         x: 0
2202         y: -0.2
2203         bgcolor: "rgba(255, 255, 255, 0)"
2204         bordercolor: "rgba(255, 255, 255, 0)"
2205         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2206       autosize: False
2207       margin:
2208           't': 50
2209           'b': 150
2210           'l': 85
2211           'r': 10
2212       showlegend: True
2213       width: 700
2214       height: 700
2215       paper_bgcolor: "#fff"
2216       plot_bgcolor: "#fff"
2217       hoverlabel:
2218         namelength: -1
2219       annotations: [
2220         {
2221           text: "_ _          __",
2222           align: "left",
2223           showarrow: False,
2224           xref: "paper",
2225           yref: "paper",
2226           xanchor: "left",
2227           yanchor: "top",
2228           x: 0,
2229           y: -0.13,
2230           font: {
2231             family: "Consolas, Courier New",
2232             size: 13
2233           },
2234         },
2235         {
2236           text: "    Perfect     Measured",
2237           align: "left",
2238           showarrow: False,
2239           xref: "paper",
2240           yref: "paper",
2241           xanchor: "left",
2242           yanchor: "top",
2243           x: 0,
2244           y: -0.15,
2245           font: {
2246             family: "Consolas, Courier New",
2247             size: 13
2248           },
2249         },
2250       ]
2251
2252     plot-throughput-speedup-analysis-cps:
2253       titlefont:
2254         size: 16
2255       xaxis:
2256         title: "<b>Number of Cores [Qty]</b>"
2257         titlefont:
2258           size: 14
2259         autorange: True
2260         fixedrange: False
2261         gridcolor: "rgb(230, 230, 230)"
2262         linecolor: "rgb(220, 220, 220)"
2263         linewidth: 1
2264         showgrid: True
2265         showline: True
2266         showticklabels: True
2267         tickcolor: "rgb(238, 238, 238)"
2268         tickmode: "linear"
2269         tickfont:
2270           size: 14
2271         zeroline: False
2272       yaxis:
2273         title: "<b>Connection Rate [Mcps]</b>"
2274         titlefont:
2275           size: 14
2276         type: "linear"
2277         gridcolor: "rgb(230, 230, 230)"
2278         hoverformat: ".4s"
2279         linecolor: "rgb(220, 220, 220)"
2280         linewidth: 1
2281         showgrid: True
2282         showline: True
2283         showticklabels: True
2284         tickcolor: "rgb(220, 220, 220)"
2285         tickformat: ".4s"
2286         tickfont:
2287           size: 14
2288         zeroline: True
2289         rangemode: "tozero"
2290         range: [0,100]
2291       legend:
2292         orientation: "h"
2293         font:
2294           size: 14
2295         xanchor: "left"
2296         yanchor: "top"
2297         x: 0
2298         y: -0.2
2299         bgcolor: "rgba(255, 255, 255, 0)"
2300         bordercolor: "rgba(255, 255, 255, 0)"
2301         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2302       autosize: False
2303       margin:
2304           't': 50
2305           'b': 150
2306           'l': 85
2307           'r': 10
2308       showlegend: True
2309       width: 700
2310       height: 700
2311       paper_bgcolor: "#fff"
2312       plot_bgcolor: "#fff"
2313       hoverlabel:
2314         namelength: -1
2315       annotations: [
2316         {
2317           text: "_ _          __",
2318           align: "left",
2319           showarrow: False,
2320           xref: "paper",
2321           yref: "paper",
2322           xanchor: "left",
2323           yanchor: "top",
2324           x: 0,
2325           y: -0.13,
2326           font: {
2327             family: "Consolas, Courier New",
2328             size: 13
2329           },
2330         },
2331         {
2332           text: "    Perfect     Measured",
2333           align: "left",
2334           showarrow: False,
2335           xref: "paper",
2336           yref: "paper",
2337           xanchor: "left",
2338           yanchor: "top",
2339           x: 0,
2340           y: -0.15,
2341           font: {
2342             family: "Consolas, Courier New",
2343             size: 13
2344           },
2345         },
2346       ]
2347
2348     plot-latency:
2349       titlefont:
2350         size: 16
2351       xaxis:
2352         title: "<b>Direction</b>"
2353         titlefont:
2354           size: 14
2355         autorange: True
2356         fixedrange: False
2357         gridcolor: "rgb(230, 230, 230)"
2358         linecolor: "rgb(220, 220, 220)"
2359         linewidth: 1
2360         showgrid: True
2361         showline: True
2362         showticklabels: False
2363         tickcolor: "rgb(220, 220, 220)"
2364         tickmode: "linear"
2365         tickfont:
2366           size: 14
2367         zeroline: False
2368       yaxis:
2369         title: "<b>Packet Latency [uSec]</b>"
2370         titlefont:
2371           size: 14
2372         type: "linear"
2373         gridcolor: "rgb(230, 230, 230)"
2374         hoverformat: ".4s"
2375         linecolor: "rgb(220, 220, 220)"
2376         linewidth: 1
2377         showgrid: True
2378         showline: True
2379         showticklabels: True
2380         tickcolor: "rgb(220, 220, 220)"
2381         tickformat: ".4s"
2382         tickfont:
2383           size: 14
2384         zeroline: True
2385         rangemode: "tozero"
2386       legend:
2387         orientation: "h"
2388         font:
2389           size: 14
2390         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2391       autosize: False
2392       margin:
2393           't': 50
2394           'b': 150
2395           'l': 80
2396           'r': 10
2397       showlegend: True
2398       width: 700
2399       height: 700
2400       paper_bgcolor: "#fff"
2401       plot_bgcolor: "#fff"
2402       hoverlabel:
2403         namelength: -1
2404
2405     plot-hdrh-latency:
2406       title:
2407         text: ""
2408         xanchor: "center"
2409         x: 0.5
2410         font:
2411           size: 16
2412       width: 700
2413       plot_bgcolor: "white"
2414       annotations:
2415         - font:
2416             size: 14
2417           showarrow: False
2418           text: "<b>Packet Latency [uSec]</b>"
2419           x: 1
2420           xanchor: "right"
2421           xref: "paper"
2422           y: -0.045
2423           yanchor: "top"
2424           yref: "paper"
2425         - font:
2426             size: 14
2427           showarrow: False
2428           text: "<b>Probability [%]</b>"
2429           textangle: 270
2430           x: -0.06
2431           xanchor: "center"
2432           xref: "paper"
2433           y: 0.5
2434           yanchor: "middle"
2435           yref: "paper"
2436         - font:
2437             size: 14
2438           showarrow: False
2439           text: "<b>Direction: E-W</b>"
2440           x: 0.24
2441           xanchor: "center"
2442           xref: "paper"
2443           y: 1.05
2444           yanchor: "bottom"
2445           yref: "paper"
2446         - font:
2447             size: 14
2448           showarrow: False
2449           text: "<b>Direction: W-E</b>"
2450           x: 0.74
2451           xanchor: "center"
2452           xref: "paper"
2453           y: 1.05
2454           yanchor: "bottom"
2455           yref: "paper"
2456
2457     plot-hdrh-latency-percentile:
2458       title:
2459         text: ""
2460         xanchor: "center"
2461         x: 0.5
2462         font:
2463           size: 16
2464       xaxis:
2465         type: "log"
2466         title: "<b>Percentile [%]</b>"
2467         titlefont:
2468           size: 14
2469         autorange: True
2470         fixedrange: False
2471         gridcolor: "rgb(230, 230, 230)"
2472         linecolor: "rgb(220, 220, 220)"
2473         linewidth: 1
2474         showgrid: True
2475         showline: True
2476         showticklabels: True
2477         tickcolor: "rgb(220, 220, 220)"
2478         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2479         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2480         tickfont:
2481           size: 14
2482       yaxis:
2483         title: "<b>Packet Latency [uSec]</b>"
2484         titlefont:
2485           size: 14
2486         gridcolor: "rgb(230, 230, 230)"
2487         linecolor: "rgb(220, 220, 220)"
2488         linewidth: 1
2489         showgrid: True
2490         showline: True
2491         showticklabels: True
2492         tickcolor: "rgb(220, 220, 220)"
2493         tickfont:
2494           size: 14
2495       autosize: False
2496       showlegend: True
2497       legend:
2498         traceorder: "normal"
2499         orientation: "h"
2500         font:
2501           size: 14
2502         xanchor: "left"
2503         yanchor: "top"
2504         x: 0
2505         y: -0.15
2506         bgcolor: "rgba(255, 255, 255, 0)"
2507         bordercolor: "rgba(255, 255, 255, 0)"
2508       width: 700
2509       height: 700
2510       paper_bgcolor: "white"
2511       plot_bgcolor: "white"
2512
2513     plot-hdrh-latency-by-percentile:
2514       title:
2515         text: "<b>Latency by Percentile Distribution</b>"
2516         xanchor: "center"
2517         x: 0.5
2518         font:
2519           size: 18
2520       showlegend: True
2521       legend:
2522         traceorder: "normal"
2523         orientation: "h"
2524         font:
2525           size: 16
2526         xanchor: "left"
2527         yanchor: "top"
2528         x: 0
2529         y: -0.2
2530         bgcolor: "rgba(255, 255, 255, 0)"
2531         bordercolor: "rgba(255, 255, 255, 0)"
2532       xaxis:
2533         type: "linear"
2534         title: "<b>Percentile [%]</b>"
2535         titlefont:
2536           size: 14
2537         autorange: False
2538         fixedrange: False
2539         range: [0, 100]
2540         gridcolor: "rgb(230, 230, 230)"
2541         linecolor: "rgb(220, 220, 220)"
2542         linewidth: 1
2543         showgrid: True
2544         showline: True
2545         showticklabels: True
2546         tickcolor: "rgb(220, 220, 220)"
2547         tickvals: [0, 25, 50, 75, 100]
2548         ticktext: [0, 25, 50, 75, 100]
2549         tickfont:
2550           size: 14
2551       yaxis:
2552         title: "<b>One-Way Latency per Direction [uSec]</b>"
2553         titlefont:
2554           size: 14
2555         gridcolor: "rgb(230, 230, 230)"
2556         linecolor: "rgb(220, 220, 220)"
2557         linewidth: 1
2558         showgrid: True
2559         showline: True
2560         showticklabels: True
2561         tickcolor: "rgb(220, 220, 220)"
2562         tickfont:
2563           size: 14
2564       width: 700
2565       height: 700
2566       paper_bgcolor: "white"
2567       plot_bgcolor: "white"
2568
2569 - type: "static"
2570   src-path: "{DIR[RST]}"
2571   dst-path: "{DIR[WORKING,SRC]}"
2572
2573 - type: "input"
2574   general:
2575     file-name: "output_info.xml.gz"
2576     file-format: ".gz"
2577     arch-file-format:
2578       - ".gz"
2579       - ".zip"
2580     download-path: "{job}/{build}/archives/{filename}"
2581     extract: "output.xml"
2582
2583     zip-file-name: "robot-plugin.zip"
2584     zip-file-format: ".zip"
2585     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2586     zip-extract: "robot-plugin/output.xml"
2587
2588   builds:
2589
2590     csit-vpp-perf-verify-2001-3n-hsw:
2591       - 17  # MRR sel
2592     csit-vpp-perf-report-iterative-2005-3n-hsw:
2593       - 20  # NDRPDR sel env 4
2594       - 21  # NDRPDR sel env 4
2595       - 22  # NDRPDR sel env 4
2596       - 23  # NDRPDR sel env 4
2597       - 24  # NDRPDR sel env 4
2598       - 25  # NDRPDR sel env 4
2599       - 26  # NDRPDR sel env 4
2600       - 27  # NDRPDR sel env 4
2601       - 28  # NDRPDR sel env 4
2602       - 29  # NDRPDR sel env 4
2603       - 30  # MRR env 4
2604       - 31  # NDRPDR sel 2001.0-4
2605       - 32  # NDRPDR sel 2001.0-4
2606       - 33  # NDRPDR sel 2001.0-4
2607       - 34  # NDRPDR sel 2001.0-4
2608       - 35  # NDRPDR sel 2001.0-4
2609       - 36  # NDRPDR sel 2001.0-4
2610       - 38  # NDRPDR sel 2001.0-4
2611     csit-vpp-perf-report-iterative-2009-3n-hsw:
2612       - 18  # rls2005 MRR iter env 5
2613       - 9   # rls2005 NDRPDR iter env 5
2614       - 10  # rls2005 NDRPDR iter env 5
2615       - 11  # rls2005 NDRPDR iter env 5
2616       - 12  # rls2005 NDRPDR iter env 5
2617       - 13  # rls2005 NDRPDR iter env 5
2618       - 14  # rls2005 NDRPDR iter env 5
2619       - 15  # rls2005 NDRPDR iter env 5
2620       - 16  # rls2005 NDRPDR iter env 5
2621       - 17  # rls2005 NDRPDR iter env 5
2622       - 19  # rls2005 NDRPDR iter env 5
2623       - 23  # rls2009 MRR iter env 5
2624       - 21  # rls2009 NDRPDR iter env 5
2625       - 22  # rls2009 NDRPDR iter env 5
2626       - 24  # rls2009 NDRPDR iter env 5
2627       - 25  # rls2009 NDRPDR iter env 5
2628       - 26  # rls2009 NDRPDR iter env 5
2629       - 27  # rls2009 NDRPDR iter env 5
2630       - 28  # rls2009 NDRPDR iter env 5
2631       - 29  # rls2009 NDRPDR iter env 5
2632       - 30  # rls2009 NDRPDR iter env 5
2633       - 31  # rls2009 NDRPDR iter env 5
2634       - 32  # rls2009 Hoststack iter env 5
2635       - 33  # rls2009 Hoststack iter env 5
2636       - 34  # rls2009 Hoststack iter env 5
2637       - 35  # rls2009 Hoststack iter env 5
2638       - 36  # rls2009 Hoststack iter env 5
2639       - 37  # rls2009 Hoststack iter env 5
2640       - 38  # rls2009 Hoststack iter env 5
2641       - 39  # rls2009 Hoststack iter env 5
2642       - 40  # rls2009 Hoststack iter env 5
2643       - 41  # rls2009 Hoststack iter env 5
2644     csit-vpp-perf-report-coverage-2009-3n-hsw:
2645       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2646       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2647       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2648       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2649       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2650       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2651       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2652       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2653       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2654       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2655       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2656       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2657       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2658       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2659       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2660       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2661       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2662       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2663       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2664       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2665       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2666       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2667       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2668       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2669       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2670       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2671       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2672       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2673       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2674       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2675       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2676       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2677       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2678       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2679       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2680
2681     csit-vpp-perf-verify-2001-3n-skx:
2682       - 50  # MRR sel
2683       - 53  # MRR sel addition
2684     csit-vpp-perf-report-iterative-2005-3n-skx:
2685       - 4   # NDRPDR sel
2686       - 5   # NDRPDR sel ??? all x710 failed
2687       - 33  # NDRPDR sel
2688       - 28  # NDRPDR sel
2689       - 34  # NDRPDR sel
2690       - 42  # NDRPDR sel env 4
2691       - 43  # NDRPDR sel env 4
2692       - 44  # NDRPDR sel env 4
2693       - 45  # NDRPDR sel env 4
2694       - 47  # NDRPDR sel env 4
2695       - 55  # NDRPDR sel env 4
2696       - 56  # NDRPDR sel env 4
2697       - 57  # NDRPDR sel env 4
2698       - 61  # NDRPDR sel env 4
2699       - 62  # NDRPDR sel env 4
2700       - 50  # NDRPDR sel 2001.0-4
2701       - 51  # NDRPDR sel 2001.0-4
2702       - 52  # NDRPDR sel 2001.0-4
2703       - 53  # NDRPDR sel 2001.0-4
2704       - 54  # NDRPDR sel 2001.0-4
2705       - 49  # MRR sel env 4
2706     csit-vpp-perf-report-iterative-2009-3n-skx:
2707       - 17  # rls2005 MRR iter env 5
2708       - 13  # rls2005 NDRPDR iter env 5
2709       - 18  # rls2005 NDRPDR iter env 5
2710       - 19  # rls2005 NDRPDR iter env 5
2711       - 41  # rls2005 NDRPDR iter env 5
2712       - 43  # rls2005 NDRPDR iter env 5
2713       - 44  # rls2005 NDRPDR iter env 5
2714       - 45  # rls2005 NDRPDR iter env 5
2715       - 46  # rls2005 NDRPDR iter env 5
2716       - 48  # rls2005 NDRPDR iter env 5
2717       - 49  # rls2005 NDRPDR iter env 5
2718       - 24  # rls2009 MRR iter env 5
2719       - 26  # rls2009 NDRPDR iter env 5
2720       - 27  # rls2009 NDRPDR iter env 5
2721       - 28  # rls2009 NDRPDR iter env 5
2722       - 29  # rls2009 NDRPDR iter env 5
2723       - 35  # rls2009 NDRPDR iter env 5
2724       - 36  # rls2009 NDRPDR iter env 5
2725       - 37  # rls2009 NDRPDR iter env 5
2726       - 38  # rls2009 NDRPDR iter env 5
2727       - 39  # rls2009 NDRPDR iter env 5
2728       - 40  # rls2009 NDRPDR iter env 5
2729     csit-vpp-perf-report-coverage-2009-3n-skx:
2730       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2731       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2732       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2733       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2734       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2735       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2736       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2737       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2738       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2739       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2740       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2741       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2742       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2743       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2744       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2745       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2746       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2747       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2748       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2749       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2750       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2751       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2752       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2753       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2754       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2755       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2756       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2757       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2758       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2759       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2760       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2761       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2762       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2763       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2764       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2765       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2766
2767     csit-vpp-perf-verify-2001-2n-skx:
2768       - 101  # MRR sel - old
2769       - 128  # MRR sel addition - old
2770     csit-vpp-perf-report-iterative-2005-2n-skx:
2771       - 88  # NDRPDR sel env 4
2772       - 89  # NDRPDR sel env 4
2773       - 90  # NDRPDR sel env 4
2774       - 91  # NDRPDR sel env 4
2775       - 92  # NDRPDR sel env 4
2776       - 93  # NDRPDR sel env 4
2777       - 94  # NDRPDR sel env 4
2778       - 125 # NDRPDR sel env 4
2779       - 126 # NDRPDR sel env 4
2780       - 127 # NDRPDR sel env 4
2781       - 100 # NDRPDR sel 2001.0-4
2782       - 101 # NDRPDR sel 2001.0-4
2783       - 102 # NDRPDR sel 2001.0-4
2784       - 103 # NDRPDR sel 2001.0-4
2785       - 104 # NDRPDR sel 2001.0-4
2786       - 105 # NDRPDR sel 2001.0-4
2787       - 99  # MRR sel env 4
2788     csit-vpp-perf-report-iterative-2009-2n-skx:
2789       - 20  # rls2005 MRR iter env 5
2790       - 13  # rls2005 NDRPDR iter env 5
2791       - 16  # rls2005 NDRPDR iter env 5
2792       - 17  # rls2005 NDRPDR iter env 5
2793       - 18  # rls2005 NDRPDR iter env 5
2794       - 19  # rls2005 NDRPDR iter env 5
2795       - 21  # rls2005 NDRPDR iter env 5
2796       - 22  # rls2005 NDRPDR iter env 5
2797       - 23  # rls2005 NDRPDR iter env 5
2798       - 24  # rls2005 NDRPDR iter env 5
2799       - 25  # rls2005 NDRPDR iter env 5
2800       - 120 # rls2009 MRR iter env 5
2801       - 35  # rls2009 NDRPDR iter env 5
2802       - 36  # rls2009 NDRPDR iter env 5
2803       - 37  # rls2009 NDRPDR iter env 5
2804       - 39  # rls2009 NDRPDR iter env 5
2805       - 40  # rls2009 NDRPDR iter env 5
2806       - 42  # rls2009 NDRPDR iter env 5
2807       - 43  # rls2009 NDRPDR iter env 5
2808       - 44  # rls2009 NDRPDR iter env 5
2809       - 46  # rls2009 NDRPDR iter env 5
2810       - 48  # rls2009 NDRPDR iter env 5
2811       - 110 # rls2009 NDRPDR iter NAT44 env 5
2812       - 111 # rls2009 NDRPDR iter NAT44 env 5
2813       - 112 # rls2009 NDRPDR iter NAT44 env 5
2814       - 113 # rls2009 NDRPDR iter NAT44 env 5
2815       - 114 # rls2009 NDRPDR iter NAT44 env 5
2816       - 115 # rls2009 NDRPDR iter NAT44 env 5
2817       - 116 # rls2009 NDRPDR iter NAT44 env 5
2818       - 118 # rls2009 NDRPDR iter NAT44 env 5
2819       - 119 # rls2009 NDRPDR iter NAT44 env 5
2820       - 121 # rls2009 NDRPDR iter NAT44 env 5
2821       - 38  # rls2009 nf-density iter env 5
2822       - 41  # rls2009 nf-density iter env 5
2823       - 45  # rls2009 nf-density iter env 5
2824       - 47  # rls2009 nf-density iter env 5
2825       - 49  # rls2009 nf-density iter env 5
2826       - 63  # rls2009 nf-density iter env 5
2827       - 65  # rls2009 nf-density iter env 5
2828       - 66  # rls2009 nf-density iter env 5
2829       - 71  # rls2009 nf-density iter env 5
2830       - 72  # rls2009 nf-density iter env 5
2831       - 50  # rls2009 MRR nf-density iter env 5
2832       - 27  # rls2009 reconf env 5
2833       - 28  # rls2009 reconf env 5
2834       - 29  # rls2009 reconf env 5
2835       - 30  # rls2009 reconf env 5
2836       - 31  # rls2009 reconf env 5
2837       - 32  # rls2009 reconf env 5
2838       - 61  # rls2009 reconf env 5
2839       - 62  # rls2009 reconf env 5
2840       - 68  # rls2009 reconf env 5
2841       - 70  # rls2009 reconf env 5
2842       - 33  # rls2009 soak env 5
2843       - 34  # rls2009 soak env 5
2844     csit-vpp-perf-report-coverage-2009-2n-skx:
2845       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2846       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2847       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2848       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2849       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2850       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2851       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2852       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2853       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2854       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2855       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2856       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2857       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2858       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2859       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2860       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2861       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2862
2863     csit-vpp-perf-verify-2001-2n-clx:
2864       - 39  # MRR
2865     csit-vpp-perf-report-iterative-2005-2n-clx:
2866       - 62  # NDRPDR sel env 4
2867       - 63  # NDRPDR sel env 4
2868       - 64  # NDRPDR sel env 4
2869       - 65  # NDRPDR sel env 4
2870       - 66  # NDRPDR sel env 4
2871       - 68  # NDRPDR sel env 4
2872       - 69  # NDRPDR sel env 4
2873       - 70  # NDRPDR sel env 4
2874       - 103 # NDRPDR sel env 4
2875       - 104 # NDRPDR sel env 4
2876       - 73  # NDRPDR sel 2001.0-4
2877       - 74  # NDRPDR sel 2001.0-4
2878       - 75  # NDRPDR sel 2001.0-4
2879       - 76  # NDRPDR sel 2001.0-4
2880       - 77  # NDRPDR sel 2001.0-4
2881       - 78  # NDRPDR sel 2001.0-4
2882       - 79  # NDRPDR sel 2001.0-4
2883       - 80  # NDRPDR sel 2001.0-4
2884       - 72  # MRR env 4
2885     csit-vpp-perf-report-iterative-2009-2n-clx:
2886       - 77  # rls2005 MRR iter env 5
2887       - 13  # rls2005 NDRPDR iter env 5
2888       - 15  # rls2005 NDRPDR iter env 5
2889       - 17  # rls2005 NDRPDR iter env 5
2890       - 18  # rls2005 NDRPDR iter env 5
2891       - 19  # rls2005 NDRPDR iter env 5
2892       - 20  # rls2005 NDRPDR iter env 5
2893       - 21  # rls2005 NDRPDR iter env 5
2894       - 22  # rls2005 NDRPDR iter env 5
2895       - 23  # rls2005 NDRPDR iter env 5
2896       - 24  # rls2005 NDRPDR iter env 5
2897       - 125 # rls2009 MRR iter env 5
2898       - 36  # rls2009 NDRPDR iter env 5
2899       - 39  # rls2009 NDRPDR iter env 5
2900       - 40  # rls2009 NDRPDR iter env 5
2901       - 65  # rls2009 NDRPDR iter env 5
2902       - 66  # rls2009 NDRPDR iter env 5
2903       - 79  # rls2009 NDRPDR iter env 5
2904       - 82  # rls2009 NDRPDR iter env 5
2905       - 88  # rls2009 NDRPDR iter env 5
2906       - 89  # rls2009 NDRPDR iter env 5
2907       - 90  # rls2009 NDRPDR iter env 5
2908       - 114 # rls2009 NDRPDR iter NAT44 env 5
2909       - 115 # rls2009 NDRPDR iter NAT44 env 5
2910       - 116 # rls2009 NDRPDR iter NAT44 env 5
2911       - 117 # rls2009 NDRPDR iter NAT44 env 5
2912       - 118 # rls2009 NDRPDR iter NAT44 env 5
2913       - 119 # rls2009 NDRPDR iter NAT44 env 5
2914       - 121 # rls2009 NDRPDR iter NAT44 env 5
2915       - 122 # rls2009 NDRPDR iter NAT44 env 5
2916       - 123 # rls2009 NDRPDR iter NAT44 env 5
2917       - 126 # rls2009 NDRPDR iter NAT44 env 5
2918       - 37  # rls2009 nf-density iter env 5
2919       - 43  # rls2009 nf-density iter env 5
2920       - 69  # rls2009 nf-density iter env 5
2921       - 70  # rls2009 nf-density iter env 5
2922       - 71  # rls2009 nf-density iter env 5
2923       - 72  # rls2009 nf-density iter env 5
2924       - 73  # rls2009 nf-density iter env 5
2925       - 74  # rls2009 nf-density iter env 5
2926       - 75  # rls2009 nf-density iter env 5
2927       - 76  # rls2009 nf-density iter env 5
2928       - 45  # rls2009 MRR nf-density iter env 5
2929       - 25  # rls2009 reconf env 5
2930       - 27  # rls2009 reconf env 5
2931       - 28  # rls2009 reconf env 5
2932       - 29  # rls2009 reconf env 5
2933       - 30  # rls2009 reconf env 5
2934       - 30  # rls2009 reconf env 5
2935       - 32  # rls2009 reconf env 5
2936       - 48  # rls2009 reconf env 5
2937       - 53  # rls2009 reconf env 5
2938       - 68  # rls2009 reconf env 5
2939       - 33  # rls2009 soak env 5
2940       - 34  # rls2009 soak env 5
2941     csit-vpp-perf-report-coverage-2009-2n-clx:
2942       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2943       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2944       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2945       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2946       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2947       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2948       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2949       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2950       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2951       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2952       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2953       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2954       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2955       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2956       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2957       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2958       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2959
2960     csit-vpp-perf-report-iterative-2009-2n-zn2:
2961       - 1   # rls2009 MRR turbo iter env 5
2962       - 3   # rls2009 NDRPDR turbo iter env 5
2963       - 4   # rls2009 NDRPDR turbo iter env 5
2964       - 6   # rls2009 NDRPDR turbo iter env 5
2965       - 7   # rls2009 NDRPDR turbo iter env 5
2966       - 8   # rls2009 NDRPDR turbo iter env 5
2967       - 9   # rls2009 NDRPDR turbo iter env 5
2968       - 10  # rls2009 NDRPDR turbo iter env 5
2969       - 11  # rls2009 NDRPDR turbo iter env 5
2970       - 15  # rls2009 MRR iter env 5
2971       - 17  # rls2009 NDRPDR iter env 5
2972       - 18  # rls2009 NDRPDR iter env 5
2973
2974     csit-vpp-perf-verify-2001-3n-tsh:
2975       - 9   # MRR sel
2976     csit-vpp-perf-report-iterative-2005-3n-tsh:
2977       - 23  # NDRPDR sel env 4
2978       - 25  # NDRPDR sel env 4
2979       - 33  # NDRPDR sel env 4
2980       - 34  # NDRPDR sel env 4
2981       - 35  # NDRPDR sel env 4
2982       - 36  # NDRPDR sel env 4
2983       - 37  # NDRPDR sel env 4
2984       - 38  # NDRPDR sel env 4
2985       - 39  # NDRPDR sel env 4
2986       - 40  # NDRPDR sel env 4
2987       - 28  # NDRPDR sel 2001.0-4
2988       - 29  # NDRPDR sel 2001.0-4
2989       - 31  # NDRPDR sel 2001.0-4
2990       - 27  # MRR sel env 4
2991     csit-vpp-perf-report-iterative-2009-3n-tsh:
2992       - 8   # rls2005 NDRPDR iter env 5
2993       - 11  # rls2005 NDRPDR iter env 5
2994       - 12  # rls2005 NDRPDR iter env 5
2995       - 24  # rls2005 NDRPDR iter env 5
2996       - 27  # rls2005 NDRPDR iter env 5
2997       - 29  # rls2005 NDRPDR iter env 5
2998       - 31  # rls2005 NDRPDR iter env 5
2999       - 39  # rls2005 NDRPDR iter env 5
3000       - 40  # rls2005 NDRPDR iter env 5
3001       - 42  # rls2005 NDRPDR iter env 5
3002       - 13  # rls2005 MRR iter env 5
3003       - 14  # rls2009 NDRPDR iter env 5
3004       - 20  # rls2009 NDRPDR iter env 5
3005       - 21  # rls2009 NDRPDR iter env 5
3006       - 22  # rls2009 NDRPDR iter env 5
3007       - 23  # rls2009 NDRPDR iter env 5
3008       - 28  # rls2009 NDRPDR iter env 5
3009       - 30  # rls2009 NDRPDR iter env 5
3010       - 33  # rls2009 NDRPDR iter env 5
3011       - 38  # rls2009 NDRPDR iter env 5
3012       - 41  # rls2009 NDRPDR iter env 5
3013       - 15  # rls2009 MRR iter env 5
3014
3015     csit-vpp-perf-verify-2001-3n-dnv:
3016       - 5   # NDRPDR sel
3017       - 6   # NDRPDR sel
3018       - 7   # NDRPDR sel
3019       - 8   # NDRPDR sel
3020       - 9   # NDRPDR sel
3021       - 10  # NDRPDR sel
3022       - 12  # NDRPDR sel
3023       - 16  # NDRPDR sel
3024       - 17  # NDRPDR sel
3025       - 18  # NDRPDR sel
3026       - 11  # MRR sel
3027     csit-vpp-perf-report-iterative-2009-3n-dnv:
3028       - 16  # rls2005 NDRPDR iter env 5
3029       - 23  # rls2005 NDRPDR iter env 5
3030       - 25  # rls2005 NDRPDR iter env 5
3031       - 26  # rls2005 NDRPDR iter env 5
3032       - 27  # rls2005 NDRPDR iter env 5
3033       - 28  # rls2005 NDRPDR iter env 5
3034       - 29  # rls2005 NDRPDR iter env 5
3035       - 30  # rls2005 NDRPDR iter env 5
3036       - 31  # rls2005 NDRPDR iter env 5
3037       - 32  # rls2005 NDRPDR iter env 5
3038       - 19  # rls2005 MRR iter env 5
3039       - 3   # rls2009 NDRPDR iter env 5
3040       - 6   # rls2009 NDRPDR iter env 5
3041       - 7   # rls2009 NDRPDR iter env 5
3042       - 8   # rls2009 NDRPDR iter env 5
3043       - 10  # rls2009 NDRPDR iter env 5
3044       - 11  # rls2009 NDRPDR iter env 5
3045       - 12  # rls2009 NDRPDR iter env 5
3046       - 14  # rls2009 NDRPDR iter env 5
3047       - 15  # rls2009 NDRPDR iter env 5
3048       - 24  # rls2009 NDRPDR iter env 5
3049       - 22  # rls2009 MRR iter env 5
3050     csit-vpp-perf-report-coverage-2009-3n-dnv:
3051       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
3052       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
3053       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
3054       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
3055       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
3056       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
3057       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
3058       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
3059       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
3060
3061     csit-vpp-perf-verify-2001-2n-dnv:
3062       - 4   # NDRPDR sel
3063       - 5   # NDRPDR sel
3064       - 6   # NDRPDR sel
3065       - 7   # NDRPDR sel
3066       - 8   # NDRPDR sel
3067       - 9   # NDRPDR sel
3068       - 10  # NDRPDR sel
3069       - 11  # NDRPDR sel
3070       - 13  # NDRPDR sel
3071       - 16  # NDRPDR sel
3072       - 12  # MRR sel
3073     csit-vpp-perf-report-iterative-2009-2n-dnv:
3074       - 16  # rls2005 NDRPDR iter env 5
3075       - 17  # rls2005 NDRPDR iter env 5
3076       - 18  # rls2005 NDRPDR iter env 5
3077       - 19  # rls2005 NDRPDR iter env 5
3078       - 21  # rls2005 NDRPDR iter env 5
3079       - 24  # rls2005 NDRPDR iter env 5
3080       - 27  # rls2005 NDRPDR iter env 5
3081       - 28  # rls2005 NDRPDR iter env 5
3082       - 29  # rls2005 NDRPDR iter env 5
3083       - 30  # rls2005 NDRPDR iter env 5
3084       - 23  # rls2005 MRR iter env 5
3085       - 3   # rls2009 NDRPDR iter env 5
3086       - 5   # rls2009 NDRPDR iter env 5
3087       - 6   # rls2009 NDRPDR iter env 5
3088       - 7   # rls2009 NDRPDR iter env 5
3089       - 9   # rls2009 NDRPDR iter env 5
3090       - 10  # rls2009 NDRPDR iter env 5
3091       - 11  # rls2009 NDRPDR iter env 5
3092       - 12  # rls2009 NDRPDR iter env 5
3093       - 14  # rls2009 NDRPDR iter env 5
3094       - 15  # rls2009 NDRPDR iter env 5
3095       - 13  # rls2009 MRR iter env 5
3096     csit-vpp-perf-report-coverage-2009-2n-dnv:
3097       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3098       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3099       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3100       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3101       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3102       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3103
3104     csit-dpdk-perf-verify-2001-3n-hsw:
3105       - 4   # NDRPDR sel
3106       - 5   # NDRPDR sel
3107       - 6   # NDRPDR sel
3108       - 7   # NDRPDR sel
3109       - 8   # NDRPDR sel
3110       - 9   # NDRPDR sel
3111       - 10  # NDRPDR sel
3112       - 11  # NDRPDR sel
3113       - 12  # NDRPDR sel
3114       - 13  # NDRPDR sel
3115       - 15  # NDRPDR sel
3116       - 16  # NDRPDR sel
3117       - 17  # NDRPDR sel
3118       - 18  # NDRPDR sel
3119       - 19  # NDRPDR sel
3120       - 20  # NDRPDR sel
3121       - 21  # NDRPDR sel
3122       - 22  # NDRPDR sel
3123       - 23  # NDRPDR sel
3124       - 24  # NDRPDR sel
3125     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3126       - 25  # NDRPDR iter
3127       - 26  # NDRPDR iter
3128       - 27  # NDRPDR iter
3129       - 28  # NDRPDR iter
3130       - 29  # NDRPDR iter
3131       - 30  # NDRPDR iter
3132       - 31  # NDRPDR iter
3133       - 32  # NDRPDR iter
3134       - 33  # NDRPDR iter
3135       - 34  # NDRPDR iter
3136     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3137       - 6   # NDRPDR iter env5
3138       - 7   # NDRPDR iter env5
3139       - 8   # NDRPDR iter env5
3140       - 9   # NDRPDR iter env5
3141       - 10  # NDRPDR iter env5
3142       - 11  # NDRPDR iter env5
3143       - 12  # NDRPDR iter env5
3144       - 13  # NDRPDR iter env5
3145       - 14  # NDRPDR iter env5
3146       - 15  # NDRPDR iter env5
3147
3148     csit-dpdk-perf-verify-2001-3n-skx:
3149       - 29  # NDRPDR sel xxv710
3150       - 33  # NDRPDR sel xxv710
3151       - 34  # NDRPDR sel xxv710
3152       - 35  # NDRPDR sel xxv710
3153       - 36  # NDRPDR sel xxv710
3154       - 37  # NDRPDR sel xxv710
3155       - 41  # NDRPDR sel xxv710
3156       - 42  # NDRPDR sel xxv710
3157       - 43  # NDRPDR sel xxv710
3158       - 45  # NDRPDR sel xxv710
3159       - 30  # NDRPDR sel x710
3160       - 31  # NDRPDR sel x710
3161       - 32  # NDRPDR sel x710
3162       - 38  # NDRPDR sel x710
3163       - 39  # NDRPDR sel x710
3164       - 40  # NDRPDR sel x710
3165       - 44  # NDRPDR sel x710
3166       - 46  # NDRPDR sel x710
3167       - 47  # NDRPDR sel x710
3168       - 48  # NDRPDR sel x710
3169     csit-dpdk-perf-report-iterative-2005-3n-skx:
3170       - 28  # NDRPDR iter
3171       - 29  # NDRPDR iter
3172       - 30  # NDRPDR iter
3173       - 31  # NDRPDR iter
3174       - 32  # NDRPDR iter
3175       - 33  # NDRPDR iter
3176       - 34  # NDRPDR iter
3177       - 35  # NDRPDR iter
3178       - 36  # NDRPDR iter
3179       - 37  # NDRPDR iter
3180     csit-dpdk-perf-report-iterative-2009-3n-skx:
3181       - 4   # NDRPDR sel env5
3182       - 5   # NDRPDR sel env5
3183       - 6   # NDRPDR sel env5
3184       - 7   # NDRPDR sel env5
3185       - 8   # NDRPDR sel env5
3186       - 9   # NDRPDR sel env5
3187       - 14  # NDRPDR sel env5
3188       - 11  # NDRPDR sel env5
3189       - 12  # NDRPDR sel&