Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
56
57     # Detailed test configurations
58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
78
79     # Detailed tests operational data
80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
90
91     # Latencies:
92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
94
95     # .css patch file to fix tables generated by Sphinx
96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
98
99   urls:
100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
104     DIR[NEXUS,DOC]: "report/_static/archive"
105
106   make-dirs:
107   # List the directories which are created while preparing the environment.
108   # All directories MUST be defined in "paths" section.
109   - "DIR[WORKING,DATA]"
110   - "DIR[STATIC,VPP]"
111   - "DIR[STATIC,DPDK]"
112   - "DIR[STATIC,ARCH]"
113   - "DIR[BUILD,LATEX]"
114   - "DIR[WORKING,SRC]"
115   - "DIR[WORKING,SRC,STATIC]"
116
117   remove-dirs:
118   # List the directories which are deleted while cleaning the environment.
119   # All directories MUST be defined in "paths" section.
120   #- "DIR[BUILD,HTML]"
121   - "DIR[WORKING,DATA]"
122
123   build-dirs:
124   # List the directories where the results (build) is stored.
125   # All directories MUST be defined in "paths" section.
126   - "DIR[BUILD,HTML]"
127   - "DIR[BUILD,LATEX]"
128
129 - type: "configuration"
130
131   mapping-file: "mapping_report.yaml"
132
133   limits:
134     nic:
135       x520: 24460000
136       x553: 29761905
137       x710: 35800000
138       xxv710: 35800000
139       xl710: 35800000
140       cx556a: 148809523.81
141
142     link:
143       10ge: 14880952.38
144       25ge: 37202380.95
145       40ge: 59523809.52
146       100ge: 148809523.81
147
148     pci:
149       pci-g3-x8: 74404761.90
150       pci-g3-x16: 148809523.81
151
152   data-sets:
153
154     ###########################################################################
155     # Plots:
156
157     # 3n-hsw
158
159     plot-vpp-throughput-lat-tsa-3n-hsw:
160       csit-vpp-perf-report-iterative-2009-3n-hsw:
161         - 21  # rls2009 NDRPDR iter env 5
162         - 22  # rls2009 NDRPDR iter env 5
163         - 24  # rls2009 NDRPDR iter env 5
164         - 25  # rls2009 NDRPDR iter env 5
165         - 26  # rls2009 NDRPDR iter env 5
166         - 27  # rls2009 NDRPDR iter env 5
167         - 28  # rls2009 NDRPDR iter env 5
168         - 29  # rls2009 NDRPDR iter env 5
169         - 30  # rls2009 NDRPDR iter env 5
170         - 31  # rls2009 NDRPDR iter env 5
171
172     plot-vpp-hdrh-lat-3n-hsw:
173       csit-vpp-perf-report-iterative-2009-3n-hsw:
174         - 22  # rls2009 NDRPDR iter env 5
175
176     plot-vpp-hoststack-3n-hsw:
177       csit-vpp-perf-report-iterative-2009-3n-hsw:
178         - 32  # rls2009 Hoststack iter env 5
179         - 33  # rls2009 Hoststack iter env 5
180         - 34  # rls2009 Hoststack iter env 5
181         - 35  # rls2009 Hoststack iter env 5
182         - 36  # rls2009 Hoststack iter env 5
183         - 37  # rls2009 Hoststack iter env 5
184         - 38  # rls2009 Hoststack iter env 5
185         - 39  # rls2009 Hoststack iter env 5
186         - 40  # rls2009 Hoststack iter env 5
187         - 41  # rls2009 Hoststack iter env 5
188
189     plot-dpdk-throughput-latency-3n-hsw:
190       csit-dpdk-perf-report-iterative-2009-3n-hsw:
191         - 6   # NDRPDR iter env5
192         - 7   # NDRPDR iter env5
193         - 8   # NDRPDR iter env5
194         - 9   # NDRPDR iter env5
195         - 10  # NDRPDR iter env5
196         - 11  # NDRPDR iter env5
197         - 12  # NDRPDR iter env5
198         - 13  # NDRPDR iter env5
199         - 14  # NDRPDR iter env5
200         - 15  # NDRPDR iter env5
201
202     plot-dpdk-hdrh-lat-3n-hsw:
203       csit-dpdk-perf-report-iterative-2009-3n-hsw:
204         - 6   # NDRPDR iter env5
205
206     # 3n-skx
207
208     plot-vpp-throughput-lat-tsa-3n-skx:
209       csit-vpp-perf-report-iterative-2009-3n-skx:
210         - 26  # rls2009 NDRPDR iter env 5
211         - 27  # rls2009 NDRPDR iter env 5
212         - 28  # rls2009 NDRPDR iter env 5
213         - 29  # rls2009 NDRPDR iter env 5
214         - 35  # rls2009 NDRPDR iter env 5
215         - 36  # rls2009 NDRPDR iter env 5
216         - 37  # rls2009 NDRPDR iter env 5
217         - 38  # rls2009 NDRPDR iter env 5
218         - 39  # rls2009 NDRPDR iter env 5
219         - 40  # rls2009 NDRPDR iter env 5
220
221     plot-vpp-hdrh-lat-3n-skx:
222       csit-vpp-perf-report-iterative-2009-3n-skx:
223         - 27  # rls2009 NDRPDR iter env 5
224
225 #    plot-vpp-nfv-3n-skx-ndrpdr:
226 #      # No data
227 #      csit-vpp-perf-report-iterative-2009-3n-skx:
228
229 #    plot-vpp-nfv-3n-skx-mrr:
230 #      # No data
231 #      csit-vpp-perf-report-iterative-2009-3n-skx:
232
233     plot-dpdk-throughput-latency-3n-skx:
234       csit-dpdk-perf-report-iterative-2009-3n-skx:
235         - 4   # NDRPDR sel env5
236         - 5   # NDRPDR sel env5
237         - 6   # NDRPDR sel env5
238         - 7   # NDRPDR sel env5
239         - 8   # NDRPDR sel env5
240         - 9   # NDRPDR sel env5
241         - 14  # NDRPDR sel env5
242         - 11  # NDRPDR sel env5
243         - 12  # NDRPDR sel env5
244         - 13  # NDRPDR sel env5
245
246     plot-dpdk-hdrh-lat-3n-skx:
247       csit-dpdk-perf-report-iterative-2009-3n-skx:
248         - 4   # NDRPDR sel env5
249
250     # 2n-skx
251
252     plot-vpp-throughput-lat-tsa-2n-skx:
253       csit-vpp-perf-report-iterative-2009-2n-skx:
254         - 35  # rls2009 NDRPDR iter env 5
255         - 36  # rls2009 NDRPDR iter env 5
256         - 37  # rls2009 NDRPDR iter env 5
257         - 39  # rls2009 NDRPDR iter env 5
258         - 40  # rls2009 NDRPDR iter env 5
259         - 42  # rls2009 NDRPDR iter env 5
260         - 43  # rls2009 NDRPDR iter env 5
261         - 44  # rls2009 NDRPDR iter env 5
262         - 46  # rls2009 NDRPDR iter env 5
263         - 48  # rls2009 NDRPDR iter env 5
264         - 110 # rls2009 NDRPDR iter NAT44 env 5
265         - 111 # rls2009 NDRPDR iter NAT44 env 5
266         - 112 # rls2009 NDRPDR iter NAT44 env 5
267         - 113 # rls2009 NDRPDR iter NAT44 env 5
268         - 114 # rls2009 NDRPDR iter NAT44 env 5
269         - 115 # rls2009 NDRPDR iter NAT44 env 5
270         - 116 # rls2009 NDRPDR iter NAT44 env 5
271         - 118 # rls2009 NDRPDR iter NAT44 env 5
272         - 119 # rls2009 NDRPDR iter NAT44 env 5
273         - 121 # rls2009 NDRPDR iter NAT44 env 5
274
275     plot-vpp-hdrh-lat-2n-skx:
276       csit-vpp-perf-report-iterative-2009-2n-skx:
277         - 35  # rls2009 NDRPDR iter env 5
278
279     plot-vpp-hdrh-lat-2n-skx-nat44:
280       csit-vpp-perf-report-iterative-2009-2n-skx:
281         - 110 # rls2009 NDRPDR iter NAT44 env 5
282
283     plot-vpp-soak-2n-skx:
284       csit-vpp-perf-report-iterative-2009-2n-skx:
285         - 33  # rls2009 soak env 5
286         - 34  # rls2009 soak env 5
287
288     plot-vpp-nfv-2n-skx-ndrpdr:
289       csit-vpp-perf-report-iterative-2009-2n-skx:
290         - 38  # rls2009 nf-density iter env 5
291         - 41  # rls2009 nf-density iter env 5
292         - 45  # rls2009 nf-density iter env 5
293         - 47  # rls2009 nf-density iter env 5
294         - 49  # rls2009 nf-density iter env 5
295         - 63  # rls2009 nf-density iter env 5
296         - 65  # rls2009 nf-density iter env 5
297         - 66  # rls2009 nf-density iter env 5
298         - 71  # rls2009 nf-density iter env 5
299         - 72  # rls2009 nf-density iter env 5
300
301     plot-vpp-nfv-2n-skx-mrr:
302       csit-vpp-perf-report-iterative-2009-2n-skx:
303         - 50  # rls2009 MRR nf-density iter env 5
304
305     plot-vpp-nfv-reconf-2n-skx:
306       csit-vpp-perf-report-iterative-2009-2n-skx:
307         - 27  # rls2009 reconf env 5
308         - 28  # rls2009 reconf env 5
309         - 29  # rls2009 reconf env 5
310         - 30  # rls2009 reconf env 5
311         - 31  # rls2009 reconf env 5
312         - 32  # rls2009 reconf env 5
313         - 61  # rls2009 reconf env 5
314         - 62  # rls2009 reconf env 5
315         - 68  # rls2009 reconf env 5
316         - 70  # rls2009 reconf env 5
317
318     plot-dpdk-throughput-latency-2n-skx:
319       csit-dpdk-perf-report-iterative-2009-2n-skx:
320         - 4   # NDRPDR iter env5
321         - 5   # NDRPDR iter env5
322         - 6   # NDRPDR iter env5
323         - 7   # NDRPDR iter env5
324         - 8   # NDRPDR iter env5
325         - 9   # NDRPDR iter env5
326         - 10  # NDRPDR iter env5
327         - 11  # NDRPDR iter env5
328         - 12  # NDRPDR iter env5
329         - 13  # NDRPDR iter env5
330
331     plot-dpdk-hdrh-lat-2n-skx:
332       csit-dpdk-perf-report-iterative-2009-2n-skx:
333         - 4   # NDRPDR iter env5
334
335     # 2n-zn2
336
337     plot-vpp-throughput-lat-tsa-2n-zn2-turbo:
338       csit-vpp-perf-report-iterative-2009-2n-zn2:
339         - 3   # rls2009 NDRPDR turbo iter env 5
340         - 4   # rls2009 NDRPDR turbo iter env 5
341         - 6   # rls2009 NDRPDR turbo iter env 5
342         - 7   # rls2009 NDRPDR turbo iter env 5
343         - 8   # rls2009 NDRPDR turbo iter env 5
344         - 9   # rls2009 NDRPDR turbo iter env 5
345         - 10  # rls2009 NDRPDR turbo iter env 5
346         - 11  # rls2009 NDRPDR turbo iter env 5
347
348     plot-vpp-hdrh-lat-2n-zn2-turbo:
349       csit-vpp-perf-report-iterative-2009-2n-zn2:
350         - 3   # rls2009 NDRPDR turbo iter env 5
351
352     plot-dpdk-throughput-latency-2n-zn2-turbo:
353       csit-dpdk-perf-report-iterative-2009-2n-zn2:
354         - 1   # NDRPDR turbo iter env5
355
356     plot-dpdk-hdrh-lat-2n-zn2-turbo:
357       csit-dpdk-perf-report-iterative-2009-2n-zn2:
358         - 1   # NDRPDR turbo iter env5
359
360     plot-vpp-throughput-lat-tsa-2n-zn2:
361       csit-vpp-perf-report-iterative-2009-2n-zn2:
362         - 17  # rls2009 NDRPDR iter env 5
363         - 18  # rls2009 NDRPDR iter env 5
364         - 31  # rls2009 NDRPDR iter env 5
365         - 33  # rls2009 NDRPDR iter env 5
366         - 34  # rls2009 NDRPDR iter env 5
367
368     plot-vpp-hdrh-lat-2n-zn2:
369       csit-vpp-perf-report-iterative-2009-2n-zn2:
370         - 18  # rls2009 NDRPDR iter env 5
371
372     plot-dpdk-throughput-latency-2n-zn2:
373       csit-dpdk-perf-report-iterative-2009-2n-zn2:
374         - 16  # NDRPDR iter env5
375         - 21  # NDRPDR iter env5
376         - 22  # NDRPDR iter env5
377         - 23  # NDRPDR iter env5
378         - 24  # NDRPDR iter env5
379         - 25  # NDRPDR iter env5
380         - 29  # NDRPDR iter env5
381
382     plot-dpdk-hdrh-lat-2n-zn2:
383       csit-dpdk-perf-report-iterative-2009-2n-zn2:
384         - 16  # NDRPDR iter env5
385
386     # 2n-clx
387
388     plot-vpp-throughput-lat-tsa-2n-clx:
389       csit-vpp-perf-report-iterative-2009-2n-clx:
390         - 36  # rls2009 NDRPDR iter env 5
391         - 39  # rls2009 NDRPDR iter env 5
392         - 40  # rls2009 NDRPDR iter env 5
393         - 65  # rls2009 NDRPDR iter env 5
394         - 66  # rls2009 NDRPDR iter env 5
395         - 79  # rls2009 NDRPDR iter env 5
396         - 82  # rls2009 NDRPDR iter env 5
397         - 88  # rls2009 NDRPDR iter env 5
398         - 89  # rls2009 NDRPDR iter env 5
399         - 90  # rls2009 NDRPDR iter env 5
400         - 114 # rls2009 NDRPDR iter NAT44 env 5
401         - 115 # rls2009 NDRPDR iter NAT44 env 5
402         - 116 # rls2009 NDRPDR iter NAT44 env 5
403         - 117 # rls2009 NDRPDR iter NAT44 env 5
404         - 118 # rls2009 NDRPDR iter NAT44 env 5
405         - 119 # rls2009 NDRPDR iter NAT44 env 5
406         - 121 # rls2009 NDRPDR iter NAT44 env 5
407         - 122 # rls2009 NDRPDR iter NAT44 env 5
408         - 123 # rls2009 NDRPDR iter NAT44 env 5
409         - 126 # rls2009 NDRPDR iter NAT44 env 5
410
411     plot-vpp-hdrh-lat-2n-clx:
412       csit-vpp-perf-report-iterative-2009-2n-clx:
413         - 36  # rls2009 NDRPDR iter env 5
414
415     plot-vpp-hdrh-lat-2n-clx-nat44:
416       csit-vpp-perf-report-iterative-2009-2n-clx:
417         - 123 # rls2009 NDRPDR iter NAT44 env 5
418
419     plot-vpp-nfv-2n-clx-ndrpdr:
420       csit-vpp-perf-report-iterative-2009-2n-clx:
421         - 37  # rls2009 nf-density iter env 5
422         - 43  # rls2009 nf-density iter env 5
423         - 69  # rls2009 nf-density iter env 5
424         - 70  # rls2009 nf-density iter env 5
425         - 71  # rls2009 nf-density iter env 5
426         - 72  # rls2009 nf-density iter env 5
427         - 73  # rls2009 nf-density iter env 5
428         - 74  # rls2009 nf-density iter env 5
429         - 75  # rls2009 nf-density iter env 5
430         - 76  # rls2009 nf-density iter env 5
431
432     plot-vpp-nfv-2n-clx-mrr:
433       csit-vpp-perf-report-iterative-2009-2n-clx:
434         - 45  # rls2009 MRR nf-density iter env 5
435
436     plot-vpp-nfv-reconf-2n-clx:
437       csit-vpp-perf-report-iterative-2009-2n-clx:
438         - 25  # rls2009 reconf env 5
439         - 27  # rls2009 reconf env 5
440         - 28  # rls2009 reconf env 5
441         - 29  # rls2009 reconf env 5
442         - 30  # rls2009 reconf env 5
443         - 30  # rls2009 reconf env 5
444         - 32  # rls2009 reconf env 5
445         - 48  # rls2009 reconf env 5
446         - 53  # rls2009 reconf env 5
447         - 68  # rls2009 reconf env 5
448
449     plot-vpp-soak-2n-clx:
450       csit-vpp-perf-report-iterative-2009-2n-clx:
451         - 33  # rls2009 soak env 5
452         - 34  # rls2009 soak env 5
453
454     plot-dpdk-throughput-latency-2n-clx:
455       csit-dpdk-perf-report-iterative-2009-2n-clx:
456         - 4   # NDRPDR iter env5
457         - 5   # NDRPDR iter env5
458         - 6   # NDRPDR iter env5
459         - 7   # NDRPDR iter env5
460         - 8   # NDRPDR iter env5
461         - 9   # NDRPDR iter env5
462         - 10  # NDRPDR iter env5
463         - 11  # NDRPDR iter env5
464         - 12  # NDRPDR iter env5
465         - 13  # NDRPDR iter env5
466
467     plot-dpdk-hdrh-lat-2n-clx:
468       csit-dpdk-perf-report-iterative-2009-2n-clx:
469         - 4   # NDRPDR iter env5
470
471     # 3n-tsh
472
473     plot-vpp-throughput-lat-tsa-3n-tsh:
474       csit-vpp-perf-report-iterative-2009-3n-tsh:
475         - 14  # rls2009 NDRPDR iter env 5
476         - 20  # rls2009 NDRPDR iter env 5
477         - 21  # rls2009 NDRPDR iter env 5
478         - 22  # rls2009 NDRPDR iter env 5
479         - 23  # rls2009 NDRPDR iter env 5
480         - 28  # rls2009 NDRPDR iter env 5
481         - 30  # rls2009 NDRPDR iter env 5
482         - 33  # rls2009 NDRPDR iter env 5
483         - 38  # rls2009 NDRPDR iter env 5
484         - 41  # rls2009 NDRPDR iter env 5
485
486     plot-vpp-hdrh-lat-3n-tsh:
487       csit-vpp-perf-report-iterative-2009-3n-tsh:
488         - 14  # rls2009 NDRPDR iter env 5
489
490     plot-dpdk-throughput-latency-3n-tsh:
491       csit-dpdk-perf-report-iterative-2009-3n-tsh:
492         - 1   # NDRPDR iter env5
493         - 2   # NDRPDR iter env5
494         - 3   # NDRPDR iter env5
495         - 4   # NDRPDR iter env5
496         - 5   # NDRPDR iter env5
497         - 6   # NDRPDR iter env5
498         - 7   # NDRPDR iter env5
499         - 9   # NDRPDR iter env5
500         - 10  # NDRPDR iter env5
501         - 11  # NDRPDR iter env5
502
503     plot-dpdk-hdrh-lat-3n-tsh:
504       csit-dpdk-perf-report-iterative-2009-3n-tsh:
505         - 1   # NDRPDR iter env5
506
507     # 3n-dnv
508
509     plot-vpp-throughput-lat-tsa-3n-dnv:
510       csit-vpp-perf-report-iterative-2009-3n-dnv:
511         - 3   # rls2009 NDRPDR iter env 5
512         - 6   # rls2009 NDRPDR iter env 5
513         - 7   # rls2009 NDRPDR iter env 5
514         - 8   # rls2009 NDRPDR iter env 5
515         - 10  # rls2009 NDRPDR iter env 5
516         - 11  # rls2009 NDRPDR iter env 5
517         - 12  # rls2009 NDRPDR iter env 5
518         - 14  # rls2009 NDRPDR iter env 5
519         - 15  # rls2009 NDRPDR iter env 5
520         - 24  # rls2009 NDRPDR iter env 5
521
522 #    plot-dpdk-throughput-latency-3n-dnv:
523 #      # No data
524 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
525
526     # 2n-dnv
527
528     plot-vpp-throughput-lat-tsa-2n-dnv:
529       csit-vpp-perf-report-iterative-2009-2n-dnv:
530         - 3   # rls2009 NDRPDR iter env 5
531         - 5   # rls2009 NDRPDR iter env 5
532         - 6   # rls2009 NDRPDR iter env 5
533         - 7   # rls2009 NDRPDR iter env 5
534         - 9   # rls2009 NDRPDR iter env 5
535         - 10  # rls2009 NDRPDR iter env 5
536         - 11  # rls2009 NDRPDR iter env 5
537         - 12  # rls2009 NDRPDR iter env 5
538         - 14  # rls2009 NDRPDR iter env 5
539         - 15  # rls2009 NDRPDR iter env 5
540
541 #    plot-dpdk-throughput-latency-2n-dnv:
542 #      # No data
543 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
544
545     ###########################################################################
546     # Simple tables (only one data set):
547
548     # NIC Comparisons
549
550     vpp-nic-comparison-3n-skx:
551       csit-vpp-perf-report-iterative-2009-3n-skx:
552         - 26  # rls2009 NDRPDR iter env 5
553         - 27  # rls2009 NDRPDR iter env 5
554         - 28  # rls2009 NDRPDR iter env 5
555         - 29  # rls2009 NDRPDR iter env 5
556         - 35  # rls2009 NDRPDR iter env 5
557         - 36  # rls2009 NDRPDR iter env 5
558         - 37  # rls2009 NDRPDR iter env 5
559         - 38  # rls2009 NDRPDR iter env 5
560         - 39  # rls2009 NDRPDR iter env 5
561         - 40  # rls2009 NDRPDR iter env 5
562
563     vpp-nic-comparison-2n-skx:
564       csit-vpp-perf-report-iterative-2009-2n-skx:
565         - 35  # rls2009 NDRPDR iter env 5
566         - 36  # rls2009 NDRPDR iter env 5
567         - 37  # rls2009 NDRPDR iter env 5
568         - 39  # rls2009 NDRPDR iter env 5
569         - 40  # rls2009 NDRPDR iter env 5
570         - 42  # rls2009 NDRPDR iter env 5
571         - 43  # rls2009 NDRPDR iter env 5
572         - 44  # rls2009 NDRPDR iter env 5
573         - 46  # rls2009 NDRPDR iter env 5
574         - 48  # rls2009 NDRPDR iter env 5
575         - 110 # rls2009 NDRPDR iter NAT44 env 5
576         - 111 # rls2009 NDRPDR iter NAT44 env 5
577         - 112 # rls2009 NDRPDR iter NAT44 env 5
578         - 113 # rls2009 NDRPDR iter NAT44 env 5
579         - 114 # rls2009 NDRPDR iter NAT44 env 5
580         - 115 # rls2009 NDRPDR iter NAT44 env 5
581         - 116 # rls2009 NDRPDR iter NAT44 env 5
582         - 118 # rls2009 NDRPDR iter NAT44 env 5
583         - 119 # rls2009 NDRPDR iter NAT44 env 5
584         - 121 # rls2009 NDRPDR iter NAT44 env 5
585
586     vpp-nic-comparison-3n-skx-mrr:
587       csit-vpp-perf-report-iterative-2009-3n-skx:
588         - 24  # rls2009 MRR iter env 5
589
590     vpp-nic-comparison-2n-skx-mrr:
591       csit-vpp-perf-report-iterative-2009-2n-skx:
592         - 120 # rls2009 MRR iter env 5
593
594     # Results
595
596     vpp-perf-results-3n-hsw:
597       csit-vpp-perf-report-coverage-2009-3n-hsw:
598         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
599         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
600         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
601         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
602         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
603         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
604         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
605         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
606         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
607         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
608         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
609         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
610         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
611         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
612         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
613         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
614         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
615         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
616         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
617         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
618         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
619         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
620         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
621         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
622         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
623         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
624         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
625         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
626         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
627         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
628         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
629         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
630         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
631         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
632         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
633
634     vpp-perf-results-3n-skx:
635       csit-vpp-perf-report-coverage-2009-3n-skx:
636         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
637         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
638         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
639         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
640         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
641         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
642         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
643         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
644         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
645         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
646         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
647         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
648         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
649         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
650         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
651         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
652         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
653         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
654         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
655         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
656         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
657         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
658         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
659         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
660         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
661         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
662         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
663         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
664         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
665         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
666         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
667         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
668         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
669         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
670         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
671         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
672
673     vpp-perf-results-2n-skx:
674       csit-vpp-perf-report-coverage-2009-2n-skx:
675         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
676         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
677         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
678         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
679         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
680         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
681         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
682         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
683         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
684         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
685         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
686         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
687         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
688         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
689         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
690         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
691         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
692
693     vpp-perf-results-2n-zn2:
694       csit-vpp-perf-report-iterative-2009-2n-zn2:
695         - 18  # rls2009 NDRPDR iter env 5
696
697     vpp-perf-results-2n-clx:
698       csit-vpp-perf-report-coverage-2009-2n-clx:
699         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
700         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
701         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
702         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
703         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
704         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
705         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
706         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
707         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
708         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
709         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
710         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
711         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
712         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
713         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
714         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
715         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
716
717     vpp-perf-results-3n-tsh:
718       csit-vpp-perf-report-iterative-2009-3n-tsh:
719         - 14  # rls2009 NDRPDR iter env 5
720
721     vpp-perf-results-3n-dnv:
722       csit-vpp-perf-report-coverage-2009-3n-dnv:
723         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
724         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
725         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
726         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
727         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
728         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
729         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
730         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
731         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
732
733     vpp-perf-results-2n-dnv:
734       csit-vpp-perf-report-coverage-2009-2n-dnv:
735         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
736         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
737         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
738         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
739         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
740         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
741
742     vpp-mrr-results-3n-hsw:
743       csit-vpp-perf-report-iterative-2009-3n-hsw:
744         - 23  # rls2009 MRR iter env 5
745
746     vpp-mrr-results-3n-skx:
747       csit-vpp-perf-report-iterative-2009-3n-skx:
748         - 24  # rls2009 MRR iter env 5
749
750     vpp-mrr-results-2n-skx:
751       csit-vpp-perf-report-iterative-2009-2n-skx:
752         - 120 # rls2009 MRR iter env 5
753
754     vpp-mrr-results-2n-zn2:
755       csit-vpp-perf-report-iterative-2009-2n-zn2:
756         - 15  # rls2009 MRR iter env 5
757
758     vpp-mrr-results-2n-clx:
759       csit-vpp-perf-report-iterative-2009-2n-clx:
760         - 125 # rls2009 MRR iter env 5
761
762     vpp-mrr-results-3n-tsh:
763       csit-vpp-perf-report-iterative-2009-3n-tsh:
764         - 15  # rls2009 MRR iter env 5
765
766     vpp-mrr-results-3n-dnv:
767       csit-vpp-perf-report-iterative-2009-3n-dnv:
768         - 22  # rls2009 MRR iter env 5
769
770     vpp-mrr-results-2n-dnv:
771       csit-vpp-perf-report-iterative-2009-2n-dnv:
772         - 13  # rls2009 MRR iter env 5
773
774     vpp-device-results-ubuntu:
775       csit-vpp-device-2009-ubuntu1804-1n-skx:
776         - 131 # rls2009 env 5
777
778     dpdk-perf-results-3n-hsw:
779       csit-dpdk-perf-report-iterative-2009-3n-hsw:
780         - 6   # NDRPDR iter env5
781
782     dpdk-perf-results-3n-skx:
783       csit-dpdk-perf-report-iterative-2009-3n-skx:
784         - 4   # NDRPDR sel env5
785
786     dpdk-perf-results-2n-skx:
787       csit-dpdk-perf-report-iterative-2009-2n-skx:
788         - 4   # NDRPDR iter env5
789
790     dpdk-perf-results-2n-zn2:
791       csit-dpdk-perf-report-iterative-2009-2n-zn2:
792         - 16  # NDRPDR iter env5
793
794     dpdk-perf-results-2n-clx:
795       csit-dpdk-perf-report-iterative-2009-2n-clx:
796         - 4   # NDRPDR iter env5
797
798 #    dpdk-perf-results-2n-dnv:
799 #      # No data
800 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
801
802 #    dpdk-perf-results-3n-dnv:
803 #      # No data
804 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
805
806     dpdk-perf-results-3n-tsh:
807       csit-dpdk-perf-report-iterative-2009-3n-tsh:
808         - 1   # NDRPDR iter env5
809
810 ###########################################################################
811     # Tables (more than one data set)
812
813     # Performance changes
814
815     vpp-performance-changes-3n-hsw-h1:
816       csit-vpp-perf-report-iterative-2005-3n-hsw:
817         - 31  # NDRPDR sel 2001.0-4
818         - 32  # NDRPDR sel 2001.0-4
819         - 33  # NDRPDR sel 2001.0-4
820         - 34  # NDRPDR sel 2001.0-4
821         - 35  # NDRPDR sel 2001.0-4
822         - 36  # NDRPDR sel 2001.0-4
823         - 38  # NDRPDR sel 2001.0-4
824     vpp-performance-changes-3n-hsw-ref-env4:
825       csit-vpp-perf-report-iterative-2005-3n-hsw:
826         - 20  # NDRPDR sel env 4
827         - 21  # NDRPDR sel env 4
828         - 22  # NDRPDR sel env 4
829         - 23  # NDRPDR sel env 4
830         - 24  # NDRPDR sel env 4
831         - 25  # NDRPDR sel env 4
832         - 26  # NDRPDR sel env 4
833         - 27  # NDRPDR sel env 4
834         - 28  # NDRPDR sel env 4
835         - 29  # NDRPDR sel env 4
836     vpp-performance-changes-3n-hsw-ref-env5:
837       csit-vpp-perf-report-iterative-2009-3n-hsw:
838         - 9   # rls2005 NDRPDR iter env 5
839         - 10  # rls2005 NDRPDR iter env 5
840         - 11  # rls2005 NDRPDR iter env 5
841         - 12  # rls2005 NDRPDR iter env 5
842         - 13  # rls2005 NDRPDR iter env 5
843         - 14  # rls2005 NDRPDR iter env 5
844         - 15  # rls2005 NDRPDR iter env 5
845         - 16  # rls2005 NDRPDR iter env 5
846         - 17  # rls2005 NDRPDR iter env 5
847         - 19  # rls2005 NDRPDR iter env 5
848     vpp-performance-changes-3n-hsw-cmp:
849       csit-vpp-perf-report-iterative-2009-3n-hsw:
850         - 21  # rls2009 NDRPDR iter env 5
851         - 22  # rls2009 NDRPDR iter env 5
852         - 24  # rls2009 NDRPDR iter env 5
853         - 25  # rls2009 NDRPDR iter env 5
854         - 26  # rls2009 NDRPDR iter env 5
855         - 27  # rls2009 NDRPDR iter env 5
856         - 28  # rls2009 NDRPDR iter env 5
857         - 29  # rls2009 NDRPDR iter env 5
858         - 30  # rls2009 NDRPDR iter env 5
859         - 31  # rls2009 NDRPDR iter env 5
860
861     vpp-performance-changes-3n-skx-h1:
862       csit-vpp-perf-report-iterative-2005-3n-skx:
863         - 50  # NDRPDR sel 2001.0-4
864         - 51  # NDRPDR sel 2001.0-4
865         - 52  # NDRPDR sel 2001.0-4
866         - 53  # NDRPDR sel 2001.0-4
867         - 54  # NDRPDR sel 2001.0-4
868     vpp-performance-changes-3n-skx-ref-env4:
869       csit-vpp-perf-report-iterative-2005-3n-skx:
870         - 42  # NDRPDR sel env 4
871         - 43  # NDRPDR sel env 4
872         - 44  # NDRPDR sel env 4
873         - 45  # NDRPDR sel env 4
874         - 47  # NDRPDR sel env 4
875         - 55  # NDRPDR sel env 4
876         - 56  # NDRPDR sel env 4
877         - 57  # NDRPDR sel env 4
878         - 61  # NDRPDR sel env 4
879         - 62  # NDRPDR sel env 4
880     vpp-performance-changes-3n-skx-ref-env5:
881       csit-vpp-perf-report-iterative-2009-3n-skx:
882         - 13  # rls2005 NDRPDR iter env 5
883         - 18  # rls2005 NDRPDR iter env 5
884         - 19  # rls2005 NDRPDR iter env 5
885         - 41  # rls2005 NDRPDR iter env 5
886         - 43  # rls2005 NDRPDR iter env 5
887         - 44  # rls2005 NDRPDR iter env 5
888         - 45  # rls2005 NDRPDR iter env 5
889         - 46  # rls2005 NDRPDR iter env 5
890         - 48  # rls2005 NDRPDR iter env 5
891         - 49  # rls2005 NDRPDR iter env 5
892     vpp-performance-changes-3n-skx-cmp:
893       csit-vpp-perf-report-iterative-2009-3n-skx:
894         - 26  # rls2009 NDRPDR iter env 5
895         - 27  # rls2009 NDRPDR iter env 5
896         - 28  # rls2009 NDRPDR iter env 5
897         - 29  # rls2009 NDRPDR iter env 5
898         - 35  # rls2009 NDRPDR iter env 5
899         - 36  # rls2009 NDRPDR iter env 5
900         - 37  # rls2009 NDRPDR iter env 5
901         - 38  # rls2009 NDRPDR iter env 5
902         - 39  # rls2009 NDRPDR iter env 5
903         - 40  # rls2009 NDRPDR iter env 5
904
905     vpp-performance-changes-2n-skx-h1:
906       csit-vpp-perf-report-iterative-2005-2n-skx:
907         - 100 # NDRPDR sel 2001.0-4
908         - 101 # NDRPDR sel 2001.0-4
909         - 102 # NDRPDR sel 2001.0-4
910         - 103 # NDRPDR sel 2001.0-4
911         - 104 # NDRPDR sel 2001.0-4
912         - 105 # NDRPDR sel 2001.0-4
913     vpp-performance-changes-2n-skx-ref-env4:
914       csit-vpp-perf-report-iterative-2005-2n-skx:
915         - 88  # NDRPDR sel env 4
916         - 89  # NDRPDR sel env 4
917         - 90  # NDRPDR sel env 4
918         - 91  # NDRPDR sel env 4
919         - 92  # NDRPDR sel env 4
920         - 93  # NDRPDR sel env 4
921         - 94  # NDRPDR sel env 4
922         - 125 # NDRPDR sel env 4
923         - 126 # NDRPDR sel env 4
924         - 127 # NDRPDR sel env 4
925     vpp-performance-changes-2n-skx-ref-env5:
926       csit-vpp-perf-report-iterative-2009-2n-skx:
927         - 13  # rls2005 NDRPDR iter env 5
928         - 16  # rls2005 NDRPDR iter env 5
929         - 17  # rls2005 NDRPDR iter env 5
930         - 18  # rls2005 NDRPDR iter env 5
931         - 19  # rls2005 NDRPDR iter env 5
932         - 21  # rls2005 NDRPDR iter env 5
933         - 22  # rls2005 NDRPDR iter env 5
934         - 23  # rls2005 NDRPDR iter env 5
935         - 24  # rls2005 NDRPDR iter env 5
936         - 25  # rls2005 NDRPDR iter env 5
937     vpp-performance-changes-2n-skx-cmp:
938       csit-vpp-perf-report-iterative-2009-2n-skx:
939         - 35  # rls2009 NDRPDR iter env 5
940         - 36  # rls2009 NDRPDR iter env 5
941         - 37  # rls2009 NDRPDR iter env 5
942         - 39  # rls2009 NDRPDR iter env 5
943         - 40  # rls2009 NDRPDR iter env 5
944         - 42  # rls2009 NDRPDR iter env 5
945         - 43  # rls2009 NDRPDR iter env 5
946         - 44  # rls2009 NDRPDR iter env 5
947         - 46  # rls2009 NDRPDR iter env 5
948         - 48  # rls2009 NDRPDR iter env 5
949         - 110 # rls2009 NDRPDR iter NAT44 env 5
950         - 111 # rls2009 NDRPDR iter NAT44 env 5
951         - 112 # rls2009 NDRPDR iter NAT44 env 5
952         - 113 # rls2009 NDRPDR iter NAT44 env 5
953         - 114 # rls2009 NDRPDR iter NAT44 env 5
954         - 115 # rls2009 NDRPDR iter NAT44 env 5
955         - 116 # rls2009 NDRPDR iter NAT44 env 5
956         - 118 # rls2009 NDRPDR iter NAT44 env 5
957         - 119 # rls2009 NDRPDR iter NAT44 env 5
958         - 121 # rls2009 NDRPDR iter NAT44 env 5
959
960     vpp-performance-changes-2n-clx-h1:
961       csit-vpp-perf-report-iterative-2005-2n-clx:
962         - 73  # NDRPDR sel 2001.0-4
963         - 74  # NDRPDR sel 2001.0-4
964         - 75  # NDRPDR sel 2001.0-4
965         - 76  # NDRPDR sel 2001.0-4
966         - 77  # NDRPDR sel 2001.0-4
967         - 78  # NDRPDR sel 2001.0-4
968         - 79  # NDRPDR sel 2001.0-4
969         - 80  # NDRPDR sel 2001.0-4
970     vpp-performance-changes-2n-clx-ref-env4:
971       csit-vpp-perf-report-iterative-2005-2n-clx:
972         - 62  # NDRPDR sel env 4
973         - 63  # NDRPDR sel env 4
974         - 64  # NDRPDR sel env 4
975         - 65  # NDRPDR sel env 4
976         - 66  # NDRPDR sel env 4
977         - 68  # NDRPDR sel env 4
978         - 69  # NDRPDR sel env 4
979         - 70  # NDRPDR sel env 4
980         - 103 # NDRPDR sel env 4
981         - 104 # NDRPDR sel env 4
982     vpp-performance-changes-2n-clx-ref-env5:
983       csit-vpp-perf-report-iterative-2009-2n-clx:
984         - 13  # rls2005 NDRPDR iter env 5
985         - 15  # rls2005 NDRPDR iter env 5
986         - 17  # rls2005 NDRPDR iter env 5
987         - 18  # rls2005 NDRPDR iter env 5
988         - 19  # rls2005 NDRPDR iter env 5
989         - 20  # rls2005 NDRPDR iter env 5
990         - 21  # rls2005 NDRPDR iter env 5
991         - 22  # rls2005 NDRPDR iter env 5
992         - 23  # rls2005 NDRPDR iter env 5
993         - 24  # rls2005 NDRPDR iter env 5
994     vpp-performance-changes-2n-clx-cmp:
995       csit-vpp-perf-report-iterative-2009-2n-clx:
996         - 36  # rls2009 NDRPDR iter env 5
997         - 39  # rls2009 NDRPDR iter env 5
998         - 40  # rls2009 NDRPDR iter env 5
999         - 65  # rls2009 NDRPDR iter env 5
1000         - 66  # rls2009 NDRPDR iter env 5
1001         - 79  # rls2009 NDRPDR iter env 5
1002         - 82  # rls2009 NDRPDR iter env 5
1003         - 88  # rls2009 NDRPDR iter env 5
1004         - 89  # rls2009 NDRPDR iter env 5
1005         - 90  # rls2009 NDRPDR iter env 5
1006         - 114 # rls2009 NDRPDR iter NAT44 env 5
1007         - 115 # rls2009 NDRPDR iter NAT44 env 5
1008         - 116 # rls2009 NDRPDR iter NAT44 env 5
1009         - 117 # rls2009 NDRPDR iter NAT44 env 5
1010         - 118 # rls2009 NDRPDR iter NAT44 env 5
1011         - 119 # rls2009 NDRPDR iter NAT44 env 5
1012         - 121 # rls2009 NDRPDR iter NAT44 env 5
1013         - 122 # rls2009 NDRPDR iter NAT44 env 5
1014         - 123 # rls2009 NDRPDR iter NAT44 env 5
1015         - 126 # rls2009 NDRPDR iter NAT44 env 5
1016
1017     vpp-performance-changes-2n-dnv-h1:
1018       csit-vpp-perf-verify-2001-2n-dnv:
1019         - 4   # NDRPDR sel
1020         - 5   # NDRPDR sel
1021         - 6   # NDRPDR sel
1022         - 7   # NDRPDR sel
1023         - 8   # NDRPDR sel
1024         - 9   # NDRPDR sel
1025         - 10  # NDRPDR sel
1026         - 11  # NDRPDR sel
1027         - 13  # NDRPDR sel
1028         - 16  # NDRPDR sel
1029     vpp-performance-changes-2n-dnv-ref:
1030       csit-vpp-perf-report-iterative-2009-2n-dnv:
1031         - 16  # rls2005 NDRPDR iter env 5
1032         - 17  # rls2005 NDRPDR iter env 5
1033         - 18  # rls2005 NDRPDR iter env 5
1034         - 19  # rls2005 NDRPDR iter env 5
1035         - 21  # rls2005 NDRPDR iter env 5
1036         - 24  # rls2005 NDRPDR iter env 5
1037         - 27  # rls2005 NDRPDR iter env 5
1038         - 28  # rls2005 NDRPDR iter env 5
1039         - 29  # rls2005 NDRPDR iter env 5
1040         - 30  # rls2005 NDRPDR iter env 5
1041     vpp-performance-changes-2n-dnv-cmp:
1042       csit-vpp-perf-report-iterative-2009-2n-dnv:
1043         - 3   # rls2009 NDRPDR iter env 5
1044         - 5   # rls2009 NDRPDR iter env 5
1045         - 6   # rls2009 NDRPDR iter env 5
1046         - 7   # rls2009 NDRPDR iter env 5
1047         - 9   # rls2009 NDRPDR iter env 5
1048         - 10  # rls2009 NDRPDR iter env 5
1049         - 11  # rls2009 NDRPDR iter env 5
1050         - 12  # rls2009 NDRPDR iter env 5
1051         - 14  # rls2009 NDRPDR iter env 5
1052         - 15  # rls2009 NDRPDR iter env 5
1053
1054     vpp-performance-changes-3n-dnv-h1:
1055       csit-vpp-perf-verify-2001-3n-dnv:
1056         - 5   # NDRPDR sel
1057         - 6   # NDRPDR sel
1058         - 7   # NDRPDR sel
1059         - 8   # NDRPDR sel
1060         - 9   # NDRPDR sel
1061         - 10  # NDRPDR sel
1062         - 12  # NDRPDR sel
1063         - 16  # NDRPDR sel
1064         - 17  # NDRPDR sel
1065         - 18  # NDRPDR sel
1066     vpp-performance-changes-3n-dnv-ref:
1067       csit-vpp-perf-report-iterative-2009-3n-dnv:
1068         - 16  # rls2005 NDRPDR iter env 5
1069         - 23  # rls2005 NDRPDR iter env 5
1070         - 25  # rls2005 NDRPDR iter env 5
1071         - 26  # rls2005 NDRPDR iter env 5
1072         - 27  # rls2005 NDRPDR iter env 5
1073         - 28  # rls2005 NDRPDR iter env 5
1074         - 29  # rls2005 NDRPDR iter env 5
1075         - 30  # rls2005 NDRPDR iter env 5
1076         - 31  # rls2005 NDRPDR iter env 5
1077         - 32  # rls2005 NDRPDR iter env 5
1078     vpp-performance-changes-3n-dnv-cmp:
1079       csit-vpp-perf-report-iterative-2009-3n-dnv:
1080         - 3   # rls2009 NDRPDR iter env 5
1081         - 6   # rls2009 NDRPDR iter env 5
1082         - 7   # rls2009 NDRPDR iter env 5
1083         - 8   # rls2009 NDRPDR iter env 5
1084         - 10  # rls2009 NDRPDR iter env 5
1085         - 11  # rls2009 NDRPDR iter env 5
1086         - 12  # rls2009 NDRPDR iter env 5
1087         - 14  # rls2009 NDRPDR iter env 5
1088         - 15  # rls2009 NDRPDR iter env 5
1089         - 24  # rls2009 NDRPDR iter env 5
1090
1091     vpp-performance-changes-3n-tsh-h1:
1092       csit-vpp-perf-report-iterative-2005-3n-tsh:
1093         - 28  # NDRPDR sel 2001.0-4
1094         - 29  # NDRPDR sel 2001.0-4
1095         - 31  # NDRPDR sel 2001.0-4
1096     vpp-performance-changes-3n-tsh-ref-env4:
1097       csit-vpp-perf-report-iterative-2005-3n-tsh:
1098         - 23  # NDRPDR sel env 4
1099         - 25  # NDRPDR sel env 4
1100         - 33  # NDRPDR sel env 4
1101         - 34  # NDRPDR sel env 4
1102         - 35  # NDRPDR sel env 4
1103         - 36  # NDRPDR sel env 4
1104         - 37  # NDRPDR sel env 4
1105         - 38  # NDRPDR sel env 4
1106         - 39  # NDRPDR sel env 4
1107         - 40  # NDRPDR sel env 4
1108     vpp-performance-changes-3n-tsh-ref-env5:
1109       csit-vpp-perf-report-iterative-2009-3n-tsh:
1110         - 8   # rls2005 NDRPDR iter env 5
1111         - 11  # rls2005 NDRPDR iter env 5
1112         - 12  # rls2005 NDRPDR iter env 5
1113         - 24  # rls2005 NDRPDR iter env 5
1114         - 27  # rls2005 NDRPDR iter env 5
1115         - 29  # rls2005 NDRPDR iter env 5
1116         - 31  # rls2005 NDRPDR iter env 5
1117         - 39  # rls2005 NDRPDR iter env 5
1118         - 40  # rls2005 NDRPDR iter env 5
1119         - 42  # rls2005 NDRPDR iter env 5
1120     vpp-performance-changes-3n-tsh-cmp:
1121       csit-vpp-perf-report-iterative-2009-3n-tsh:
1122         - 14  # rls2009 NDRPDR iter env 5
1123         - 20  # rls2009 NDRPDR iter env 5
1124         - 21  # rls2009 NDRPDR iter env 5
1125         - 22  # rls2009 NDRPDR iter env 5
1126         - 23  # rls2009 NDRPDR iter env 5
1127         - 28  # rls2009 NDRPDR iter env 5
1128         - 30  # rls2009 NDRPDR iter env 5
1129         - 33  # rls2009 NDRPDR iter env 5
1130         - 38  # rls2009 NDRPDR iter env 5
1131         - 41  # rls2009 NDRPDR iter env 5
1132
1133     vpp-soak-vs-ndr-2n-skx-ref:
1134       csit-vpp-perf-report-iterative-2009-2n-skx:
1135         - 35  # rls2009 NDRPDR iter env 5
1136         - 36  # rls2009 NDRPDR iter env 5
1137         - 37  # rls2009 NDRPDR iter env 5
1138         - 39  # rls2009 NDRPDR iter env 5
1139         - 40  # rls2009 NDRPDR iter env 5
1140         - 42  # rls2009 NDRPDR iter env 5
1141         - 43  # rls2009 NDRPDR iter env 5
1142         - 44  # rls2009 NDRPDR iter env 5
1143         - 46  # rls2009 NDRPDR iter env 5
1144         - 48  # rls2009 NDRPDR iter env 5
1145     vpp-soak-vs-ndr-2n-skx-cmp:
1146       csit-vpp-perf-report-iterative-2009-2n-skx:
1147         - 33  # rls2009 soak env 5
1148         - 34  # rls2009 soak env 5
1149     vpp-soak-vs-ndr-2n-skx:
1150       csit-vpp-perf-report-iterative-2009-2n-skx:
1151         - 35  # rls2009 NDRPDR iter env 5
1152         - 36  # rls2009 NDRPDR iter env 5
1153         - 37  # rls2009 NDRPDR iter env 5
1154         - 39  # rls2009 NDRPDR iter env 5
1155         - 40  # rls2009 NDRPDR iter env 5
1156         - 42  # rls2009 NDRPDR iter env 5
1157         - 43  # rls2009 NDRPDR iter env 5
1158         - 44  # rls2009 NDRPDR iter env 5
1159         - 46  # rls2009 NDRPDR iter env 5
1160         - 48  # rls2009 NDRPDR iter env 5
1161         - 33  # rls2009 soak env 5
1162         - 34  # rls2009 soak env 5
1163
1164     vpp-soak-vs-ndr-2n-clx-ref:
1165       csit-vpp-perf-report-iterative-2009-2n-clx:
1166         - 36  # rls2009 NDRPDR iter env 5
1167         - 39  # rls2009 NDRPDR iter env 5
1168         - 40  # rls2009 NDRPDR iter env 5
1169         - 65  # rls2009 NDRPDR iter env 5
1170         - 66  # rls2009 NDRPDR iter env 5
1171         - 79  # rls2009 NDRPDR iter env 5
1172         - 82  # rls2009 NDRPDR iter env 5
1173         - 88  # rls2009 NDRPDR iter env 5
1174         - 89  # rls2009 NDRPDR iter env 5
1175         - 90  # rls2009 NDRPDR iter env 5
1176     vpp-soak-vs-ndr-2n-clx-cmp:
1177       csit-vpp-perf-report-iterative-2009-2n-clx:
1178         - 33  # rls2009 soak env 5
1179         - 34  # rls2009 soak env 5
1180     vpp-soak-vs-ndr-2n-clx:
1181       csit-vpp-perf-report-iterative-2009-2n-clx:
1182         - 36  # rls2009 NDRPDR iter env 5
1183         - 39  # rls2009 NDRPDR iter env 5
1184         - 40  # rls2009 NDRPDR iter env 5
1185         - 65  # rls2009 NDRPDR iter env 5
1186         - 66  # rls2009 NDRPDR iter env 5
1187         - 79  # rls2009 NDRPDR iter env 5
1188         - 82  # rls2009 NDRPDR iter env 5
1189         - 88  # rls2009 NDRPDR iter env 5
1190         - 89  # rls2009 NDRPDR iter env 5
1191         - 90  # rls2009 NDRPDR iter env 5
1192         - 33  # rls2009 soak env 5
1193         - 34  # rls2009 soak env 5
1194
1195     vpp-performance-changes-3n-hsw-mrr-h1:
1196       csit-vpp-perf-verify-2001-3n-hsw:
1197         - 17  # MRR sel
1198     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1199       csit-vpp-perf-report-iterative-2005-3n-hsw:
1200         - 30  # MRR env 4
1201     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1202       csit-vpp-perf-report-iterative-2009-3n-hsw:
1203         - 18  # rls2005 MRR iter env 5
1204     vpp-performance-changes-3n-hsw-mrr-cmp:
1205       csit-vpp-perf-report-iterative-2009-3n-hsw:
1206         - 23  # rls2009 MRR iter env 5
1207
1208     vpp-performance-changes-3n-skx-mrr-h1:
1209       csit-vpp-perf-verify-2001-3n-skx:
1210         - 50  # MRR sel
1211         - 53  # MRR sel addition
1212     vpp-performance-changes-3n-skx-mrr-ref-env4:
1213       csit-vpp-perf-report-iterative-2005-3n-skx:
1214         - 49  # MRR sel env 4
1215     vpp-performance-changes-3n-skx-mrr-ref-env5:
1216       csit-vpp-perf-report-iterative-2009-3n-skx:
1217         - 17  # rls2005 MRR iter env 5
1218     vpp-performance-changes-3n-skx-mrr-cmp:
1219       csit-vpp-perf-report-iterative-2009-3n-skx:
1220         - 24  # rls2009 MRR iter env 5
1221
1222     vpp-performance-changes-2n-skx-mrr-h1:
1223       csit-vpp-perf-verify-2001-2n-skx:
1224         - 101 # MRR sel
1225         - 128 # MRR sel addition
1226     vpp-performance-changes-2n-skx-mrr-ref-env4:
1227       csit-vpp-perf-report-iterative-2005-2n-skx:
1228         - 99  # MRR sel env 4
1229     vpp-performance-changes-2n-skx-mrr-ref-env5:
1230       csit-vpp-perf-report-iterative-2009-2n-skx:
1231         - 20  # rls2005 MRR iter env 5
1232     vpp-performance-changes-2n-skx-mrr-cmp:
1233       csit-vpp-perf-report-iterative-2009-2n-skx:
1234         - 120 # rls2009 MRR iter env 5
1235
1236     vpp-performance-changes-2n-clx-mrr-h1:
1237       csit-vpp-perf-verify-2001-2n-clx:
1238         - 39  # MRR
1239     vpp-performance-changes-2n-clx-mrr-ref-env4:
1240       csit-vpp-perf-report-iterative-2005-2n-clx:
1241         - 72   # MRR sel env 4
1242     vpp-performance-changes-2n-clx-mrr-ref-env5:
1243       csit-vpp-perf-report-iterative-2009-2n-clx:
1244         - 77  # rls2005 MRR iter env 5
1245     vpp-performance-changes-2n-clx-mrr-cmp:
1246       csit-vpp-perf-report-iterative-2009-2n-clx:
1247         - 125 # rls2009 MRR iter env 5
1248
1249     vpp-performance-changes-2n-dnv-mrr-h1:
1250       csit-vpp-perf-verify-2001-2n-dnv:
1251         - 12  # MRR sel
1252     vpp-performance-changes-2n-dnv-mrr-ref:
1253       csit-vpp-perf-report-iterative-2009-2n-dnv:
1254         - 23  # rls2005 MRR iter env 5
1255     vpp-performance-changes-2n-dnv-mrr-cmp:
1256       csit-vpp-perf-report-iterative-2009-2n-dnv:
1257         - 13  # rls2009 MRR iter env 5
1258
1259     vpp-performance-changes-3n-dnv-mrr-h1:
1260       csit-vpp-perf-verify-2001-3n-dnv:
1261         - 11  # MRR sel
1262     vpp-performance-changes-3n-dnv-mrr-ref:
1263       csit-vpp-perf-report-iterative-2009-3n-dnv:
1264         - 19  # rls2005 MRR iter env 5
1265     vpp-performance-changes-3n-dnv-mrr-cmp:
1266       csit-vpp-perf-report-iterative-2009-3n-dnv:
1267         - 22  # rls2009 MRR iter env 5
1268
1269     vpp-performance-changes-3n-tsh-mrr-h1:
1270       csit-vpp-perf-verify-2001-3n-tsh:
1271         - 9   # MRR sel
1272     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1273       csit-vpp-perf-report-iterative-2005-3n-tsh:
1274         - 27  # MRR sel env 4
1275     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1276       csit-vpp-perf-report-iterative-2009-3n-tsh:
1277         - 13  # rls2005 MRR iter env 5
1278     vpp-performance-changes-3n-tsh-mrr-cmp:
1279       csit-vpp-perf-report-iterative-2009-3n-tsh:
1280         - 15  # rls2009 MRR iter env 5
1281
1282     dpdk-performance-changes-3n-hsw-h1:
1283       csit-dpdk-perf-verify-2001-3n-hsw:
1284         - 4   # NDRPDR sel
1285         - 5   # NDRPDR sel
1286         - 6   # NDRPDR sel
1287         - 7   # NDRPDR sel
1288         - 8   # NDRPDR sel
1289         - 9   # NDRPDR sel
1290         - 10  # NDRPDR sel
1291         - 11  # NDRPDR sel
1292         - 12  # NDRPDR sel
1293         - 13  # NDRPDR sel
1294         - 15  # NDRPDR sel
1295         - 16  # NDRPDR sel
1296         - 17  # NDRPDR sel
1297         - 18  # NDRPDR sel
1298         - 19  # NDRPDR sel
1299         - 20  # NDRPDR sel
1300         - 21  # NDRPDR sel
1301         - 22  # NDRPDR sel
1302         - 23  # NDRPDR sel
1303         - 24  # NDRPDR sel
1304     dpdk-performance-changes-3n-hsw-ref:
1305       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1306         - 25  # NDRPDR iter
1307         - 26  # NDRPDR iter
1308         - 27  # NDRPDR iter
1309         - 28  # NDRPDR iter
1310         - 29  # NDRPDR iter
1311         - 30  # NDRPDR iter
1312         - 31  # NDRPDR iter
1313         - 32  # NDRPDR iter
1314         - 33  # NDRPDR iter
1315         - 34  # NDRPDR iter
1316     dpdk-performance-changes-3n-hsw-cmp:
1317       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1318         - 6   # NDRPDR iter env5
1319         - 7   # NDRPDR iter env5
1320         - 8   # NDRPDR iter env5
1321         - 9   # NDRPDR iter env5
1322         - 10  # NDRPDR iter env5
1323         - 11  # NDRPDR iter env5
1324         - 12  # NDRPDR iter env5
1325         - 13  # NDRPDR iter env5
1326         - 14  # NDRPDR iter env5
1327         - 15  # NDRPDR iter env5
1328
1329     dpdk-performance-changes-3n-skx-h1:
1330       csit-dpdk-perf-verify-2001-3n-skx:
1331         - 29  # NDRPDR sel xxv710
1332         - 33  # NDRPDR sel xxv710
1333         - 34  # NDRPDR sel xxv710
1334         - 35  # NDRPDR sel xxv710
1335         - 36  # NDRPDR sel xxv710
1336         - 37  # NDRPDR sel xxv710
1337         - 41  # NDRPDR sel xxv710
1338         - 42  # NDRPDR sel xxv710
1339         - 43  # NDRPDR sel xxv710
1340         - 45  # NDRPDR sel xxv710
1341         - 30  # NDRPDR sel x710
1342         - 31  # NDRPDR sel x710
1343         - 32  # NDRPDR sel x710
1344         - 38  # NDRPDR sel x710
1345         - 39  # NDRPDR sel x710
1346         - 40  # NDRPDR sel x710
1347         - 44  # NDRPDR sel x710
1348         - 46  # NDRPDR sel x710
1349         - 47  # NDRPDR sel x710
1350         - 48  # NDRPDR sel x710
1351     dpdk-performance-changes-3n-skx-ref:
1352       csit-dpdk-perf-report-iterative-2005-3n-skx:
1353         - 28  # NDRPDR iter
1354         - 29  # NDRPDR iter
1355         - 30  # NDRPDR iter
1356         - 31  # NDRPDR iter
1357         - 32  # NDRPDR iter
1358         - 33  # NDRPDR iter
1359         - 34  # NDRPDR iter
1360         - 35  # NDRPDR iter
1361         - 36  # NDRPDR iter
1362         - 37  # NDRPDR iter
1363     dpdk-performance-changes-3n-skx-cmp:
1364       csit-dpdk-perf-report-iterative-2009-3n-skx:
1365         - 4   # NDRPDR sel env5
1366         - 5   # NDRPDR sel env5
1367         - 6   # NDRPDR sel env5
1368         - 7   # NDRPDR sel env5
1369         - 8   # NDRPDR sel env5
1370         - 9   # NDRPDR sel env5
1371         - 14  # NDRPDR sel env5
1372         - 11  # NDRPDR sel env5
1373         - 12  # NDRPDR sel env5
1374         - 13  # NDRPDR sel env5
1375
1376     dpdk-performance-changes-2n-skx-h1:
1377       csit-dpdk-perf-verify-2001-2n-skx:
1378         - 35  # NDRPDR sel xxv710
1379         - 36  # NDRPDR sel xxv710
1380         - 37  # NDRPDR sel xxv710
1381         - 41  # NDRPDR sel xxv710
1382         - 42  # NDRPDR sel xxv710
1383         - 43  # NDRPDR sel xxv710
1384         - 46  # NDRPDR sel xxv710
1385         - 47  # NDRPDR sel xxv710
1386         - 52  # NDRPDR sel xxv710
1387         - 53  # NDRPDR sel xxv710
1388         - 38  # NDRPDR sel x710
1389         - 39  # NDRPDR sel x710
1390         - 40  # NDRPDR sel x710
1391         - 44  # NDRPDR sel x710
1392         - 45  # NDRPDR sel x710
1393         - 48  # NDRPDR sel x710
1394         - 49  # NDRPDR sel x710
1395         - 50  # NDRPDR sel x710
1396         - 51  # NDRPDR sel x710
1397         - 54  # NDRPDR sel x710
1398     dpdk-performance-changes-2n-skx-ref:
1399       csit-dpdk-perf-report-iterative-2005-2n-skx:
1400         - 20  # NDRPDR iter
1401         - 21  # NDRPDR iter
1402         - 22  # NDRPDR iter
1403         - 23  # NDRPDR iter
1404         - 24  # NDRPDR iter
1405         - 25  # NDRPDR iter
1406         - 26  # NDRPDR iter
1407         - 27  # NDRPDR iter
1408         - 28  # NDRPDR iter
1409         - 29  # NDRPDR iter
1410     dpdk-performance-changes-2n-skx-cmp:
1411       csit-dpdk-perf-report-iterative-2009-2n-skx:
1412         - 4   # NDRPDR iter env5
1413         - 5   # NDRPDR iter env5
1414         - 6   # NDRPDR iter env5
1415         - 7   # NDRPDR iter env5
1416         - 8   # NDRPDR iter env5
1417         - 9   # NDRPDR iter env5
1418         - 10  # NDRPDR iter env5
1419         - 11  # NDRPDR iter env5
1420         - 12  # NDRPDR iter env5
1421         - 13  # NDRPDR iter env5
1422
1423     dpdk-performance-changes-2n-clx-h1:
1424       csit-dpdk-perf-verify-2001-2n-clx:
1425         - 15  # NDRPDR sel
1426         - 16  # NDRPDR sel
1427         - 17  # NDRPDR sel
1428         - 18  # NDRPDR sel
1429         - 19  # NDRPDR sel
1430         - 20  # NDRPDR sel
1431         - 21  # NDRPDR sel
1432         - 22  # NDRPDR sel
1433         - 23  # NDRPDR sel
1434         - 24  # NDRPDR sel
1435         - 25  # NDRPDR sel
1436         - 26  # NDRPDR sel
1437         - 27  # NDRPDR sel
1438         - 28  # NDRPDR sel
1439         - 29  # NDRPDR sel
1440         - 30  # NDRPDR sel
1441         - 31  # NDRPDR sel
1442         - 32  # NDRPDR sel
1443         - 33  # NDRPDR sel
1444         - 34  # NDRPDR sel
1445     dpdk-performance-changes-2n-clx-ref:
1446       csit-dpdk-perf-report-iterative-2005-2n-clx:
1447         - 20  # NDRPDR iter
1448         - 21  # NDRPDR iter
1449         - 22  # NDRPDR iter
1450         - 23  # NDRPDR iter
1451         - 24  # NDRPDR iter
1452         - 25  # NDRPDR iter
1453         - 26  # NDRPDR iter
1454         - 27  # NDRPDR iter
1455         - 28  # NDRPDR iter
1456         - 29  # NDRPDR iter
1457     dpdk-performance-changes-2n-clx-cmp:
1458       csit-dpdk-perf-report-iterative-2009-2n-clx:
1459         - 4   # NDRPDR iter env5
1460         - 5   # NDRPDR iter env5
1461         - 6   # NDRPDR iter env5
1462         - 7   # NDRPDR iter env5
1463         - 8   # NDRPDR iter env5
1464         - 9   # NDRPDR iter env5
1465         - 10  # NDRPDR iter env5
1466         - 11  # NDRPDR iter env5
1467         - 12  # NDRPDR iter env5
1468         - 13  # NDRPDR iter env5
1469
1470 #    dpdk-performance-changes-2n-dnv-h1:
1471 #      csit-dpdk-perf-verify-2001-2n-dnv:
1472 #        - 9   # NDRPDR sel
1473 #        - 10  # NDRPDR sel
1474 #        - 11  # NDRPDR sel
1475 #        - 12  # NDRPDR sel
1476 #        - 13  # NDRPDR sel
1477 #        - 14  # NDRPDR sel
1478 #        - 15  # NDRPDR sel
1479 #        - 16  # NDRPDR sel
1480 #        - 17  # NDRPDR sel
1481 #        - 18  # NDRPDR sel
1482 #    dpdk-performance-changes-2n-dnv-ref:
1483 #      # No data
1484 #    dpdk-performance-changes-2n-dnv-cmp:
1485 #      # No data
1486 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1487
1488 #    dpdk-performance-changes-3n-dnv-h1:
1489 #      csit-dpdk-perf-verify-2001-3n-dnv:
1490 #        - 12  # NDRPDR sel
1491 #        - 13  # NDRPDR sel
1492 #        - 14  # NDRPDR sel
1493 #        - 15  # NDRPDR sel
1494 #        - 16  # NDRPDR sel
1495 #        - 17  # NDRPDR sel
1496 #        - 18  # NDRPDR sel
1497 #        - 19  # NDRPDR sel
1498 #        - 20  # NDRPDR sel
1499 #        - 22  # NDRPDR sel
1500 #    dpdk-performance-changes-3n-dnv-ref:
1501 #      # No data
1502 #    dpdk-performance-changes-3n-dnv-cmp:
1503 #      # No data
1504 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1505
1506     dpdk-performance-changes-3n-tsh-h1:
1507       csit-dpdk-perf-verify-2001-3n-tsh:
1508         - 3   # NDRPDR sel
1509         - 4   # NDRPDR sel
1510         - 5   # NDRPDR sel
1511         - 9   # NDRPDR sel
1512         - 10  # NDRPDR sel
1513         - 11  # NDRPDR sel
1514         - 12  # NDRPDR sel
1515         - 14  # NDRPDR sel
1516         - 15  # NDRPDR sel
1517         - 18  # NDRPDR sel
1518     dpdk-performance-changes-3n-tsh-ref:
1519       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1520         - 5   # NDRPDR sel
1521     dpdk-performance-changes-3n-tsh-cmp:
1522       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1523         - 1   # NDRPDR iter env5
1524         - 2   # NDRPDR iter env5
1525         - 3   # NDRPDR iter env5
1526         - 4   # NDRPDR iter env5
1527         - 5   # NDRPDR iter env5
1528         - 6   # NDRPDR iter env5
1529         - 7   # NDRPDR iter env5
1530         - 9   # NDRPDR iter env5
1531         - 10  # NDRPDR iter env5
1532         - 11  # NDRPDR iter env5
1533
1534     # Compare testbeds
1535
1536     vpp-compare-testbeds-ref:
1537       csit-vpp-perf-report-iterative-2009-3n-hsw:
1538         - 21  # rls2009 NDRPDR iter env 5
1539         - 22  # rls2009 NDRPDR iter env 5
1540         - 24  # rls2009 NDRPDR iter env 5
1541         - 25  # rls2009 NDRPDR iter env 5
1542         - 26  # rls2009 NDRPDR iter env 5
1543         - 27  # rls2009 NDRPDR iter env 5
1544         - 28  # rls2009 NDRPDR iter env 5
1545         - 29  # rls2009 NDRPDR iter env 5
1546         - 30  # rls2009 NDRPDR iter env 5
1547         - 31  # rls2009 NDRPDR iter env 5
1548     vpp-compare-testbeds-cmp:
1549       csit-vpp-perf-report-iterative-2009-3n-skx:
1550         - 26  # rls2009 NDRPDR iter env 5
1551         - 27  # rls2009 NDRPDR iter env 5
1552         - 28  # rls2009 NDRPDR iter env 5
1553         - 29  # rls2009 NDRPDR iter env 5
1554         - 35  # rls2009 NDRPDR iter env 5
1555         - 36  # rls2009 NDRPDR iter env 5
1556         - 37  # rls2009 NDRPDR iter env 5
1557         - 38  # rls2009 NDRPDR iter env 5
1558         - 39  # rls2009 NDRPDR iter env 5
1559         - 40  # rls2009 NDRPDR iter env 5
1560
1561     vpp-compare-testbeds-skx-clx-ref:
1562       csit-vpp-perf-report-iterative-2009-2n-skx:
1563         - 35  # rls2009 NDRPDR iter env 5
1564         - 36  # rls2009 NDRPDR iter env 5
1565         - 37  # rls2009 NDRPDR iter env 5
1566         - 39  # rls2009 NDRPDR iter env 5
1567         - 40  # rls2009 NDRPDR iter env 5
1568         - 42  # rls2009 NDRPDR iter env 5
1569         - 43  # rls2009 NDRPDR iter env 5
1570         - 44  # rls2009 NDRPDR iter env 5
1571         - 46  # rls2009 NDRPDR iter env 5
1572         - 48  # rls2009 NDRPDR iter env 5
1573         - 110 # rls2009 NDRPDR iter NAT44 env 5
1574         - 111 # rls2009 NDRPDR iter NAT44 env 5
1575         - 112 # rls2009 NDRPDR iter NAT44 env 5
1576         - 113 # rls2009 NDRPDR iter NAT44 env 5
1577         - 114 # rls2009 NDRPDR iter NAT44 env 5
1578         - 115 # rls2009 NDRPDR iter NAT44 env 5
1579         - 116 # rls2009 NDRPDR iter NAT44 env 5
1580         - 118 # rls2009 NDRPDR iter NAT44 env 5
1581         - 119 # rls2009 NDRPDR iter NAT44 env 5
1582         - 121 # rls2009 NDRPDR iter NAT44 env 5
1583     vpp-compare-testbeds-skx-clx-cmp:
1584       csit-vpp-perf-report-iterative-2009-2n-clx:
1585         - 36  # rls2009 NDRPDR iter env 5
1586         - 39  # rls2009 NDRPDR iter env 5
1587         - 40  # rls2009 NDRPDR iter env 5
1588         - 65  # rls2009 NDRPDR iter env 5
1589         - 66  # rls2009 NDRPDR iter env 5
1590         - 79  # rls2009 NDRPDR iter env 5
1591         - 82  # rls2009 NDRPDR iter env 5
1592         - 88  # rls2009 NDRPDR iter env 5
1593         - 89  # rls2009 NDRPDR iter env 5
1594         - 90  # rls2009 NDRPDR iter env 5
1595         - 114 # rls2009 NDRPDR iter NAT44 env 5
1596         - 115 # rls2009 NDRPDR iter NAT44 env 5
1597         - 116 # rls2009 NDRPDR iter NAT44 env 5
1598         - 117 # rls2009 NDRPDR iter NAT44 env 5
1599         - 118 # rls2009 NDRPDR iter NAT44 env 5
1600         - 119 # rls2009 NDRPDR iter NAT44 env 5
1601         - 121 # rls2009 NDRPDR iter NAT44 env 5
1602         - 122 # rls2009 NDRPDR iter NAT44 env 5
1603         - 123 # rls2009 NDRPDR iter NAT44 env 5
1604         - 126 # rls2009 NDRPDR iter NAT44 env 5
1605
1606     vpp-compare-testbeds-hsw-clx-ref:
1607       csit-vpp-perf-report-iterative-2009-3n-hsw:
1608         - 21  # rls2009 NDRPDR iter env 5
1609         - 22  # rls2009 NDRPDR iter env 5
1610         - 24  # rls2009 NDRPDR iter env 5
1611         - 25  # rls2009 NDRPDR iter env 5
1612         - 26  # rls2009 NDRPDR iter env 5
1613         - 27  # rls2009 NDRPDR iter env 5
1614         - 28  # rls2009 NDRPDR iter env 5
1615         - 29  # rls2009 NDRPDR iter env 5
1616         - 30  # rls2009 NDRPDR iter env 5
1617         - 31  # rls2009 NDRPDR iter env 5
1618     vpp-compare-testbeds-hsw-clx-cmp:
1619       csit-vpp-perf-report-iterative-2009-2n-clx:
1620         - 36  # rls2009 NDRPDR iter env 5
1621         - 39  # rls2009 NDRPDR iter env 5
1622         - 40  # rls2009 NDRPDR iter env 5
1623         - 65  # rls2009 NDRPDR iter env 5
1624         - 66  # rls2009 NDRPDR iter env 5
1625         - 79  # rls2009 NDRPDR iter env 5
1626         - 82  # rls2009 NDRPDR iter env 5
1627         - 88  # rls2009 NDRPDR iter env 5
1628         - 89  # rls2009 NDRPDR iter env 5
1629         - 90  # rls2009 NDRPDR iter env 5
1630
1631     vpp-compare-testbeds-mrr-ref:
1632       csit-vpp-perf-report-iterative-2009-3n-hsw:
1633         - 23  # rls2009 MRR iter env 5
1634     vpp-compare-testbeds-mrr-cmp:
1635       csit-vpp-perf-report-iterative-2009-3n-skx:
1636         - 24  # rls2009 MRR iter env 5
1637
1638     vpp-compare-testbeds-mrr-skx-clx-ref:
1639       csit-vpp-perf-report-iterative-2009-2n-skx:
1640         - 120 # rls2009 MRR iter env 5
1641     vpp-compare-testbeds-mrr-skx-clx-cmp:
1642       csit-vpp-perf-report-iterative-2009-2n-clx:
1643         - 125 # rls2009 MRR iter env 5
1644
1645     vpp-compare-testbeds-mrr-hsw-clx-ref:
1646       csit-vpp-perf-report-iterative-2009-3n-hsw:
1647         - 23  # rls2009 MRR iter env 5
1648     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1649       csit-vpp-perf-report-iterative-2009-2n-clx:
1650         - 125 # rls2009 MRR iter env 5
1651
1652     dpdk-compare-testbeds-ref:
1653       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1654         - 6   # NDRPDR iter env5
1655         - 7   # NDRPDR iter env5
1656         - 8   # NDRPDR iter env5
1657         - 9   # NDRPDR iter env5
1658         - 10  # NDRPDR iter env5
1659         - 11  # NDRPDR iter env5
1660         - 12  # NDRPDR iter env5
1661         - 13  # NDRPDR iter env5
1662         - 14  # NDRPDR iter env5
1663         - 15  # NDRPDR iter env5
1664     dpdk-compare-testbeds-cmp:
1665       csit-dpdk-perf-report-iterative-2009-3n-skx:
1666         - 4   # NDRPDR sel env5
1667         - 5   # NDRPDR sel env5
1668         - 6   # NDRPDR sel env5
1669         - 7   # NDRPDR sel env5
1670         - 8   # NDRPDR sel env5
1671         - 9   # NDRPDR sel env5
1672         - 14  # NDRPDR sel env5
1673         - 11  # NDRPDR sel env5
1674         - 12  # NDRPDR sel env5
1675         - 13  # NDRPDR sel env5
1676
1677     dpdk-compare-testbeds-skx-clx-ref:
1678       csit-dpdk-perf-report-iterative-2009-2n-skx:
1679         - 4   # NDRPDR iter env5
1680         - 5   # NDRPDR iter env5
1681         - 6   # NDRPDR iter env5
1682         - 7   # NDRPDR iter env5
1683         - 8   # NDRPDR iter env5
1684         - 9   # NDRPDR iter env5
1685         - 10  # NDRPDR iter env5
1686         - 11  # NDRPDR iter env5
1687         - 12  # NDRPDR iter env5
1688         - 13  # NDRPDR iter env5
1689     dpdk-compare-testbeds-skx-clx-cmp:
1690       csit-dpdk-perf-report-iterative-2009-2n-clx:
1691         - 4   # NDRPDR iter env5
1692         - 5   # NDRPDR iter env5
1693         - 6   # NDRPDR iter env5
1694         - 7   # NDRPDR iter env5
1695         - 8   # NDRPDR iter env5
1696         - 9   # NDRPDR iter env5
1697         - 10  # NDRPDR iter env5
1698         - 11  # NDRPDR iter env5
1699         - 12  # NDRPDR iter env5
1700         - 13  # NDRPDR iter env5
1701
1702     # Compare topologies
1703
1704     vpp-compare-topologies-ref:
1705       csit-vpp-perf-report-iterative-2009-3n-skx:
1706         - 26  # rls2009 NDRPDR iter env 5
1707         - 27  # rls2009 NDRPDR iter env 5
1708         - 28  # rls2009 NDRPDR iter env 5
1709         - 29  # rls2009 NDRPDR iter env 5
1710         - 35  # rls2009 NDRPDR iter env 5
1711         - 36  # rls2009 NDRPDR iter env 5
1712         - 37  # rls2009 NDRPDR iter env 5
1713         - 38  # rls2009 NDRPDR iter env 5
1714         - 39  # rls2009 NDRPDR iter env 5
1715         - 40  # rls2009 NDRPDR iter env 5
1716     vpp-compare-topologies-cmp:
1717       csit-vpp-perf-report-iterative-2009-2n-skx:
1718         - 35  # rls2009 NDRPDR iter env 5
1719         - 36  # rls2009 NDRPDR iter env 5
1720         - 37  # rls2009 NDRPDR iter env 5
1721         - 39  # rls2009 NDRPDR iter env 5
1722         - 40  # rls2009 NDRPDR iter env 5
1723         - 42  # rls2009 NDRPDR iter env 5
1724         - 43  # rls2009 NDRPDR iter env 5
1725         - 44  # rls2009 NDRPDR iter env 5
1726         - 46  # rls2009 NDRPDR iter env 5
1727         - 48  # rls2009 NDRPDR iter env 5
1728
1729     vpp-compare-topologies-mrr-ref:
1730       csit-vpp-perf-report-iterative-2009-3n-skx:
1731         - 24  # rls2009 MRR iter env 5
1732     vpp-compare-topologies-mrr-cmp:
1733       csit-vpp-perf-report-iterative-2009-2n-skx:
1734         - 120 # rls2009 MRR iter env 5
1735
1736     dpdk-compare-topologies-ref:
1737       csit-dpdk-perf-report-iterative-2009-3n-skx:
1738         - 4   # NDRPDR sel env5
1739         - 5   # NDRPDR sel env5
1740         - 6   # NDRPDR sel env5
1741         - 7   # NDRPDR sel env5
1742         - 8   # NDRPDR sel env5
1743         - 9   # NDRPDR sel env5
1744         - 14  # NDRPDR sel env5
1745         - 11  # NDRPDR sel env5
1746         - 12  # NDRPDR sel env5
1747         - 13  # NDRPDR sel env5
1748     dpdk-compare-topologies-cmp:
1749       csit-dpdk-perf-report-iterative-2009-2n-skx:
1750         - 4   # NDRPDR iter env5
1751         - 5   # NDRPDR iter env5
1752         - 6   # NDRPDR iter env5
1753         - 7   # NDRPDR iter env5
1754         - 8   # NDRPDR iter env5
1755         - 9   # NDRPDR iter env5
1756         - 10  # NDRPDR iter env5
1757         - 11  # NDRPDR iter env5
1758         - 12  # NDRPDR iter env5
1759         - 13  # NDRPDR iter env5
1760
1761   plot-layouts:
1762
1763     plot-soak-throughput:
1764       titlefont:
1765         size: 16
1766       xaxis:
1767         title: "<b>Test Cases [Index]</b>"
1768         titlefont:
1769           size: 14
1770         autorange: True
1771         fixedrange: False
1772         gridcolor: "rgb(230, 230, 230)"
1773         linecolor: "rgb(220, 220, 220)"
1774         linewidth: 1
1775         showgrid: True
1776         showline: True
1777         showticklabels: True
1778         tickcolor: "rgb(220, 220, 220)"
1779         tickmode: "linear"
1780         tickfont:
1781           size: 14
1782         zeroline: False
1783       yaxis:
1784         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1785         titlefont:
1786           size: 14
1787         gridcolor: "rgb(230, 230, 230)"
1788         hoverformat: ".4r"
1789         tickformat: ".3r"
1790         linecolor: "rgb(220, 220, 220)"
1791         linewidth: 1
1792         showgrid: True
1793         showline: True
1794         showticklabels: True
1795         tickcolor: "rgb(220, 220, 220)"
1796         tickfont:
1797           size: 14
1798         zeroline: False
1799         range: [0,50]
1800       autosize: False
1801       margin:
1802         t: 50
1803         b: 0
1804         l: 80
1805         r: 20
1806       showlegend: True
1807       legend:
1808         orientation: "h"
1809         font:
1810           size: 14
1811       width: 700
1812       height: 900
1813       paper_bgcolor: "#fff"
1814       plot_bgcolor: "#fff"
1815       hoverlabel:
1816         namelength: -1
1817
1818     plot-service-density:
1819       titlefont:
1820         size: 16
1821       xaxis:
1822         side: "top"
1823         autorange: True
1824         fixedrange: False
1825         showgrid: False
1826         showline: False
1827         showticklabels: False
1828         ticks: ""
1829         ticklen: 0
1830         tickwidth: 0
1831         zeroline: False
1832       yaxis:
1833         autorange: "reversed"
1834         showgrid: False
1835         showline: False
1836         showticklabels: False
1837         ticks: ""
1838         ticklen: 0
1839         tickwidth: 0
1840         zeroline: False
1841       showlegend: False
1842       paper_bgcolor: "#fff"
1843       plot_bgcolor: "#fff"
1844       width: 700
1845       height: 700
1846       hoverlabel:
1847         namelength: -1
1848
1849     plot-hoststack:
1850       titlefont:
1851         size: 16
1852       xaxis:
1853         title: "<b>Test Cases [Index]</b>"
1854         titlefont:
1855           size: 14
1856         autorange: True
1857         fixedrange: False
1858         gridcolor: "rgb(230, 230, 230)"
1859         linecolor: "rgb(220, 220, 220)"
1860         linewidth: 1
1861         showgrid: True
1862         showline: True
1863         showticklabels: True
1864         tickcolor: "rgb(220, 220, 220)"
1865         tickmode: "linear"
1866         tickfont:
1867           size: 14
1868         zeroline: False
1869       yaxis:
1870         title: "<b>Bandwidth [Gbps]</b>"
1871         titlefont:
1872           size: 14
1873         gridcolor: "rgb(230, 230, 230)"
1874         hoverformat: ".4s"
1875         linecolor: "rgb(220, 220, 220)"
1876         linewidth: 1
1877         rangemode: "tozero"
1878         showgrid: True
1879         showline: True
1880         showticklabels: True
1881         tickcolor: "rgb(230, 230, 230)"
1882         tickformat: ".3s"
1883         tickfont:
1884           size: 14
1885         zeroline: False
1886       autosize: False
1887       margin:
1888         t: 50
1889         b: 20
1890         l: 80
1891         r: 20
1892       showlegend: True
1893       legend:
1894         orientation: "h"
1895         font:
1896           size: 14
1897       width: 700
1898       height: 800
1899       paper_bgcolor: "#fff"
1900       plot_bgcolor: "#fff"
1901       hoverlabel:
1902         namelength: -1
1903
1904     plot-throughput:
1905       titlefont:
1906         size: 16
1907       xaxis:
1908         title: "<b>Test Cases [Index]</b>"
1909         titlefont:
1910           size: 14
1911         autorange: True
1912         fixedrange: False
1913         gridcolor: "rgb(230, 230, 230)"
1914         linecolor: "rgb(220, 220, 220)"
1915         linewidth: 1
1916         showgrid: True
1917         showline: True
1918         showticklabels: True
1919         tickcolor: "rgb(220, 220, 220)"
1920         tickmode: "linear"
1921         tickfont:
1922           size: 14
1923         zeroline: False
1924       yaxis:
1925         title: "<b>Packet Throughput [Mpps]</b>"
1926         titlefont:
1927           size: 14
1928         gridcolor: "rgb(230, 230, 230)"
1929         hoverformat: ".4r"
1930         tickformat: ".3r"
1931         linecolor: "rgb(220, 220, 220)"
1932         linewidth: 1
1933         showgrid: True
1934         showline: True
1935         showticklabels: True
1936         tickcolor: "rgb(220, 220, 220)"
1937         tickfont:
1938           size: 14
1939         zeroline: False
1940         range: [0,50]
1941       autosize: False
1942       margin:
1943         t: 50
1944         b: 0
1945         l: 80
1946         r: 20
1947       showlegend: True
1948       legend:
1949         orientation: "h"
1950         font:
1951           size: 14
1952       width: 700
1953       height: 900
1954       paper_bgcolor: "#fff"
1955       plot_bgcolor: "#fff"
1956       hoverlabel:
1957         namelength: -1
1958
1959     plot-throughput-gbps:
1960       titlefont:
1961         size: 16
1962       xaxis:
1963         title: "<b>Test Cases [Index]</b>"
1964         titlefont:
1965           size: 14
1966         autorange: True
1967         fixedrange: False
1968         gridcolor: "rgb(230, 230, 230)"
1969         linecolor: "rgb(220, 220, 220)"
1970         linewidth: 1
1971         showgrid: True
1972         showline: True
1973         showticklabels: True
1974         tickcolor: "rgb(220, 220, 220)"
1975         tickmode: "linear"
1976         tickfont:
1977           size: 14
1978         zeroline: False
1979       yaxis:
1980         title: "<b>Packet Throughput [Gbps]</b>"
1981         titlefont:
1982           size: 14
1983         gridcolor: "rgb(230, 230, 230)"
1984         hoverformat: ".4r"
1985         tickformat: ".3r"
1986         linecolor: "rgb(220, 220, 220)"
1987         linewidth: 1
1988         showgrid: True
1989         showline: True
1990         showticklabels: True
1991         tickcolor: "rgb(220, 220, 220)"
1992         tickfont:
1993           size: 14
1994         zeroline: False
1995         range: [0,10]
1996       autosize: False
1997       margin:
1998         t: 50
1999         b: 0
2000         l: 80
2001         r: 20
2002       showlegend: True
2003       legend:
2004         orientation: "h"
2005         font:
2006           size: 14
2007       width: 700
2008       height: 900
2009       paper_bgcolor: "#fff"
2010       plot_bgcolor: "#fff"
2011       hoverlabel:
2012         namelength: -1
2013
2014     plot-cps:
2015       titlefont:
2016         size: 16
2017       xaxis:
2018         title: "<b>Test Cases [Index]</b>"
2019         titlefont:
2020           size: 14
2021         autorange: True
2022         fixedrange: False
2023         gridcolor: "rgb(230, 230, 230)"
2024         linecolor: "rgb(220, 220, 220)"
2025         linewidth: 1
2026         showgrid: True
2027         showline: True
2028         showticklabels: True
2029         tickcolor: "rgb(220, 220, 220)"
2030         tickmode: "linear"
2031         tickfont:
2032           size: 14
2033         zeroline: False
2034       yaxis:
2035         title: "<b>Connection Rate [Mcps]</b>"
2036         titlefont:
2037           size: 14
2038         gridcolor: "rgb(230, 230, 230)"
2039         hoverformat: ".4r"
2040         tickformat: ".3s"
2041         linecolor: "rgb(220, 220, 220)"
2042         linewidth: 1
2043         showgrid: True
2044         showline: True
2045         showticklabels: True
2046         tickcolor: "rgb(220, 220, 220)"
2047         tickfont:
2048           size: 14
2049         zeroline: False
2050         range: [0,10]
2051       autosize: False
2052       margin:
2053         t: 50
2054         b: 0
2055         l: 80
2056         r: 20
2057       showlegend: True
2058       legend:
2059         orientation: "h"
2060         font:
2061           size: 14
2062       width: 700
2063       height: 900
2064       paper_bgcolor: "#fff"
2065       plot_bgcolor: "#fff"
2066       hoverlabel:
2067         namelength: -1
2068
2069     plot-throughput-speedup-analysis:
2070       titlefont:
2071         size: 16
2072       xaxis:
2073         title: "<b>Number of Cores [Qty]</b>"
2074         titlefont:
2075           size: 14
2076         autorange: True
2077         fixedrange: False
2078         gridcolor: "rgb(230, 230, 230)"
2079         linecolor: "rgb(220, 220, 220)"
2080         linewidth: 1
2081         showgrid: True
2082         showline: True
2083         showticklabels: True
2084         tickcolor: "rgb(238, 238, 238)"
2085         tickmode: "linear"
2086         tickfont:
2087           size: 14
2088         zeroline: False
2089       yaxis:
2090         title: "<b>Packet Throughput [Mpps]</b>"
2091         titlefont:
2092           size: 14
2093         type: "linear"
2094         gridcolor: "rgb(230, 230, 230)"
2095         hoverformat: ".4s"
2096         linecolor: "rgb(220, 220, 220)"
2097         linewidth: 1
2098         showgrid: True
2099         showline: True
2100         showticklabels: True
2101         tickcolor: "rgb(220, 220, 220)"
2102         tickformat: ".4s"
2103         tickfont:
2104           size: 14
2105         zeroline: True
2106         rangemode: "tozero"
2107         range: [0,100]
2108       legend:
2109         orientation: "h"
2110         font:
2111           size: 14
2112         xanchor: "left"
2113         yanchor: "top"
2114         x: 0
2115         y: -0.2
2116         bgcolor: "rgba(255, 255, 255, 0)"
2117         bordercolor: "rgba(255, 255, 255, 0)"
2118         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2119       autosize: False
2120       margin:
2121           't': 50
2122           'b': 150
2123           'l': 85
2124           'r': 10
2125       showlegend: True
2126       width: 700
2127       height: 700
2128       paper_bgcolor: "#fff"
2129       plot_bgcolor: "#fff"
2130       hoverlabel:
2131         namelength: -1
2132       annotations: [
2133         {
2134           text: "_ _          __          ...",
2135           align: "left",
2136           showarrow: False,
2137           xref: "paper",
2138           yref: "paper",
2139           xanchor: "left",
2140           yanchor: "top",
2141           x: 0,
2142           y: -0.14,
2143           font: {
2144             family: "Consolas, Courier New",
2145             size: 13
2146           },
2147         },
2148         {
2149           text: "    Perfect     Measured     Limit",
2150           align: "left",
2151           showarrow: False,
2152           xref: "paper",
2153           yref: "paper",
2154           xanchor: "left",
2155           yanchor: "top",
2156           x: 0,
2157           y: -0.15,
2158           font: {
2159             family: "Consolas, Courier New",
2160             size: 13
2161           },
2162         },
2163       ]
2164
2165     plot-throughput-speedup-analysis-gbps:
2166       titlefont:
2167         size: 16
2168       xaxis:
2169         title: "<b>Number of Cores [Qty]</b>"
2170         titlefont:
2171           size: 14
2172         autorange: True
2173         fixedrange: False
2174         gridcolor: "rgb(230, 230, 230)"
2175         linecolor: "rgb(220, 220, 220)"
2176         linewidth: 1
2177         showgrid: True
2178         showline: True
2179         showticklabels: True
2180         tickcolor: "rgb(238, 238, 238)"
2181         tickmode: "linear"
2182         tickfont:
2183           size: 14
2184         zeroline: False
2185       yaxis:
2186         title: "<b>Packet Throughput [Gbps]</b>"
2187         titlefont:
2188           size: 14
2189         type: "linear"
2190         gridcolor: "rgb(230, 230, 230)"
2191         hoverformat: ".4s"
2192         linecolor: "rgb(220, 220, 220)"
2193         linewidth: 1
2194         showgrid: True
2195         showline: True
2196         showticklabels: True
2197         tickcolor: "rgb(220, 220, 220)"
2198         tickformat: ".4s"
2199         tickfont:
2200           size: 14
2201         zeroline: True
2202         rangemode: "tozero"
2203         range: [0,100]
2204       legend:
2205         orientation: "h"
2206         font:
2207           size: 14
2208         xanchor: "left"
2209         yanchor: "top"
2210         x: 0
2211         y: -0.2
2212         bgcolor: "rgba(255, 255, 255, 0)"
2213         bordercolor: "rgba(255, 255, 255, 0)"
2214         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2215       autosize: False
2216       margin:
2217           't': 50
2218           'b': 150
2219           'l': 85
2220           'r': 10
2221       showlegend: True
2222       width: 700
2223       height: 700
2224       paper_bgcolor: "#fff"
2225       plot_bgcolor: "#fff"
2226       hoverlabel:
2227         namelength: -1
2228       annotations: [
2229         {
2230           text: "_ _          __",
2231           align: "left",
2232           showarrow: False,
2233           xref: "paper",
2234           yref: "paper",
2235           xanchor: "left",
2236           yanchor: "top",
2237           x: 0,
2238           y: -0.13,
2239           font: {
2240             family: "Consolas, Courier New",
2241             size: 13
2242           },
2243         },
2244         {
2245           text: "    Perfect     Measured",
2246           align: "left",
2247           showarrow: False,
2248           xref: "paper",
2249           yref: "paper",
2250           xanchor: "left",
2251           yanchor: "top",
2252           x: 0,
2253           y: -0.15,
2254           font: {
2255             family: "Consolas, Courier New",
2256             size: 13
2257           },
2258         },
2259       ]
2260
2261     plot-throughput-speedup-analysis-cps:
2262       titlefont:
2263         size: 16
2264       xaxis:
2265         title: "<b>Number of Cores [Qty]</b>"
2266         titlefont:
2267           size: 14
2268         autorange: True
2269         fixedrange: False
2270         gridcolor: "rgb(230, 230, 230)"
2271         linecolor: "rgb(220, 220, 220)"
2272         linewidth: 1
2273         showgrid: True
2274         showline: True
2275         showticklabels: True
2276         tickcolor: "rgb(238, 238, 238)"
2277         tickmode: "linear"
2278         tickfont:
2279           size: 14
2280         zeroline: False
2281       yaxis:
2282         title: "<b>Connection Rate [Mcps]</b>"
2283         titlefont:
2284           size: 14
2285         type: "linear"
2286         gridcolor: "rgb(230, 230, 230)"
2287         hoverformat: ".4s"
2288         linecolor: "rgb(220, 220, 220)"
2289         linewidth: 1
2290         showgrid: True
2291         showline: True
2292         showticklabels: True
2293         tickcolor: "rgb(220, 220, 220)"
2294         tickformat: ".4s"
2295         tickfont:
2296           size: 14
2297         zeroline: True
2298         rangemode: "tozero"
2299         range: [0,100]
2300       legend:
2301         orientation: "h"
2302         font:
2303           size: 14
2304         xanchor: "left"
2305         yanchor: "top"
2306         x: 0
2307         y: -0.2
2308         bgcolor: "rgba(255, 255, 255, 0)"
2309         bordercolor: "rgba(255, 255, 255, 0)"
2310         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2311       autosize: False
2312       margin:
2313           't': 50
2314           'b': 150
2315           'l': 85
2316           'r': 10
2317       showlegend: True
2318       width: 700
2319       height: 700
2320       paper_bgcolor: "#fff"
2321       plot_bgcolor: "#fff"
2322       hoverlabel:
2323         namelength: -1
2324       annotations: [
2325         {
2326           text: "_ _          __",
2327           align: "left",
2328           showarrow: False,
2329           xref: "paper",
2330           yref: "paper",
2331           xanchor: "left",
2332           yanchor: "top",
2333           x: 0,
2334           y: -0.13,
2335           font: {
2336             family: "Consolas, Courier New",
2337             size: 13
2338           },
2339         },
2340         {
2341           text: "    Perfect     Measured",
2342           align: "left",
2343           showarrow: False,
2344           xref: "paper",
2345           yref: "paper",
2346           xanchor: "left",
2347           yanchor: "top",
2348           x: 0,
2349           y: -0.15,
2350           font: {
2351             family: "Consolas, Courier New",
2352             size: 13
2353           },
2354         },
2355       ]
2356
2357     plot-latency:
2358       titlefont:
2359         size: 16
2360       xaxis:
2361         title: "<b>Direction</b>"
2362         titlefont:
2363           size: 14
2364         autorange: True
2365         fixedrange: False
2366         gridcolor: "rgb(230, 230, 230)"
2367         linecolor: "rgb(220, 220, 220)"
2368         linewidth: 1
2369         showgrid: True
2370         showline: True
2371         showticklabels: False
2372         tickcolor: "rgb(220, 220, 220)"
2373         tickmode: "linear"
2374         tickfont:
2375           size: 14
2376         zeroline: False
2377       yaxis:
2378         title: "<b>Packet Latency [uSec]</b>"
2379         titlefont:
2380           size: 14
2381         type: "linear"
2382         gridcolor: "rgb(230, 230, 230)"
2383         hoverformat: ".4s"
2384         linecolor: "rgb(220, 220, 220)"
2385         linewidth: 1
2386         showgrid: True
2387         showline: True
2388         showticklabels: True
2389         tickcolor: "rgb(220, 220, 220)"
2390         tickformat: ".4s"
2391         tickfont:
2392           size: 14
2393         zeroline: True
2394         rangemode: "tozero"
2395       legend:
2396         orientation: "h"
2397         font:
2398           size: 14
2399         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2400       autosize: False
2401       margin:
2402           't': 50
2403           'b': 150
2404           'l': 80
2405           'r': 10
2406       showlegend: True
2407       width: 700
2408       height: 700
2409       paper_bgcolor: "#fff"
2410       plot_bgcolor: "#fff"
2411       hoverlabel:
2412         namelength: -1
2413
2414     plot-hdrh-latency:
2415       title:
2416         text: ""
2417         xanchor: "center"
2418         x: 0.5
2419         font:
2420           size: 16
2421       width: 700
2422       plot_bgcolor: "white"
2423       annotations:
2424         - font:
2425             size: 14
2426           showarrow: False
2427           text: "<b>Packet Latency [uSec]</b>"
2428           x: 1
2429           xanchor: "right"
2430           xref: "paper"
2431           y: -0.045
2432           yanchor: "top"
2433           yref: "paper"
2434         - font:
2435             size: 14
2436           showarrow: False
2437           text: "<b>Probability [%]</b>"
2438           textangle: 270
2439           x: -0.06
2440           xanchor: "center"
2441           xref: "paper"
2442           y: 0.5
2443           yanchor: "middle"
2444           yref: "paper"
2445         - font:
2446             size: 14
2447           showarrow: False
2448           text: "<b>Direction: E-W</b>"
2449           x: 0.24
2450           xanchor: "center"
2451           xref: "paper"
2452           y: 1.05
2453           yanchor: "bottom"
2454           yref: "paper"
2455         - font:
2456             size: 14
2457           showarrow: False
2458           text: "<b>Direction: W-E</b>"
2459           x: 0.74
2460           xanchor: "center"
2461           xref: "paper"
2462           y: 1.05
2463           yanchor: "bottom"
2464           yref: "paper"
2465
2466     plot-hdrh-latency-percentile:
2467       title:
2468         text: ""
2469         xanchor: "center"
2470         x: 0.5
2471         font:
2472           size: 16
2473       xaxis:
2474         type: "log"
2475         title: "<b>Percentile [%]</b>"
2476         titlefont:
2477           size: 14
2478         autorange: True
2479         fixedrange: False
2480         gridcolor: "rgb(230, 230, 230)"
2481         linecolor: "rgb(220, 220, 220)"
2482         linewidth: 1
2483         showgrid: True
2484         showline: True
2485         showticklabels: True
2486         tickcolor: "rgb(220, 220, 220)"
2487         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2488         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2489         tickfont:
2490           size: 14
2491       yaxis:
2492         title: "<b>Packet Latency [uSec]</b>"
2493         titlefont:
2494           size: 14
2495         gridcolor: "rgb(230, 230, 230)"
2496         linecolor: "rgb(220, 220, 220)"
2497         linewidth: 1
2498         showgrid: True
2499         showline: True
2500         showticklabels: True
2501         tickcolor: "rgb(220, 220, 220)"
2502         tickfont:
2503           size: 14
2504       autosize: False
2505       showlegend: True
2506       legend:
2507         traceorder: "normal"
2508         orientation: "h"
2509         font:
2510           size: 14
2511         xanchor: "left"
2512         yanchor: "top"
2513         x: 0
2514         y: -0.15
2515         bgcolor: "rgba(255, 255, 255, 0)"
2516         bordercolor: "rgba(255, 255, 255, 0)"
2517       width: 700
2518       height: 700
2519       paper_bgcolor: "white"
2520       plot_bgcolor: "white"
2521
2522     plot-hdrh-latency-by-percentile:
2523       title:
2524         text: "<b>Latency by Percentile Distribution</b>"
2525         xanchor: "center"
2526         x: 0.5
2527         font:
2528           size: 18
2529       showlegend: True
2530       legend:
2531         traceorder: "normal"
2532         orientation: "h"
2533         font:
2534           size: 16
2535         xanchor: "left"
2536         yanchor: "top"
2537         x: 0
2538         y: -0.2
2539         bgcolor: "rgba(255, 255, 255, 0)"
2540         bordercolor: "rgba(255, 255, 255, 0)"
2541       xaxis:
2542         type: "linear"
2543         title: "<b>Percentile [%]</b>"
2544         titlefont:
2545           size: 14
2546         autorange: False
2547         fixedrange: False
2548         range: [0, 100]
2549         gridcolor: "rgb(230, 230, 230)"
2550         linecolor: "rgb(220, 220, 220)"
2551         linewidth: 1
2552         showgrid: True
2553         showline: True
2554         showticklabels: True
2555         tickcolor: "rgb(220, 220, 220)"
2556         tickvals: [0, 25, 50, 75, 100]
2557         ticktext: [0, 25, 50, 75, 100]
2558         tickfont:
2559           size: 14
2560       yaxis:
2561         title: "<b>One-Way Latency per Direction [uSec]</b>"
2562         titlefont:
2563           size: 14
2564         gridcolor: "rgb(230, 230, 230)"
2565         linecolor: "rgb(220, 220, 220)"
2566         linewidth: 1
2567         showgrid: True
2568         showline: True
2569         showticklabels: True
2570         tickcolor: "rgb(220, 220, 220)"
2571         tickfont:
2572           size: 14
2573       width: 700
2574       height: 700
2575       paper_bgcolor: "white"
2576       plot_bgcolor: "white"
2577
2578 - type: "static"
2579   src-path: "{DIR[RST]}"
2580   dst-path: "{DIR[WORKING,SRC]}"
2581
2582 - type: "input"
2583   general:
2584     file-name: "output_info.xml.gz"
2585     file-format: ".gz"
2586     arch-file-format:
2587       - ".gz"
2588       - ".zip"
2589     download-path: "{job}/{build}/archives/{filename}"
2590     extract: "output.xml"
2591
2592     zip-file-name: "robot-plugin.zip"
2593     zip-file-format: ".zip"
2594     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2595     zip-extract: "robot-plugin/output.xml"
2596
2597   builds:
2598
2599     csit-vpp-perf-verify-2001-3n-hsw:
2600       - 17  # MRR sel
2601     csit-vpp-perf-report-iterative-2005-3n-hsw:
2602       - 20  # NDRPDR sel env 4
2603       - 21  # NDRPDR sel env 4
2604       - 22  # NDRPDR sel env 4
2605       - 23  # NDRPDR sel env 4
2606       - 24  # NDRPDR sel env 4
2607       - 25  # NDRPDR sel env 4
2608       - 26  # NDRPDR sel env 4
2609       - 27  # NDRPDR sel env 4
2610       - 28  # NDRPDR sel env 4
2611       - 29  # NDRPDR sel env 4
2612       - 30  # MRR env 4
2613       - 31  # NDRPDR sel 2001.0-4
2614       - 32  # NDRPDR sel 2001.0-4
2615       - 33  # NDRPDR sel 2001.0-4
2616       - 34  # NDRPDR sel 2001.0-4
2617       - 35  # NDRPDR sel 2001.0-4
2618       - 36  # NDRPDR sel 2001.0-4
2619       - 38  # NDRPDR sel 2001.0-4
2620     csit-vpp-perf-report-iterative-2009-3n-hsw:
2621       - 18  # rls2005 MRR iter env 5
2622       - 9   # rls2005 NDRPDR iter env 5
2623       - 10  # rls2005 NDRPDR iter env 5
2624       - 11  # rls2005 NDRPDR iter env 5
2625       - 12  # rls2005 NDRPDR iter env 5
2626       - 13  # rls2005 NDRPDR iter env 5
2627       - 14  # rls2005 NDRPDR iter env 5
2628       - 15  # rls2005 NDRPDR iter env 5
2629       - 16  # rls2005 NDRPDR iter env 5
2630       - 17  # rls2005 NDRPDR iter env 5
2631       - 19  # rls2005 NDRPDR iter env 5
2632       - 23  # rls2009 MRR iter env 5
2633       - 21  # rls2009 NDRPDR iter env 5
2634       - 22  # rls2009 NDRPDR iter env 5
2635       - 24  # rls2009 NDRPDR iter env 5
2636       - 25  # rls2009 NDRPDR iter env 5
2637       - 26  # rls2009 NDRPDR iter env 5
2638       - 27  # rls2009 NDRPDR iter env 5
2639       - 28  # rls2009 NDRPDR iter env 5
2640       - 29  # rls2009 NDRPDR iter env 5
2641       - 30  # rls2009 NDRPDR iter env 5
2642       - 31  # rls2009 NDRPDR iter env 5
2643       - 32  # rls2009 Hoststack iter env 5
2644       - 33  # rls2009 Hoststack iter env 5
2645       - 34  # rls2009 Hoststack iter env 5
2646       - 35  # rls2009 Hoststack iter env 5
2647       - 36  # rls2009 Hoststack iter env 5
2648       - 37  # rls2009 Hoststack iter env 5
2649       - 38  # rls2009 Hoststack iter env 5
2650       - 39  # rls2009 Hoststack iter env 5
2651       - 40  # rls2009 Hoststack iter env 5
2652       - 41  # rls2009 Hoststack iter env 5
2653     csit-vpp-perf-report-coverage-2009-3n-hsw:
2654       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2655       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2656       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2657       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2658       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2659       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2660       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2661       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2662       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2663       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2664       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2665       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2666       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2667       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2668       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2669       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2670       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2671       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2672       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2673       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2674       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2675       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2676       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2677       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2678       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2679       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2680       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2681       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2682       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2683       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2684       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2685       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2686       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2687       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2688       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2689
2690     csit-vpp-perf-verify-2001-3n-skx:
2691       - 50  # MRR sel
2692       - 53  # MRR sel addition
2693     csit-vpp-perf-report-iterative-2005-3n-skx:
2694       - 4   # NDRPDR sel
2695       - 5   # NDRPDR sel ??? all x710 failed
2696       - 33  # NDRPDR sel
2697       - 28  # NDRPDR sel
2698       - 34  # NDRPDR sel
2699       - 42  # NDRPDR sel env 4
2700       - 43  # NDRPDR sel env 4
2701       - 44  # NDRPDR sel env 4
2702       - 45  # NDRPDR sel env 4
2703       - 47  # NDRPDR sel env 4
2704       - 55  # NDRPDR sel env 4
2705       - 56  # NDRPDR sel env 4
2706       - 57  # NDRPDR sel env 4
2707       - 61  # NDRPDR sel env 4
2708       - 62  # NDRPDR sel env 4
2709       - 50  # NDRPDR sel 2001.0-4
2710       - 51  # NDRPDR sel 2001.0-4
2711       - 52  # NDRPDR sel 2001.0-4
2712       - 53  # NDRPDR sel 2001.0-4
2713       - 54  # NDRPDR sel 2001.0-4
2714       - 49  # MRR sel env 4
2715     csit-vpp-perf-report-iterative-2009-3n-skx:
2716       - 17  # rls2005 MRR iter env 5
2717       - 13  # rls2005 NDRPDR iter env 5
2718       - 18  # rls2005 NDRPDR iter env 5
2719       - 19  # rls2005 NDRPDR iter env 5
2720       - 41  # rls2005 NDRPDR iter env 5
2721       - 43  # rls2005 NDRPDR iter env 5
2722       - 44  # rls2005 NDRPDR iter env 5
2723       - 45  # rls2005 NDRPDR iter env 5
2724       - 46  # rls2005 NDRPDR iter env 5
2725       - 48  # rls2005 NDRPDR iter env 5
2726       - 49  # rls2005 NDRPDR iter env 5
2727       - 24  # rls2009 MRR iter env 5
2728       - 26  # rls2009 NDRPDR iter env 5
2729       - 27  # rls2009 NDRPDR iter env 5
2730       - 28  # rls2009 NDRPDR iter env 5
2731       - 29  # rls2009 NDRPDR iter env 5
2732       - 35  # rls2009 NDRPDR iter env 5
2733       - 36  # rls2009 NDRPDR iter env 5
2734       - 37  # rls2009 NDRPDR iter env 5
2735       - 38  # rls2009 NDRPDR iter env 5
2736       - 39  # rls2009 NDRPDR iter env 5
2737       - 40  # rls2009 NDRPDR iter env 5
2738     csit-vpp-perf-report-coverage-2009-3n-skx:
2739       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2740       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2741       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2742       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2743       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2744       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2745       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2746       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2747       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2748       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2749       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2750       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2751       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2752       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2753       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2754       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2755       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2756       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2757       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2758       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2759       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2760       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2761       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2762       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2763       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2764       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2765       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2766       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2767       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2768       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2769       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2770       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2771       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2772       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2773       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2774       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2775
2776     csit-vpp-perf-verify-2001-2n-skx:
2777       - 101  # MRR sel - old
2778       - 128  # MRR sel addition - old
2779     csit-vpp-perf-report-iterative-2005-2n-skx:
2780       - 88  # NDRPDR sel env 4
2781       - 89  # NDRPDR sel env 4
2782       - 90  # NDRPDR sel env 4
2783       - 91  # NDRPDR sel env 4
2784       - 92  # NDRPDR sel env 4
2785       - 93  # NDRPDR sel env 4
2786       - 94  # NDRPDR sel env 4
2787       - 125 # NDRPDR sel env 4
2788       - 126 # NDRPDR sel env 4
2789       - 127 # NDRPDR sel env 4
2790       - 100 # NDRPDR sel 2001.0-4
2791       - 101 # NDRPDR sel 2001.0-4
2792       - 102 # NDRPDR sel 2001.0-4
2793       - 103 # NDRPDR sel 2001.0-4
2794       - 104 # NDRPDR sel 2001.0-4
2795       - 105 # NDRPDR sel 2001.0-4
2796       - 99  # MRR sel env 4
2797     csit-vpp-perf-report-iterative-2009-2n-skx:
2798       - 20  # rls2005 MRR iter env 5
2799       - 13  # rls2005 NDRPDR iter env 5
2800       - 16  # rls2005 NDRPDR iter env 5
2801       - 17  # rls2005 NDRPDR iter env 5
2802       - 18  # rls2005 NDRPDR iter env 5
2803       - 19  # rls2005 NDRPDR iter env 5
2804       - 21  # rls2005 NDRPDR iter env 5
2805       - 22  # rls2005 NDRPDR iter env 5
2806       - 23  # rls2005 NDRPDR iter env 5
2807       - 24  # rls2005 NDRPDR iter env 5
2808       - 25  # rls2005 NDRPDR iter env 5
2809       - 120 # rls2009 MRR iter env 5
2810       - 35  # rls2009 NDRPDR iter env 5
2811       - 36  # rls2009 NDRPDR iter env 5
2812       - 37  # rls2009 NDRPDR iter env 5
2813       - 39  # rls2009 NDRPDR iter env 5
2814       - 40  # rls2009 NDRPDR iter env 5
2815       - 42  # rls2009 NDRPDR iter env 5
2816       - 43  # rls2009 NDRPDR iter env 5
2817       - 44  # rls2009 NDRPDR iter env 5
2818       - 46  # rls2009 NDRPDR iter env 5
2819       - 48  # rls2009 NDRPDR iter env 5
2820       - 110 # rls2009 NDRPDR iter NAT44 env 5
2821       - 111 # rls2009 NDRPDR iter NAT44 env 5
2822       - 112 # rls2009 NDRPDR iter NAT44 env 5
2823       - 113 # rls2009 NDRPDR iter NAT44 env 5
2824       - 114 # rls2009 NDRPDR iter NAT44 env 5
2825       - 115 # rls2009 NDRPDR iter NAT44 env 5
2826       - 116 # rls2009 NDRPDR iter NAT44 env 5
2827       - 118 # rls2009 NDRPDR iter NAT44 env 5
2828       - 119 # rls2009 NDRPDR iter NAT44 env 5
2829       - 121 # rls2009 NDRPDR iter NAT44 env 5
2830       - 38  # rls2009 nf-density iter env 5
2831       - 41  # rls2009 nf-density iter env 5
2832       - 45  # rls2009 nf-density iter env 5
2833       - 47  # rls2009 nf-density iter env 5
2834       - 49  # rls2009 nf-density iter env 5
2835       - 63  # rls2009 nf-density iter env 5
2836       - 65  # rls2009 nf-density iter env 5
2837       - 66  # rls2009 nf-density iter env 5
2838       - 71  # rls2009 nf-density iter env 5
2839       - 72  # rls2009 nf-density iter env 5
2840       - 50  # rls2009 MRR nf-density iter env 5
2841       - 27  # rls2009 reconf env 5
2842       - 28  # rls2009 reconf env 5
2843       - 29  # rls2009 reconf env 5
2844       - 30  # rls2009 reconf env 5
2845       - 31  # rls2009 reconf env 5
2846       - 32  # rls2009 reconf env 5
2847       - 61  # rls2009 reconf env 5
2848       - 62  # rls2009 reconf env 5
2849       - 68  # rls2009 reconf env 5
2850       - 70  # rls2009 reconf env 5
2851       - 33  # rls2009 soak env 5
2852       - 34  # rls2009 soak env 5
2853     csit-vpp-perf-report-coverage-2009-2n-skx:
2854       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2855       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2856       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2857       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2858       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2859       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2860       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2861       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2862       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2863       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2864       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2865       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2866       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2867       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2868       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2869       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2870       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2871
2872     csit-vpp-perf-verify-2001-2n-clx:
2873       - 39  # MRR
2874     csit-vpp-perf-report-iterative-2005-2n-clx:
2875       - 62  # NDRPDR sel env 4
2876       - 63  # NDRPDR sel env 4
2877       - 64  # NDRPDR sel env 4
2878       - 65  # NDRPDR sel env 4
2879       - 66  # NDRPDR sel env 4
2880       - 68  # NDRPDR sel env 4
2881       - 69  # NDRPDR sel env 4
2882       - 70  # NDRPDR sel env 4
2883       - 103 # NDRPDR sel env 4
2884       - 104 # NDRPDR sel env 4
2885       - 73  # NDRPDR sel 2001.0-4
2886       - 74  # NDRPDR sel 2001.0-4
2887       - 75  # NDRPDR sel 2001.0-4
2888       - 76  # NDRPDR sel 2001.0-4
2889       - 77  # NDRPDR sel 2001.0-4
2890       - 78  # NDRPDR sel 2001.0-4
2891       - 79  # NDRPDR sel 2001.0-4
2892       - 80  # NDRPDR sel 2001.0-4
2893       - 72  # MRR env 4
2894     csit-vpp-perf-report-iterative-2009-2n-clx:
2895       - 77  # rls2005 MRR iter env 5
2896       - 13  # rls2005 NDRPDR iter env 5
2897       - 15  # rls2005 NDRPDR iter env 5
2898       - 17  # rls2005 NDRPDR iter env 5
2899       - 18  # rls2005 NDRPDR iter env 5
2900       - 19  # rls2005 NDRPDR iter env 5
2901       - 20  # rls2005 NDRPDR iter env 5
2902       - 21  # rls2005 NDRPDR iter env 5
2903       - 22  # rls2005 NDRPDR iter env 5
2904       - 23  # rls2005 NDRPDR iter env 5
2905       - 24  # rls2005 NDRPDR iter env 5
2906       - 125 # rls2009 MRR iter env 5
2907       - 36  # rls2009 NDRPDR iter env 5
2908       - 39  # rls2009 NDRPDR iter env 5
2909       - 40  # rls2009 NDRPDR iter env 5
2910       - 65  # rls2009 NDRPDR iter env 5
2911       - 66  # rls2009 NDRPDR iter env 5
2912       - 79  # rls2009 NDRPDR iter env 5
2913       - 82  # rls2009 NDRPDR iter env 5
2914       - 88  # rls2009 NDRPDR iter env 5
2915       - 89  # rls2009 NDRPDR iter env 5
2916       - 90  # rls2009 NDRPDR iter env 5
2917       - 114 # rls2009 NDRPDR iter NAT44 env 5
2918       - 115 # rls2009 NDRPDR iter NAT44 env 5
2919       - 116 # rls2009 NDRPDR iter NAT44 env 5
2920       - 117 # rls2009 NDRPDR iter NAT44 env 5
2921       - 118 # rls2009 NDRPDR iter NAT44 env 5
2922       - 119 # rls2009 NDRPDR iter NAT44 env 5
2923       - 121 # rls2009 NDRPDR iter NAT44 env 5
2924       - 122 # rls2009 NDRPDR iter NAT44 env 5
2925       - 123 # rls2009 NDRPDR iter NAT44 env 5
2926       - 126 # rls2009 NDRPDR iter NAT44 env 5
2927       - 37  # rls2009 nf-density iter env 5
2928       - 43  # rls2009 nf-density iter env 5
2929       - 69  # rls2009 nf-density iter env 5
2930       - 70  # rls2009 nf-density iter env 5
2931       - 71  # rls2009 nf-density iter env 5
2932       - 72  # rls2009 nf-density iter env 5
2933       - 73  # rls2009 nf-density iter env 5
2934       - 74  # rls2009 nf-density iter env 5
2935       - 75  # rls2009 nf-density iter env 5
2936       - 76  # rls2009 nf-density iter env 5
2937       - 45  # rls2009 MRR nf-density iter env 5
2938       - 25  # rls2009 reconf env 5
2939       - 27  # rls2009 reconf env 5
2940       - 28  # rls2009 reconf env 5
2941       - 29  # rls2009 reconf env 5
2942       - 30  # rls2009 reconf env 5
2943       - 30  # rls2009 reconf env 5
2944       - 32  # rls2009 reconf env 5
2945       - 48  # rls2009 reconf env 5
2946       - 53  # rls2009 reconf env 5
2947       - 68  # rls2009 reconf env 5
2948       - 33  # rls2009 soak env 5
2949       - 34  # rls2009 soak env 5
2950     csit-vpp-perf-report-coverage-2009-2n-clx:
2951       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2952       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2953       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2954       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2955       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2956       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2957       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2958       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2959       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2960       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2961       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2962       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2963       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2964       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2965       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2966       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2967       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2968
2969     csit-vpp-perf-report-iterative-2009-2n-zn2:
2970       - 1   # rls2009 MRR turbo iter env 5
2971       - 3   # rls2009 NDRPDR turbo iter env 5
2972       - 4   # rls2009 NDRPDR turbo iter env 5
2973       - 6   # rls2009 NDRPDR turbo iter env 5
2974       - 7   # rls2009 NDRPDR turbo iter env 5
2975       - 8   # rls2009 NDRPDR turbo iter env 5
2976       - 9   # rls2009 NDRPDR turbo iter env 5
2977       - 10  # rls2009 NDRPDR turbo iter env 5
2978       - 11  # rls2009 NDRPDR turbo iter env 5
2979       - 15  # rls2009 MRR iter env 5
2980       - 17  # rls2009 NDRPDR iter env 5
2981       - 18  # rls2009 NDRPDR iter env 5
2982       - 31  # rls2009 NDRPDR iter env 5
2983       - 33  # rls2009 NDRPDR iter env 5
2984       - 34  # rls2009 NDRPDR iter env 5
2985
2986     csit-vpp-perf-verify-2001-3n-tsh:
2987       - 9   # MRR sel
2988     csit-vpp-perf-report-iterative-2005-3n-tsh:
2989       - 23  # NDRPDR sel env 4
2990       - 25  # NDRPDR sel env 4
2991       - 33  # NDRPDR sel env 4
2992       - 34  # NDRPDR sel env 4
2993       - 35  # NDRPDR sel env 4
2994       - 36  # NDRPDR sel env 4
2995       - 37  # NDRPDR sel env 4
2996       - 38  # NDRPDR sel env 4
2997       - 39  # NDRPDR sel env 4
2998       - 40  # NDRPDR sel env 4
2999       - 28  # NDRPDR sel 2001.0-4
3000       - 29  # NDRPDR sel 2001.0-4
3001       - 31  # NDRPDR sel 2001.0-4
3002       - 27  # MRR sel env 4
3003     csit-vpp-perf-report-iterative-2009-3n-tsh:
3004       - 8   # rls2005 NDRPDR iter env 5
3005       - 11  # rls2005 NDRPDR iter env 5
3006       - 12  # rls2005 NDRPDR iter env 5
3007       - 24  # rls2005 NDRPDR iter env 5
3008       - 27  # rls2005 NDRPDR iter env 5
3009       - 29  # rls2005 NDRPDR iter env 5
3010       - 31  # rls2005 NDRPDR iter env 5
3011       - 39  # rls2005 NDRPDR iter env 5
3012       - 40  # rls2005 NDRPDR iter env 5
3013       - 42  # rls2005 NDRPDR iter env 5
3014       - 13  # rls2005 MRR iter env 5
3015       - 14  # rls2009 NDRPDR iter env 5
3016       - 20  # rls2009 NDRPDR iter env 5
3017       - 21  # rls2009 NDRPDR iter env 5
3018       - 22  # rls2009 NDRPDR iter env 5
3019       - 23  # rls2009 NDRPDR iter env 5
3020       - 28  # rls2009 NDRPDR iter env 5
3021       - 30  # rls2009 NDRPDR iter env 5
3022       - 33  # rls2009 NDRPDR iter env 5
3023       - 38  # rls2009 NDRPDR iter env 5
3024       - 41  # rls2009 NDRPDR iter env 5
3025       - 15  # rls2009 MRR iter env 5
3026
3027     csit-vpp-perf-verify-2001-3n-dnv:
3028       - 5   # NDRPDR sel
3029       - 6   # NDRPDR sel
3030       - 7   # NDRPDR sel
3031       - 8   # NDRPDR sel
3032       - 9   # NDRPDR sel
3033       - 10  # NDRPDR sel
3034       - 12  # NDRPDR sel
3035       - 16  # NDRPDR sel
3036       - 17  # NDRPDR sel
3037       - 18  # NDRPDR sel
3038       - 11  # MRR sel
3039     csit-vpp-perf-report-iterative-2009-3n-dnv:
3040       - 16  # rls2005 NDRPDR iter env 5
3041       - 23  # rls2005 NDRPDR iter env 5
3042       - 25  # rls2005 NDRPDR iter env 5
3043       - 26  # rls2005 NDRPDR iter env 5
3044       - 27  # rls2005 NDRPDR iter env 5
3045       - 28  # rls2005 NDRPDR iter env 5
3046       - 29  # rls2005 NDRPDR iter env 5
3047       - 30  # rls2005 NDRPDR iter env 5
3048       - 31  # rls2005 NDRPDR iter env 5
3049       - 32  # rls2005 NDRPDR iter env 5
3050       - 19  # rls2005 MRR iter env 5
3051       - 3   # rls2009 NDRPDR iter env 5
3052       - 6   # rls2009 NDRPDR iter env 5
3053       - 7   # rls2009 NDRPDR iter env 5
3054       - 8   # rls2009 NDRPDR iter env 5
3055       - 10  # rls2009 NDRPDR iter env 5
3056       - 11  # rls2009 NDRPDR iter env 5
3057       - 12  # rls2009 NDRPDR iter env 5
3058       - 14  # rls2009 NDRPDR iter env 5
3059       - 15  # rls2009 NDRPDR iter env 5
3060       - 24  # rls2009 NDRPDR iter env 5
3061       - 22  # rls2009 MRR iter env 5
3062     csit-vpp-perf-report-coverage-2009-3n-dnv:
3063       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
3064       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
3065       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
3066       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
3067       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
3068       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
3069       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
3070       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
3071       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
3072
3073     csit-vpp-perf-verify-2001-2n-dnv:
3074       - 4   # NDRPDR sel
3075       - 5   # NDRPDR sel
3076       - 6   # NDRPDR sel
3077       - 7   # NDRPDR sel
3078       - 8   # NDRPDR sel
3079       - 9   # NDRPDR sel
3080       - 10  # NDRPDR sel
3081       - 11  # NDRPDR sel
3082       - 13  # NDRPDR sel
3083       - 16  # NDRPDR sel
3084       - 12  # MRR sel
3085     csit-vpp-perf-report-iterative-2009-2n-dnv:
3086       - 16  # rls2005 NDRPDR iter env 5
3087       - 17  # rls2005 NDRPDR iter env 5
3088       - 18  # rls2005 NDRPDR iter env 5
3089       - 19  # rls2005 NDRPDR iter env 5
3090       - 21  # rls2005 NDRPDR iter env 5
3091       - 24  # rls2005 NDRPDR iter env 5
3092       - 27  # rls2005 NDRPDR iter env 5
3093       - 28  # rls2005 NDRPDR iter env 5
3094       - 29  # rls2005 NDRPDR iter env 5
3095       - 30  # rls2005 NDRPDR iter env 5
3096       - 23  # rls2005 MRR iter env 5
3097       - 3   # rls2009 NDRPDR iter env 5
3098       - 5   # rls2009 NDRPDR iter env 5
3099       - 6   # rls2009 NDRPDR iter env 5
3100       - 7   # rls2009 NDRPDR iter env 5
3101       - 9   # rls2009 NDRPDR iter env 5
3102       - 10  # rls2009 NDRPDR iter env 5
3103       - 11  # rls2009 NDRPDR iter env 5
3104       - 12  # rls2009 NDRPDR iter env 5
3105       - 14  # rls2009 NDRPDR iter env 5
3106       - 15  # rls2009 NDRPDR iter env 5
3107       - 13  # rls2009 MRR iter env 5
3108     csit-vpp-perf-report-coverage-2009-2n-dnv:
3109       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3110       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3111       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3112       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3113       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3114       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3115
3116     csit-dpdk-perf-verify-2001-3n-hsw:
3117       - 4   # NDRPDR sel
3118       - 5   # NDRPDR sel
3119       - 6   # NDRPDR sel
3120       - 7   # NDRPDR sel
3121       - 8   # NDRPDR sel
3122       - 9   # NDRPDR sel
3123       - 10  # NDRPDR sel
3124       - 11  # NDRPDR sel
3125       - 12  # NDRPDR sel
3126       - 13  # NDRPDR sel
3127       - 15  # NDRPDR sel
3128       - 16  # NDRPDR sel
3129       - 17  # NDRPDR sel
3130       - 18  # NDRPDR sel
3131       - 19  # NDRPDR sel
3132       - 20  # NDRPDR sel
3133       - 21  # NDRPDR sel
3134       - 22  # NDRPDR sel
3135       - 23  # NDRPDR sel
3136       - 24  # NDRPDR sel
3137     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3138       - 25  # NDRPDR iter
3139       - 26  # NDRPDR iter
3140       - 27  # NDRPDR iter
3141       - 28  # NDRPDR iter
3142       - 29  # NDRPDR iter
3143       - 30  # NDRPDR iter
3144       - 31  # NDRPDR iter
3145       - 32  # NDRPDR iter
3146       - 33  # NDRPDR iter
3147       - 34  # NDRPDR iter
3148     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3149       - 6   # NDRPDR iter env5
3150       - 7   # NDRPDR iter env5
3151       - 8   # NDRPDR iter env5
3152       - 9   # NDRPDR iter env5
3153       - 10  # NDRPDR iter env5
3154       - 11  # NDRPDR iter env5
3155       - 12  # NDRPDR iter env5
3156       - 13  # NDRPDR iter env5
3157       - 14  # NDRPDR iter env5
3158       - 15  # NDRPDR iter env5
3159
3160     csit-dpdk-perf-verify-2001-3n-skx:
3161       - 29  # NDRPDR sel xxv710
3162       - 33  # NDRPDR sel xxv710
3163       - 34  # NDRPDR sel xxv710
3164       - 35  # NDRPDR sel xxv710
3165       - 36  # NDRPDR sel xxv710
3166       - 37  # NDRPDR sel xxv710
3167       - 41  # NDRPDR sel xxv710
3168       - 42  # NDRPDR sel xxv710
3169       - 43  # NDRPDR sel xxv710
3170       - 45  # NDRPDR sel xxv710
3171       - 30  # NDRPDR sel x710
3172       - 31  # NDRPDR sel x710
3173       - 32  # NDRPDR sel x710
3174       - 38  # NDRPDR sel x710
3175       - 39  # NDRPDR sel x710
3176       - 40  # NDRPDR sel x710
3177       - 44  # NDRPDR sel x710
3178       - 46  # NDRPDR sel x710
3179       - 47  # NDRPDR sel x710
3180       - 48  # NDRPDR sel x710
3181     csit-dpdk-perf-report-iterative-2005-3n-skx:
3182       - 28  # NDRPDR iter
3183       - 29  # NDRPDR iter
3184       - 30  # NDRPDR iter
3185       - 31  # NDRPDR iter
3186       - 32  # NDRPDR iter
3187       - 33  # NDRPDR iter
3188       - 34  # NDRPDR iter