Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
56
57     # Detailed test configurations
58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
78
79     # Detailed tests operational data
80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
90
91     # Latencies:
92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
94
95     # .css patch file to fix tables generated by Sphinx
96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
98
99   urls:
100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
104     DIR[NEXUS,DOC]: "report/_static/archive"
105
106   make-dirs:
107   # List the directories which are created while preparing the environment.
108   # All directories MUST be defined in "paths" section.
109   - "DIR[WORKING,DATA]"
110   - "DIR[STATIC,VPP]"
111   - "DIR[STATIC,DPDK]"
112   - "DIR[STATIC,ARCH]"
113   - "DIR[BUILD,LATEX]"
114   - "DIR[WORKING,SRC]"
115   - "DIR[WORKING,SRC,STATIC]"
116
117   remove-dirs:
118   # List the directories which are deleted while cleaning the environment.
119   # All directories MUST be defined in "paths" section.
120   #- "DIR[BUILD,HTML]"
121   - "DIR[WORKING,DATA]"
122
123   build-dirs:
124   # List the directories where the results (build) is stored.
125   # All directories MUST be defined in "paths" section.
126   - "DIR[BUILD,HTML]"
127   - "DIR[BUILD,LATEX]"
128
129 - type: "configuration"
130
131   mapping-file: "mapping_report.yaml"
132
133   limits:
134     nic:
135       x520: 24460000
136       x553: 29761905
137       x710: 35800000
138       xxv710: 35800000
139       xl710: 35800000
140       cx556a: 148809523.81
141
142     link:
143       10ge: 14880952.38
144       25ge: 37202380.95
145       40ge: 59523809.52
146       100ge: 148809523.81
147
148     pci:
149       pci-g3-x8: 74404761.90
150       pci-g3-x16: 148809523.81
151
152   data-sets:
153
154     ###########################################################################
155     # Plots:
156
157     # 3n-hsw
158
159     plot-vpp-throughput-lat-tsa-3n-hsw:
160       csit-vpp-perf-report-iterative-2009-3n-hsw:
161         - 21  # rls2009 NDRPDR iter env 5
162         - 22  # rls2009 NDRPDR iter env 5
163         - 24  # rls2009 NDRPDR iter env 5
164         - 25  # rls2009 NDRPDR iter env 5
165         - 26  # rls2009 NDRPDR iter env 5
166         - 27  # rls2009 NDRPDR iter env 5
167         - 28  # rls2009 NDRPDR iter env 5
168         - 29  # rls2009 NDRPDR iter env 5
169         - 30  # rls2009 NDRPDR iter env 5
170         - 31  # rls2009 NDRPDR iter env 5
171
172     plot-vpp-hdrh-lat-3n-hsw:
173       csit-vpp-perf-report-iterative-2009-3n-hsw:
174         - 22  # rls2009 NDRPDR iter env 5
175
176     plot-vpp-hoststack-3n-hsw:
177       csit-vpp-perf-report-iterative-2009-3n-hsw:
178         - 32  # rls2009 Hoststack iter env 5
179         - 33  # rls2009 Hoststack iter env 5
180         - 34  # rls2009 Hoststack iter env 5
181         - 35  # rls2009 Hoststack iter env 5
182         - 36  # rls2009 Hoststack iter env 5
183         - 37  # rls2009 Hoststack iter env 5
184         - 38  # rls2009 Hoststack iter env 5
185         - 39  # rls2009 Hoststack iter env 5
186         - 40  # rls2009 Hoststack iter env 5
187         - 41  # rls2009 Hoststack iter env 5
188
189     plot-dpdk-throughput-latency-3n-hsw:
190       csit-dpdk-perf-report-iterative-2009-3n-hsw:
191         - 6   # NDRPDR iter env5
192         - 7   # NDRPDR iter env5
193         - 8   # NDRPDR iter env5
194         - 9   # NDRPDR iter env5
195         - 10  # NDRPDR iter env5
196         - 11  # NDRPDR iter env5
197         - 12  # NDRPDR iter env5
198         - 13  # NDRPDR iter env5
199         - 14  # NDRPDR iter env5
200         - 15  # NDRPDR iter env5
201
202     plot-dpdk-hdrh-lat-3n-hsw:
203       csit-dpdk-perf-report-iterative-2009-3n-hsw:
204         - 6   # NDRPDR iter env5
205
206     # 3n-skx
207
208     plot-vpp-throughput-lat-tsa-3n-skx:
209       csit-vpp-perf-report-iterative-2009-3n-skx:
210         - 26  # rls2009 NDRPDR iter env 5
211         - 27  # rls2009 NDRPDR iter env 5
212         - 28  # rls2009 NDRPDR iter env 5
213         - 29  # rls2009 NDRPDR iter env 5
214         - 35  # rls2009 NDRPDR iter env 5
215         - 36  # rls2009 NDRPDR iter env 5
216         - 37  # rls2009 NDRPDR iter env 5
217         - 38  # rls2009 NDRPDR iter env 5
218         - 39  # rls2009 NDRPDR iter env 5
219         - 40  # rls2009 NDRPDR iter env 5
220
221     plot-vpp-hdrh-lat-3n-skx:
222       csit-vpp-perf-report-iterative-2009-3n-skx:
223         - 27  # rls2009 NDRPDR iter env 5
224
225 #    plot-vpp-nfv-3n-skx-ndrpdr:
226 #      # No data
227 #      csit-vpp-perf-report-iterative-2009-3n-skx:
228
229 #    plot-vpp-nfv-3n-skx-mrr:
230 #      # No data
231 #      csit-vpp-perf-report-iterative-2009-3n-skx:
232
233     plot-dpdk-throughput-latency-3n-skx:
234       csit-dpdk-perf-report-iterative-2009-3n-skx:
235         - 4   # NDRPDR sel env5
236         - 5   # NDRPDR sel env5
237         - 6   # NDRPDR sel env5
238         - 7   # NDRPDR sel env5
239         - 8   # NDRPDR sel env5
240         - 9   # NDRPDR sel env5
241         - 14  # NDRPDR sel env5
242         - 11  # NDRPDR sel env5
243         - 12  # NDRPDR sel env5
244         - 13  # NDRPDR sel env5
245
246     plot-dpdk-hdrh-lat-3n-skx:
247       csit-dpdk-perf-report-iterative-2009-3n-skx:
248         - 4   # NDRPDR sel env5
249
250     # 2n-skx
251
252     plot-vpp-throughput-lat-tsa-2n-skx:
253       csit-vpp-perf-report-iterative-2009-2n-skx:
254         - 35  # rls2009 NDRPDR iter env 5
255         - 36  # rls2009 NDRPDR iter env 5
256         - 37  # rls2009 NDRPDR iter env 5
257         - 39  # rls2009 NDRPDR iter env 5
258         - 40  # rls2009 NDRPDR iter env 5
259         - 42  # rls2009 NDRPDR iter env 5
260         - 43  # rls2009 NDRPDR iter env 5
261         - 44  # rls2009 NDRPDR iter env 5
262         - 46  # rls2009 NDRPDR iter env 5
263         - 48  # rls2009 NDRPDR iter env 5
264         - 110 # rls2009 NDRPDR iter NAT44 env 5
265         - 111 # rls2009 NDRPDR iter NAT44 env 5
266         - 112 # rls2009 NDRPDR iter NAT44 env 5
267         - 113 # rls2009 NDRPDR iter NAT44 env 5
268         - 114 # rls2009 NDRPDR iter NAT44 env 5
269         - 115 # rls2009 NDRPDR iter NAT44 env 5
270         - 116 # rls2009 NDRPDR iter NAT44 env 5
271         - 118 # rls2009 NDRPDR iter NAT44 env 5
272         - 119 # rls2009 NDRPDR iter NAT44 env 5
273         - 121 # rls2009 NDRPDR iter NAT44 env 5
274
275     plot-vpp-hdrh-lat-2n-skx:
276       csit-vpp-perf-report-iterative-2009-2n-skx:
277         - 35  # rls2009 NDRPDR iter env 5
278
279     plot-vpp-hdrh-lat-2n-skx-nat44:
280       csit-vpp-perf-report-iterative-2009-2n-skx:
281         - 110 # rls2009 NDRPDR iter NAT44 env 5
282
283     plot-vpp-soak-2n-skx:
284       csit-vpp-perf-report-iterative-2009-2n-skx:
285         - 33  # rls2009 soak env 5
286         - 34  # rls2009 soak env 5
287
288     plot-vpp-nfv-2n-skx-ndrpdr:
289       csit-vpp-perf-report-iterative-2009-2n-skx:
290         - 38  # rls2009 nf-density iter env 5
291         - 41  # rls2009 nf-density iter env 5
292         - 45  # rls2009 nf-density iter env 5
293         - 47  # rls2009 nf-density iter env 5
294         - 49  # rls2009 nf-density iter env 5
295         - 63  # rls2009 nf-density iter env 5
296         - 65  # rls2009 nf-density iter env 5
297         - 66  # rls2009 nf-density iter env 5
298         - 71  # rls2009 nf-density iter env 5
299         - 72  # rls2009 nf-density iter env 5
300
301     plot-vpp-nfv-2n-skx-mrr:
302       csit-vpp-perf-report-iterative-2009-2n-skx:
303         - 50  # rls2009 MRR nf-density iter env 5
304
305     plot-vpp-nfv-reconf-2n-skx:
306       csit-vpp-perf-report-iterative-2009-2n-skx:
307         - 27  # rls2009 reconf env 5
308         - 28  # rls2009 reconf env 5
309         - 29  # rls2009 reconf env 5
310         - 30  # rls2009 reconf env 5
311         - 31  # rls2009 reconf env 5
312         - 32  # rls2009 reconf env 5
313         - 61  # rls2009 reconf env 5
314         - 62  # rls2009 reconf env 5
315         - 68  # rls2009 reconf env 5
316         - 70  # rls2009 reconf env 5
317
318     plot-dpdk-throughput-latency-2n-skx:
319       csit-dpdk-perf-report-iterative-2009-2n-skx:
320         - 4   # NDRPDR iter env5
321         - 5   # NDRPDR iter env5
322         - 6   # NDRPDR iter env5
323         - 7   # NDRPDR iter env5
324         - 8   # NDRPDR iter env5
325         - 9   # NDRPDR iter env5
326         - 10  # NDRPDR iter env5
327         - 11  # NDRPDR iter env5
328         - 12  # NDRPDR iter env5
329         - 13  # NDRPDR iter env5
330
331     plot-dpdk-hdrh-lat-2n-skx:
332       csit-dpdk-perf-report-iterative-2009-2n-skx:
333         - 4   # NDRPDR iter env5
334
335     # 2n-zn2
336
337     plot-vpp-throughput-lat-tsa-2n-zn2:
338       csit-vpp-perf-report-iterative-2009-2n-zn2:
339         - 3   # rls2009 NDRPDR iter env 5
340         - 4   # rls2009 NDRPDR iter env 5
341         - 6   # rls2009 NDRPDR iter env 5
342         - 7   # rls2009 NDRPDR iter env 5
343         - 8   # rls2009 NDRPDR iter env 5
344         - 10  # rls2009 NDRPDR iter env 5
345         - 11  # rls2009 NDRPDR iter env 5
346
347     plot-vpp-hdrh-lat-2n-zn2:
348       csit-vpp-perf-report-iterative-2009-2n-zn2:
349         - 3   # rls2009 NDRPDR iter env 5
350
351     plot-dpdk-throughput-latency-2n-zn2:
352       csit-dpdk-perf-report-iterative-2009-2n-zn2:
353         - 1   # NDRPDR iter env5
354
355     plot-dpdk-hdrh-lat-2n-zn2:
356       csit-dpdk-perf-report-iterative-2009-2n-zn2:
357         - 1   # NDRPDR iter env5
358
359     # 2n-clx
360
361     plot-vpp-throughput-lat-tsa-2n-clx:
362       csit-vpp-perf-report-iterative-2009-2n-clx:
363         - 36  # rls2009 NDRPDR iter env 5
364         - 39  # rls2009 NDRPDR iter env 5
365         - 40  # rls2009 NDRPDR iter env 5
366         - 65  # rls2009 NDRPDR iter env 5
367         - 66  # rls2009 NDRPDR iter env 5
368         - 79  # rls2009 NDRPDR iter env 5
369         - 82  # rls2009 NDRPDR iter env 5
370         - 88  # rls2009 NDRPDR iter env 5
371         - 89  # rls2009 NDRPDR iter env 5
372         - 90  # rls2009 NDRPDR iter env 5
373         - 114 # rls2009 NDRPDR iter NAT44 env 5
374         - 115 # rls2009 NDRPDR iter NAT44 env 5
375         - 116 # rls2009 NDRPDR iter NAT44 env 5
376         - 117 # rls2009 NDRPDR iter NAT44 env 5
377         - 118 # rls2009 NDRPDR iter NAT44 env 5
378         - 119 # rls2009 NDRPDR iter NAT44 env 5
379         - 121 # rls2009 NDRPDR iter NAT44 env 5
380         - 122 # rls2009 NDRPDR iter NAT44 env 5
381         - 123 # rls2009 NDRPDR iter NAT44 env 5
382         - 126 # rls2009 NDRPDR iter NAT44 env 5
383
384     plot-vpp-hdrh-lat-2n-clx:
385       csit-vpp-perf-report-iterative-2009-2n-clx:
386         - 36  # rls2009 NDRPDR iter env 5
387
388     plot-vpp-hdrh-lat-2n-clx-nat44:
389       csit-vpp-perf-report-iterative-2009-2n-clx:
390         - 123 # rls2009 NDRPDR iter NAT44 env 5
391
392     plot-vpp-nfv-2n-clx-ndrpdr:
393       csit-vpp-perf-report-iterative-2009-2n-clx:
394         - 37  # rls2009 nf-density iter env 5
395         - 43  # rls2009 nf-density iter env 5
396         - 69  # rls2009 nf-density iter env 5
397         - 70  # rls2009 nf-density iter env 5
398         - 71  # rls2009 nf-density iter env 5
399         - 72  # rls2009 nf-density iter env 5
400         - 73  # rls2009 nf-density iter env 5
401         - 74  # rls2009 nf-density iter env 5
402         - 75  # rls2009 nf-density iter env 5
403         - 76  # rls2009 nf-density iter env 5
404
405     plot-vpp-nfv-2n-clx-mrr:
406       csit-vpp-perf-report-iterative-2009-2n-clx:
407         - 45  # rls2009 MRR nf-density iter env 5
408
409     plot-vpp-nfv-reconf-2n-clx:
410       csit-vpp-perf-report-iterative-2009-2n-clx:
411         - 25  # rls2009 reconf env 5
412         - 27  # rls2009 reconf env 5
413         - 28  # rls2009 reconf env 5
414         - 29  # rls2009 reconf env 5
415         - 30  # rls2009 reconf env 5
416         - 30  # rls2009 reconf env 5
417         - 32  # rls2009 reconf env 5
418         - 48  # rls2009 reconf env 5
419         - 53  # rls2009 reconf env 5
420         - 68  # rls2009 reconf env 5
421
422     plot-vpp-soak-2n-clx:
423       csit-vpp-perf-report-iterative-2009-2n-clx:
424         - 33  # rls2009 soak env 5
425         - 34  # rls2009 soak env 5
426
427     plot-dpdk-throughput-latency-2n-clx:
428       csit-dpdk-perf-report-iterative-2009-2n-clx:
429         - 4   # NDRPDR iter env5
430         - 5   # NDRPDR iter env5
431         - 6   # NDRPDR iter env5
432         - 7   # NDRPDR iter env5
433         - 8   # NDRPDR iter env5
434         - 9   # NDRPDR iter env5
435         - 10  # NDRPDR iter env5
436         - 11  # NDRPDR iter env5
437         - 12  # NDRPDR iter env5
438         - 13  # NDRPDR iter env5
439
440     plot-dpdk-hdrh-lat-2n-clx:
441       csit-dpdk-perf-report-iterative-2009-2n-clx:
442         - 4   # NDRPDR iter env5
443
444     # 3n-tsh
445
446     plot-vpp-throughput-lat-tsa-3n-tsh:
447       csit-vpp-perf-report-iterative-2009-3n-tsh:
448         - 14  # rls2009 NDRPDR iter env 5
449         - 20  # rls2009 NDRPDR iter env 5
450         - 21  # rls2009 NDRPDR iter env 5
451         - 22  # rls2009 NDRPDR iter env 5
452         - 23  # rls2009 NDRPDR iter env 5
453         - 28  # rls2009 NDRPDR iter env 5
454         - 30  # rls2009 NDRPDR iter env 5
455         - 33  # rls2009 NDRPDR iter env 5
456         - 38  # rls2009 NDRPDR iter env 5
457         - 41  # rls2009 NDRPDR iter env 5
458
459     plot-vpp-hdrh-lat-3n-tsh:
460       csit-vpp-perf-report-iterative-2009-3n-tsh:
461         - 14  # rls2009 NDRPDR iter env 5
462
463     plot-dpdk-throughput-latency-3n-tsh:
464       csit-dpdk-perf-report-iterative-2009-3n-tsh:
465         - 1   # NDRPDR iter env5
466         - 2   # NDRPDR iter env5
467         - 3   # NDRPDR iter env5
468         - 4   # NDRPDR iter env5
469         - 5   # NDRPDR iter env5
470         - 6   # NDRPDR iter env5
471         - 7   # NDRPDR iter env5
472         - 9   # NDRPDR iter env5
473         - 10  # NDRPDR iter env5
474         - 11  # NDRPDR iter env5
475
476     plot-dpdk-hdrh-lat-3n-tsh:
477       csit-dpdk-perf-report-iterative-2009-3n-tsh:
478         - 1   # NDRPDR iter env5
479
480     # 3n-dnv
481
482     plot-vpp-throughput-lat-tsa-3n-dnv:
483       csit-vpp-perf-report-iterative-2009-3n-dnv:
484         - 3   # rls2009 NDRPDR iter env 5
485         - 6   # rls2009 NDRPDR iter env 5
486         - 7   # rls2009 NDRPDR iter env 5
487         - 8   # rls2009 NDRPDR iter env 5
488         - 10  # rls2009 NDRPDR iter env 5
489         - 11  # rls2009 NDRPDR iter env 5
490         - 12  # rls2009 NDRPDR iter env 5
491         - 14  # rls2009 NDRPDR iter env 5
492         - 15  # rls2009 NDRPDR iter env 5
493         - 24  # rls2009 NDRPDR iter env 5
494
495 #    plot-dpdk-throughput-latency-3n-dnv:
496 #      # No data
497 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
498
499     # 2n-dnv
500
501     plot-vpp-throughput-lat-tsa-2n-dnv:
502       csit-vpp-perf-report-iterative-2009-2n-dnv:
503         - 3   # rls2009 NDRPDR iter env 5
504         - 5   # rls2009 NDRPDR iter env 5
505         - 6   # rls2009 NDRPDR iter env 5
506         - 7   # rls2009 NDRPDR iter env 5
507         - 9   # rls2009 NDRPDR iter env 5
508         - 10  # rls2009 NDRPDR iter env 5
509         - 11  # rls2009 NDRPDR iter env 5
510         - 12  # rls2009 NDRPDR iter env 5
511         - 14  # rls2009 NDRPDR iter env 5
512         - 15  # rls2009 NDRPDR iter env 5
513
514 #    plot-dpdk-throughput-latency-2n-dnv:
515 #      # No data
516 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
517
518     ###########################################################################
519     # Simple tables (only one data set):
520
521     # NIC Comparisons
522
523     vpp-nic-comparison-3n-skx:
524       csit-vpp-perf-report-iterative-2009-3n-skx:
525         - 26  # rls2009 NDRPDR iter env 5
526         - 27  # rls2009 NDRPDR iter env 5
527         - 28  # rls2009 NDRPDR iter env 5
528         - 29  # rls2009 NDRPDR iter env 5
529         - 35  # rls2009 NDRPDR iter env 5
530         - 36  # rls2009 NDRPDR iter env 5
531         - 37  # rls2009 NDRPDR iter env 5
532         - 38  # rls2009 NDRPDR iter env 5
533         - 39  # rls2009 NDRPDR iter env 5
534         - 40  # rls2009 NDRPDR iter env 5
535
536     vpp-nic-comparison-2n-skx:
537       csit-vpp-perf-report-iterative-2009-2n-skx:
538         - 35  # rls2009 NDRPDR iter env 5
539         - 36  # rls2009 NDRPDR iter env 5
540         - 37  # rls2009 NDRPDR iter env 5
541         - 39  # rls2009 NDRPDR iter env 5
542         - 40  # rls2009 NDRPDR iter env 5
543         - 42  # rls2009 NDRPDR iter env 5
544         - 43  # rls2009 NDRPDR iter env 5
545         - 44  # rls2009 NDRPDR iter env 5
546         - 46  # rls2009 NDRPDR iter env 5
547         - 48  # rls2009 NDRPDR iter env 5
548         - 110 # rls2009 NDRPDR iter NAT44 env 5
549         - 111 # rls2009 NDRPDR iter NAT44 env 5
550         - 112 # rls2009 NDRPDR iter NAT44 env 5
551         - 113 # rls2009 NDRPDR iter NAT44 env 5
552         - 114 # rls2009 NDRPDR iter NAT44 env 5
553         - 115 # rls2009 NDRPDR iter NAT44 env 5
554         - 116 # rls2009 NDRPDR iter NAT44 env 5
555         - 118 # rls2009 NDRPDR iter NAT44 env 5
556         - 119 # rls2009 NDRPDR iter NAT44 env 5
557         - 121 # rls2009 NDRPDR iter NAT44 env 5
558
559     vpp-nic-comparison-3n-skx-mrr:
560       csit-vpp-perf-report-iterative-2009-3n-skx:
561         - 24  # rls2009 MRR iter env 5
562
563     vpp-nic-comparison-2n-skx-mrr:
564       csit-vpp-perf-report-iterative-2009-2n-skx:
565         - 120 # rls2009 MRR iter env 5
566
567     # Results
568
569     vpp-perf-results-3n-hsw:
570       csit-vpp-perf-report-coverage-2009-3n-hsw:
571         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
572         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
573         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
574         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
575         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
576         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
577         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
578         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
579         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
580         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
581         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
582         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
583         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
584         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
585         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
586         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
587         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
588         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
589         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
590         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
591         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
592         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
593         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
594         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
595         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
596         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
597         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
598         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
599         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
600         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
601         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
602         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
603         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
604         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
605         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
606
607     vpp-perf-results-3n-skx:
608       csit-vpp-perf-report-coverage-2009-3n-skx:
609         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
610         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
611         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
612         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
613         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
614         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
615         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
616         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
617         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
618         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
619         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
620         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
621         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
622         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
623         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
624         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
625         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
626         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
627         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
628         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
629         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
630         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
631         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
632         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
633         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
634         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
635         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
636         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
637         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
638         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
639         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
640         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
641         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
642         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
643         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
644         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
645
646     vpp-perf-results-2n-skx:
647       csit-vpp-perf-report-coverage-2009-2n-skx:
648         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
649         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
650         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
651         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
652         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
653         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
654         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
655         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
656         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
657         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
658         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
659         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
660         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
661         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
662         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
663         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
664         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
665
666     vpp-perf-results-2n-zn2:
667       csit-vpp-perf-report-iterative-2009-2n-zn2:
668         - 3   # rls2009 NDRPDR iter env 5
669
670     vpp-perf-results-2n-clx:
671       csit-vpp-perf-report-coverage-2009-2n-clx:
672         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
673         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
674         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
675         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
676         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
677         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
678         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
679         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
680         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
681         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
682         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
683         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
684         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
685         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
686         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
687         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
688         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
689
690     vpp-perf-results-3n-tsh:
691       csit-vpp-perf-report-iterative-2009-3n-tsh:
692         - 14  # rls2009 NDRPDR iter env 5
693
694     vpp-perf-results-3n-dnv:
695       csit-vpp-perf-report-coverage-2009-3n-dnv:
696         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
697         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
698         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
699         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
700         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
701         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
702         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
703         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
704         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
705
706     vpp-perf-results-2n-dnv:
707       csit-vpp-perf-report-coverage-2009-2n-dnv:
708         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
709         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
710         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
711         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
712         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
713         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
714
715     vpp-mrr-results-3n-hsw:
716       csit-vpp-perf-report-iterative-2009-3n-hsw:
717         - 23  # rls2009 MRR iter env 5
718
719     vpp-mrr-results-3n-skx:
720       csit-vpp-perf-report-iterative-2009-3n-skx:
721         - 24  # rls2009 MRR iter env 5
722
723     vpp-mrr-results-2n-skx:
724       csit-vpp-perf-report-iterative-2009-2n-skx:
725         - 120 # rls2009 MRR iter env 5
726
727     vpp-mrr-results-2n-zn2:
728       csit-vpp-perf-report-iterative-2009-2n-zn2:
729         - 1   # rls2009 MRR iter env 5
730
731     vpp-mrr-results-2n-clx:
732       csit-vpp-perf-report-iterative-2009-2n-clx:
733         - 125 # rls2009 MRR iter env 5
734
735     vpp-mrr-results-3n-tsh:
736       csit-vpp-perf-report-iterative-2009-3n-tsh:
737         - 15  # rls2009 MRR iter env 5
738
739     vpp-mrr-results-3n-dnv:
740       csit-vpp-perf-report-iterative-2009-3n-dnv:
741         - 22  # rls2009 MRR iter env 5
742
743     vpp-mrr-results-2n-dnv:
744       csit-vpp-perf-report-iterative-2009-2n-dnv:
745         - 13  # rls2009 MRR iter env 5
746
747     vpp-device-results-ubuntu:
748       csit-vpp-device-2009-ubuntu1804-1n-skx:
749         - 131 # rls2009 env 5
750
751     dpdk-perf-results-3n-hsw:
752       csit-dpdk-perf-report-iterative-2009-3n-hsw:
753         - 6   # NDRPDR iter env5
754
755     dpdk-perf-results-3n-skx:
756       csit-dpdk-perf-report-iterative-2009-3n-skx:
757         - 4   # NDRPDR sel env5
758
759     dpdk-perf-results-2n-skx:
760       csit-dpdk-perf-report-iterative-2009-2n-skx:
761         - 4   # NDRPDR iter env5
762
763     dpdk-perf-results-2n-zn2:
764       csit-dpdk-perf-report-iterative-2009-2n-zn2:
765         - 1   # NDRPDR iter env5
766
767     dpdk-perf-results-2n-clx:
768       csit-dpdk-perf-report-iterative-2009-2n-clx:
769         - 4   # NDRPDR iter env5
770
771 #    dpdk-perf-results-2n-dnv:
772 #      # No data
773 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
774
775 #    dpdk-perf-results-3n-dnv:
776 #      # No data
777 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
778
779     dpdk-perf-results-3n-tsh:
780       csit-dpdk-perf-report-iterative-2009-3n-tsh:
781         - 1   # NDRPDR iter env5
782
783 ###########################################################################
784     # Tables (more than one data set)
785
786     # Performance changes
787
788     vpp-performance-changes-3n-hsw-h1:
789       csit-vpp-perf-report-iterative-2005-3n-hsw:
790         - 31  # NDRPDR sel 2001.0-4
791         - 32  # NDRPDR sel 2001.0-4
792         - 33  # NDRPDR sel 2001.0-4
793         - 34  # NDRPDR sel 2001.0-4
794         - 35  # NDRPDR sel 2001.0-4
795         - 36  # NDRPDR sel 2001.0-4
796         - 38  # NDRPDR sel 2001.0-4
797     vpp-performance-changes-3n-hsw-ref-env4:
798       csit-vpp-perf-report-iterative-2005-3n-hsw:
799         - 20  # NDRPDR sel env 4
800         - 21  # NDRPDR sel env 4
801         - 22  # NDRPDR sel env 4
802         - 23  # NDRPDR sel env 4
803         - 24  # NDRPDR sel env 4
804         - 25  # NDRPDR sel env 4
805         - 26  # NDRPDR sel env 4
806         - 27  # NDRPDR sel env 4
807         - 28  # NDRPDR sel env 4
808         - 29  # NDRPDR sel env 4
809     vpp-performance-changes-3n-hsw-ref-env5:
810       csit-vpp-perf-report-iterative-2009-3n-hsw:
811         - 9   # rls2005 NDRPDR iter env 5
812         - 10  # rls2005 NDRPDR iter env 5
813         - 11  # rls2005 NDRPDR iter env 5
814         - 12  # rls2005 NDRPDR iter env 5
815         - 13  # rls2005 NDRPDR iter env 5
816         - 14  # rls2005 NDRPDR iter env 5
817         - 15  # rls2005 NDRPDR iter env 5
818         - 16  # rls2005 NDRPDR iter env 5
819         - 17  # rls2005 NDRPDR iter env 5
820         - 19  # rls2005 NDRPDR iter env 5
821     vpp-performance-changes-3n-hsw-cmp:
822       csit-vpp-perf-report-iterative-2009-3n-hsw:
823         - 21  # rls2009 NDRPDR iter env 5
824         - 22  # rls2009 NDRPDR iter env 5
825         - 24  # rls2009 NDRPDR iter env 5
826         - 25  # rls2009 NDRPDR iter env 5
827         - 26  # rls2009 NDRPDR iter env 5
828         - 27  # rls2009 NDRPDR iter env 5
829         - 28  # rls2009 NDRPDR iter env 5
830         - 29  # rls2009 NDRPDR iter env 5
831         - 30  # rls2009 NDRPDR iter env 5
832         - 31  # rls2009 NDRPDR iter env 5
833
834     vpp-performance-changes-3n-skx-h1:
835       csit-vpp-perf-report-iterative-2005-3n-skx:
836         - 50  # NDRPDR sel 2001.0-4
837         - 51  # NDRPDR sel 2001.0-4
838         - 52  # NDRPDR sel 2001.0-4
839         - 53  # NDRPDR sel 2001.0-4
840         - 54  # NDRPDR sel 2001.0-4
841     vpp-performance-changes-3n-skx-ref-env4:
842       csit-vpp-perf-report-iterative-2005-3n-skx:
843         - 42  # NDRPDR sel env 4
844         - 43  # NDRPDR sel env 4
845         - 44  # NDRPDR sel env 4
846         - 45  # NDRPDR sel env 4
847         - 47  # NDRPDR sel env 4
848         - 55  # NDRPDR sel env 4
849         - 56  # NDRPDR sel env 4
850         - 57  # NDRPDR sel env 4
851         - 61  # NDRPDR sel env 4
852         - 62  # NDRPDR sel env 4
853     vpp-performance-changes-3n-skx-ref-env5:
854       csit-vpp-perf-report-iterative-2009-3n-skx:
855         - 13  # rls2005 NDRPDR iter env 5
856         - 18  # rls2005 NDRPDR iter env 5
857         - 19  # rls2005 NDRPDR iter env 5
858         - 41  # rls2005 NDRPDR iter env 5
859         - 43  # rls2005 NDRPDR iter env 5
860         - 44  # rls2005 NDRPDR iter env 5
861         - 45  # rls2005 NDRPDR iter env 5
862         - 46  # rls2005 NDRPDR iter env 5
863         - 48  # rls2005 NDRPDR iter env 5
864         - 49  # rls2005 NDRPDR iter env 5
865     vpp-performance-changes-3n-skx-cmp:
866       csit-vpp-perf-report-iterative-2009-3n-skx:
867         - 26  # rls2009 NDRPDR iter env 5
868         - 27  # rls2009 NDRPDR iter env 5
869         - 28  # rls2009 NDRPDR iter env 5
870         - 29  # rls2009 NDRPDR iter env 5
871         - 35  # rls2009 NDRPDR iter env 5
872         - 36  # rls2009 NDRPDR iter env 5
873         - 37  # rls2009 NDRPDR iter env 5
874         - 38  # rls2009 NDRPDR iter env 5
875         - 39  # rls2009 NDRPDR iter env 5
876         - 40  # rls2009 NDRPDR iter env 5
877
878     vpp-performance-changes-2n-skx-h1:
879       csit-vpp-perf-report-iterative-2005-2n-skx:
880         - 100 # NDRPDR sel 2001.0-4
881         - 101 # NDRPDR sel 2001.0-4
882         - 102 # NDRPDR sel 2001.0-4
883         - 103 # NDRPDR sel 2001.0-4
884         - 104 # NDRPDR sel 2001.0-4
885         - 105 # NDRPDR sel 2001.0-4
886     vpp-performance-changes-2n-skx-ref-env4:
887       csit-vpp-perf-report-iterative-2005-2n-skx:
888         - 88  # NDRPDR sel env 4
889         - 89  # NDRPDR sel env 4
890         - 90  # NDRPDR sel env 4
891         - 91  # NDRPDR sel env 4
892         - 92  # NDRPDR sel env 4
893         - 93  # NDRPDR sel env 4
894         - 94  # NDRPDR sel env 4
895         - 125 # NDRPDR sel env 4
896         - 126 # NDRPDR sel env 4
897         - 127 # NDRPDR sel env 4
898     vpp-performance-changes-2n-skx-ref-env5:
899       csit-vpp-perf-report-iterative-2009-2n-skx:
900         - 13  # rls2005 NDRPDR iter env 5
901         - 16  # rls2005 NDRPDR iter env 5
902         - 17  # rls2005 NDRPDR iter env 5
903         - 18  # rls2005 NDRPDR iter env 5
904         - 19  # rls2005 NDRPDR iter env 5
905         - 21  # rls2005 NDRPDR iter env 5
906         - 22  # rls2005 NDRPDR iter env 5
907         - 23  # rls2005 NDRPDR iter env 5
908         - 24  # rls2005 NDRPDR iter env 5
909         - 25  # rls2005 NDRPDR iter env 5
910     vpp-performance-changes-2n-skx-cmp:
911       csit-vpp-perf-report-iterative-2009-2n-skx:
912         - 35  # rls2009 NDRPDR iter env 5
913         - 36  # rls2009 NDRPDR iter env 5
914         - 37  # rls2009 NDRPDR iter env 5
915         - 39  # rls2009 NDRPDR iter env 5
916         - 40  # rls2009 NDRPDR iter env 5
917         - 42  # rls2009 NDRPDR iter env 5
918         - 43  # rls2009 NDRPDR iter env 5
919         - 44  # rls2009 NDRPDR iter env 5
920         - 46  # rls2009 NDRPDR iter env 5
921         - 48  # rls2009 NDRPDR iter env 5
922         - 110 # rls2009 NDRPDR iter NAT44 env 5
923         - 111 # rls2009 NDRPDR iter NAT44 env 5
924         - 112 # rls2009 NDRPDR iter NAT44 env 5
925         - 113 # rls2009 NDRPDR iter NAT44 env 5
926         - 114 # rls2009 NDRPDR iter NAT44 env 5
927         - 115 # rls2009 NDRPDR iter NAT44 env 5
928         - 116 # rls2009 NDRPDR iter NAT44 env 5
929         - 118 # rls2009 NDRPDR iter NAT44 env 5
930         - 119 # rls2009 NDRPDR iter NAT44 env 5
931         - 121 # rls2009 NDRPDR iter NAT44 env 5
932
933     vpp-performance-changes-2n-clx-h1:
934       csit-vpp-perf-report-iterative-2005-2n-clx:
935         - 73  # NDRPDR sel 2001.0-4
936         - 74  # NDRPDR sel 2001.0-4
937         - 75  # NDRPDR sel 2001.0-4
938         - 76  # NDRPDR sel 2001.0-4
939         - 77  # NDRPDR sel 2001.0-4
940         - 78  # NDRPDR sel 2001.0-4
941         - 79  # NDRPDR sel 2001.0-4
942         - 80  # NDRPDR sel 2001.0-4
943     vpp-performance-changes-2n-clx-ref-env4:
944       csit-vpp-perf-report-iterative-2005-2n-clx:
945         - 62  # NDRPDR sel env 4
946         - 63  # NDRPDR sel env 4
947         - 64  # NDRPDR sel env 4
948         - 65  # NDRPDR sel env 4
949         - 66  # NDRPDR sel env 4
950         - 68  # NDRPDR sel env 4
951         - 69  # NDRPDR sel env 4
952         - 70  # NDRPDR sel env 4
953         - 103 # NDRPDR sel env 4
954         - 104 # NDRPDR sel env 4
955     vpp-performance-changes-2n-clx-ref-env5:
956       csit-vpp-perf-report-iterative-2009-2n-clx:
957         - 13  # rls2005 NDRPDR iter env 5
958         - 15  # rls2005 NDRPDR iter env 5
959         - 17  # rls2005 NDRPDR iter env 5
960         - 18  # rls2005 NDRPDR iter env 5
961         - 19  # rls2005 NDRPDR iter env 5
962         - 20  # rls2005 NDRPDR iter env 5
963         - 21  # rls2005 NDRPDR iter env 5
964         - 22  # rls2005 NDRPDR iter env 5
965         - 23  # rls2005 NDRPDR iter env 5
966         - 24  # rls2005 NDRPDR iter env 5
967     vpp-performance-changes-2n-clx-cmp:
968       csit-vpp-perf-report-iterative-2009-2n-clx:
969         - 36  # rls2009 NDRPDR iter env 5
970         - 39  # rls2009 NDRPDR iter env 5
971         - 40  # rls2009 NDRPDR iter env 5
972         - 65  # rls2009 NDRPDR iter env 5
973         - 66  # rls2009 NDRPDR iter env 5
974         - 79  # rls2009 NDRPDR iter env 5
975         - 82  # rls2009 NDRPDR iter env 5
976         - 88  # rls2009 NDRPDR iter env 5
977         - 89  # rls2009 NDRPDR iter env 5
978         - 90  # rls2009 NDRPDR iter env 5
979         - 114 # rls2009 NDRPDR iter NAT44 env 5
980         - 115 # rls2009 NDRPDR iter NAT44 env 5
981         - 116 # rls2009 NDRPDR iter NAT44 env 5
982         - 117 # rls2009 NDRPDR iter NAT44 env 5
983         - 118 # rls2009 NDRPDR iter NAT44 env 5
984         - 119 # rls2009 NDRPDR iter NAT44 env 5
985         - 121 # rls2009 NDRPDR iter NAT44 env 5
986         - 122 # rls2009 NDRPDR iter NAT44 env 5
987         - 123 # rls2009 NDRPDR iter NAT44 env 5
988         - 126 # rls2009 NDRPDR iter NAT44 env 5
989
990     vpp-performance-changes-2n-dnv-h1:
991       csit-vpp-perf-verify-2001-2n-dnv:
992         - 4   # NDRPDR sel
993         - 5   # NDRPDR sel
994         - 6   # NDRPDR sel
995         - 7   # NDRPDR sel
996         - 8   # NDRPDR sel
997         - 9   # NDRPDR sel
998         - 10  # NDRPDR sel
999         - 11  # NDRPDR sel
1000         - 13  # NDRPDR sel
1001         - 16  # NDRPDR sel
1002     vpp-performance-changes-2n-dnv-ref:
1003       csit-vpp-perf-report-iterative-2009-2n-dnv:
1004         - 16  # rls2005 NDRPDR iter env 5
1005         - 17  # rls2005 NDRPDR iter env 5
1006         - 18  # rls2005 NDRPDR iter env 5
1007         - 19  # rls2005 NDRPDR iter env 5
1008         - 21  # rls2005 NDRPDR iter env 5
1009         - 24  # rls2005 NDRPDR iter env 5
1010         - 27  # rls2005 NDRPDR iter env 5
1011         - 28  # rls2005 NDRPDR iter env 5
1012         - 29  # rls2005 NDRPDR iter env 5
1013         - 30  # rls2005 NDRPDR iter env 5
1014     vpp-performance-changes-2n-dnv-cmp:
1015       csit-vpp-perf-report-iterative-2009-2n-dnv:
1016         - 3   # rls2009 NDRPDR iter env 5
1017         - 5   # rls2009 NDRPDR iter env 5
1018         - 6   # rls2009 NDRPDR iter env 5
1019         - 7   # rls2009 NDRPDR iter env 5
1020         - 9   # rls2009 NDRPDR iter env 5
1021         - 10  # rls2009 NDRPDR iter env 5
1022         - 11  # rls2009 NDRPDR iter env 5
1023         - 12  # rls2009 NDRPDR iter env 5
1024         - 14  # rls2009 NDRPDR iter env 5
1025         - 15  # rls2009 NDRPDR iter env 5
1026
1027     vpp-performance-changes-3n-dnv-h1:
1028       csit-vpp-perf-verify-2001-3n-dnv:
1029         - 5   # NDRPDR sel
1030         - 6   # NDRPDR sel
1031         - 7   # NDRPDR sel
1032         - 8   # NDRPDR sel
1033         - 9   # NDRPDR sel
1034         - 10  # NDRPDR sel
1035         - 12  # NDRPDR sel
1036         - 16  # NDRPDR sel
1037         - 17  # NDRPDR sel
1038         - 18  # NDRPDR sel
1039     vpp-performance-changes-3n-dnv-ref:
1040       csit-vpp-perf-report-iterative-2009-3n-dnv:
1041         - 16  # rls2005 NDRPDR iter env 5
1042         - 23  # rls2005 NDRPDR iter env 5
1043         - 25  # rls2005 NDRPDR iter env 5
1044         - 26  # rls2005 NDRPDR iter env 5
1045         - 27  # rls2005 NDRPDR iter env 5
1046         - 28  # rls2005 NDRPDR iter env 5
1047         - 29  # rls2005 NDRPDR iter env 5
1048         - 30  # rls2005 NDRPDR iter env 5
1049         - 31  # rls2005 NDRPDR iter env 5
1050         - 32  # rls2005 NDRPDR iter env 5
1051     vpp-performance-changes-3n-dnv-cmp:
1052       csit-vpp-perf-report-iterative-2009-3n-dnv:
1053         - 3   # rls2009 NDRPDR iter env 5
1054         - 6   # rls2009 NDRPDR iter env 5
1055         - 7   # rls2009 NDRPDR iter env 5
1056         - 8   # rls2009 NDRPDR iter env 5
1057         - 10  # rls2009 NDRPDR iter env 5
1058         - 11  # rls2009 NDRPDR iter env 5
1059         - 12  # rls2009 NDRPDR iter env 5
1060         - 14  # rls2009 NDRPDR iter env 5
1061         - 15  # rls2009 NDRPDR iter env 5
1062         - 24  # rls2009 NDRPDR iter env 5
1063
1064     vpp-performance-changes-3n-tsh-h1:
1065       csit-vpp-perf-report-iterative-2005-3n-tsh:
1066         - 28  # NDRPDR sel 2001.0-4
1067         - 29  # NDRPDR sel 2001.0-4
1068         - 31  # NDRPDR sel 2001.0-4
1069     vpp-performance-changes-3n-tsh-ref-env4:
1070       csit-vpp-perf-report-iterative-2005-3n-tsh:
1071         - 23  # NDRPDR sel env 4
1072         - 25  # NDRPDR sel env 4
1073         - 33  # NDRPDR sel env 4
1074         - 34  # NDRPDR sel env 4
1075         - 35  # NDRPDR sel env 4
1076         - 36  # NDRPDR sel env 4
1077         - 37  # NDRPDR sel env 4
1078         - 38  # NDRPDR sel env 4
1079         - 39  # NDRPDR sel env 4
1080         - 40  # NDRPDR sel env 4
1081     vpp-performance-changes-3n-tsh-ref-env5:
1082       csit-vpp-perf-report-iterative-2009-3n-tsh:
1083         - 8   # rls2005 NDRPDR iter env 5
1084         - 11  # rls2005 NDRPDR iter env 5
1085         - 12  # rls2005 NDRPDR iter env 5
1086         - 24  # rls2005 NDRPDR iter env 5
1087         - 27  # rls2005 NDRPDR iter env 5
1088         - 29  # rls2005 NDRPDR iter env 5
1089         - 31  # rls2005 NDRPDR iter env 5
1090         - 39  # rls2005 NDRPDR iter env 5
1091         - 40  # rls2005 NDRPDR iter env 5
1092         - 42  # rls2005 NDRPDR iter env 5
1093     vpp-performance-changes-3n-tsh-cmp:
1094       csit-vpp-perf-report-iterative-2009-3n-tsh:
1095         - 14  # rls2009 NDRPDR iter env 5
1096         - 20  # rls2009 NDRPDR iter env 5
1097         - 21  # rls2009 NDRPDR iter env 5
1098         - 22  # rls2009 NDRPDR iter env 5
1099         - 23  # rls2009 NDRPDR iter env 5
1100         - 28  # rls2009 NDRPDR iter env 5
1101         - 30  # rls2009 NDRPDR iter env 5
1102         - 33  # rls2009 NDRPDR iter env 5
1103         - 38  # rls2009 NDRPDR iter env 5
1104         - 41  # rls2009 NDRPDR iter env 5
1105
1106     vpp-soak-vs-ndr-2n-skx-ref:
1107       csit-vpp-perf-report-iterative-2009-2n-skx:
1108         - 35  # rls2009 NDRPDR iter env 5
1109         - 36  # rls2009 NDRPDR iter env 5
1110         - 37  # rls2009 NDRPDR iter env 5
1111         - 39  # rls2009 NDRPDR iter env 5
1112         - 40  # rls2009 NDRPDR iter env 5
1113         - 42  # rls2009 NDRPDR iter env 5
1114         - 43  # rls2009 NDRPDR iter env 5
1115         - 44  # rls2009 NDRPDR iter env 5
1116         - 46  # rls2009 NDRPDR iter env 5
1117         - 48  # rls2009 NDRPDR iter env 5
1118     vpp-soak-vs-ndr-2n-skx-cmp:
1119       csit-vpp-perf-report-iterative-2009-2n-skx:
1120         - 33  # rls2009 soak env 5
1121         - 34  # rls2009 soak env 5
1122     vpp-soak-vs-ndr-2n-skx:
1123       csit-vpp-perf-report-iterative-2009-2n-skx:
1124         - 35  # rls2009 NDRPDR iter env 5
1125         - 36  # rls2009 NDRPDR iter env 5
1126         - 37  # rls2009 NDRPDR iter env 5
1127         - 39  # rls2009 NDRPDR iter env 5
1128         - 40  # rls2009 NDRPDR iter env 5
1129         - 42  # rls2009 NDRPDR iter env 5
1130         - 43  # rls2009 NDRPDR iter env 5
1131         - 44  # rls2009 NDRPDR iter env 5
1132         - 46  # rls2009 NDRPDR iter env 5
1133         - 48  # rls2009 NDRPDR iter env 5
1134         - 33  # rls2009 soak env 5
1135         - 34  # rls2009 soak env 5
1136
1137     vpp-soak-vs-ndr-2n-clx-ref:
1138       csit-vpp-perf-report-iterative-2009-2n-clx:
1139         - 36  # rls2009 NDRPDR iter env 5
1140         - 39  # rls2009 NDRPDR iter env 5
1141         - 40  # rls2009 NDRPDR iter env 5
1142         - 65  # rls2009 NDRPDR iter env 5
1143         - 66  # rls2009 NDRPDR iter env 5
1144         - 79  # rls2009 NDRPDR iter env 5
1145         - 82  # rls2009 NDRPDR iter env 5
1146         - 88  # rls2009 NDRPDR iter env 5
1147         - 89  # rls2009 NDRPDR iter env 5
1148         - 90  # rls2009 NDRPDR iter env 5
1149     vpp-soak-vs-ndr-2n-clx-cmp:
1150       csit-vpp-perf-report-iterative-2009-2n-clx:
1151         - 33  # rls2009 soak env 5
1152         - 34  # rls2009 soak env 5
1153     vpp-soak-vs-ndr-2n-clx:
1154       csit-vpp-perf-report-iterative-2009-2n-clx:
1155         - 36  # rls2009 NDRPDR iter env 5
1156         - 39  # rls2009 NDRPDR iter env 5
1157         - 40  # rls2009 NDRPDR iter env 5
1158         - 65  # rls2009 NDRPDR iter env 5
1159         - 66  # rls2009 NDRPDR iter env 5
1160         - 79  # rls2009 NDRPDR iter env 5
1161         - 82  # rls2009 NDRPDR iter env 5
1162         - 88  # rls2009 NDRPDR iter env 5
1163         - 89  # rls2009 NDRPDR iter env 5
1164         - 90  # rls2009 NDRPDR iter env 5
1165         - 33  # rls2009 soak env 5
1166         - 34  # rls2009 soak env 5
1167
1168     vpp-performance-changes-3n-hsw-mrr-h1:
1169       csit-vpp-perf-verify-2001-3n-hsw:
1170         - 17  # MRR sel
1171     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1172       csit-vpp-perf-report-iterative-2005-3n-hsw:
1173         - 30  # MRR env 4
1174     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1175       csit-vpp-perf-report-iterative-2009-3n-hsw:
1176         - 18  # rls2005 MRR iter env 5
1177     vpp-performance-changes-3n-hsw-mrr-cmp:
1178       csit-vpp-perf-report-iterative-2009-3n-hsw:
1179         - 23  # rls2009 MRR iter env 5
1180
1181     vpp-performance-changes-3n-skx-mrr-h1:
1182       csit-vpp-perf-verify-2001-3n-skx:
1183         - 50  # MRR sel
1184         - 53  # MRR sel addition
1185     vpp-performance-changes-3n-skx-mrr-ref-env4:
1186       csit-vpp-perf-report-iterative-2005-3n-skx:
1187         - 49  # MRR sel env 4
1188     vpp-performance-changes-3n-skx-mrr-ref-env5:
1189       csit-vpp-perf-report-iterative-2009-3n-skx:
1190         - 17  # rls2005 MRR iter env 5
1191     vpp-performance-changes-3n-skx-mrr-cmp:
1192       csit-vpp-perf-report-iterative-2009-3n-skx:
1193         - 24  # rls2009 MRR iter env 5
1194
1195     vpp-performance-changes-2n-skx-mrr-h1:
1196       csit-vpp-perf-verify-2001-2n-skx:
1197         - 101 # MRR sel
1198         - 128 # MRR sel addition
1199     vpp-performance-changes-2n-skx-mrr-ref-env4:
1200       csit-vpp-perf-report-iterative-2005-2n-skx:
1201         - 99  # MRR sel env 4
1202     vpp-performance-changes-2n-skx-mrr-ref-env5:
1203       csit-vpp-perf-report-iterative-2009-2n-skx:
1204         - 20  # rls2005 MRR iter env 5
1205     vpp-performance-changes-2n-skx-mrr-cmp:
1206       csit-vpp-perf-report-iterative-2009-2n-skx:
1207         - 120 # rls2009 MRR iter env 5
1208
1209     vpp-performance-changes-2n-clx-mrr-h1:
1210       csit-vpp-perf-verify-2001-2n-clx:
1211         - 39  # MRR
1212     vpp-performance-changes-2n-clx-mrr-ref-env4:
1213       csit-vpp-perf-report-iterative-2005-2n-clx:
1214         - 72   # MRR sel env 4
1215     vpp-performance-changes-2n-clx-mrr-ref-env5:
1216       csit-vpp-perf-report-iterative-2009-2n-clx:
1217         - 77  # rls2005 MRR iter env 5
1218     vpp-performance-changes-2n-clx-mrr-cmp:
1219       csit-vpp-perf-report-iterative-2009-2n-clx:
1220         - 125 # rls2009 MRR iter env 5
1221
1222     vpp-performance-changes-2n-dnv-mrr-h1:
1223       csit-vpp-perf-verify-2001-2n-dnv:
1224         - 12  # MRR sel
1225     vpp-performance-changes-2n-dnv-mrr-ref:
1226       csit-vpp-perf-report-iterative-2009-2n-dnv:
1227         - 23  # rls2005 MRR iter env 5
1228     vpp-performance-changes-2n-dnv-mrr-cmp:
1229       csit-vpp-perf-report-iterative-2009-2n-dnv:
1230         - 13  # rls2009 MRR iter env 5
1231
1232     vpp-performance-changes-3n-dnv-mrr-h1:
1233       csit-vpp-perf-verify-2001-3n-dnv:
1234         - 11  # MRR sel
1235     vpp-performance-changes-3n-dnv-mrr-ref:
1236       csit-vpp-perf-report-iterative-2009-3n-dnv:
1237         - 19  # rls2005 MRR iter env 5
1238     vpp-performance-changes-3n-dnv-mrr-cmp:
1239       csit-vpp-perf-report-iterative-2009-3n-dnv:
1240         - 22  # rls2009 MRR iter env 5
1241
1242     vpp-performance-changes-3n-tsh-mrr-h1:
1243       csit-vpp-perf-verify-2001-3n-tsh:
1244         - 9   # MRR sel
1245     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1246       csit-vpp-perf-report-iterative-2005-3n-tsh:
1247         - 27  # MRR sel env 4
1248     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1249       csit-vpp-perf-report-iterative-2009-3n-tsh:
1250         - 13  # rls2005 MRR iter env 5
1251     vpp-performance-changes-3n-tsh-mrr-cmp:
1252       csit-vpp-perf-report-iterative-2009-3n-tsh:
1253         - 15  # rls2009 MRR iter env 5
1254
1255     dpdk-performance-changes-3n-hsw-h1:
1256       csit-dpdk-perf-verify-2001-3n-hsw:
1257         - 4   # NDRPDR sel
1258         - 5   # NDRPDR sel
1259         - 6   # NDRPDR sel
1260         - 7   # NDRPDR sel
1261         - 8   # NDRPDR sel
1262         - 9   # NDRPDR sel
1263         - 10  # NDRPDR sel
1264         - 11  # NDRPDR sel
1265         - 12  # NDRPDR sel
1266         - 13  # NDRPDR sel
1267         - 15  # NDRPDR sel
1268         - 16  # NDRPDR sel
1269         - 17  # NDRPDR sel
1270         - 18  # NDRPDR sel
1271         - 19  # NDRPDR sel
1272         - 20  # NDRPDR sel
1273         - 21  # NDRPDR sel
1274         - 22  # NDRPDR sel
1275         - 23  # NDRPDR sel
1276         - 24  # NDRPDR sel
1277     dpdk-performance-changes-3n-hsw-ref:
1278       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1279         - 25  # NDRPDR iter
1280         - 26  # NDRPDR iter
1281         - 27  # NDRPDR iter
1282         - 28  # NDRPDR iter
1283         - 29  # NDRPDR iter
1284         - 30  # NDRPDR iter
1285         - 31  # NDRPDR iter
1286         - 32  # NDRPDR iter
1287         - 33  # NDRPDR iter
1288         - 34  # NDRPDR iter
1289     dpdk-performance-changes-3n-hsw-cmp:
1290       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1291         - 6   # NDRPDR iter env5
1292         - 7   # NDRPDR iter env5
1293         - 8   # NDRPDR iter env5
1294         - 9   # NDRPDR iter env5
1295         - 10  # NDRPDR iter env5
1296         - 11  # NDRPDR iter env5
1297         - 12  # NDRPDR iter env5
1298         - 13  # NDRPDR iter env5
1299         - 14  # NDRPDR iter env5
1300         - 15  # NDRPDR iter env5
1301
1302     dpdk-performance-changes-3n-skx-h1:
1303       csit-dpdk-perf-verify-2001-3n-skx:
1304         - 29  # NDRPDR sel xxv710
1305         - 33  # NDRPDR sel xxv710
1306         - 34  # NDRPDR sel xxv710
1307         - 35  # NDRPDR sel xxv710
1308         - 36  # NDRPDR sel xxv710
1309         - 37  # NDRPDR sel xxv710
1310         - 41  # NDRPDR sel xxv710
1311         - 42  # NDRPDR sel xxv710
1312         - 43  # NDRPDR sel xxv710
1313         - 45  # NDRPDR sel xxv710
1314         - 30  # NDRPDR sel x710
1315         - 31  # NDRPDR sel x710
1316         - 32  # NDRPDR sel x710
1317         - 38  # NDRPDR sel x710
1318         - 39  # NDRPDR sel x710
1319         - 40  # NDRPDR sel x710
1320         - 44  # NDRPDR sel x710
1321         - 46  # NDRPDR sel x710
1322         - 47  # NDRPDR sel x710
1323         - 48  # NDRPDR sel x710
1324     dpdk-performance-changes-3n-skx-ref:
1325       csit-dpdk-perf-report-iterative-2005-3n-skx:
1326         - 28  # NDRPDR iter
1327         - 29  # NDRPDR iter
1328         - 30  # NDRPDR iter
1329         - 31  # NDRPDR iter
1330         - 32  # NDRPDR iter
1331         - 33  # NDRPDR iter
1332         - 34  # NDRPDR iter
1333         - 35  # NDRPDR iter
1334         - 36  # NDRPDR iter
1335         - 37  # NDRPDR iter
1336     dpdk-performance-changes-3n-skx-cmp:
1337       csit-dpdk-perf-report-iterative-2009-3n-skx:
1338         - 4   # NDRPDR sel env5
1339         - 5   # NDRPDR sel env5
1340         - 6   # NDRPDR sel env5
1341         - 7   # NDRPDR sel env5
1342         - 8   # NDRPDR sel env5
1343         - 9   # NDRPDR sel env5
1344         - 14  # NDRPDR sel env5
1345         - 11  # NDRPDR sel env5
1346         - 12  # NDRPDR sel env5
1347         - 13  # NDRPDR sel env5
1348
1349     dpdk-performance-changes-2n-skx-h1:
1350       csit-dpdk-perf-verify-2001-2n-skx:
1351         - 35  # NDRPDR sel xxv710
1352         - 36  # NDRPDR sel xxv710
1353         - 37  # NDRPDR sel xxv710
1354         - 41  # NDRPDR sel xxv710
1355         - 42  # NDRPDR sel xxv710
1356         - 43  # NDRPDR sel xxv710
1357         - 46  # NDRPDR sel xxv710
1358         - 47  # NDRPDR sel xxv710
1359         - 52  # NDRPDR sel xxv710
1360         - 53  # NDRPDR sel xxv710
1361         - 38  # NDRPDR sel x710
1362         - 39  # NDRPDR sel x710
1363         - 40  # NDRPDR sel x710
1364         - 44  # NDRPDR sel x710
1365         - 45  # NDRPDR sel x710
1366         - 48  # NDRPDR sel x710
1367         - 49  # NDRPDR sel x710
1368         - 50  # NDRPDR sel x710
1369         - 51  # NDRPDR sel x710
1370         - 54  # NDRPDR sel x710
1371     dpdk-performance-changes-2n-skx-ref:
1372       csit-dpdk-perf-report-iterative-2005-2n-skx:
1373         - 20  # NDRPDR iter
1374         - 21  # NDRPDR iter
1375         - 22  # NDRPDR iter
1376         - 23  # NDRPDR iter
1377         - 24  # NDRPDR iter
1378         - 25  # NDRPDR iter
1379         - 26  # NDRPDR iter
1380         - 27  # NDRPDR iter
1381         - 28  # NDRPDR iter
1382         - 29  # NDRPDR iter
1383     dpdk-performance-changes-2n-skx-cmp:
1384       csit-dpdk-perf-report-iterative-2009-2n-skx:
1385         - 4   # NDRPDR iter env5
1386         - 5   # NDRPDR iter env5
1387         - 6   # NDRPDR iter env5
1388         - 7   # NDRPDR iter env5
1389         - 8   # NDRPDR iter env5
1390         - 9   # NDRPDR iter env5
1391         - 10  # NDRPDR iter env5
1392         - 11  # NDRPDR iter env5
1393         - 12  # NDRPDR iter env5
1394         - 13  # NDRPDR iter env5
1395
1396     dpdk-performance-changes-2n-clx-h1:
1397       csit-dpdk-perf-verify-2001-2n-clx:
1398         - 15  # NDRPDR sel
1399         - 16  # NDRPDR sel
1400         - 17  # NDRPDR sel
1401         - 18  # NDRPDR sel
1402         - 19  # NDRPDR sel
1403         - 20  # NDRPDR sel
1404         - 21  # NDRPDR sel
1405         - 22  # NDRPDR sel
1406         - 23  # NDRPDR sel
1407         - 24  # NDRPDR sel
1408         - 25  # NDRPDR sel
1409         - 26  # NDRPDR sel
1410         - 27  # NDRPDR sel
1411         - 28  # NDRPDR sel
1412         - 29  # NDRPDR sel
1413         - 30  # NDRPDR sel
1414         - 31  # NDRPDR sel
1415         - 32  # NDRPDR sel
1416         - 33  # NDRPDR sel
1417         - 34  # NDRPDR sel
1418     dpdk-performance-changes-2n-clx-ref:
1419       csit-dpdk-perf-report-iterative-2005-2n-clx:
1420         - 20  # NDRPDR iter
1421         - 21  # NDRPDR iter
1422         - 22  # NDRPDR iter
1423         - 23  # NDRPDR iter
1424         - 24  # NDRPDR iter
1425         - 25  # NDRPDR iter
1426         - 26  # NDRPDR iter
1427         - 27  # NDRPDR iter
1428         - 28  # NDRPDR iter
1429         - 29  # NDRPDR iter
1430     dpdk-performance-changes-2n-clx-cmp:
1431       csit-dpdk-perf-report-iterative-2009-2n-clx:
1432         - 4   # NDRPDR iter env5
1433         - 5   # NDRPDR iter env5
1434         - 6   # NDRPDR iter env5
1435         - 7   # NDRPDR iter env5
1436         - 8   # NDRPDR iter env5
1437         - 9   # NDRPDR iter env5
1438         - 10  # NDRPDR iter env5
1439         - 11  # NDRPDR iter env5
1440         - 12  # NDRPDR iter env5
1441         - 13  # NDRPDR iter env5
1442
1443 #    dpdk-performance-changes-2n-dnv-h1:
1444 #      csit-dpdk-perf-verify-2001-2n-dnv:
1445 #        - 9   # NDRPDR sel
1446 #        - 10  # NDRPDR sel
1447 #        - 11  # NDRPDR sel
1448 #        - 12  # NDRPDR sel
1449 #        - 13  # NDRPDR sel
1450 #        - 14  # NDRPDR sel
1451 #        - 15  # NDRPDR sel
1452 #        - 16  # NDRPDR sel
1453 #        - 17  # NDRPDR sel
1454 #        - 18  # NDRPDR sel
1455 #    dpdk-performance-changes-2n-dnv-ref:
1456 #      # No data
1457 #    dpdk-performance-changes-2n-dnv-cmp:
1458 #      # No data
1459 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1460
1461 #    dpdk-performance-changes-3n-dnv-h1:
1462 #      csit-dpdk-perf-verify-2001-3n-dnv:
1463 #        - 12  # NDRPDR sel
1464 #        - 13  # NDRPDR sel
1465 #        - 14  # NDRPDR sel
1466 #        - 15  # NDRPDR sel
1467 #        - 16  # NDRPDR sel
1468 #        - 17  # NDRPDR sel
1469 #        - 18  # NDRPDR sel
1470 #        - 19  # NDRPDR sel
1471 #        - 20  # NDRPDR sel
1472 #        - 22  # NDRPDR sel
1473 #    dpdk-performance-changes-3n-dnv-ref:
1474 #      # No data
1475 #    dpdk-performance-changes-3n-dnv-cmp:
1476 #      # No data
1477 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1478
1479     dpdk-performance-changes-3n-tsh-h1:
1480       csit-dpdk-perf-verify-2001-3n-tsh:
1481         - 3   # NDRPDR sel
1482         - 4   # NDRPDR sel
1483         - 5   # NDRPDR sel
1484         - 9   # NDRPDR sel
1485         - 10  # NDRPDR sel
1486         - 11  # NDRPDR sel
1487         - 12  # NDRPDR sel
1488         - 14  # NDRPDR sel
1489         - 15  # NDRPDR sel
1490         - 18  # NDRPDR sel
1491     dpdk-performance-changes-3n-tsh-ref:
1492       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1493         - 5   # NDRPDR sel
1494     dpdk-performance-changes-3n-tsh-cmp:
1495       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1496         - 1   # NDRPDR iter env5
1497         - 2   # NDRPDR iter env5
1498         - 3   # NDRPDR iter env5
1499         - 4   # NDRPDR iter env5
1500         - 5   # NDRPDR iter env5
1501         - 6   # NDRPDR iter env5
1502         - 7   # NDRPDR iter env5
1503         - 9   # NDRPDR iter env5
1504         - 10  # NDRPDR iter env5
1505         - 11  # NDRPDR iter env5
1506
1507     # Compare testbeds
1508
1509     vpp-compare-testbeds-ref:
1510       csit-vpp-perf-report-iterative-2009-3n-hsw:
1511         - 21  # rls2009 NDRPDR iter env 5
1512         - 22  # rls2009 NDRPDR iter env 5
1513         - 24  # rls2009 NDRPDR iter env 5
1514         - 25  # rls2009 NDRPDR iter env 5
1515         - 26  # rls2009 NDRPDR iter env 5
1516         - 27  # rls2009 NDRPDR iter env 5
1517         - 28  # rls2009 NDRPDR iter env 5
1518         - 29  # rls2009 NDRPDR iter env 5
1519         - 30  # rls2009 NDRPDR iter env 5
1520         - 31  # rls2009 NDRPDR iter env 5
1521     vpp-compare-testbeds-cmp:
1522       csit-vpp-perf-report-iterative-2009-3n-skx:
1523         - 26  # rls2009 NDRPDR iter env 5
1524         - 27  # rls2009 NDRPDR iter env 5
1525         - 28  # rls2009 NDRPDR iter env 5
1526         - 29  # rls2009 NDRPDR iter env 5
1527         - 35  # rls2009 NDRPDR iter env 5
1528         - 36  # rls2009 NDRPDR iter env 5
1529         - 37  # rls2009 NDRPDR iter env 5
1530         - 38  # rls2009 NDRPDR iter env 5
1531         - 39  # rls2009 NDRPDR iter env 5
1532         - 40  # rls2009 NDRPDR iter env 5
1533
1534     vpp-compare-testbeds-skx-clx-ref:
1535       csit-vpp-perf-report-iterative-2009-2n-skx:
1536         - 35  # rls2009 NDRPDR iter env 5
1537         - 36  # rls2009 NDRPDR iter env 5
1538         - 37  # rls2009 NDRPDR iter env 5
1539         - 39  # rls2009 NDRPDR iter env 5
1540         - 40  # rls2009 NDRPDR iter env 5
1541         - 42  # rls2009 NDRPDR iter env 5
1542         - 43  # rls2009 NDRPDR iter env 5
1543         - 44  # rls2009 NDRPDR iter env 5
1544         - 46  # rls2009 NDRPDR iter env 5
1545         - 48  # rls2009 NDRPDR iter env 5
1546         - 110 # rls2009 NDRPDR iter NAT44 env 5
1547         - 111 # rls2009 NDRPDR iter NAT44 env 5
1548         - 112 # rls2009 NDRPDR iter NAT44 env 5
1549         - 113 # rls2009 NDRPDR iter NAT44 env 5
1550         - 114 # rls2009 NDRPDR iter NAT44 env 5
1551         - 115 # rls2009 NDRPDR iter NAT44 env 5
1552         - 116 # rls2009 NDRPDR iter NAT44 env 5
1553         - 118 # rls2009 NDRPDR iter NAT44 env 5
1554         - 119 # rls2009 NDRPDR iter NAT44 env 5
1555         - 121 # rls2009 NDRPDR iter NAT44 env 5
1556     vpp-compare-testbeds-skx-clx-cmp:
1557       csit-vpp-perf-report-iterative-2009-2n-clx:
1558         - 36  # rls2009 NDRPDR iter env 5
1559         - 39  # rls2009 NDRPDR iter env 5
1560         - 40  # rls2009 NDRPDR iter env 5
1561         - 65  # rls2009 NDRPDR iter env 5
1562         - 66  # rls2009 NDRPDR iter env 5
1563         - 79  # rls2009 NDRPDR iter env 5
1564         - 82  # rls2009 NDRPDR iter env 5
1565         - 88  # rls2009 NDRPDR iter env 5
1566         - 89  # rls2009 NDRPDR iter env 5
1567         - 90  # rls2009 NDRPDR iter env 5
1568         - 114 # rls2009 NDRPDR iter NAT44 env 5
1569         - 115 # rls2009 NDRPDR iter NAT44 env 5
1570         - 116 # rls2009 NDRPDR iter NAT44 env 5
1571         - 117 # rls2009 NDRPDR iter NAT44 env 5
1572         - 118 # rls2009 NDRPDR iter NAT44 env 5
1573         - 119 # rls2009 NDRPDR iter NAT44 env 5
1574         - 121 # rls2009 NDRPDR iter NAT44 env 5
1575         - 122 # rls2009 NDRPDR iter NAT44 env 5
1576         - 123 # rls2009 NDRPDR iter NAT44 env 5
1577         - 126 # rls2009 NDRPDR iter NAT44 env 5
1578
1579     vpp-compare-testbeds-hsw-clx-ref:
1580       csit-vpp-perf-report-iterative-2009-3n-hsw:
1581         - 21  # rls2009 NDRPDR iter env 5
1582         - 22  # rls2009 NDRPDR iter env 5
1583         - 24  # rls2009 NDRPDR iter env 5
1584         - 25  # rls2009 NDRPDR iter env 5
1585         - 26  # rls2009 NDRPDR iter env 5
1586         - 27  # rls2009 NDRPDR iter env 5
1587         - 28  # rls2009 NDRPDR iter env 5
1588         - 29  # rls2009 NDRPDR iter env 5
1589         - 30  # rls2009 NDRPDR iter env 5
1590         - 31  # rls2009 NDRPDR iter env 5
1591     vpp-compare-testbeds-hsw-clx-cmp:
1592       csit-vpp-perf-report-iterative-2009-2n-clx:
1593         - 36  # rls2009 NDRPDR iter env 5
1594         - 39  # rls2009 NDRPDR iter env 5
1595         - 40  # rls2009 NDRPDR iter env 5
1596         - 65  # rls2009 NDRPDR iter env 5
1597         - 66  # rls2009 NDRPDR iter env 5
1598         - 79  # rls2009 NDRPDR iter env 5
1599         - 82  # rls2009 NDRPDR iter env 5
1600         - 88  # rls2009 NDRPDR iter env 5
1601         - 89  # rls2009 NDRPDR iter env 5
1602         - 90  # rls2009 NDRPDR iter env 5
1603
1604     vpp-compare-testbeds-mrr-ref:
1605       csit-vpp-perf-report-iterative-2009-3n-hsw:
1606         - 23  # rls2009 MRR iter env 5
1607     vpp-compare-testbeds-mrr-cmp:
1608       csit-vpp-perf-report-iterative-2009-3n-skx:
1609         - 24  # rls2009 MRR iter env 5
1610
1611     vpp-compare-testbeds-mrr-skx-clx-ref:
1612       csit-vpp-perf-report-iterative-2009-2n-skx:
1613         - 120 # rls2009 MRR iter env 5
1614     vpp-compare-testbeds-mrr-skx-clx-cmp:
1615       csit-vpp-perf-report-iterative-2009-2n-clx:
1616         - 125 # rls2009 MRR iter env 5
1617
1618     vpp-compare-testbeds-mrr-hsw-clx-ref:
1619       csit-vpp-perf-report-iterative-2009-3n-hsw:
1620         - 23  # rls2009 MRR iter env 5
1621     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1622       csit-vpp-perf-report-iterative-2009-2n-clx:
1623         - 125 # rls2009 MRR iter env 5
1624
1625     dpdk-compare-testbeds-ref:
1626       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1627         - 6   # NDRPDR iter env5
1628         - 7   # NDRPDR iter env5
1629         - 8   # NDRPDR iter env5
1630         - 9   # NDRPDR iter env5
1631         - 10  # NDRPDR iter env5
1632         - 11  # NDRPDR iter env5
1633         - 12  # NDRPDR iter env5
1634         - 13  # NDRPDR iter env5
1635         - 14  # NDRPDR iter env5
1636         - 15  # NDRPDR iter env5
1637     dpdk-compare-testbeds-cmp:
1638       csit-dpdk-perf-report-iterative-2009-3n-skx:
1639         - 4   # NDRPDR sel env5
1640         - 5   # NDRPDR sel env5
1641         - 6   # NDRPDR sel env5
1642         - 7   # NDRPDR sel env5
1643         - 8   # NDRPDR sel env5
1644         - 9   # NDRPDR sel env5
1645         - 14  # NDRPDR sel env5
1646         - 11  # NDRPDR sel env5
1647         - 12  # NDRPDR sel env5
1648         - 13  # NDRPDR sel env5
1649
1650     dpdk-compare-testbeds-skx-clx-ref:
1651       csit-dpdk-perf-report-iterative-2009-2n-skx:
1652         - 4   # NDRPDR iter env5
1653         - 5   # NDRPDR iter env5
1654         - 6   # NDRPDR iter env5
1655         - 7   # NDRPDR iter env5
1656         - 8   # NDRPDR iter env5
1657         - 9   # NDRPDR iter env5
1658         - 10  # NDRPDR iter env5
1659         - 11  # NDRPDR iter env5
1660         - 12  # NDRPDR iter env5
1661         - 13  # NDRPDR iter env5
1662     dpdk-compare-testbeds-skx-clx-cmp:
1663       csit-dpdk-perf-report-iterative-2009-2n-clx:
1664         - 4   # NDRPDR iter env5
1665         - 5   # NDRPDR iter env5
1666         - 6   # NDRPDR iter env5
1667         - 7   # NDRPDR iter env5
1668         - 8   # NDRPDR iter env5
1669         - 9   # NDRPDR iter env5
1670         - 10  # NDRPDR iter env5
1671         - 11  # NDRPDR iter env5
1672         - 12  # NDRPDR iter env5
1673         - 13  # NDRPDR iter env5
1674
1675     # Compare topologies
1676
1677     vpp-compare-topologies-ref:
1678       csit-vpp-perf-report-iterative-2009-3n-skx:
1679         - 26  # rls2009 NDRPDR iter env 5
1680         - 27  # rls2009 NDRPDR iter env 5
1681         - 28  # rls2009 NDRPDR iter env 5
1682         - 29  # rls2009 NDRPDR iter env 5
1683         - 35  # rls2009 NDRPDR iter env 5
1684         - 36  # rls2009 NDRPDR iter env 5
1685         - 37  # rls2009 NDRPDR iter env 5
1686         - 38  # rls2009 NDRPDR iter env 5
1687         - 39  # rls2009 NDRPDR iter env 5
1688         - 40  # rls2009 NDRPDR iter env 5
1689     vpp-compare-topologies-cmp:
1690       csit-vpp-perf-report-iterative-2009-2n-skx:
1691         - 35  # rls2009 NDRPDR iter env 5
1692         - 36  # rls2009 NDRPDR iter env 5
1693         - 37  # rls2009 NDRPDR iter env 5
1694         - 39  # rls2009 NDRPDR iter env 5
1695         - 40  # rls2009 NDRPDR iter env 5
1696         - 42  # rls2009 NDRPDR iter env 5
1697         - 43  # rls2009 NDRPDR iter env 5
1698         - 44  # rls2009 NDRPDR iter env 5
1699         - 46  # rls2009 NDRPDR iter env 5
1700         - 48  # rls2009 NDRPDR iter env 5
1701
1702     vpp-compare-topologies-mrr-ref:
1703       csit-vpp-perf-report-iterative-2009-3n-skx:
1704         - 24  # rls2009 MRR iter env 5
1705     vpp-compare-topologies-mrr-cmp:
1706       csit-vpp-perf-report-iterative-2009-2n-skx:
1707         - 120 # rls2009 MRR iter env 5
1708
1709     dpdk-compare-topologies-ref:
1710       csit-dpdk-perf-report-iterative-2009-3n-skx:
1711         - 4   # NDRPDR sel env5
1712         - 5   # NDRPDR sel env5
1713         - 6   # NDRPDR sel env5
1714         - 7   # NDRPDR sel env5
1715         - 8   # NDRPDR sel env5
1716         - 9   # NDRPDR sel env5
1717         - 14  # NDRPDR sel env5
1718         - 11  # NDRPDR sel env5
1719         - 12  # NDRPDR sel env5
1720         - 13  # NDRPDR sel env5
1721     dpdk-compare-topologies-cmp:
1722       csit-dpdk-perf-report-iterative-2009-2n-skx:
1723         - 4   # NDRPDR iter env5
1724         - 5   # NDRPDR iter env5
1725         - 6   # NDRPDR iter env5
1726         - 7   # NDRPDR iter env5
1727         - 8   # NDRPDR iter env5
1728         - 9   # NDRPDR iter env5
1729         - 10  # NDRPDR iter env5
1730         - 11  # NDRPDR iter env5
1731         - 12  # NDRPDR iter env5
1732         - 13  # NDRPDR iter env5
1733
1734   plot-layouts:
1735
1736     plot-soak-throughput:
1737       titlefont:
1738         size: 16
1739       xaxis:
1740         title: "<b>Test Cases [Index]</b>"
1741         titlefont:
1742           size: 14
1743         autorange: True
1744         fixedrange: False
1745         gridcolor: "rgb(230, 230, 230)"
1746         linecolor: "rgb(220, 220, 220)"
1747         linewidth: 1
1748         showgrid: True
1749         showline: True
1750         showticklabels: True
1751         tickcolor: "rgb(220, 220, 220)"
1752         tickmode: "linear"
1753         tickfont:
1754           size: 14
1755         zeroline: False
1756       yaxis:
1757         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1758         titlefont:
1759           size: 14
1760         gridcolor: "rgb(230, 230, 230)"
1761         hoverformat: ".4r"
1762         tickformat: ".3r"
1763         linecolor: "rgb(220, 220, 220)"
1764         linewidth: 1
1765         showgrid: True
1766         showline: True
1767         showticklabels: True
1768         tickcolor: "rgb(220, 220, 220)"
1769         tickfont:
1770           size: 14
1771         zeroline: False
1772         range: [0,50]
1773       autosize: False
1774       margin:
1775         t: 50
1776         b: 0
1777         l: 80
1778         r: 20
1779       showlegend: True
1780       legend:
1781         orientation: "h"
1782         font:
1783           size: 14
1784       width: 700
1785       height: 900
1786       paper_bgcolor: "#fff"
1787       plot_bgcolor: "#fff"
1788       hoverlabel:
1789         namelength: -1
1790
1791     plot-service-density:
1792       titlefont:
1793         size: 16
1794       xaxis:
1795         side: "top"
1796         autorange: True
1797         fixedrange: False
1798         showgrid: False
1799         showline: False
1800         showticklabels: False
1801         ticks: ""
1802         ticklen: 0
1803         tickwidth: 0
1804         zeroline: False
1805       yaxis:
1806         autorange: "reversed"
1807         showgrid: False
1808         showline: False
1809         showticklabels: False
1810         ticks: ""
1811         ticklen: 0
1812         tickwidth: 0
1813         zeroline: False
1814       showlegend: False
1815       paper_bgcolor: "#fff"
1816       plot_bgcolor: "#fff"
1817       width: 700
1818       height: 700
1819       hoverlabel:
1820         namelength: -1
1821
1822     plot-hoststack:
1823       titlefont:
1824         size: 16
1825       xaxis:
1826         title: "<b>Test Cases [Index]</b>"
1827         titlefont:
1828           size: 14
1829         autorange: True
1830         fixedrange: False
1831         gridcolor: "rgb(230, 230, 230)"
1832         linecolor: "rgb(220, 220, 220)"
1833         linewidth: 1
1834         showgrid: True
1835         showline: True
1836         showticklabels: True
1837         tickcolor: "rgb(220, 220, 220)"
1838         tickmode: "linear"
1839         tickfont:
1840           size: 14
1841         zeroline: False
1842       yaxis:
1843         title: "<b>Bandwidth [Gbps]</b>"
1844         titlefont:
1845           size: 14
1846         gridcolor: "rgb(230, 230, 230)"
1847         hoverformat: ".4s"
1848         linecolor: "rgb(220, 220, 220)"
1849         linewidth: 1
1850         rangemode: "tozero"
1851         showgrid: True
1852         showline: True
1853         showticklabels: True
1854         tickcolor: "rgb(230, 230, 230)"
1855         tickformat: ".3s"
1856         tickfont:
1857           size: 14
1858         zeroline: False
1859       autosize: False
1860       margin:
1861         t: 50
1862         b: 20
1863         l: 80
1864         r: 20
1865       showlegend: True
1866       legend:
1867         orientation: "h"
1868         font:
1869           size: 14
1870       width: 700
1871       height: 800
1872       paper_bgcolor: "#fff"
1873       plot_bgcolor: "#fff"
1874       hoverlabel:
1875         namelength: -1
1876
1877     plot-throughput:
1878       titlefont:
1879         size: 16
1880       xaxis:
1881         title: "<b>Test Cases [Index]</b>"
1882         titlefont:
1883           size: 14
1884         autorange: True
1885         fixedrange: False
1886         gridcolor: "rgb(230, 230, 230)"
1887         linecolor: "rgb(220, 220, 220)"
1888         linewidth: 1
1889         showgrid: True
1890         showline: True
1891         showticklabels: True
1892         tickcolor: "rgb(220, 220, 220)"
1893         tickmode: "linear"
1894         tickfont:
1895           size: 14
1896         zeroline: False
1897       yaxis:
1898         title: "<b>Packet Throughput [Mpps]</b>"
1899         titlefont:
1900           size: 14
1901         gridcolor: "rgb(230, 230, 230)"
1902         hoverformat: ".4r"
1903         tickformat: ".3r"
1904         linecolor: "rgb(220, 220, 220)"
1905         linewidth: 1
1906         showgrid: True
1907         showline: True
1908         showticklabels: True
1909         tickcolor: "rgb(220, 220, 220)"
1910         tickfont:
1911           size: 14
1912         zeroline: False
1913         range: [0,50]
1914       autosize: False
1915       margin:
1916         t: 50
1917         b: 0
1918         l: 80
1919         r: 20
1920       showlegend: True
1921       legend:
1922         orientation: "h"
1923         font:
1924           size: 14
1925       width: 700
1926       height: 900
1927       paper_bgcolor: "#fff"
1928       plot_bgcolor: "#fff"
1929       hoverlabel:
1930         namelength: -1
1931
1932     plot-throughput-gbps:
1933       titlefont:
1934         size: 16
1935       xaxis:
1936         title: "<b>Test Cases [Index]</b>"
1937         titlefont:
1938           size: 14
1939         autorange: True
1940         fixedrange: False
1941         gridcolor: "rgb(230, 230, 230)"
1942         linecolor: "rgb(220, 220, 220)"
1943         linewidth: 1
1944         showgrid: True
1945         showline: True
1946         showticklabels: True
1947         tickcolor: "rgb(220, 220, 220)"
1948         tickmode: "linear"
1949         tickfont:
1950           size: 14
1951         zeroline: False
1952       yaxis:
1953         title: "<b>Packet Throughput [Gbps]</b>"
1954         titlefont:
1955           size: 14
1956         gridcolor: "rgb(230, 230, 230)"
1957         hoverformat: ".4r"
1958         tickformat: ".3r"
1959         linecolor: "rgb(220, 220, 220)"
1960         linewidth: 1
1961         showgrid: True
1962         showline: True
1963         showticklabels: True
1964         tickcolor: "rgb(220, 220, 220)"
1965         tickfont:
1966           size: 14
1967         zeroline: False
1968         range: [0,10]
1969       autosize: False
1970       margin:
1971         t: 50
1972         b: 0
1973         l: 80
1974         r: 20
1975       showlegend: True
1976       legend:
1977         orientation: "h"
1978         font:
1979           size: 14
1980       width: 700
1981       height: 900
1982       paper_bgcolor: "#fff"
1983       plot_bgcolor: "#fff"
1984       hoverlabel:
1985         namelength: -1
1986
1987     plot-cps:
1988       titlefont:
1989         size: 16
1990       xaxis:
1991         title: "<b>Test Cases [Index]</b>"
1992         titlefont:
1993           size: 14
1994         autorange: True
1995         fixedrange: False
1996         gridcolor: "rgb(230, 230, 230)"
1997         linecolor: "rgb(220, 220, 220)"
1998         linewidth: 1
1999         showgrid: True
2000         showline: True
2001         showticklabels: True
2002         tickcolor: "rgb(220, 220, 220)"
2003         tickmode: "linear"
2004         tickfont:
2005           size: 14
2006         zeroline: False
2007       yaxis:
2008         title: "<b>Connection Rate [Mcps]</b>"
2009         titlefont:
2010           size: 14
2011         gridcolor: "rgb(230, 230, 230)"
2012         hoverformat: ".4r"
2013         tickformat: ".3s"
2014         linecolor: "rgb(220, 220, 220)"
2015         linewidth: 1
2016         showgrid: True
2017         showline: True
2018         showticklabels: True
2019         tickcolor: "rgb(220, 220, 220)"
2020         tickfont:
2021           size: 14
2022         zeroline: False
2023         range: [0,10]
2024       autosize: False
2025       margin:
2026         t: 50
2027         b: 0
2028         l: 80
2029         r: 20
2030       showlegend: True
2031       legend:
2032         orientation: "h"
2033         font:
2034           size: 14
2035       width: 700
2036       height: 900
2037       paper_bgcolor: "#fff"
2038       plot_bgcolor: "#fff"
2039       hoverlabel:
2040         namelength: -1
2041
2042     plot-throughput-speedup-analysis:
2043       titlefont:
2044         size: 16
2045       xaxis:
2046         title: "<b>Number of Cores [Qty]</b>"
2047         titlefont:
2048           size: 14
2049         autorange: True
2050         fixedrange: False
2051         gridcolor: "rgb(230, 230, 230)"
2052         linecolor: "rgb(220, 220, 220)"
2053         linewidth: 1
2054         showgrid: True
2055         showline: True
2056         showticklabels: True
2057         tickcolor: "rgb(238, 238, 238)"
2058         tickmode: "linear"
2059         tickfont:
2060           size: 14
2061         zeroline: False
2062       yaxis:
2063         title: "<b>Packet Throughput [Mpps]</b>"
2064         titlefont:
2065           size: 14
2066         type: "linear"
2067         gridcolor: "rgb(230, 230, 230)"
2068         hoverformat: ".4s"
2069         linecolor: "rgb(220, 220, 220)"
2070         linewidth: 1
2071         showgrid: True
2072         showline: True
2073         showticklabels: True
2074         tickcolor: "rgb(220, 220, 220)"
2075         tickformat: ".4s"
2076         tickfont:
2077           size: 14
2078         zeroline: True
2079         rangemode: "tozero"
2080         range: [0,100]
2081       legend:
2082         orientation: "h"
2083         font:
2084           size: 14
2085         xanchor: "left"
2086         yanchor: "top"
2087         x: 0
2088         y: -0.2
2089         bgcolor: "rgba(255, 255, 255, 0)"
2090         bordercolor: "rgba(255, 255, 255, 0)"
2091         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2092       autosize: False
2093       margin:
2094           't': 50
2095           'b': 150
2096           'l': 85
2097           'r': 10
2098       showlegend: True
2099       width: 700
2100       height: 700
2101       paper_bgcolor: "#fff"
2102       plot_bgcolor: "#fff"
2103       hoverlabel:
2104         namelength: -1
2105       annotations: [
2106         {
2107           text: "_ _          __          ...",
2108           align: "left",
2109           showarrow: False,
2110           xref: "paper",
2111           yref: "paper",
2112           xanchor: "left",
2113           yanchor: "top",
2114           x: 0,
2115           y: -0.14,
2116           font: {
2117             family: "Consolas, Courier New",
2118             size: 13
2119           },
2120         },
2121         {
2122           text: "    Perfect     Measured     Limit",
2123           align: "left",
2124           showarrow: False,
2125           xref: "paper",
2126           yref: "paper",
2127           xanchor: "left",
2128           yanchor: "top",
2129           x: 0,
2130           y: -0.15,
2131           font: {
2132             family: "Consolas, Courier New",
2133             size: 13
2134           },
2135         },
2136       ]
2137
2138     plot-throughput-speedup-analysis-gbps:
2139       titlefont:
2140         size: 16
2141       xaxis:
2142         title: "<b>Number of Cores [Qty]</b>"
2143         titlefont:
2144           size: 14
2145         autorange: True
2146         fixedrange: False
2147         gridcolor: "rgb(230, 230, 230)"
2148         linecolor: "rgb(220, 220, 220)"
2149         linewidth: 1
2150         showgrid: True
2151         showline: True
2152         showticklabels: True
2153         tickcolor: "rgb(238, 238, 238)"
2154         tickmode: "linear"
2155         tickfont:
2156           size: 14
2157         zeroline: False
2158       yaxis:
2159         title: "<b>Packet Throughput [Gbps]</b>"
2160         titlefont:
2161           size: 14
2162         type: "linear"
2163         gridcolor: "rgb(230, 230, 230)"
2164         hoverformat: ".4s"
2165         linecolor: "rgb(220, 220, 220)"
2166         linewidth: 1
2167         showgrid: True
2168         showline: True
2169         showticklabels: True
2170         tickcolor: "rgb(220, 220, 220)"
2171         tickformat: ".4s"
2172         tickfont:
2173           size: 14
2174         zeroline: True
2175         rangemode: "tozero"
2176         range: [0,100]
2177       legend:
2178         orientation: "h"
2179         font:
2180           size: 14
2181         xanchor: "left"
2182         yanchor: "top"
2183         x: 0
2184         y: -0.2
2185         bgcolor: "rgba(255, 255, 255, 0)"
2186         bordercolor: "rgba(255, 255, 255, 0)"
2187         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2188       autosize: False
2189       margin:
2190           't': 50
2191           'b': 150
2192           'l': 85
2193           'r': 10
2194       showlegend: True
2195       width: 700
2196       height: 700
2197       paper_bgcolor: "#fff"
2198       plot_bgcolor: "#fff"
2199       hoverlabel:
2200         namelength: -1
2201       annotations: [
2202         {
2203           text: "_ _          __",
2204           align: "left",
2205           showarrow: False,
2206           xref: "paper",
2207           yref: "paper",
2208           xanchor: "left",
2209           yanchor: "top",
2210           x: 0,
2211           y: -0.13,
2212           font: {
2213             family: "Consolas, Courier New",
2214             size: 13
2215           },
2216         },
2217         {
2218           text: "    Perfect     Measured",
2219           align: "left",
2220           showarrow: False,
2221           xref: "paper",
2222           yref: "paper",
2223           xanchor: "left",
2224           yanchor: "top",
2225           x: 0,
2226           y: -0.15,
2227           font: {
2228             family: "Consolas, Courier New",
2229             size: 13
2230           },
2231         },
2232       ]
2233
2234     plot-throughput-speedup-analysis-cps:
2235       titlefont:
2236         size: 16
2237       xaxis:
2238         title: "<b>Number of Cores [Qty]</b>"
2239         titlefont:
2240           size: 14
2241         autorange: True
2242         fixedrange: False
2243         gridcolor: "rgb(230, 230, 230)"
2244         linecolor: "rgb(220, 220, 220)"
2245         linewidth: 1
2246         showgrid: True
2247         showline: True
2248         showticklabels: True
2249         tickcolor: "rgb(238, 238, 238)"
2250         tickmode: "linear"
2251         tickfont:
2252           size: 14
2253         zeroline: False
2254       yaxis:
2255         title: "<b>Connection Rate [Mcps]</b>"
2256         titlefont:
2257           size: 14
2258         type: "linear"
2259         gridcolor: "rgb(230, 230, 230)"
2260         hoverformat: ".4s"
2261         linecolor: "rgb(220, 220, 220)"
2262         linewidth: 1
2263         showgrid: True
2264         showline: True
2265         showticklabels: True
2266         tickcolor: "rgb(220, 220, 220)"
2267         tickformat: ".4s"
2268         tickfont:
2269           size: 14
2270         zeroline: True
2271         rangemode: "tozero"
2272         range: [0,100]
2273       legend:
2274         orientation: "h"
2275         font:
2276           size: 14
2277         xanchor: "left"
2278         yanchor: "top"
2279         x: 0
2280         y: -0.2
2281         bgcolor: "rgba(255, 255, 255, 0)"
2282         bordercolor: "rgba(255, 255, 255, 0)"
2283         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2284       autosize: False
2285       margin:
2286           't': 50
2287           'b': 150
2288           'l': 85
2289           'r': 10
2290       showlegend: True
2291       width: 700
2292       height: 700
2293       paper_bgcolor: "#fff"
2294       plot_bgcolor: "#fff"
2295       hoverlabel:
2296         namelength: -1
2297       annotations: [
2298         {
2299           text: "_ _          __",
2300           align: "left",
2301           showarrow: False,
2302           xref: "paper",
2303           yref: "paper",
2304           xanchor: "left",
2305           yanchor: "top",
2306           x: 0,
2307           y: -0.13,
2308           font: {
2309             family: "Consolas, Courier New",
2310             size: 13
2311           },
2312         },
2313         {
2314           text: "    Perfect     Measured",
2315           align: "left",
2316           showarrow: False,
2317           xref: "paper",
2318           yref: "paper",
2319           xanchor: "left",
2320           yanchor: "top",
2321           x: 0,
2322           y: -0.15,
2323           font: {
2324             family: "Consolas, Courier New",
2325             size: 13
2326           },
2327         },
2328       ]
2329
2330     plot-latency:
2331       titlefont:
2332         size: 16
2333       xaxis:
2334         title: "<b>Direction</b>"
2335         titlefont:
2336           size: 14
2337         autorange: True
2338         fixedrange: False
2339         gridcolor: "rgb(230, 230, 230)"
2340         linecolor: "rgb(220, 220, 220)"
2341         linewidth: 1
2342         showgrid: True
2343         showline: True
2344         showticklabels: False
2345         tickcolor: "rgb(220, 220, 220)"
2346         tickmode: "linear"
2347         tickfont:
2348           size: 14
2349         zeroline: False
2350       yaxis:
2351         title: "<b>Packet Latency [uSec]</b>"
2352         titlefont:
2353           size: 14
2354         type: "linear"
2355         gridcolor: "rgb(230, 230, 230)"
2356         hoverformat: ".4s"
2357         linecolor: "rgb(220, 220, 220)"
2358         linewidth: 1
2359         showgrid: True
2360         showline: True
2361         showticklabels: True
2362         tickcolor: "rgb(220, 220, 220)"
2363         tickformat: ".4s"
2364         tickfont:
2365           size: 14
2366         zeroline: True
2367         rangemode: "tozero"
2368       legend:
2369         orientation: "h"
2370         font:
2371           size: 14
2372         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2373       autosize: False
2374       margin:
2375           't': 50
2376           'b': 150
2377           'l': 80
2378           'r': 10
2379       showlegend: True
2380       width: 700
2381       height: 700
2382       paper_bgcolor: "#fff"
2383       plot_bgcolor: "#fff"
2384       hoverlabel:
2385         namelength: -1
2386
2387     plot-hdrh-latency:
2388       title:
2389         text: ""
2390         xanchor: "center"
2391         x: 0.5
2392         font:
2393           size: 16
2394       width: 700
2395       plot_bgcolor: "white"
2396       annotations:
2397         - font:
2398             size: 14
2399           showarrow: False
2400           text: "<b>Packet Latency [uSec]</b>"
2401           x: 1
2402           xanchor: "right"
2403           xref: "paper"
2404           y: -0.045
2405           yanchor: "top"
2406           yref: "paper"
2407         - font:
2408             size: 14
2409           showarrow: False
2410           text: "<b>Probability [%]</b>"
2411           textangle: 270
2412           x: -0.06
2413           xanchor: "center"
2414           xref: "paper"
2415           y: 0.5
2416           yanchor: "middle"
2417           yref: "paper"
2418         - font:
2419             size: 14
2420           showarrow: False
2421           text: "<b>Direction: E-W</b>"
2422           x: 0.24
2423           xanchor: "center"
2424           xref: "paper"
2425           y: 1.05
2426           yanchor: "bottom"
2427           yref: "paper"
2428         - font:
2429             size: 14
2430           showarrow: False
2431           text: "<b>Direction: W-E</b>"
2432           x: 0.74
2433           xanchor: "center"
2434           xref: "paper"
2435           y: 1.05
2436           yanchor: "bottom"
2437           yref: "paper"
2438
2439     plot-hdrh-latency-percentile:
2440       title:
2441         text: ""
2442         xanchor: "center"
2443         x: 0.5
2444         font:
2445           size: 16
2446       xaxis:
2447         type: "log"
2448         title: "<b>Percentile [%]</b>"
2449         titlefont:
2450           size: 14
2451         autorange: True
2452         fixedrange: False
2453         gridcolor: "rgb(230, 230, 230)"
2454         linecolor: "rgb(220, 220, 220)"
2455         linewidth: 1
2456         showgrid: True
2457         showline: True
2458         showticklabels: True
2459         tickcolor: "rgb(220, 220, 220)"
2460         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2461         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2462         tickfont:
2463           size: 14
2464       yaxis:
2465         title: "<b>Packet Latency [uSec]</b>"
2466         titlefont:
2467           size: 14
2468         gridcolor: "rgb(230, 230, 230)"
2469         linecolor: "rgb(220, 220, 220)"
2470         linewidth: 1
2471         showgrid: True
2472         showline: True
2473         showticklabels: True
2474         tickcolor: "rgb(220, 220, 220)"
2475         tickfont:
2476           size: 14
2477       autosize: False
2478       showlegend: True
2479       legend:
2480         traceorder: "normal"
2481         orientation: "h"
2482         font:
2483           size: 14
2484         xanchor: "left"
2485         yanchor: "top"
2486         x: 0
2487         y: -0.15
2488         bgcolor: "rgba(255, 255, 255, 0)"
2489         bordercolor: "rgba(255, 255, 255, 0)"
2490       width: 700
2491       height: 700
2492       paper_bgcolor: "white"
2493       plot_bgcolor: "white"
2494
2495     plot-hdrh-latency-by-percentile:
2496       title:
2497         text: "<b>Latency by Percentile Distribution</b>"
2498         xanchor: "center"
2499         x: 0.5
2500         font:
2501           size: 18
2502       showlegend: True
2503       legend:
2504         traceorder: "normal"
2505         orientation: "h"
2506         font:
2507           size: 16
2508         xanchor: "left"
2509         yanchor: "top"
2510         x: 0
2511         y: -0.2
2512         bgcolor: "rgba(255, 255, 255, 0)"
2513         bordercolor: "rgba(255, 255, 255, 0)"
2514       xaxis:
2515         type: "linear"
2516         title: "<b>Percentile [%]</b>"
2517         titlefont:
2518           size: 14
2519         autorange: False
2520         fixedrange: False
2521         range: [0, 100]
2522         gridcolor: "rgb(230, 230, 230)"
2523         linecolor: "rgb(220, 220, 220)"
2524         linewidth: 1
2525         showgrid: True
2526         showline: True
2527         showticklabels: True
2528         tickcolor: "rgb(220, 220, 220)"
2529         tickvals: [0, 25, 50, 75, 100]
2530         ticktext: [0, 25, 50, 75, 100]
2531         tickfont:
2532           size: 14
2533       yaxis:
2534         title: "<b>One-Way Latency per Direction [uSec]</b>"
2535         titlefont:
2536           size: 14
2537         gridcolor: "rgb(230, 230, 230)"
2538         linecolor: "rgb(220, 220, 220)"
2539         linewidth: 1
2540         showgrid: True
2541         showline: True
2542         showticklabels: True
2543         tickcolor: "rgb(220, 220, 220)"
2544         tickfont:
2545           size: 14
2546       width: 700
2547       height: 700
2548       paper_bgcolor: "white"
2549       plot_bgcolor: "white"
2550
2551 - type: "static"
2552   src-path: "{DIR[RST]}"
2553   dst-path: "{DIR[WORKING,SRC]}"
2554
2555 - type: "input"
2556   general:
2557     file-name: "output_info.xml.gz"
2558     file-format: ".gz"
2559     arch-file-format:
2560       - ".gz"
2561       - ".zip"
2562     download-path: "{job}/{build}/archives/{filename}"
2563     extract: "output.xml"
2564
2565     zip-file-name: "robot-plugin.zip"
2566     zip-file-format: ".zip"
2567     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2568     zip-extract: "robot-plugin/output.xml"
2569
2570   builds:
2571
2572     csit-vpp-perf-verify-2001-3n-hsw:
2573       - 17  # MRR sel
2574     csit-vpp-perf-report-iterative-2005-3n-hsw:
2575       - 20  # NDRPDR sel env 4
2576       - 21  # NDRPDR sel env 4
2577       - 22  # NDRPDR sel env 4
2578       - 23  # NDRPDR sel env 4
2579       - 24  # NDRPDR sel env 4
2580       - 25  # NDRPDR sel env 4
2581       - 26  # NDRPDR sel env 4
2582       - 27  # NDRPDR sel env 4
2583       - 28  # NDRPDR sel env 4
2584       - 29  # NDRPDR sel env 4
2585       - 30  # MRR env 4
2586       - 31  # NDRPDR sel 2001.0-4
2587       - 32  # NDRPDR sel 2001.0-4
2588       - 33  # NDRPDR sel 2001.0-4
2589       - 34  # NDRPDR sel 2001.0-4
2590       - 35  # NDRPDR sel 2001.0-4
2591       - 36  # NDRPDR sel 2001.0-4
2592       - 38  # NDRPDR sel 2001.0-4
2593     csit-vpp-perf-report-iterative-2009-3n-hsw:
2594       - 18  # rls2005 MRR iter env 5
2595       - 9   # rls2005 NDRPDR iter env 5
2596       - 10  # rls2005 NDRPDR iter env 5
2597       - 11  # rls2005 NDRPDR iter env 5
2598       - 12  # rls2005 NDRPDR iter env 5
2599       - 13  # rls2005 NDRPDR iter env 5
2600       - 14  # rls2005 NDRPDR iter env 5
2601       - 15  # rls2005 NDRPDR iter env 5
2602       - 16  # rls2005 NDRPDR iter env 5
2603       - 17  # rls2005 NDRPDR iter env 5
2604       - 19  # rls2005 NDRPDR iter env 5
2605       - 23  # rls2009 MRR iter env 5
2606       - 21  # rls2009 NDRPDR iter env 5
2607       - 22  # rls2009 NDRPDR iter env 5
2608       - 24  # rls2009 NDRPDR iter env 5
2609       - 25  # rls2009 NDRPDR iter env 5
2610       - 26  # rls2009 NDRPDR iter env 5
2611       - 27  # rls2009 NDRPDR iter env 5
2612       - 28  # rls2009 NDRPDR iter env 5
2613       - 29  # rls2009 NDRPDR iter env 5
2614       - 30  # rls2009 NDRPDR iter env 5
2615       - 31  # rls2009 NDRPDR iter env 5
2616       - 32  # rls2009 Hoststack iter env 5
2617       - 33  # rls2009 Hoststack iter env 5
2618       - 34  # rls2009 Hoststack iter env 5
2619       - 35  # rls2009 Hoststack iter env 5
2620       - 36  # rls2009 Hoststack iter env 5
2621       - 37  # rls2009 Hoststack iter env 5
2622       - 38  # rls2009 Hoststack iter env 5
2623       - 39  # rls2009 Hoststack iter env 5
2624       - 40  # rls2009 Hoststack iter env 5
2625       - 41  # rls2009 Hoststack iter env 5
2626     csit-vpp-perf-report-coverage-2009-3n-hsw:
2627       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2628       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2629       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2630       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2631       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2632       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2633       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2634       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2635       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2636       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2637       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2638       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2639       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2640       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2641       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2642       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2643       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2644       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2645       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2646       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2647       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2648       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2649       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2650       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2651       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2652       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2653       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2654       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2655       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2656       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2657       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2658       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2659       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2660       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2661       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2662
2663     csit-vpp-perf-verify-2001-3n-skx:
2664       - 50  # MRR sel
2665       - 53  # MRR sel addition
2666     csit-vpp-perf-report-iterative-2005-3n-skx:
2667       - 4   # NDRPDR sel
2668       - 5   # NDRPDR sel ??? all x710 failed
2669       - 33  # NDRPDR sel
2670       - 28  # NDRPDR sel
2671       - 34  # NDRPDR sel
2672       - 42  # NDRPDR sel env 4
2673       - 43  # NDRPDR sel env 4
2674       - 44  # NDRPDR sel env 4
2675       - 45  # NDRPDR sel env 4
2676       - 47  # NDRPDR sel env 4
2677       - 55  # NDRPDR sel env 4
2678       - 56  # NDRPDR sel env 4
2679       - 57  # NDRPDR sel env 4
2680       - 61  # NDRPDR sel env 4
2681       - 62  # NDRPDR sel env 4
2682       - 50  # NDRPDR sel 2001.0-4
2683       - 51  # NDRPDR sel 2001.0-4
2684       - 52  # NDRPDR sel 2001.0-4
2685       - 53  # NDRPDR sel 2001.0-4
2686       - 54  # NDRPDR sel 2001.0-4
2687       - 49  # MRR sel env 4
2688     csit-vpp-perf-report-iterative-2009-3n-skx:
2689       - 17  # rls2005 MRR iter env 5
2690       - 13  # rls2005 NDRPDR iter env 5
2691       - 18  # rls2005 NDRPDR iter env 5
2692       - 19  # rls2005 NDRPDR iter env 5
2693       - 41  # rls2005 NDRPDR iter env 5
2694       - 43  # rls2005 NDRPDR iter env 5
2695       - 44  # rls2005 NDRPDR iter env 5
2696       - 45  # rls2005 NDRPDR iter env 5
2697       - 46  # rls2005 NDRPDR iter env 5
2698       - 48  # rls2005 NDRPDR iter env 5
2699       - 49  # rls2005 NDRPDR iter env 5
2700       - 24  # rls2009 MRR iter env 5
2701       - 26  # rls2009 NDRPDR iter env 5
2702       - 27  # rls2009 NDRPDR iter env 5
2703       - 28  # rls2009 NDRPDR iter env 5
2704       - 29  # rls2009 NDRPDR iter env 5
2705       - 35  # rls2009 NDRPDR iter env 5
2706       - 36  # rls2009 NDRPDR iter env 5
2707       - 37  # rls2009 NDRPDR iter env 5
2708       - 38  # rls2009 NDRPDR iter env 5
2709       - 39  # rls2009 NDRPDR iter env 5
2710       - 40  # rls2009 NDRPDR iter env 5
2711     csit-vpp-perf-report-coverage-2009-3n-skx:
2712       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2713       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2714       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2715       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2716       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2717       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2718       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2719       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2720       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2721       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2722       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2723       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2724       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2725       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2726       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2727       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2728       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2729       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2730       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2731       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2732       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2733       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2734       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2735       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2736       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2737       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2738       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2739       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2740       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2741       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2742       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2743       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2744       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2745       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2746       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2747       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2748
2749     csit-vpp-perf-verify-2001-2n-skx:
2750       - 101  # MRR sel - old
2751       - 128  # MRR sel addition - old
2752     csit-vpp-perf-report-iterative-2005-2n-skx:
2753       - 88  # NDRPDR sel env 4
2754       - 89  # NDRPDR sel env 4
2755       - 90  # NDRPDR sel env 4
2756       - 91  # NDRPDR sel env 4
2757       - 92  # NDRPDR sel env 4
2758       - 93  # NDRPDR sel env 4
2759       - 94  # NDRPDR sel env 4
2760       - 125 # NDRPDR sel env 4
2761       - 126 # NDRPDR sel env 4
2762       - 127 # NDRPDR sel env 4
2763       - 100 # NDRPDR sel 2001.0-4
2764       - 101 # NDRPDR sel 2001.0-4
2765       - 102 # NDRPDR sel 2001.0-4
2766       - 103 # NDRPDR sel 2001.0-4
2767       - 104 # NDRPDR sel 2001.0-4
2768       - 105 # NDRPDR sel 2001.0-4
2769       - 99  # MRR sel env 4
2770     csit-vpp-perf-report-iterative-2009-2n-skx:
2771       - 20  # rls2005 MRR iter env 5
2772       - 13  # rls2005 NDRPDR iter env 5
2773       - 16  # rls2005 NDRPDR iter env 5
2774       - 17  # rls2005 NDRPDR iter env 5
2775       - 18  # rls2005 NDRPDR iter env 5
2776       - 19  # rls2005 NDRPDR iter env 5
2777       - 21  # rls2005 NDRPDR iter env 5
2778       - 22  # rls2005 NDRPDR iter env 5
2779       - 23  # rls2005 NDRPDR iter env 5
2780       - 24  # rls2005 NDRPDR iter env 5
2781       - 25  # rls2005 NDRPDR iter env 5
2782       - 120 # rls2009 MRR iter env 5
2783       - 35  # rls2009 NDRPDR iter env 5
2784       - 36  # rls2009 NDRPDR iter env 5
2785       - 37  # rls2009 NDRPDR iter env 5
2786       - 39  # rls2009 NDRPDR iter env 5
2787       - 40  # rls2009 NDRPDR iter env 5
2788       - 42  # rls2009 NDRPDR iter env 5
2789       - 43  # rls2009 NDRPDR iter env 5
2790       - 44  # rls2009 NDRPDR iter env 5
2791       - 46  # rls2009 NDRPDR iter env 5
2792       - 48  # rls2009 NDRPDR iter env 5
2793       - 110 # rls2009 NDRPDR iter NAT44 env 5
2794       - 111 # rls2009 NDRPDR iter NAT44 env 5
2795       - 112 # rls2009 NDRPDR iter NAT44 env 5
2796       - 113 # rls2009 NDRPDR iter NAT44 env 5
2797       - 114 # rls2009 NDRPDR iter NAT44 env 5
2798       - 115 # rls2009 NDRPDR iter NAT44 env 5
2799       - 116 # rls2009 NDRPDR iter NAT44 env 5
2800       - 118 # rls2009 NDRPDR iter NAT44 env 5
2801       - 119 # rls2009 NDRPDR iter NAT44 env 5
2802       - 121 # rls2009 NDRPDR iter NAT44 env 5
2803       - 38  # rls2009 nf-density iter env 5
2804       - 41  # rls2009 nf-density iter env 5
2805       - 45  # rls2009 nf-density iter env 5
2806       - 47  # rls2009 nf-density iter env 5
2807       - 49  # rls2009 nf-density iter env 5
2808       - 63  # rls2009 nf-density iter env 5
2809       - 65  # rls2009 nf-density iter env 5
2810       - 66  # rls2009 nf-density iter env 5
2811       - 71  # rls2009 nf-density iter env 5
2812       - 72  # rls2009 nf-density iter env 5
2813       - 50  # rls2009 MRR nf-density iter env 5
2814       - 27  # rls2009 reconf env 5
2815       - 28  # rls2009 reconf env 5
2816       - 29  # rls2009 reconf env 5
2817       - 30  # rls2009 reconf env 5
2818       - 31  # rls2009 reconf env 5
2819       - 32  # rls2009 reconf env 5
2820       - 61  # rls2009 reconf env 5
2821       - 62  # rls2009 reconf env 5
2822       - 68  # rls2009 reconf env 5
2823       - 70  # rls2009 reconf env 5
2824       - 33  # rls2009 soak env 5
2825       - 34  # rls2009 soak env 5
2826     csit-vpp-perf-report-coverage-2009-2n-skx:
2827       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2828       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2829       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2830       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2831       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2832       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2833       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2834       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2835       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2836       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2837       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2838       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2839       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2840       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2841       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2842       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2843       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2844
2845     csit-vpp-perf-verify-2001-2n-clx:
2846       - 39  # MRR
2847     csit-vpp-perf-report-iterative-2005-2n-clx:
2848       - 62  # NDRPDR sel env 4
2849       - 63  # NDRPDR sel env 4
2850       - 64  # NDRPDR sel env 4
2851       - 65  # NDRPDR sel env 4
2852       - 66  # NDRPDR sel env 4
2853       - 68  # NDRPDR sel env 4
2854       - 69  # NDRPDR sel env 4
2855       - 70  # NDRPDR sel env 4
2856       - 103 # NDRPDR sel env 4
2857       - 104 # NDRPDR sel env 4
2858       - 73  # NDRPDR sel 2001.0-4
2859       - 74  # NDRPDR sel 2001.0-4
2860       - 75  # NDRPDR sel 2001.0-4
2861       - 76  # NDRPDR sel 2001.0-4
2862       - 77  # NDRPDR sel 2001.0-4
2863       - 78  # NDRPDR sel 2001.0-4
2864       - 79  # NDRPDR sel 2001.0-4
2865       - 80  # NDRPDR sel 2001.0-4
2866       - 72  # MRR env 4
2867     csit-vpp-perf-report-iterative-2009-2n-clx:
2868       - 77  # rls2005 MRR iter env 5
2869       - 13  # rls2005 NDRPDR iter env 5
2870       - 15  # rls2005 NDRPDR iter env 5
2871       - 17  # rls2005 NDRPDR iter env 5
2872       - 18  # rls2005 NDRPDR iter env 5
2873       - 19  # rls2005 NDRPDR iter env 5
2874       - 20  # rls2005 NDRPDR iter env 5
2875       - 21  # rls2005 NDRPDR iter env 5
2876       - 22  # rls2005 NDRPDR iter env 5
2877       - 23  # rls2005 NDRPDR iter env 5
2878       - 24  # rls2005 NDRPDR iter env 5
2879       - 125 # rls2009 MRR iter env 5
2880       - 36  # rls2009 NDRPDR iter env 5
2881       - 39  # rls2009 NDRPDR iter env 5
2882       - 40  # rls2009 NDRPDR iter env 5
2883       - 65  # rls2009 NDRPDR iter env 5
2884       - 66  # rls2009 NDRPDR iter env 5
2885       - 79  # rls2009 NDRPDR iter env 5
2886       - 82  # rls2009 NDRPDR iter env 5
2887       - 88  # rls2009 NDRPDR iter env 5
2888       - 89  # rls2009 NDRPDR iter env 5
2889       - 90  # rls2009 NDRPDR iter env 5
2890       - 114 # rls2009 NDRPDR iter NAT44 env 5
2891       - 115 # rls2009 NDRPDR iter NAT44 env 5
2892       - 116 # rls2009 NDRPDR iter NAT44 env 5
2893       - 117 # rls2009 NDRPDR iter NAT44 env 5
2894       - 118 # rls2009 NDRPDR iter NAT44 env 5
2895       - 119 # rls2009 NDRPDR iter NAT44 env 5
2896       - 121 # rls2009 NDRPDR iter NAT44 env 5
2897       - 122 # rls2009 NDRPDR iter NAT44 env 5
2898       - 123 # rls2009 NDRPDR iter NAT44 env 5
2899       - 126 # rls2009 NDRPDR iter NAT44 env 5
2900       - 37  # rls2009 nf-density iter env 5
2901       - 43  # rls2009 nf-density iter env 5
2902       - 69  # rls2009 nf-density iter env 5
2903       - 70  # rls2009 nf-density iter env 5
2904       - 71  # rls2009 nf-density iter env 5
2905       - 72  # rls2009 nf-density iter env 5
2906       - 73  # rls2009 nf-density iter env 5
2907       - 74  # rls2009 nf-density iter env 5
2908       - 75  # rls2009 nf-density iter env 5
2909       - 76  # rls2009 nf-density iter env 5
2910       - 45  # rls2009 MRR nf-density iter env 5
2911       - 25  # rls2009 reconf env 5
2912       - 27  # rls2009 reconf env 5
2913       - 28  # rls2009 reconf env 5
2914       - 29  # rls2009 reconf env 5
2915       - 30  # rls2009 reconf env 5
2916       - 30  # rls2009 reconf env 5
2917       - 32  # rls2009 reconf env 5
2918       - 48  # rls2009 reconf env 5
2919       - 53  # rls2009 reconf env 5
2920       - 68  # rls2009 reconf env 5
2921       - 33  # rls2009 soak env 5
2922       - 34  # rls2009 soak env 5
2923     csit-vpp-perf-report-coverage-2009-2n-clx:
2924       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2925       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2926       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2927       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2928       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2929       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2930       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2931       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2932       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2933       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2934       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2935       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2936       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2937       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2938       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2939       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2940       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2941
2942     csit-vpp-perf-report-iterative-2009-2n-zn2:
2943       - 1   # rls2009 MRR iter env 5
2944       - 3   # rls2009 NDRPDR iter env 5
2945       - 4   # rls2009 NDRPDR iter env 5
2946       - 6   # rls2009 NDRPDR iter env 5
2947       - 7   # rls2009 NDRPDR iter env 5
2948       - 8   # rls2009 NDRPDR iter env 5
2949       - 10  # rls2009 NDRPDR iter env 5
2950       - 11  # rls2009 NDRPDR iter env 5
2951
2952     csit-vpp-perf-verify-2001-3n-tsh:
2953       - 9   # MRR sel
2954     csit-vpp-perf-report-iterative-2005-3n-tsh:
2955       - 23  # NDRPDR sel env 4
2956       - 25  # NDRPDR sel env 4
2957       - 33  # NDRPDR sel env 4
2958       - 34  # NDRPDR sel env 4
2959       - 35  # NDRPDR sel env 4
2960       - 36  # NDRPDR sel env 4
2961       - 37  # NDRPDR sel env 4
2962       - 38  # NDRPDR sel env 4
2963       - 39  # NDRPDR sel env 4
2964       - 40  # NDRPDR sel env 4
2965       - 28  # NDRPDR sel 2001.0-4
2966       - 29  # NDRPDR sel 2001.0-4
2967       - 31  # NDRPDR sel 2001.0-4
2968       - 27  # MRR sel env 4
2969     csit-vpp-perf-report-iterative-2009-3n-tsh:
2970       - 8   # rls2005 NDRPDR iter env 5
2971       - 11  # rls2005 NDRPDR iter env 5
2972       - 12  # rls2005 NDRPDR iter env 5
2973       - 24  # rls2005 NDRPDR iter env 5
2974       - 27  # rls2005 NDRPDR iter env 5
2975       - 29  # rls2005 NDRPDR iter env 5
2976       - 31  # rls2005 NDRPDR iter env 5
2977       - 39  # rls2005 NDRPDR iter env 5
2978       - 40  # rls2005 NDRPDR iter env 5
2979       - 42  # rls2005 NDRPDR iter env 5
2980       - 13  # rls2005 MRR iter env 5
2981       - 14  # rls2009 NDRPDR iter env 5
2982       - 20  # rls2009 NDRPDR iter env 5
2983       - 21  # rls2009 NDRPDR iter env 5
2984       - 22  # rls2009 NDRPDR iter env 5
2985       - 23  # rls2009 NDRPDR iter env 5
2986       - 28  # rls2009 NDRPDR iter env 5
2987       - 30  # rls2009 NDRPDR iter env 5
2988       - 33  # rls2009 NDRPDR iter env 5
2989       - 38  # rls2009 NDRPDR iter env 5
2990       - 41  # rls2009 NDRPDR iter env 5
2991       - 15  # rls2009 MRR iter env 5
2992
2993     csit-vpp-perf-verify-2001-3n-dnv:
2994       - 5   # NDRPDR sel
2995       - 6   # NDRPDR sel
2996       - 7   # NDRPDR sel
2997       - 8   # NDRPDR sel
2998       - 9   # NDRPDR sel
2999       - 10  # NDRPDR sel
3000       - 12  # NDRPDR sel
3001       - 16  # NDRPDR sel
3002       - 17  # NDRPDR sel
3003       - 18  # NDRPDR sel
3004       - 11  # MRR sel
3005     csit-vpp-perf-report-iterative-2009-3n-dnv:
3006       - 16  # rls2005 NDRPDR iter env 5
3007       - 23  # rls2005 NDRPDR iter env 5
3008       - 25  # rls2005 NDRPDR iter env 5
3009       - 26  # rls2005 NDRPDR iter env 5
3010       - 27  # rls2005 NDRPDR iter env 5
3011       - 28  # rls2005 NDRPDR iter env 5
3012       - 29  # rls2005 NDRPDR iter env 5
3013       - 30  # rls2005 NDRPDR iter env 5
3014       - 31  # rls2005 NDRPDR iter env 5
3015       - 32  # rls2005 NDRPDR iter env 5
3016       - 19  # rls2005 MRR iter env 5
3017       - 3   # rls2009 NDRPDR iter env 5
3018       - 6   # rls2009 NDRPDR iter env 5
3019       - 7   # rls2009 NDRPDR iter env 5
3020       - 8   # rls2009 NDRPDR iter env 5
3021       - 10  # rls2009 NDRPDR iter env 5
3022       - 11  # rls2009 NDRPDR iter env 5
3023       - 12  # rls2009 NDRPDR iter env 5
3024       - 14  # rls2009 NDRPDR iter env 5
3025       - 15  # rls2009 NDRPDR iter env 5
3026       - 24  # rls2009 NDRPDR iter env 5
3027       - 22  # rls2009 MRR iter env 5
3028     csit-vpp-perf-report-coverage-2009-3n-dnv:
3029       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
3030       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
3031       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
3032       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
3033       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
3034       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
3035       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
3036       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
3037       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
3038
3039     csit-vpp-perf-verify-2001-2n-dnv:
3040       - 4   # NDRPDR sel
3041       - 5   # NDRPDR sel
3042       - 6   # NDRPDR sel
3043       - 7   # NDRPDR sel
3044       - 8   # NDRPDR sel
3045       - 9   # NDRPDR sel
3046       - 10  # NDRPDR sel
3047       - 11  # NDRPDR sel
3048       - 13  # NDRPDR sel
3049       - 16  # NDRPDR sel
3050       - 12  # MRR sel
3051     csit-vpp-perf-report-iterative-2009-2n-dnv:
3052       - 16  # rls2005 NDRPDR iter env 5
3053       - 17  # rls2005 NDRPDR iter env 5
3054       - 18  # rls2005 NDRPDR iter env 5
3055       - 19  # rls2005 NDRPDR iter env 5
3056       - 21  # rls2005 NDRPDR iter env 5
3057       - 24  # rls2005 NDRPDR iter env 5
3058       - 27  # rls2005 NDRPDR iter env 5
3059       - 28  # rls2005 NDRPDR iter env 5
3060       - 29  # rls2005 NDRPDR iter env 5
3061       - 30  # rls2005 NDRPDR iter env 5
3062       - 23  # rls2005 MRR iter env 5
3063       - 3   # rls2009 NDRPDR iter env 5
3064       - 5   # rls2009 NDRPDR iter env 5
3065       - 6   # rls2009 NDRPDR iter env 5
3066       - 7   # rls2009 NDRPDR iter env 5
3067       - 9   # rls2009 NDRPDR iter env 5
3068       - 10  # rls2009 NDRPDR iter env 5
3069       - 11  # rls2009 NDRPDR iter env 5
3070       - 12  # rls2009 NDRPDR iter env 5
3071       - 14  # rls2009 NDRPDR iter env 5
3072       - 15  # rls2009 NDRPDR iter env 5
3073       - 13  # rls2009 MRR iter env 5
3074     csit-vpp-perf-report-coverage-2009-2n-dnv:
3075       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3076       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3077       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3078       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3079       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3080       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3081
3082     csit-dpdk-perf-verify-2001-3n-hsw:
3083       - 4   # NDRPDR sel
3084       - 5   # NDRPDR sel
3085       - 6   # NDRPDR sel
3086       - 7   # NDRPDR sel
3087       - 8   # NDRPDR sel
3088       - 9   # NDRPDR sel
3089       - 10  # NDRPDR sel
3090       - 11  # NDRPDR sel
3091       - 12  # NDRPDR sel
3092       - 13  # NDRPDR sel
3093       - 15  # NDRPDR sel
3094       - 16  # NDRPDR sel
3095       - 17  # NDRPDR sel
3096       - 18  # NDRPDR sel
3097       - 19  # NDRPDR sel
3098       - 20  # NDRPDR sel
3099       - 21  # NDRPDR sel
3100       - 22  # NDRPDR sel
3101       - 23  # NDRPDR sel
3102       - 24  # NDRPDR sel
3103     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3104       - 25  # NDRPDR iter
3105       - 26  # NDRPDR iter
3106       - 27  # NDRPDR iter
3107       - 28  # NDRPDR iter
3108       - 29  # NDRPDR iter
3109       - 30  # NDRPDR iter
3110       - 31  # NDRPDR iter
3111       - 32  # NDRPDR iter
3112       - 33  # NDRPDR iter
3113       - 34  # NDRPDR iter
3114     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3115       - 6   # NDRPDR iter env5
3116       - 7   # NDRPDR iter env5
3117       - 8   # NDRPDR iter env5
3118       - 9   # NDRPDR iter env5
3119       - 10  # NDRPDR iter env5
3120       - 11  # NDRPDR iter env5
3121       - 12  # NDRPDR iter env5
3122       - 13  # NDRPDR iter env5
3123       - 14  # NDRPDR iter env5
3124       - 15  # NDRPDR iter env5
3125
3126     csit-dpdk-perf-verify-2001-3n-skx:
3127       - 29  # NDRPDR sel xxv710
3128       - 33  # NDRPDR sel xxv710
3129       - 34  # NDRPDR sel xxv710
3130       - 35  # NDRPDR sel xxv710
3131       - 36  # NDRPDR sel xxv710
3132       - 37  # NDRPDR sel xxv710
3133       - 41  # NDRPDR sel xxv710
3134       - 42  # NDRPDR sel xxv710
3135       - 43  # NDRPDR sel xxv710
3136       - 45  # NDRPDR sel xxv710
3137       - 30  # NDRPDR sel x710
3138       - 31  # NDRPDR sel x710
3139       - 32  # NDRPDR sel x710
3140       - 38  # NDRPDR sel x710
3141       - 39  # NDRPDR sel x710
3142       - 40  # NDRPDR sel x710
3143       - 44  # NDRPDR sel x710
3144       - 46  # NDRPDR sel x710
3145       - 47  # NDRPDR sel x710
3146       - 48  # NDRPDR sel x710
3147     csit-dpdk-perf-report-iterative-2005-3n-skx:
3148       - 28  # NDRPDR iter
3149       - 29  # NDRPDR iter
3150       - 30  # NDRPDR iter
3151       - 31  # NDRPDR iter
3152       - 32  # NDRPDR iter
3153       - 33  # NDRPDR iter
3154       - 34  # NDRPDR iter
3155       - 35  # NDRPDR iter
3156       - 36  # NDRPDR iter
3157       - 37  # NDRPDR iter
3158     csit-dpdk-perf-report-iterative-2009-3n-skx:
3159       - 4   # NDRPDR sel env5
3160       - 5   # NDRPDR sel env5
3161       - 6   # NDRPDR sel env5
3162       - 7   # NDRPDR sel env5
3163       - 8   # NDRPDR sel env5
3164       - 9   # NDRPDR sel env5
3165       - 14  # NDRPDR sel env5
3166       - 11  # NDRPDR sel env5
3167       - 12  # NDRPDR sel env5
3168       - 13  # NDRPDR sel env5
3169
3170     csit-dpdk-perf-verify-2001-2n-skx:
3171       - 35  # NDRPDR sel xxv710
3172       - 36  # NDRPDR sel xxv710
3173       - 37  # NDRPDR sel xxv710
3174       - 41  # NDRPDR sel xxv710
3175       - 42  # NDRPDR sel xxv710
3176       - 43  # NDRPDR sel xxv710
3177       - 46  # NDRPDR sel xxv710
3178       - 47  # NDRPDR sel xxv710
3179       - 52  # NDRPDR sel xxv710
3180       - 53  # NDRPDR sel xxv710
3181       - 38  # NDRPDR sel x710
3182       - 39  # NDRPDR sel x710
3183       - 40  # NDRPDR sel x710
3184       - 44  # NDRPDR sel x710
3185       - 45  # NDRPDR sel x710
3186       - 48  # NDRPDR sel x710
3187       - 49  # NDRPDR sel x710
3188       - 50  # NDRPDR sel x710
3189       - 51  # NDRPDR sel x710