Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272
273     plot-vpp-hdrh-lat-3n-skx:
274       csit-vpp-perf-report-iterative-2101-3n-skx:
275         - 36  # rls2101.rel NDRPDR iter env 6
276
277 #    plot-vpp-nfv-3n-skx-ndrpdr:
278 #      # No data
279 #      csit-vpp-perf-report-iterative-2101-3n-skx:
280
281 #    plot-vpp-nfv-3n-skx-mrr:
282 #      # No data
283 #      csit-vpp-perf-report-iterative-2101-3n-skx:
284
285     plot-dpdk-throughput-latency-3n-skx:
286       csit-dpdk-perf-report-iterative-2101-3n-skx:
287         - 12  # rls2101 NDRPDR iter env 6
288         - 14  # rls2101 NDRPDR iter env 6
289         - 15  # rls2101 NDRPDR iter env 6
290         - 17  # rls2101 NDRPDR iter env 6
291         - 19  # rls2101 NDRPDR iter env 6
292         - 20  # rls2101 NDRPDR iter env 6
293         - 21  # rls2101 NDRPDR iter env 6
294         - 22  # rls2101 NDRPDR iter env 6
295         - 25  # rls2101 NDRPDR iter env 6
296         - 26  # rls2101 NDRPDR iter env 6
297
298     plot-dpdk-hdrh-lat-3n-skx:
299       csit-dpdk-perf-report-iterative-2101-3n-skx:
300         - 12  # rls2101 NDRPDR iter env 6
301
302     # 2n-skx
303
304     plot-vpp-throughput-lat-tsa-2n-skx:
305       csit-vpp-perf-report-iterative-2101-2n-skx:
306         - 63  # rls2101.rel NDRPDR iter env 6
307         - 69  # rls2101.rel NDRPDR iter env 6
308         - 70  # rls2101.rel NDRPDR iter env 6
309         - 75  # rls2101.rel NDRPDR iter env 6
310         - 76  # rls2101.rel NDRPDR iter env 6
311         - 77  # rls2101.rel NDRPDR iter env 6
312         - 82  # rls2101.rel NDRPDR iter env 6
313         - 85  # rls2101.rel NDRPDR iter env 6
314         - 86  # rls2101.rel NDRPDR iter env 6
315         - 94  # rls2101.rel NDRPDR iter env 6
316         - 89  # rls2101.rel NDRPDR iter RND env 6
317         - 90  # rls2101.rel NDRPDR iter RND env 6
318         - 91  # rls2101.rel NDRPDR iter RND env 6
319         - 92  # rls2101.rel NDRPDR iter RND env 6
320         - 93  # rls2101.rel NDRPDR iter RND env 6
321         - 96  # rls2101.rel NDRPDR iter RND env 6
322         - 98  # rls2101.rel NDRPDR iter RND env 6
323         - 99  # rls2101.rel NDRPDR iter RND env 6
324         - 101 # rls2101.rel NDRPDR iter RND env 6
325         - 102 # rls2101.rel NDRPDR iter RND env 6
326
327     plot-vpp-hdrh-lat-2n-skx:
328       csit-vpp-perf-report-iterative-2101-2n-skx:
329         - 94  # rls2101.rel NDRPDR iter env 6
330
331     plot-vpp-hdrh-lat-2n-skx-rnd:
332       csit-vpp-perf-report-iterative-2101-2n-skx:
333         - 89  # rls2101.rel NDRPDR iter RND env 6
334
335     plot-vpp-soak-2n-skx:
336       csit-vpp-perf-report-iterative-2101-2n-skx:
337         - 68  # rls2101.rel soak env 6
338         - 73  # rls2101.rel soak env 6
339
340     plot-vpp-nfv-2n-skx-ndrpdr:
341       csit-vpp-perf-report-iterative-2101-2n-skx:
342         - 67  # rls2101.rel NDRPDR nf-density iter env 6
343         - 72  # rls2101.rel NDRPDR nf-density iter env 6
344         - 79  # rls2101.rel NDRPDR nf-density iter env 6
345         - 83  # rls2101.rel NDRPDR nf-density iter env 6
346         - 88  # rls2101.rel NDRPDR nf-density iter env 6
347         - 97  # rls2101.rel NDRPDR nf-density iter env 6
348         - 103 # rls2101.rel NDRPDR nf-density iter env 6
349
350     plot-vpp-nfv-2n-skx-mrr:
351       csit-vpp-perf-report-iterative-2101-2n-skx:
352         - 65  # rls2101.rel MRR nf-density iter env 6
353
354     plot-vpp-nfv-reconf-2n-skx:
355       csit-vpp-perf-report-iterative-2101-2n-skx:
356         - 64  # rls2101.rel NDRPDR reconf iter env 6
357         - 66  # rls2101.rel NDRPDR reconf iter env 6
358         - 71  # rls2101.rel NDRPDR reconf iter env 6
359         - 74  # rls2101.rel NDRPDR reconf iter env 6
360         - 78  # rls2101.rel NDRPDR reconf iter env 6
361         - 87  # rls2101.rel NDRPDR reconf iter env 6
362         - 95  # rls2101.rel NDRPDR reconf iter env 6
363         - 100 # rls2101.rel NDRPDR reconf iter env 6
364         - 104 # rls2101.rel NDRPDR reconf iter env 6
365         - 106 # rls2101.rel NDRPDR reconf iter env 6
366
367     plot-dpdk-throughput-latency-2n-skx:
368       csit-dpdk-perf-report-iterative-2101-2n-skx:
369         - 11  # rls2101 NDRPDR iter env 6
370         - 12  # rls2101 NDRPDR iter env 6
371         - 13  # rls2101 NDRPDR iter env 6
372         - 14  # rls2101 NDRPDR iter env 6
373         - 15  # rls2101 NDRPDR iter env 6
374         - 17  # rls2101 NDRPDR iter env 6
375         - 18  # rls2101 NDRPDR iter env 6
376         - 19  # rls2101 NDRPDR iter env 6
377         - 20  # rls2101 NDRPDR iter env 6
378         - 21  # rls2101 NDRPDR iter env 6
379
380     plot-dpdk-hdrh-lat-2n-skx:
381       csit-dpdk-perf-report-iterative-2101-2n-skx:
382         - 11  # rls2101 NDRPDR iter env 6
383
384     # 2n-zn2
385
386     plot-vpp-throughput-lat-tsa-2n-zn2:
387       csit-vpp-perf-report-iterative-2101-2n-zn2:
388         - 31  # rls2101.rel NDRPDR iter env 6
389         - 32  # rls2101.rel NDRPDR iter env 6
390         - 33  # rls2101.rel NDRPDR iter env 6
391         - 34  # rls2101.rel NDRPDR iter env 6
392         - 35  # rls2101.rel NDRPDR iter env 6
393         - 37  # rls2101.rel NDRPDR iter env 6
394         - 38  # rls2101.rel NDRPDR iter env 6
395         - 40  # rls2101.rel NDRPDR iter RND env 6
396         - 41  # rls2101.rel NDRPDR iter RND env 6
397         - 42  # rls2101.rel NDRPDR iter RND env 6
398         - 43  # rls2101.rel NDRPDR iter RND env 6
399         - 45  # rls2101.rel NDRPDR iter RND env 6
400
401     plot-vpp-hdrh-lat-2n-zn2:
402       csit-vpp-perf-report-iterative-2101-2n-zn2:
403         - 31  # rls2101.rel NDRPDR iter env 6
404
405     plot-vpp-hdrh-lat-2n-zn2-rnd:
406       csit-vpp-perf-report-iterative-2101-2n-zn2:
407         - 40  # rls2101.rel NDRPDR iter RND env 6
408
409     plot-dpdk-throughput-latency-2n-zn2:
410       csit-dpdk-perf-report-iterative-2101-2n-zn2:
411         - 11  # rls2101 NDRPDR iter env 6
412         - 12  # rls2101 NDRPDR iter env 6
413         - 13  # rls2101 NDRPDR iter env 6
414         - 14  # rls2101 NDRPDR iter env 6
415         - 16  # rls2101 NDRPDR iter env 6
416         - 17  # rls2101 NDRPDR iter env 6
417         - 18  # rls2101 NDRPDR iter env 6
418         - 19  # rls2101 NDRPDR iter env 6
419         - 20  # rls2101 NDRPDR iter env 6
420         - 21  # rls2101 NDRPDR iter env 6
421
422     plot-dpdk-hdrh-lat-2n-zn2:
423       csit-dpdk-perf-report-iterative-2101-2n-zn2:
424         - 11  # rls2101 NDRPDR iter env 6
425
426     # 2n-clx
427
428     plot-vpp-throughput-lat-tsa-2n-clx:
429       csit-vpp-perf-report-iterative-2101-2n-clx:
430         - 54  # rls2101.rel NDRPDR iter env 6
431         - 59  # rls2101.rel NDRPDR iter env 6
432         - 60  # rls2101.rel NDRPDR iter env 6
433         - 63  # rls2101.rel NDRPDR iter env 6
434         - 66  # rls2101.rel NDRPDR iter env 6
435         - 68  # rls2101.rel NDRPDR iter env 6
436         - 73  # rls2101.rel NDRPDR iter env 6
437         - 75  # rls2101.rel NDRPDR iter env 6
438         - 87  # rls2101.rel NDRPDR iter RND env 6
439
440     plot-vpp-hdrh-lat-2n-clx:
441       csit-vpp-perf-report-iterative-2101-2n-clx:
442         - 75  # rls2101.rel NDRPDR iter env 6
443
444     plot-vpp-hdrh-lat-2n-clx-rnd:
445       csit-vpp-perf-report-iterative-2101-2n-clx:
446         - 87  # rls2101.rel NDRPDR iter RND env 6
447
448     plot-vpp-nfv-2n-clx-ndrpdr:
449       csit-vpp-perf-report-iterative-2101-2n-clx:
450         - 57  # rls2101.rel NDRPDR nf-density iter env 6
451         - 62  # rls2101.rel NDRPDR nf-density iter env 6
452         - 70  # rls2101.rel NDRPDR nf-density iter env 6
453         - 71  # rls2101.rel NDRPDR nf-density iter env 6
454         - 82  # rls2101.rel NDRPDR nf-density iter env 6
455
456     plot-vpp-nfv-2n-clx-mrr:
457       csit-vpp-perf-report-iterative-2101-2n-clx:
458         - 72  # rls2101.rel MRR nf-density iter env 6
459
460     plot-vpp-nfv-reconf-2n-clx:
461       csit-vpp-perf-report-iterative-2101-2n-clx:
462         - 55  # rls2101.rel NDRPDR reconf iter env 6
463         - 64  # rls2101.rel NDRPDR reconf iter env 6
464         - 76  # rls2101.rel NDRPDR reconf iter env 6
465
466     plot-vpp-soak-2n-clx:
467       csit-vpp-perf-report-iterative-2101-2n-clx:
468         - 58  # rls2101.rel soak env 6
469         - 61  # rls2101.rel soak env 6
470
471     plot-dpdk-throughput-latency-2n-clx:
472       csit-dpdk-perf-report-iterative-2101-2n-clx:
473         - 12  # rls2101 NDRPDR iter env 6
474         - 13  # rls2101 NDRPDR iter env 6
475         - 14  # rls2101 NDRPDR iter env 6
476         - 18  # rls2101 NDRPDR iter env 6
477         - 22  # rls2101 NDRPDR iter env 6
478
479     plot-dpdk-hdrh-lat-2n-clx:
480       csit-dpdk-perf-report-iterative-2101-2n-clx:
481         - 12  # rls2101 NDRPDR iter env 6
482
483     # 3n-tsh
484
485     plot-vpp-throughput-lat-tsa-3n-tsh:
486       csit-vpp-perf-report-iterative-2101-3n-tsh:
487         - 23  # rls2101.rel NDRPDR iter env 6
488         - 24  # rls2101.rel NDRPDR iter env 6
489         - 25  # rls2101.rel NDRPDR iter env 6
490         - 26  # rls2101.rel NDRPDR iter env 6
491         - 27  # rls2101.rel NDRPDR iter env 6
492         - 28  # rls2101.rel NDRPDR iter env 6
493
494     plot-vpp-hdrh-lat-3n-tsh:
495       csit-vpp-perf-report-iterative-2101-3n-tsh:
496         - 23  # rls2101.rel NDRPDR iter env 6
497
498     plot-dpdk-throughput-latency-3n-tsh:
499       csit-dpdk-perf-report-iterative-2101-3n-tsh:
500         - 11  # rls2101 NDRPDR iter env 6
501         - 12  # rls2101 NDRPDR iter env 6
502         - 13  # rls2101 NDRPDR iter env 6
503         - 14  # rls2101 NDRPDR iter env 6
504         - 16  # rls2101 NDRPDR iter env 6
505         - 17  # rls2101 NDRPDR iter env 6
506         - 18  # rls2101 NDRPDR iter env 6
507         - 19  # rls2101 NDRPDR iter env 6
508         - 20  # rls2101 NDRPDR iter env 6
509         - 21  # rls2101 NDRPDR iter env 6
510
511     plot-dpdk-hdrh-lat-3n-tsh:
512       csit-dpdk-perf-report-iterative-2101-3n-tsh:
513         - 21  # rls2101 NDRPDR iter env 6
514
515     # 2n-tx2
516
517     plot-vpp-throughput-lat-tsa-2n-tx2:
518       csit-vpp-perf-report-iterative-2101-2n-tx2:
519         - 22  # rls2101.rel NDRPDR iter env 6
520         - 23  # rls2101.rel NDRPDR iter env 6
521         - 24  # rls2101.rel NDRPDR iter env 6
522         - 25  # rls2101.rel NDRPDR iter env 6
523         - 26  # rls2101.rel NDRPDR iter env 6
524         - 27  # rls2101.rel NDRPDR iter env 6
525         - 28  # rls2101.rel NDRPDR iter env 6
526         - 29  # rls2101.rel NDRPDR iter env 6
527         - 30  # rls2101.rel NDRPDR iter env 6
528         - 31  # rls2101.rel NDRPDR iter env 6
529
530     plot-vpp-hdrh-lat-2n-tx2:
531       csit-vpp-perf-report-iterative-2101-2n-tx2:
532         - 29  # rls2101.rel NDRPDR iter env 6
533
534     plot-dpdk-throughput-latency-2n-tx2:
535       csit-dpdk-perf-report-iterative-2101-2n-tx2:
536         - 4   # rls2101 NDRPDR iter env 6
537         - 6   # rls2101 NDRPDR iter env 6
538         - 7   # rls2101 NDRPDR iter env 6
539         - 8   # rls2101 NDRPDR iter env 6
540         - 9   # rls2101 NDRPDR iter env 6
541         - 10  # rls2101 NDRPDR iter env 6
542         - 11  # rls2101 NDRPDR iter env 6
543         - 12  # rls2101 NDRPDR iter env 6
544         - 13  # rls2101 NDRPDR iter env 6
545         - 14  # rls2101 NDRPDR iter env 6
546
547     plot-dpdk-hdrh-lat-2n-tx2:
548       csit-dpdk-perf-report-iterative-2101-2n-tx2:
549         - 4   # rls2101 NDRPDR iter env 6
550
551     # 3n-dnv
552
553     plot-vpp-throughput-lat-tsa-3n-dnv:
554       csit-vpp-perf-report-iterative-2101-3n-dnv:
555         - 33  # rls2101.rel NDRPDR iter env 6
556         - 34  # rls2101.rel NDRPDR iter env 6
557         - 35  # rls2101.rel NDRPDR iter env 6
558         - 36  # rls2101.rel NDRPDR iter env 6
559         - 37  # rls2101.rel NDRPDR iter env 6
560         - 38  # rls2101.rel NDRPDR iter env 6
561         - 39  # rls2101.rel NDRPDR iter env 6
562         - 40  # rls2101.rel NDRPDR iter env 6
563         - 41  # rls2101.rel NDRPDR iter env 6
564         - 42  # rls2101.rel NDRPDR iter env 6
565         - 43  # rls2101.rel NDRPDR iter RND env 6
566         - 44  # rls2101.rel NDRPDR iter RND env 6
567         - 45  # rls2101.rel NDRPDR iter RND env 6
568         - 46  # rls2101.rel NDRPDR iter RND env 6
569         - 47  # rls2101.rel NDRPDR iter RND env 6
570         - 48  # rls2101.rel NDRPDR iter RND env 6
571         - 49  # rls2101.rel NDRPDR iter RND env 6
572         - 50  # rls2101.rel NDRPDR iter RND env 6
573         - 51  # rls2101.rel NDRPDR iter RND env 6
574         - 52  # rls2101.rel NDRPDR iter RND env 6
575
576 #    plot-dpdk-throughput-latency-3n-dnv:
577 #      # No data
578 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
579
580     # 2n-dnv
581
582     plot-vpp-throughput-lat-tsa-2n-dnv:
583       csit-vpp-perf-report-iterative-2101-2n-dnv:
584         - 32  # rls2101.rel NDRPDR iter env 6
585         - 33  # rls2101.rel NDRPDR iter env 6
586         - 34  # rls2101.rel NDRPDR iter env 6
587         - 35  # rls2101.rel NDRPDR iter env 6
588         - 39  # rls2101.rel NDRPDR iter env 6
589         - 41  # rls2101.rel NDRPDR iter env 6
590         - 42  # rls2101.rel NDRPDR iter env 6
591         - 43  # rls2101.rel NDRPDR iter env 6
592         - 44  # rls2101.rel NDRPDR iter env 6
593         - 45  # rls2101.rel NDRPDR iter env 6
594         - 46  # rls2101.rel NDRPDR iter RND env 6
595         - 47  # rls2101.rel NDRPDR iter RND env 6
596         - 48  # rls2101.rel NDRPDR iter RND env 6
597         - 49  # rls2101.rel NDRPDR iter RND env 6
598         - 50  # rls2101.rel NDRPDR iter RND env 6
599         - 51  # rls2101.rel NDRPDR iter RND env 6
600         - 52  # rls2101.rel NDRPDR iter RND env 6
601         - 53  # rls2101.rel NDRPDR iter RND env 6
602         - 54  # rls2101.rel NDRPDR iter RND env 6
603         - 55  # rls2101.rel NDRPDR iter RND env 6
604
605 #    plot-dpdk-throughput-latency-2n-dnv:
606 #      # No data
607 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
608
609     ###########################################################################
610     # Simple tables (only one data set):
611
612     # NIC Comparisons
613
614     vpp-nic-comparison-3n-skx:
615       csit-vpp-perf-report-iterative-2101-3n-skx:
616         - 36  # rls2101.rel NDRPDR iter env 6
617         - 37  # rls2101.rel NDRPDR iter env 6
618         - 38  # rls2101.rel NDRPDR iter env 6
619         - 39  # rls2101.rel NDRPDR iter env 6
620         - 40  # rls2101.rel NDRPDR iter env 6
621         - 41  # rls2101.rel NDRPDR iter env 6
622         - 42  # rls2101.rel NDRPDR iter env 6
623         - 47  # rls2101.rel NDRPDR iter env 6
624         - 48  # rls2101.rel NDRPDR iter env 6
625
626     vpp-nic-comparison-2n-skx:
627       csit-vpp-perf-report-iterative-2101-2n-skx:
628         - 63  # rls2101.rel NDRPDR iter env 6
629         - 69  # rls2101.rel NDRPDR iter env 6
630         - 70  # rls2101.rel NDRPDR iter env 6
631         - 75  # rls2101.rel NDRPDR iter env 6
632         - 76  # rls2101.rel NDRPDR iter env 6
633         - 77  # rls2101.rel NDRPDR iter env 6
634         - 82  # rls2101.rel NDRPDR iter env 6
635         - 85  # rls2101.rel NDRPDR iter env 6
636         - 86  # rls2101.rel NDRPDR iter env 6
637         - 94  # rls2101.rel NDRPDR iter env 6
638         - 89  # rls2101.rel NDRPDR iter RND env 6
639         - 90  # rls2101.rel NDRPDR iter RND env 6
640         - 91  # rls2101.rel NDRPDR iter RND env 6
641         - 92  # rls2101.rel NDRPDR iter RND env 6
642         - 93  # rls2101.rel NDRPDR iter RND env 6
643         - 96  # rls2101.rel NDRPDR iter RND env 6
644         - 98  # rls2101.rel NDRPDR iter RND env 6
645         - 99  # rls2101.rel NDRPDR iter RND env 6
646         - 101 # rls2101.rel NDRPDR iter RND env 6
647         - 102 # rls2101.rel NDRPDR iter RND env 6
648
649     vpp-nic-comparison-3n-skx-mrr:
650       csit-vpp-perf-report-iterative-2101-3n-skx:
651         - 35  # rls2101.rel MRR iter env 6
652
653     vpp-nic-comparison-2n-skx-mrr:
654       csit-vpp-perf-report-iterative-2101-2n-skx:
655         - 62  # rls2101.rel MRR iter env 6
656
657     # Results
658
659     vpp-perf-results-3n-hsw:
660       csit-vpp-perf-report-coverage-2101-3n-hsw:
661         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
662         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
663         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
664         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
665         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
666         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
667         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
668         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
669         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
670         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
671         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
672         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
673         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
674         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
675         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
676         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
677         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
678         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
679         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
680         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
681         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
682         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
683         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
684         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
685         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
686         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
687         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
688         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
689         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
690         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
691         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
692         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
693         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
694         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
695         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
696
697     vpp-perf-results-3n-skx:
698       # csit-vpp-perf-report-coverage-2101-3n-skx:
699       csit-vpp-perf-report-iterative-2101-3n-skx:
700         - 36  # rls2101.rel NDRPDR iter env 6
701
702     vpp-perf-results-2n-skx:
703       # csit-vpp-perf-report-coverage-2101-2n-skx:
704       csit-vpp-perf-report-iterative-2101-2n-skx:
705         - 94  # rls2101.rel NDRPDR iter env 6
706
707     vpp-perf-results-2n-zn2:
708       csit-vpp-perf-report-iterative-2101-2n-zn2:
709         - 31  # rls2101.rel NDRPDR iter env 6
710
711     vpp-perf-results-2n-clx:
712       # csit-vpp-perf-report-coverage-2101-2n-clx:
713       csit-vpp-perf-report-iterative-2101-2n-clx:
714         - 75  # rls2101.rel NDRPDR iter env 6
715
716     vpp-perf-results-3n-tsh:
717       csit-vpp-perf-report-iterative-2101-3n-tsh:
718         - 23  # rls2101.rel NDRPDR iter env 6
719
720     vpp-perf-results-2n-tx2:
721       csit-vpp-perf-report-iterative-2101-2n-tx2:
722         - 29  # rls2101.rel NDRPDR iter env 6
723
724     vpp-perf-results-3n-dnv:
725       csit-vpp-perf-report-coverage-2101-3n-dnv:
726         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
727         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
728         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
729         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
730         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
731         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
732         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
733         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
734         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
735
736     vpp-perf-results-2n-dnv:
737       csit-vpp-perf-report-coverage-2101-2n-dnv:
738         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
739         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
740         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
741         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
742         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
743         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
744
745     vpp-mrr-results-3n-hsw:
746       csit-vpp-perf-report-iterative-2101-3n-hsw:
747         - 63  # rls2101.rel MRR iter env 6
748
749     vpp-mrr-results-3n-skx:
750       csit-vpp-perf-report-iterative-2101-3n-skx:
751         - 35  # rls2101.rel MRR iter env 6
752
753     vpp-mrr-results-2n-skx:
754       csit-vpp-perf-report-iterative-2101-2n-skx:
755         - 62  # rls2101.rel MRR iter env 6
756
757     vpp-mrr-results-2n-zn2:
758       csit-vpp-perf-report-iterative-2101-2n-zn2:
759         - 30  # rls2101.rel MRR iter env 6
760
761     vpp-mrr-results-2n-clx:
762       csit-vpp-perf-report-iterative-2101-2n-clx:
763         - 53  # rls2101.rel MRR iter env 6
764
765     vpp-mrr-results-3n-tsh:
766       csit-vpp-perf-report-iterative-2101-3n-tsh:
767         - 22  # rls2101.rel MRR iter env 6
768
769     vpp-mrr-results-2n-tx2:
770       csit-vpp-perf-report-iterative-2101-2n-tx2:
771         - 21  # rls2101.rel MRR iter env 6
772
773     vpp-mrr-results-3n-dnv:
774       csit-vpp-perf-report-iterative-2101-3n-dnv:
775         - 32  # rls2101.rel MRR iter env 6
776
777     vpp-mrr-results-2n-dnv:
778       csit-vpp-perf-report-iterative-2101-2n-dnv:
779         - 31  # rls2101.rel MRR iter env 6
780
781     vpp-device-results-ubuntu:
782       csit-vpp-device-2101-ubuntu1804-1n-skx:
783         - 358  # rls2101.rel VPP DEV env 6
784
785     dpdk-perf-results-3n-hsw:
786       csit-dpdk-perf-report-iterative-2101-3n-hsw:
787         - 11  # rls2101 NDRPDR iter env 6
788
789     dpdk-perf-results-3n-skx:
790       csit-dpdk-perf-report-iterative-2101-3n-skx:
791         - 12  # rls2101 NDRPDR iter env 6
792
793     dpdk-perf-results-2n-skx:
794       csit-dpdk-perf-report-iterative-2101-2n-skx:
795         - 11  # rls2101 NDRPDR iter env 6
796
797     dpdk-perf-results-2n-zn2:
798       csit-dpdk-perf-report-iterative-2101-2n-zn2:
799         - 11  # rls2101 NDRPDR iter env 6
800
801     dpdk-perf-results-2n-clx:
802       csit-dpdk-perf-report-iterative-2101-2n-clx:
803         - 12  # rls2101 NDRPDR iter env 6
804
805 #    dpdk-perf-results-2n-dnv:
806 #      # No data
807 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
808
809 #    dpdk-perf-results-3n-dnv:
810 #      # No data
811 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
812
813     dpdk-perf-results-3n-tsh:
814       csit-dpdk-perf-report-iterative-2101-3n-tsh:
815         - 21  # rls2101 NDRPDR iter env 6
816
817     dpdk-perf-results-2n-tx2:
818       csit-dpdk-perf-report-iterative-2101-2n-tx2:
819         - 4   # rls2101 NDRPDR iter env 6
820
821 ###########################################################################
822     # Tables (more than one data set)
823
824     # Performance changes
825
826     vpp-performance-changes-3n-hsw-h1:
827       csit-vpp-perf-report-iterative-2009-3n-hsw:
828         - 9   # rls2005 NDRPDR iter env 5
829         - 10  # rls2005 NDRPDR iter env 5
830         - 11  # rls2005 NDRPDR iter env 5
831         - 12  # rls2005 NDRPDR iter env 5
832         - 13  # rls2005 NDRPDR iter env 5
833         - 14  # rls2005 NDRPDR iter env 5
834         - 15  # rls2005 NDRPDR iter env 5
835         - 16  # rls2005 NDRPDR iter env 5
836         - 17  # rls2005 NDRPDR iter env 5
837         - 19  # rls2005 NDRPDR iter env 5
838     vpp-performance-changes-3n-hsw-ref-env-old:
839       csit-vpp-perf-report-iterative-2009-3n-hsw:
840         - 21  # rls2009 NDRPDR iter env 5
841         - 22  # rls2009 NDRPDR iter env 5
842         - 24  # rls2009 NDRPDR iter env 5
843         - 25  # rls2009 NDRPDR iter env 5
844         - 26  # rls2009 NDRPDR iter env 5
845         - 27  # rls2009 NDRPDR iter env 5
846         - 28  # rls2009 NDRPDR iter env 5
847         - 29  # rls2009 NDRPDR iter env 5
848         - 30  # rls2009 NDRPDR iter env 5
849         - 31  # rls2009 NDRPDR iter env 5
850     vpp-performance-changes-3n-hsw-ref-env-new:
851       csit-vpp-perf-report-iterative-2101-3n-hsw:
852         - 19  # rls2009 NDRPDR iter env 6
853         - 20  # rls2009 NDRPDR iter env 6
854         - 21  # rls2009 NDRPDR iter env 6
855         - 22  # rls2009 NDRPDR iter env 6
856         - 23  # rls2009 NDRPDR iter env 6
857         - 24  # rls2009 NDRPDR iter env 6
858         - 25  # rls2009 NDRPDR iter env 6
859         - 26  # rls2009 NDRPDR iter env 6
860         - 27  # rls2009 NDRPDR iter env 6
861         - 28  # rls2009 NDRPDR iter env 6
862     vpp-performance-changes-3n-hsw-cmp:
863       csit-vpp-perf-report-iterative-2101-3n-hsw:
864         - 64  # rls2101.rel NDRPDR iter env 6
865         - 71  # rls2101.rel NDRPDR iter env 6
866         - 73  # rls2101.rel NDRPDR iter env 6
867         - 74  # rls2101.rel NDRPDR iter env 6
868         - 80  # rls2101.rel NDRPDR iter env 6
869         - 81  # rls2101.rel NDRPDR iter env 6
870         - 82  # rls2101.rel NDRPDR iter env 6
871         - 83  # rls2101.rel NDRPDR iter env 6
872         - 88  # rls2101.rel NDRPDR iter env 6
873         - 89  # rls2101.rel NDRPDR iter env 6
874         - 128 # rls2101.rel NDRPDR iter RND env 6
875         - 129 # rls2101.rel NDRPDR iter RND env 6
876         - 130 # rls2101.rel NDRPDR iter RND env 6
877         - 131 # rls2101.rel NDRPDR iter RND env 6
878         - 132 # rls2101.rel NDRPDR iter RND env 6
879         - 133 # rls2101.rel NDRPDR iter RND env 6
880         - 134 # rls2101.rel NDRPDR iter RND env 6
881         - 135 # rls2101.rel NDRPDR iter RND env 6
882         - 136 # rls2101.rel NDRPDR iter RND env 6
883         - 137 # rls2101.rel NDRPDR iter RND env 6
884
885     vpp-performance-changes-3n-skx-h1:
886       csit-vpp-perf-report-iterative-2009-3n-skx:
887         - 13  # rls2005 NDRPDR iter env 5
888         - 18  # rls2005 NDRPDR iter env 5
889         - 19  # rls2005 NDRPDR iter env 5
890         - 41  # rls2005 NDRPDR iter env 5
891         - 43  # rls2005 NDRPDR iter env 5
892         - 44  # rls2005 NDRPDR iter env 5
893         - 45  # rls2005 NDRPDR iter env 5
894         - 46  # rls2005 NDRPDR iter env 5
895         - 48  # rls2005 NDRPDR iter env 5
896         - 49  # rls2005 NDRPDR iter env 5
897     vpp-performance-changes-3n-skx-ref-env-old:
898       csit-vpp-perf-report-iterative-2009-3n-skx:
899         - 26  # rls2009 NDRPDR iter env 5
900         - 27  # rls2009 NDRPDR iter env 5
901         - 28  # rls2009 NDRPDR iter env 5
902         - 29  # rls2009 NDRPDR iter env 5
903         - 35  # rls2009 NDRPDR iter env 5
904         - 36  # rls2009 NDRPDR iter env 5
905         - 37  # rls2009 NDRPDR iter env 5
906         - 38  # rls2009 NDRPDR iter env 5
907         - 39  # rls2009 NDRPDR iter env 5
908         - 40  # rls2009 NDRPDR iter env 5
909     vpp-performance-changes-3n-skx-ref-env-new:
910       csit-vpp-perf-report-iterative-2101-3n-skx:
911         - 14  # rls2009 NDRPDR iter env 6
912         - 15  # rls2009 NDRPDR iter env 6
913         - 16  # rls2009 NDRPDR iter env 6
914         - 17  # rls2009 NDRPDR iter env 6
915         - 18  # rls2009 NDRPDR iter env 6
916         - 25  # rls2009 NDRPDR iter env 6
917         - 26  # rls2009 NDRPDR iter env 6
918         - 27  # rls2009 NDRPDR iter env 6
919         - 29  # rls2009 NDRPDR iter env 6
920         - 31  # rls2009 NDRPDR iter env 6
921     vpp-performance-changes-3n-skx-cmp:
922       csit-vpp-perf-report-iterative-2101-3n-skx:
923         - 36  # rls2101.rel NDRPDR iter env 6
924         - 37  # rls2101.rel NDRPDR iter env 6
925         - 38  # rls2101.rel NDRPDR iter env 6
926         - 39  # rls2101.rel NDRPDR iter env 6
927         - 40  # rls2101.rel NDRPDR iter env 6
928         - 41  # rls2101.rel NDRPDR iter env 6
929         - 42  # rls2101.rel NDRPDR iter env 6
930         - 47  # rls2101.rel NDRPDR iter env 6
931         - 48  # rls2101.rel NDRPDR iter env 6
932
933     vpp-performance-changes-2n-skx-h1:
934       csit-vpp-perf-report-iterative-2009-2n-skx:
935         - 13  # rls2005 NDRPDR iter env 5
936         - 16  # rls2005 NDRPDR iter env 5
937         - 17  # rls2005 NDRPDR iter env 5
938         - 18  # rls2005 NDRPDR iter env 5
939         - 19  # rls2005 NDRPDR iter env 5
940         - 21  # rls2005 NDRPDR iter env 5
941         - 22  # rls2005 NDRPDR iter env 5
942         - 23  # rls2005 NDRPDR iter env 5
943         - 24  # rls2005 NDRPDR iter env 5
944         - 25  # rls2005 NDRPDR iter env 5
945     vpp-performance-changes-2n-skx-ref-env-old:
946       csit-vpp-perf-report-iterative-2009-2n-skx:
947         - 35  # rls2009 NDRPDR iter env 5
948         - 36  # rls2009 NDRPDR iter env 5
949         - 37  # rls2009 NDRPDR iter env 5
950         - 39  # rls2009 NDRPDR iter env 5
951         - 40  # rls2009 NDRPDR iter env 5
952         - 42  # rls2009 NDRPDR iter env 5
953         - 43  # rls2009 NDRPDR iter env 5
954         - 44  # rls2009 NDRPDR iter env 5
955         - 46  # rls2009 NDRPDR iter env 5
956         - 48  # rls2009 NDRPDR iter env 5
957         - 110 # rls2009 NDRPDR iter NAT44 env 5
958         - 111 # rls2009 NDRPDR iter NAT44 env 5
959         - 112 # rls2009 NDRPDR iter NAT44 env 5
960         - 113 # rls2009 NDRPDR iter NAT44 env 5
961         - 114 # rls2009 NDRPDR iter NAT44 env 5
962         - 115 # rls2009 NDRPDR iter NAT44 env 5
963         - 116 # rls2009 NDRPDR iter NAT44 env 5
964         - 118 # rls2009 NDRPDR iter NAT44 env 5
965         - 119 # rls2009 NDRPDR iter NAT44 env 5
966         - 121 # rls2009 NDRPDR iter NAT44 env 5
967     vpp-performance-changes-2n-skx-ref-env-new:
968       csit-vpp-perf-report-iterative-2101-2n-skx:
969         - 22  # rls2009 NDRPDR iter env 6
970         - 23  # rls2009 NDRPDR iter env 6
971         - 24  # rls2009 NDRPDR iter env 6
972         - 25  # rls2009 NDRPDR iter env 6
973         - 26  # rls2009 NDRPDR iter env 6
974         - 28  # rls2009 NDRPDR iter env 6
975         - 39  # rls2009 NDRPDR iter env 6
976         - 40  # rls2009 NDRPDR iter env 6
977         - 41  # rls2009 NDRPDR iter env 6
978         - 44  # rls2009 NDRPDR iter env 6
979     vpp-performance-changes-2n-skx-cmp:
980       csit-vpp-perf-report-iterative-2101-2n-skx:
981         - 63  # rls2101.rel NDRPDR iter env 6
982         - 69  # rls2101.rel NDRPDR iter env 6
983         - 70  # rls2101.rel NDRPDR iter env 6
984         - 75  # rls2101.rel NDRPDR iter env 6
985         - 76  # rls2101.rel NDRPDR iter env 6
986         - 77  # rls2101.rel NDRPDR iter env 6
987         - 82  # rls2101.rel NDRPDR iter env 6
988         - 85  # rls2101.rel NDRPDR iter env 6
989         - 86  # rls2101.rel NDRPDR iter env 6
990         - 94  # rls2101.rel NDRPDR iter env 6
991         - 89  # rls2101.rel NDRPDR iter RND env 6
992         - 90  # rls2101.rel NDRPDR iter RND env 6
993         - 91  # rls2101.rel NDRPDR iter RND env 6
994         - 92  # rls2101.rel NDRPDR iter RND env 6
995         - 93  # rls2101.rel NDRPDR iter RND env 6
996         - 96  # rls2101.rel NDRPDR iter RND env 6
997         - 98  # rls2101.rel NDRPDR iter RND env 6
998         - 99  # rls2101.rel NDRPDR iter RND env 6
999         - 101 # rls2101.rel NDRPDR iter RND env 6
1000         - 102 # rls2101.rel NDRPDR iter RND env 6
1001
1002     vpp-performance-changes-2n-clx-h1:
1003       csit-vpp-perf-report-iterative-2009-2n-clx:
1004         - 13  # rls2005 NDRPDR iter env 5
1005         - 15  # rls2005 NDRPDR iter env 5
1006         - 17  # rls2005 NDRPDR iter env 5
1007         - 18  # rls2005 NDRPDR iter env 5
1008         - 19  # rls2005 NDRPDR iter env 5
1009         - 20  # rls2005 NDRPDR iter env 5
1010         - 21  # rls2005 NDRPDR iter env 5
1011         - 22  # rls2005 NDRPDR iter env 5
1012         - 23  # rls2005 NDRPDR iter env 5
1013         - 24  # rls2005 NDRPDR iter env 5
1014     vpp-performance-changes-2n-clx-ref-env-old:
1015       csit-vpp-perf-report-iterative-2009-2n-clx:
1016         - 36  # rls2009 NDRPDR iter env 5
1017         - 39  # rls2009 NDRPDR iter env 5
1018         - 40  # rls2009 NDRPDR iter env 5
1019         - 65  # rls2009 NDRPDR iter env 5
1020         - 66  # rls2009 NDRPDR iter env 5
1021         - 79  # rls2009 NDRPDR iter env 5
1022         - 82  # rls2009 NDRPDR iter env 5
1023         - 88  # rls2009 NDRPDR iter env 5
1024         - 89  # rls2009 NDRPDR iter env 5
1025         - 90  # rls2009 NDRPDR iter env 5
1026         - 114 # rls2009 NDRPDR iter NAT44 env 5
1027         - 115 # rls2009 NDRPDR iter NAT44 env 5
1028         - 116 # rls2009 NDRPDR iter NAT44 env 5
1029         - 117 # rls2009 NDRPDR iter NAT44 env 5
1030         - 118 # rls2009 NDRPDR iter NAT44 env 5
1031         - 119 # rls2009 NDRPDR iter NAT44 env 5
1032         - 121 # rls2009 NDRPDR iter NAT44 env 5
1033         - 122 # rls2009 NDRPDR iter NAT44 env 5
1034         - 123 # rls2009 NDRPDR iter NAT44 env 5
1035         - 126 # rls2009 NDRPDR iter NAT44 env 5
1036     vpp-performance-changes-2n-clx-ref-env-new:
1037       csit-vpp-perf-report-iterative-2101-2n-clx:
1038         - 16  # rls2009 NDRPDR iter env 6
1039         - 17  # rls2009 NDRPDR iter env 6
1040         - 18  # rls2009 NDRPDR iter env 6
1041         - 19  # rls2009 NDRPDR iter env 6
1042         - 20  # rls2009 NDRPDR iter env 6
1043         - 21  # rls2009 NDRPDR iter env 6
1044         - 32  # rls2009 NDRPDR iter env 6
1045         - 33  # rls2009 NDRPDR iter env 6
1046         - 34  # rls2009 NDRPDR iter env 6
1047         - 35  # rls2009 NDRPDR iter env 6
1048     vpp-performance-changes-2n-clx-cmp:
1049       csit-vpp-perf-report-iterative-2101-2n-clx:
1050         - 54  # rls2101.rel NDRPDR iter env 6
1051         - 59  # rls2101.rel NDRPDR iter env 6
1052         - 60  # rls2101.rel NDRPDR iter env 6
1053         - 63  # rls2101.rel NDRPDR iter env 6
1054         - 66  # rls2101.rel NDRPDR iter env 6
1055         - 68  # rls2101.rel NDRPDR iter env 6
1056         - 73  # rls2101.rel NDRPDR iter env 6
1057         - 75  # rls2101.rel NDRPDR iter env 6
1058         - 87  # rls2101.rel NDRPDR iter RND env 6
1059
1060     vpp-performance-changes-2n-zn2-ref-env-old:
1061       csit-vpp-perf-report-iterative-2009-2n-zn2:
1062         - 17  # rls2009 NDRPDR iter env 5
1063         - 18  # rls2009 NDRPDR iter env 5
1064         - 31  # rls2009 NDRPDR iter env 5
1065         - 33  # rls2009 NDRPDR iter env 5
1066         - 34  # rls2009 NDRPDR iter env 5
1067     vpp-performance-changes-2n-zn2-ref-env-new:
1068       csit-vpp-perf-report-iterative-2101-2n-zn2:
1069         - 9   # rls2009 NDRPDR iter env 6
1070         - 10  # rls2009 NDRPDR iter env 6
1071         - 11  # rls2009 NDRPDR iter env 6
1072         - 12  # rls2009 NDRPDR iter env 6
1073         - 13  # rls2009 NDRPDR iter env 6
1074         - 20  # rls2009 NDRPDR iter env 6
1075         - 21  # rls2009 NDRPDR iter env 6
1076         - 22  # rls2009 NDRPDR iter env 6
1077         - 25  # rls2009 NDRPDR iter env 6
1078         - 26  # rls2009 NDRPDR iter env 6
1079     vpp-performance-changes-2n-zn2-cmp:
1080       csit-vpp-perf-report-iterative-2101-2n-zn2:
1081         - 31  # rls2101.rel NDRPDR iter env 6
1082         - 32  # rls2101.rel NDRPDR iter env 6
1083         - 33  # rls2101.rel NDRPDR iter env 6
1084         - 34  # rls2101.rel NDRPDR iter env 6
1085         - 35  # rls2101.rel NDRPDR iter env 6
1086         - 37  # rls2101.rel NDRPDR iter env 6
1087         - 38  # rls2101.rel NDRPDR iter env 6
1088         - 40  # rls2101.rel NDRPDR iter RND env 6
1089         - 41  # rls2101.rel NDRPDR iter RND env 6
1090         - 42  # rls2101.rel NDRPDR iter RND env 6
1091         - 43  # rls2101.rel NDRPDR iter RND env 6
1092         - 45  # rls2101.rel NDRPDR iter RND env 6
1093
1094     vpp-performance-changes-2n-dnv-h1:
1095       csit-vpp-perf-report-iterative-2009-2n-dnv:
1096         - 16  # rls2005 NDRPDR iter env 5
1097         - 17  # rls2005 NDRPDR iter env 5
1098         - 18  # rls2005 NDRPDR iter env 5
1099         - 19  # rls2005 NDRPDR iter env 5
1100         - 21  # rls2005 NDRPDR iter env 5
1101         - 24  # rls2005 NDRPDR iter env 5
1102         - 27  # rls2005 NDRPDR iter env 5
1103         - 28  # rls2005 NDRPDR iter env 5
1104         - 29  # rls2005 NDRPDR iter env 5
1105         - 30  # rls2005 NDRPDR iter env 5
1106     vpp-performance-changes-2n-dnv-ref-env-old:
1107       csit-vpp-perf-report-iterative-2009-2n-dnv:
1108         - 3   # rls2009 NDRPDR iter env 5
1109         - 5   # rls2009 NDRPDR iter env 5
1110         - 6   # rls2009 NDRPDR iter env 5
1111         - 7   # rls2009 NDRPDR iter env 5
1112         - 9   # rls2009 NDRPDR iter env 5
1113         - 10  # rls2009 NDRPDR iter env 5
1114         - 11  # rls2009 NDRPDR iter env 5
1115         - 12  # rls2009 NDRPDR iter env 5
1116         - 14  # rls2009 NDRPDR iter env 5
1117         - 15  # rls2009 NDRPDR iter env 5
1118     vpp-performance-changes-2n-dnv-ref-env-new:
1119       # TODO: Re-test in new env
1120       csit-vpp-perf-report-iterative-2009-2n-dnv:
1121         - 3   # rls2009 NDRPDR iter env 5
1122         - 5   # rls2009 NDRPDR iter env 5
1123         - 6   # rls2009 NDRPDR iter env 5
1124         - 7   # rls2009 NDRPDR iter env 5
1125         - 9   # rls2009 NDRPDR iter env 5
1126         - 10  # rls2009 NDRPDR iter env 5
1127         - 11  # rls2009 NDRPDR iter env 5
1128         - 12  # rls2009 NDRPDR iter env 5
1129         - 14  # rls2009 NDRPDR iter env 5
1130         - 15  # rls2009 NDRPDR iter env 5
1131     vpp-performance-changes-2n-dnv-cmp:
1132       csit-vpp-perf-report-iterative-2101-2n-dnv:
1133         - 32  # rls2101.rel NDRPDR iter env 6
1134         - 33  # rls2101.rel NDRPDR iter env 6
1135         - 34  # rls2101.rel NDRPDR iter env 6
1136         - 35  # rls2101.rel NDRPDR iter env 6
1137         - 39  # rls2101.rel NDRPDR iter env 6
1138         - 41  # rls2101.rel NDRPDR iter env 6
1139         - 42  # rls2101.rel NDRPDR iter env 6
1140         - 43  # rls2101.rel NDRPDR iter env 6
1141         - 44  # rls2101.rel NDRPDR iter env 6
1142         - 45  # rls2101.rel NDRPDR iter env 6
1143         - 46  # rls2101.rel NDRPDR iter RND env 6
1144         - 47  # rls2101.rel NDRPDR iter RND env 6
1145         - 48  # rls2101.rel NDRPDR iter RND env 6
1146         - 49  # rls2101.rel NDRPDR iter RND env 6
1147         - 50  # rls2101.rel NDRPDR iter RND env 6
1148         - 51  # rls2101.rel NDRPDR iter RND env 6
1149         - 52  # rls2101.rel NDRPDR iter RND env 6
1150         - 53  # rls2101.rel NDRPDR iter RND env 6
1151         - 54  # rls2101.rel NDRPDR iter RND env 6
1152         - 55  # rls2101.rel NDRPDR iter RND env 6
1153
1154     vpp-performance-changes-3n-dnv-h1:
1155       csit-vpp-perf-report-iterative-2009-3n-dnv:
1156         - 16  # rls2005 NDRPDR iter env 5
1157         - 23  # rls2005 NDRPDR iter env 5
1158         - 25  # rls2005 NDRPDR iter env 5
1159         - 26  # rls2005 NDRPDR iter env 5
1160         - 27  # rls2005 NDRPDR iter env 5
1161         - 28  # rls2005 NDRPDR iter env 5
1162         - 29  # rls2005 NDRPDR iter env 5
1163         - 30  # rls2005 NDRPDR iter env 5
1164         - 31  # rls2005 NDRPDR iter env 5
1165         - 32  # rls2005 NDRPDR iter env 5
1166     vpp-performance-changes-3n-dnv-ref-env-old:
1167       csit-vpp-perf-report-iterative-2009-3n-dnv:
1168         - 3   # rls2009 NDRPDR iter env 5
1169         - 6   # rls2009 NDRPDR iter env 5
1170         - 7   # rls2009 NDRPDR iter env 5
1171         - 8   # rls2009 NDRPDR iter env 5
1172         - 10  # rls2009 NDRPDR iter env 5
1173         - 11  # rls2009 NDRPDR iter env 5
1174         - 12  # rls2009 NDRPDR iter env 5
1175         - 14  # rls2009 NDRPDR iter env 5
1176         - 15  # rls2009 NDRPDR iter env 5
1177         - 24  # rls2009 NDRPDR iter env 5
1178     vpp-performance-changes-3n-dnv-ref-env-new:
1179       # TODO: Re-test in new env
1180       csit-vpp-perf-report-iterative-2009-3n-dnv:
1181         - 3   # rls2009 NDRPDR iter env 5
1182         - 6   # rls2009 NDRPDR iter env 5
1183         - 7   # rls2009 NDRPDR iter env 5
1184         - 8   # rls2009 NDRPDR iter env 5
1185         - 10  # rls2009 NDRPDR iter env 5
1186         - 11  # rls2009 NDRPDR iter env 5
1187         - 12  # rls2009 NDRPDR iter env 5
1188         - 14  # rls2009 NDRPDR iter env 5
1189         - 15  # rls2009 NDRPDR iter env 5
1190         - 24  # rls2009 NDRPDR iter env 5
1191     vpp-performance-changes-3n-dnv-cmp:
1192       csit-vpp-perf-report-iterative-2101-3n-dnv:
1193         - 33  # rls2101.rel NDRPDR iter env 6
1194         - 34  # rls2101.rel NDRPDR iter env 6
1195         - 35  # rls2101.rel NDRPDR iter env 6
1196         - 36  # rls2101.rel NDRPDR iter env 6
1197         - 37  # rls2101.rel NDRPDR iter env 6
1198         - 38  # rls2101.rel NDRPDR iter env 6
1199         - 39  # rls2101.rel NDRPDR iter env 6
1200         - 40  # rls2101.rel NDRPDR iter env 6
1201         - 41  # rls2101.rel NDRPDR iter env 6
1202         - 42  # rls2101.rel NDRPDR iter env 6
1203         - 43  # rls2101.rel NDRPDR iter RND env 6
1204         - 44  # rls2101.rel NDRPDR iter RND env 6
1205         - 45  # rls2101.rel NDRPDR iter RND env 6
1206         - 46  # rls2101.rel NDRPDR iter RND env 6
1207         - 47  # rls2101.rel NDRPDR iter RND env 6
1208         - 48  # rls2101.rel NDRPDR iter RND env 6
1209         - 49  # rls2101.rel NDRPDR iter RND env 6
1210         - 50  # rls2101.rel NDRPDR iter RND env 6
1211         - 51  # rls2101.rel NDRPDR iter RND env 6
1212         - 52  # rls2101.rel NDRPDR iter RND env 6
1213
1214     vpp-performance-changes-3n-tsh-h1:
1215       csit-vpp-perf-report-iterative-2009-3n-tsh:
1216         - 8   # rls2005 NDRPDR iter env 5
1217         - 11  # rls2005 NDRPDR iter env 5
1218         - 12  # rls2005 NDRPDR iter env 5
1219         - 24  # rls2005 NDRPDR iter env 5
1220         - 27  # rls2005 NDRPDR iter env 5
1221         - 29  # rls2005 NDRPDR iter env 5
1222         - 31  # rls2005 NDRPDR iter env 5
1223         - 39  # rls2005 NDRPDR iter env 5
1224         - 40  # rls2005 NDRPDR iter env 5
1225         - 42  # rls2005 NDRPDR iter env 5
1226     vpp-performance-changes-3n-tsh-ref-env-old:
1227       csit-vpp-perf-report-iterative-2009-3n-tsh:
1228         - 14  # rls2009 NDRPDR iter env 5
1229         - 20  # rls2009 NDRPDR iter env 5
1230         - 21  # rls2009 NDRPDR iter env 5
1231         - 22  # rls2009 NDRPDR iter env 5
1232         - 23  # rls2009 NDRPDR iter env 5
1233         - 28  # rls2009 NDRPDR iter env 5
1234         - 30  # rls2009 NDRPDR iter env 5
1235         - 33  # rls2009 NDRPDR iter env 5
1236         - 38  # rls2009 NDRPDR iter env 5
1237         - 41  # rls2009 NDRPDR iter env 5
1238     vpp-performance-changes-3n-tsh-ref-env-new:
1239       csit-vpp-perf-report-iterative-2101-3n-tsh:
1240         - 8   # rls2009 NDRPDR iter env 6
1241         - 13  # rls2009 NDRPDR iter env 6
1242         - 14  # rls2009 NDRPDR iter env 6
1243         - 15  # rls2009 NDRPDR iter env 6
1244         - 16  # rls2009 NDRPDR iter env 6
1245         - 17  # rls2009 NDRPDR iter env 6
1246         - 18  # rls2009 NDRPDR iter env 6
1247         - 19  # rls2009 NDRPDR iter env 6
1248         - 21  # rls2009 NDRPDR iter env 6
1249     vpp-performance-changes-3n-tsh-cmp:
1250       csit-vpp-perf-report-iterative-2101-3n-tsh:
1251         - 23  # rls2101.rel NDRPDR iter env 6
1252         - 24  # rls2101.rel NDRPDR iter env 6
1253         - 25  # rls2101.rel NDRPDR iter env 6
1254         - 26  # rls2101.rel NDRPDR iter env 6
1255         - 27  # rls2101.rel NDRPDR iter env 6
1256         - 28  # rls2101.rel NDRPDR iter env 6
1257
1258 #     vpp-performance-changes-2n-tx2-h1:
1259 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1260 #         -
1261 #     vpp-performance-changes-2n-tx2-ref-env-old:
1262 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1263 #         -
1264     vpp-performance-changes-2n-tx2-ref-env-new:
1265       csit-vpp-perf-report-iterative-2101-2n-tx2:
1266         - 6   # rls2009 NDRPDR iter env 6
1267         - 7   # rls2009 NDRPDR iter env 6
1268         - 11  # rls2009 NDRPDR iter env 6
1269         - 12  # rls2009 NDRPDR iter env 6
1270         - 13  # rls2009 NDRPDR iter env 6
1271         - 16  # rls2009 NDRPDR iter env 6
1272         - 17  # rls2009 NDRPDR iter env 6
1273         - 18  # rls2009 NDRPDR iter env 6
1274         - 19  # rls2009 NDRPDR iter env 6
1275         - 20  # rls2009 NDRPDR iter env 6
1276     vpp-performance-changes-2n-tx2-cmp:
1277       csit-vpp-perf-report-iterative-2101-2n-tx2:
1278         - 22  # rls2101.rel NDRPDR iter env 6
1279         - 23  # rls2101.rel NDRPDR iter env 6
1280         - 24  # rls2101.rel NDRPDR iter env 6
1281         - 25  # rls2101.rel NDRPDR iter env 6
1282         - 26  # rls2101.rel NDRPDR iter env 6
1283         - 27  # rls2101.rel NDRPDR iter env 6
1284         - 28  # rls2101.rel NDRPDR iter env 6
1285         - 29  # rls2101.rel NDRPDR iter env 6
1286         - 30  # rls2101.rel NDRPDR iter env 6
1287         - 31  # rls2101.rel NDRPDR iter env 6
1288
1289     vpp-soak-vs-ndr-2n-skx-ref:
1290       csit-vpp-perf-report-iterative-2101-2n-skx:
1291         - 63  # rls2101.rel NDRPDR iter env 6
1292         - 69  # rls2101.rel NDRPDR iter env 6
1293         - 70  # rls2101.rel NDRPDR iter env 6
1294         - 75  # rls2101.rel NDRPDR iter env 6
1295         - 76  # rls2101.rel NDRPDR iter env 6
1296         - 77  # rls2101.rel NDRPDR iter env 6
1297         - 82  # rls2101.rel NDRPDR iter env 6
1298         - 85  # rls2101.rel NDRPDR iter env 6
1299         - 86  # rls2101.rel NDRPDR iter env 6
1300         - 94  # rls2101.rel NDRPDR iter env 6
1301     vpp-soak-vs-ndr-2n-skx-cmp:
1302       csit-vpp-perf-report-iterative-2101-2n-skx:
1303         - 68  # rls2101.rel soak env 6
1304         - 73  # rls2101.rel soak env 6
1305     vpp-soak-vs-ndr-2n-skx:
1306       csit-vpp-perf-report-iterative-2101-2n-skx:
1307         - 63  # rls2101.rel NDRPDR iter env 6
1308         - 69  # rls2101.rel NDRPDR iter env 6
1309         - 70  # rls2101.rel NDRPDR iter env 6
1310         - 75  # rls2101.rel NDRPDR iter env 6
1311         - 76  # rls2101.rel NDRPDR iter env 6
1312         - 77  # rls2101.rel NDRPDR iter env 6
1313         - 82  # rls2101.rel NDRPDR iter env 6
1314         - 85  # rls2101.rel NDRPDR iter env 6
1315         - 86  # rls2101.rel NDRPDR iter env 6
1316         - 94  # rls2101.rel NDRPDR iter env 6
1317         - 68  # rls2101.rel soak env 6
1318         - 73  # rls2101.rel soak env 6
1319
1320     vpp-soak-vs-ndr-2n-clx-ref:
1321       csit-vpp-perf-report-iterative-2101-2n-clx:
1322         - 54  # rls2101.rel NDRPDR iter env 6
1323         - 59  # rls2101.rel NDRPDR iter env 6
1324         - 60  # rls2101.rel NDRPDR iter env 6
1325         - 63  # rls2101.rel NDRPDR iter env 6
1326         - 66  # rls2101.rel NDRPDR iter env 6
1327         - 68  # rls2101.rel NDRPDR iter env 6
1328         - 73  # rls2101.rel NDRPDR iter env 6
1329         - 75  # rls2101.rel NDRPDR iter env 6
1330     vpp-soak-vs-ndr-2n-clx-cmp:
1331       csit-vpp-perf-report-iterative-2101-2n-clx:
1332         - 58  # rls2101.rel soak env 6
1333         - 61  # rls2101.rel soak env 6
1334     vpp-soak-vs-ndr-2n-clx:
1335       csit-vpp-perf-report-iterative-2101-2n-clx:
1336         - 54  # rls2101.rel NDRPDR iter env 6
1337         - 59  # rls2101.rel NDRPDR iter env 6
1338         - 60  # rls2101.rel NDRPDR iter env 6
1339         - 63  # rls2101.rel NDRPDR iter env 6
1340         - 66  # rls2101.rel NDRPDR iter env 6
1341         - 68  # rls2101.rel NDRPDR iter env 6
1342         - 73  # rls2101.rel NDRPDR iter env 6
1343         - 75  # rls2101.rel NDRPDR iter env 6
1344         - 58  # rls2101.rel soak env 6
1345         - 61  # rls2101.rel soak env 6
1346
1347     vpp-performance-changes-3n-hsw-mrr-h1:
1348       csit-vpp-perf-report-iterative-2009-3n-hsw:
1349         - 18  # rls2005 MRR iter env 5
1350     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1351       csit-vpp-perf-report-iterative-2009-3n-hsw:
1352         - 23  # rls2009 MRR iter env 5
1353     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1354       csit-vpp-perf-report-iterative-2101-3n-hsw:
1355         - 17  # rls2009 MRR iter env 6
1356     vpp-performance-changes-3n-hsw-mrr-cmp:
1357       csit-vpp-perf-report-iterative-2101-3n-hsw:
1358         - 63  # rls2101.rel MRR iter env 6
1359
1360     vpp-performance-changes-3n-skx-mrr-h1:
1361       csit-vpp-perf-report-iterative-2009-3n-skx:
1362         - 17  # rls2005 MRR iter env 5
1363     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1364       csit-vpp-perf-report-iterative-2009-3n-skx:
1365         - 24  # rls2009 MRR iter env 5
1366     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1367       csit-vpp-perf-report-iterative-2101-3n-skx:
1368         - 34  # rls2009 MRR iter env 6
1369     vpp-performance-changes-3n-skx-mrr-cmp:
1370       csit-vpp-perf-report-iterative-2101-3n-skx:
1371         - 35  # rls2101.rel MRR iter env 6
1372
1373     vpp-performance-changes-2n-skx-mrr-h1:
1374       csit-vpp-perf-report-iterative-2009-2n-skx:
1375         - 20  # rls2005 MRR iter env 5
1376     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1377       csit-vpp-perf-report-iterative-2009-2n-skx:
1378         - 120 # rls2009 MRR iter env 5
1379     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1380       csit-vpp-perf-report-iterative-2101-2n-skx:
1381         - 21  # rls2009 MRR iter env 6
1382     vpp-performance-changes-2n-skx-mrr-cmp:
1383       csit-vpp-perf-report-iterative-2101-2n-skx:
1384         - 62  # rls2101.rel MRR iter env 6
1385
1386     vpp-performance-changes-2n-clx-mrr-h1:
1387       csit-vpp-perf-report-iterative-2009-2n-clx:
1388         - 77  # rls2005 MRR iter env 5
1389     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1390       csit-vpp-perf-report-iterative-2009-2n-clx:
1391         - 125 # rls2009 MRR iter env 5
1392     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1393       csit-vpp-perf-report-iterative-2101-2n-clx:
1394         - 15  # rls2009 MRR iter env 6
1395     vpp-performance-changes-2n-clx-mrr-cmp:
1396       csit-vpp-perf-report-iterative-2101-2n-clx:
1397         - 53  # rls2101.rel MRR iter env 6
1398
1399     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1400       csit-vpp-perf-report-iterative-2009-2n-zn2:
1401         - 15  # rls2009 MRR iter env 5
1402     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1403       csit-vpp-perf-report-iterative-2101-2n-zn2:
1404         - 8   # rls2009 MRR iter env6
1405     vpp-performance-changes-2n-zn2-mrr-cmp:
1406       csit-vpp-perf-report-iterative-2101-2n-zn2:
1407         - 30  # rls2101.rel MRR iter env 6
1408
1409     vpp-performance-changes-2n-dnv-mrr-h1:
1410       csit-vpp-perf-report-iterative-2009-2n-dnv:
1411         - 23  # rls2005 MRR iter env 5
1412     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1413       csit-vpp-perf-report-iterative-2009-2n-dnv:
1414         - 13  # rls2009 MRR iter env 5
1415     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1416       # TODO: Re-test in new env
1417       csit-vpp-perf-report-iterative-2009-2n-dnv:
1418         - 13  # rls2009 MRR iter env 5
1419     vpp-performance-changes-2n-dnv-mrr-cmp:
1420       csit-vpp-perf-report-iterative-2101-2n-dnv:
1421         - 31  # rls2101.rel MRR iter env 6
1422
1423     vpp-performance-changes-3n-dnv-mrr-h1:
1424       csit-vpp-perf-report-iterative-2009-3n-dnv:
1425         - 19  # rls2005 MRR iter env 5
1426     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1427       csit-vpp-perf-report-iterative-2009-3n-dnv:
1428         - 22  # rls2009 MRR iter env 5
1429     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1430       # TODO: Re-test in new env
1431       csit-vpp-perf-report-iterative-2009-3n-dnv:
1432         - 22  # rls2009 MRR iter env 5
1433     vpp-performance-changes-3n-dnv-mrr-cmp:
1434       csit-vpp-perf-report-iterative-2101-3n-dnv:
1435         - 32  # rls2101.rel MRR iter env 6
1436
1437     vpp-performance-changes-3n-tsh-mrr-h1:
1438       csit-vpp-perf-report-iterative-2009-3n-tsh:
1439         - 13  # rls2005 MRR iter env 5
1440     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1441       csit-vpp-perf-report-iterative-2009-3n-tsh:
1442         - 15  # rls2009 MRR iter env 5
1443     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1444       csit-vpp-perf-report-iterative-2101-3n-tsh:
1445         - 7   # rls2009 MRR iter env 6
1446     vpp-performance-changes-3n-tsh-mrr-cmp:
1447       csit-vpp-perf-report-iterative-2101-3n-tsh:
1448         - 22  # rls2101.rel MRR iter env 6
1449
1450 #     vpp-performance-changes-2n-tx2-mrr-h1:
1451 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1452 #         -
1453 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1454 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1455 #         -
1456     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1457       csit-vpp-perf-report-iterative-2101-2n-tx2:
1458         - 5   # rls2009 MRR iter env 6
1459     vpp-performance-changes-2n-tx2-mrr-cmp:
1460       csit-vpp-perf-report-iterative-2101-2n-tx2:
1461         - 21  # rls2101.rel MRR iter env 6
1462
1463     dpdk-performance-changes-3n-hsw-h1:
1464       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1465         - 25  # NDRPDR iter
1466         - 26  # NDRPDR iter
1467         - 27  # NDRPDR iter
1468         - 28  # NDRPDR iter
1469         - 29  # NDRPDR iter
1470         - 30  # NDRPDR iter
1471         - 31  # NDRPDR iter
1472         - 32  # NDRPDR iter
1473         - 33  # NDRPDR iter
1474         - 34  # NDRPDR iter
1475     dpdk-performance-changes-3n-hsw-ref:
1476       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1477         - 6   # NDRPDR iter env5
1478         - 7   # NDRPDR iter env5
1479         - 8   # NDRPDR iter env5
1480         - 9   # NDRPDR iter env5
1481         - 10  # NDRPDR iter env5
1482         - 11  # NDRPDR iter env5
1483         - 12  # NDRPDR iter env5
1484         - 13  # NDRPDR iter env5
1485         - 14  # NDRPDR iter env5
1486         - 15  # NDRPDR iter env5
1487     dpdk-performance-changes-3n-hsw-cmp:
1488       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1489         - 11  # rls2101 NDRPDR iter env 6
1490         - 12  # rls2101 NDRPDR iter env 6
1491         - 13  # rls2101 NDRPDR iter env 6
1492         - 14  # rls2101 NDRPDR iter env 6
1493         - 16  # rls2101 NDRPDR iter env 6
1494         - 17  # rls2101 NDRPDR iter env 6
1495         - 18  # rls2101 NDRPDR iter env 6
1496         - 19  # rls2101 NDRPDR iter env 6
1497         - 20  # rls2101 NDRPDR iter env 6
1498         - 21  # rls2101 NDRPDR iter env 6
1499
1500     dpdk-performance-changes-3n-skx-h1:
1501       csit-dpdk-perf-report-iterative-2005-3n-skx:
1502         - 28  # NDRPDR iter
1503         - 29  # NDRPDR iter
1504         - 30  # NDRPDR iter
1505         - 31  # NDRPDR iter
1506         - 32  # NDRPDR iter
1507         - 33  # NDRPDR iter
1508         - 34  # NDRPDR iter
1509         - 35  # NDRPDR iter
1510         - 36  # NDRPDR iter
1511         - 37  # NDRPDR iter
1512     dpdk-performance-changes-3n-skx-ref:
1513       csit-dpdk-perf-report-iterative-2009-3n-skx:
1514         - 4   # NDRPDR sel env5
1515         - 5   # NDRPDR sel env5
1516         - 6   # NDRPDR sel env5
1517         - 7   # NDRPDR sel env5
1518         - 8   # NDRPDR sel env5
1519         - 9   # NDRPDR sel env5
1520         - 14  # NDRPDR sel env5
1521         - 11  # NDRPDR sel env5
1522         - 12  # NDRPDR sel env5
1523         - 13  # NDRPDR sel env5
1524     dpdk-performance-changes-3n-skx-cmp:
1525       csit-dpdk-perf-report-iterative-2101-3n-skx:
1526         - 12  # rls2101 NDRPDR iter env 6
1527         - 14  # rls2101 NDRPDR iter env 6
1528         - 15  # rls2101 NDRPDR iter env 6
1529         - 17  # rls2101 NDRPDR iter env 6
1530         - 19  # rls2101 NDRPDR iter env 6
1531         - 20  # rls2101 NDRPDR iter env 6
1532         - 21  # rls2101 NDRPDR iter env 6
1533         - 22  # rls2101 NDRPDR iter env 6
1534         - 25  # rls2101 NDRPDR iter env 6
1535         - 26  # rls2101 NDRPDR iter env 6
1536
1537     dpdk-performance-changes-2n-skx-h1:
1538       csit-dpdk-perf-report-iterative-2005-2n-skx:
1539         - 20  # NDRPDR iter
1540         - 21  # NDRPDR iter
1541         - 22  # NDRPDR iter
1542         - 23  # NDRPDR iter
1543         - 24  # NDRPDR iter
1544         - 25  # NDRPDR iter
1545         - 26  # NDRPDR iter
1546         - 27  # NDRPDR iter
1547         - 28  # NDRPDR iter
1548         - 29  # NDRPDR iter
1549     dpdk-performance-changes-2n-skx-ref:
1550       csit-dpdk-perf-report-iterative-2009-2n-skx:
1551         - 4   # NDRPDR iter env5
1552         - 5   # NDRPDR iter env5
1553         - 6   # NDRPDR iter env5
1554         - 7   # NDRPDR iter env5
1555         - 8   # NDRPDR iter env5
1556         - 9   # NDRPDR iter env5
1557         - 10  # NDRPDR iter env5
1558         - 11  # NDRPDR iter env5
1559         - 12  # NDRPDR iter env5
1560         - 13  # NDRPDR iter env5
1561     dpdk-performance-changes-2n-skx-cmp:
1562       csit-dpdk-perf-report-iterative-2101-2n-skx:
1563         - 11  # rls2101 NDRPDR iter env 6
1564         - 12  # rls2101 NDRPDR iter env 6
1565         - 13  # rls2101 NDRPDR iter env 6
1566         - 14  # rls2101 NDRPDR iter env 6
1567         - 15  # rls2101 NDRPDR iter env 6
1568         - 17  # rls2101 NDRPDR iter env 6
1569         - 18  # rls2101 NDRPDR iter env 6
1570         - 19  # rls2101 NDRPDR iter env 6
1571         - 20  # rls2101 NDRPDR iter env 6
1572         - 21  # rls2101 NDRPDR iter env 6
1573
1574     dpdk-performance-changes-2n-clx-h1:
1575       csit-dpdk-perf-report-iterative-2005-2n-clx:
1576         - 20  # NDRPDR iter
1577         - 21  # NDRPDR iter
1578         - 22  # NDRPDR iter
1579         - 23  # NDRPDR iter
1580         - 24  # NDRPDR iter
1581         - 25  # NDRPDR iter
1582         - 26  # NDRPDR iter
1583         - 27  # NDRPDR iter
1584         - 28  # NDRPDR iter
1585         - 29  # NDRPDR iter
1586     dpdk-performance-changes-2n-clx-ref:
1587       csit-dpdk-perf-report-iterative-2009-2n-clx:
1588         - 4   # NDRPDR iter env5
1589         - 5   # NDRPDR iter env5
1590         - 6   # NDRPDR iter env5
1591         - 7   # NDRPDR iter env5
1592         - 8   # NDRPDR iter env5
1593         - 9   # NDRPDR iter env5
1594         - 10  # NDRPDR iter env5
1595         - 11  # NDRPDR iter env5
1596         - 12  # NDRPDR iter env5
1597         - 13  # NDRPDR iter env5
1598     dpdk-performance-changes-2n-clx-cmp:
1599       csit-dpdk-perf-report-iterative-2101-2n-clx:
1600         - 12  # rls2101 NDRPDR iter env 6
1601         - 13  # rls2101 NDRPDR iter env 6
1602         - 14  # rls2101 NDRPDR iter env 6
1603         - 18  # rls2101 NDRPDR iter env 6
1604         - 22  # rls2101 NDRPDR iter env 6
1605
1606     dpdk-performance-changes-2n-zn2-ref:
1607       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1608         - 16  # NDRPDR iter env5
1609         - 21  # NDRPDR iter env5
1610         - 22  # NDRPDR iter env5
1611         - 23  # NDRPDR iter env5
1612         - 24  # NDRPDR iter env5
1613         - 25  # NDRPDR iter env5
1614         - 29  # NDRPDR iter env5
1615     dpdk-performance-changes-2n-zn2-cmp:
1616       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1617         - 11  # rls2101 NDRPDR iter env 6
1618         - 12  # rls2101 NDRPDR iter env 6
1619         - 13  # rls2101 NDRPDR iter env 6
1620         - 14  # rls2101 NDRPDR iter env 6
1621         - 16  # rls2101 NDRPDR iter env 6
1622         - 17  # rls2101 NDRPDR iter env 6
1623         - 18  # rls2101 NDRPDR iter env 6
1624         - 19  # rls2101 NDRPDR iter env 6
1625         - 20  # rls2101 NDRPDR iter env 6
1626         - 21  # rls2101 NDRPDR iter env 6
1627
1628 #    dpdk-performance-changes-2n-dnv-h1:
1629 #      csit-dpdk-perf-verify-2101-2n-dnv:
1630 #        - 9   # NDRPDR sel
1631 #        - 10  # NDRPDR sel
1632 #        - 11  # NDRPDR sel
1633 #        - 12  # NDRPDR sel
1634 #        - 13  # NDRPDR sel
1635 #        - 14  # NDRPDR sel
1636 #        - 15  # NDRPDR sel
1637 #        - 16  # NDRPDR sel
1638 #        - 17  # NDRPDR sel
1639 #        - 18  # NDRPDR sel
1640 #    dpdk-performance-changes-2n-dnv-ref:
1641 #      # No data
1642 #    dpdk-performance-changes-2n-dnv-cmp:
1643 #      # No data
1644 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1645
1646 #    dpdk-performance-changes-3n-dnv-h1:
1647 #      csit-dpdk-perf-verify-2101-3n-dnv:
1648 #        - 12  # NDRPDR sel
1649 #        - 13  # NDRPDR sel
1650 #        - 14  # NDRPDR sel
1651 #        - 15  # NDRPDR sel
1652 #        - 16  # NDRPDR sel
1653 #        - 17  # NDRPDR sel
1654 #        - 18  # NDRPDR sel
1655 #        - 19  # NDRPDR sel
1656 #        - 20  # NDRPDR sel
1657 #        - 22  # NDRPDR sel
1658 #    dpdk-performance-changes-3n-dnv-ref:
1659 #      # No data
1660 #    dpdk-performance-changes-3n-dnv-cmp:
1661 #      # No data
1662 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1663
1664     dpdk-performance-changes-3n-tsh-h1:
1665       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1666         - 5   # NDRPDR sel
1667     dpdk-performance-changes-3n-tsh-ref:
1668       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1669         - 1   # NDRPDR iter env5
1670         - 2   # NDRPDR iter env5
1671         - 3   # NDRPDR iter env5
1672         - 4   # NDRPDR iter env5
1673         - 5   # NDRPDR iter env5
1674         - 6   # NDRPDR iter env5
1675         - 7   # NDRPDR iter env5
1676         - 9   # NDRPDR iter env5
1677         - 10  # NDRPDR iter env5
1678         - 11  # NDRPDR iter env5
1679     dpdk-performance-changes-3n-tsh-cmp:
1680       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1681         - 11  # rls2101 NDRPDR iter env 6
1682         - 12  # rls2101 NDRPDR iter env 6
1683         - 13  # rls2101 NDRPDR iter env 6
1684         - 14  # rls2101 NDRPDR iter env 6
1685         - 16  # rls2101 NDRPDR iter env 6
1686         - 17  # rls2101 NDRPDR iter env 6
1687         - 18  # rls2101 NDRPDR iter env 6
1688         - 19  # rls2101 NDRPDR iter env 6
1689         - 20  # rls2101 NDRPDR iter env 6
1690         - 21  # rls2101 NDRPDR iter env 6
1691
1692     # Compare testbeds
1693
1694     vpp-compare-testbeds-ref:
1695       csit-vpp-perf-report-iterative-2101-3n-hsw:
1696         - 64  # rls2101.rel NDRPDR iter env 6
1697         - 71  # rls2101.rel NDRPDR iter env 6
1698         - 73  # rls2101.rel NDRPDR iter env 6
1699         - 74  # rls2101.rel NDRPDR iter env 6
1700         - 80  # rls2101.rel NDRPDR iter env 6
1701         - 81  # rls2101.rel NDRPDR iter env 6
1702         - 82  # rls2101.rel NDRPDR iter env 6
1703         - 83  # rls2101.rel NDRPDR iter env 6
1704         - 88  # rls2101.rel NDRPDR iter env 6
1705         - 89  # rls2101.rel NDRPDR iter env 6
1706     vpp-compare-testbeds-cmp:
1707       csit-vpp-perf-report-iterative-2101-3n-skx:
1708         - 36  # rls2101.rel NDRPDR iter env 6
1709         - 37  # rls2101.rel NDRPDR iter env 6
1710         - 38  # rls2101.rel NDRPDR iter env 6
1711         - 39  # rls2101.rel NDRPDR iter env 6
1712         - 40  # rls2101.rel NDRPDR iter env 6
1713         - 41  # rls2101.rel NDRPDR iter env 6
1714         - 42  # rls2101.rel NDRPDR iter env 6
1715         - 47  # rls2101.rel NDRPDR iter env 6
1716         - 48  # rls2101.rel NDRPDR iter env 6
1717
1718     vpp-compare-testbeds-skx-clx-ref:
1719       csit-vpp-perf-report-iterative-2101-2n-skx:
1720         - 63  # rls2101.rel NDRPDR iter env 6
1721         - 69  # rls2101.rel NDRPDR iter env 6
1722         - 70  # rls2101.rel NDRPDR iter env 6
1723         - 75  # rls2101.rel NDRPDR iter env 6
1724         - 76  # rls2101.rel NDRPDR iter env 6
1725         - 77  # rls2101.rel NDRPDR iter env 6
1726         - 82  # rls2101.rel NDRPDR iter env 6
1727         - 85  # rls2101.rel NDRPDR iter env 6
1728         - 86  # rls2101.rel NDRPDR iter env 6
1729         - 94  # rls2101.rel NDRPDR iter env 6
1730         - 89  # rls2101.rel NDRPDR iter RND env 6
1731         - 90  # rls2101.rel NDRPDR iter RND env 6
1732         - 91  # rls2101.rel NDRPDR iter RND env 6
1733         - 92  # rls2101.rel NDRPDR iter RND env 6
1734         - 93  # rls2101.rel NDRPDR iter RND env 6
1735         - 96  # rls2101.rel NDRPDR iter RND env 6
1736         - 98  # rls2101.rel NDRPDR iter RND env 6
1737         - 99  # rls2101.rel NDRPDR iter RND env 6
1738         - 101 # rls2101.rel NDRPDR iter RND env 6
1739         - 102 # rls2101.rel NDRPDR iter RND env 6
1740     vpp-compare-testbeds-skx-clx-cmp:
1741       csit-vpp-perf-report-iterative-2101-2n-clx:
1742         - 54  # rls2101.rel NDRPDR iter env 6
1743         - 59  # rls2101.rel NDRPDR iter env 6
1744         - 60  # rls2101.rel NDRPDR iter env 6
1745         - 63  # rls2101.rel NDRPDR iter env 6
1746         - 66  # rls2101.rel NDRPDR iter env 6
1747         - 68  # rls2101.rel NDRPDR iter env 6
1748         - 73  # rls2101.rel NDRPDR iter env 6
1749         - 75  # rls2101.rel NDRPDR iter env 6
1750         - 87  # rls2101.rel NDRPDR iter RND env 6
1751
1752     vpp-compare-testbeds-hsw-clx-ref:
1753       csit-vpp-perf-report-iterative-2101-3n-hsw:
1754         - 64  # rls2101.rel NDRPDR iter env 6
1755         - 71  # rls2101.rel NDRPDR iter env 6
1756         - 73  # rls2101.rel NDRPDR iter env 6
1757         - 74  # rls2101.rel NDRPDR iter env 6
1758         - 80  # rls2101.rel NDRPDR iter env 6
1759         - 81  # rls2101.rel NDRPDR iter env 6
1760         - 82  # rls2101.rel NDRPDR iter env 6
1761         - 83  # rls2101.rel NDRPDR iter env 6
1762         - 88  # rls2101.rel NDRPDR iter env 6
1763         - 89  # rls2101.rel NDRPDR iter env 6
1764         - 128 # rls2101.rel NDRPDR iter RND env 6
1765         - 129 # rls2101.rel NDRPDR iter RND env 6
1766         - 130 # rls2101.rel NDRPDR iter RND env 6
1767         - 131 # rls2101.rel NDRPDR iter RND env 6
1768         - 132 # rls2101.rel NDRPDR iter RND env 6
1769         - 133 # rls2101.rel NDRPDR iter RND env 6
1770         - 134 # rls2101.rel NDRPDR iter RND env 6
1771         - 135 # rls2101.rel NDRPDR iter RND env 6
1772         - 136 # rls2101.rel NDRPDR iter RND env 6
1773         - 137 # rls2101.rel NDRPDR iter RND env 6
1774     vpp-compare-testbeds-hsw-clx-cmp:
1775       csit-vpp-perf-report-iterative-2101-2n-clx:
1776         - 54  # rls2101.rel NDRPDR iter env 6
1777         - 59  # rls2101.rel NDRPDR iter env 6
1778         - 60  # rls2101.rel NDRPDR iter env 6
1779         - 63  # rls2101.rel NDRPDR iter env 6
1780         - 66  # rls2101.rel NDRPDR iter env 6
1781         - 68  # rls2101.rel NDRPDR iter env 6
1782         - 73  # rls2101.rel NDRPDR iter env 6
1783         - 75  # rls2101.rel NDRPDR iter env 6
1784         - 87  # rls2101.rel NDRPDR iter RND env 6
1785
1786     vpp-compare-testbeds-mrr-ref:
1787       csit-vpp-perf-report-iterative-2101-3n-hsw:
1788         - 63  # rls2101.rel MRR iter env 6
1789     vpp-compare-testbeds-mrr-cmp:
1790       csit-vpp-perf-report-iterative-2101-3n-skx:
1791         - 35  # rls2101.rel MRR iter env 6
1792
1793     vpp-compare-testbeds-mrr-skx-clx-ref:
1794       csit-vpp-perf-report-iterative-2101-2n-skx:
1795         - 62  # rls2101.rel MRR iter env 6
1796     vpp-compare-testbeds-mrr-skx-clx-cmp:
1797       csit-vpp-perf-report-iterative-2101-2n-clx:
1798         - 53  # rls2101.rel MRR iter env 6
1799
1800     vpp-compare-testbeds-mrr-hsw-clx-ref:
1801       csit-vpp-perf-report-iterative-2101-3n-hsw:
1802         - 63  # rls2101.rel MRR iter env 6
1803     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1804       csit-vpp-perf-report-iterative-2101-2n-clx:
1805         - 53  # rls2101.rel MRR iter env 6
1806
1807     dpdk-compare-testbeds-ref:
1808       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1809         - 11  # rls2101 NDRPDR iter env 6
1810         - 12  # rls2101 NDRPDR iter env 6
1811         - 13  # rls2101 NDRPDR iter env 6
1812         - 14  # rls2101 NDRPDR iter env 6
1813         - 16  # rls2101 NDRPDR iter env 6
1814         - 17  # rls2101 NDRPDR iter env 6
1815         - 18  # rls2101 NDRPDR iter env 6
1816         - 19  # rls2101 NDRPDR iter env 6
1817         - 20  # rls2101 NDRPDR iter env 6
1818         - 21  # rls2101 NDRPDR iter env 6
1819     dpdk-compare-testbeds-cmp:
1820       csit-dpdk-perf-report-iterative-2101-3n-skx:
1821         - 12  # rls2101 NDRPDR iter env 6
1822         - 14  # rls2101 NDRPDR iter env 6
1823         - 15  # rls2101 NDRPDR iter env 6
1824         - 17  # rls2101 NDRPDR iter env 6
1825         - 19  # rls2101 NDRPDR iter env 6
1826         - 20  # rls2101 NDRPDR iter env 6
1827         - 21  # rls2101 NDRPDR iter env 6
1828         - 22  # rls2101 NDRPDR iter env 6
1829         - 25  # rls2101 NDRPDR iter env 6
1830         - 26  # rls2101 NDRPDR iter env 6
1831
1832     dpdk-compare-testbeds-skx-clx-ref:
1833       csit-dpdk-perf-report-iterative-2101-2n-skx:
1834         - 11  # rls2101 NDRPDR iter env 6
1835         - 12  # rls2101 NDRPDR iter env 6
1836         - 13  # rls2101 NDRPDR iter env 6
1837         - 14  # rls2101 NDRPDR iter env 6
1838         - 15  # rls2101 NDRPDR iter env 6
1839         - 17  # rls2101 NDRPDR iter env 6
1840         - 18  # rls2101 NDRPDR iter env 6
1841         - 19  # rls2101 NDRPDR iter env 6
1842         - 20  # rls2101 NDRPDR iter env 6
1843         - 21  # rls2101 NDRPDR iter env 6
1844     dpdk-compare-testbeds-skx-clx-cmp:
1845       csit-dpdk-perf-report-iterative-2101-2n-clx:
1846         - 12  # rls2101 NDRPDR iter env 6
1847         - 13  # rls2101 NDRPDR iter env 6
1848         - 14  # rls2101 NDRPDR iter env 6
1849         - 18  # rls2101 NDRPDR iter env 6
1850         - 22  # rls2101 NDRPDR iter env 6
1851
1852     # Compare topologies
1853
1854     vpp-compare-topologies-ref:
1855       csit-vpp-perf-report-iterative-2101-3n-skx:
1856         - 36  # rls2101.rel NDRPDR iter env 6
1857         - 37  # rls2101.rel NDRPDR iter env 6
1858         - 38  # rls2101.rel NDRPDR iter env 6
1859         - 39  # rls2101.rel NDRPDR iter env 6
1860         - 40  # rls2101.rel NDRPDR iter env 6
1861         - 41  # rls2101.rel NDRPDR iter env 6
1862         - 42  # rls2101.rel NDRPDR iter env 6
1863         - 47  # rls2101.rel NDRPDR iter env 6
1864         - 48  # rls2101.rel NDRPDR iter env 6
1865     vpp-compare-topologies-cmp:
1866       csit-vpp-perf-report-iterative-2101-2n-skx:
1867         - 63  # rls2101.rel NDRPDR iter env 6
1868         - 69  # rls2101.rel NDRPDR iter env 6
1869         - 70  # rls2101.rel NDRPDR iter env 6
1870         - 75  # rls2101.rel NDRPDR iter env 6
1871         - 76  # rls2101.rel NDRPDR iter env 6
1872         - 77  # rls2101.rel NDRPDR iter env 6
1873         - 82  # rls2101.rel NDRPDR iter env 6
1874         - 85  # rls2101.rel NDRPDR iter env 6
1875         - 86  # rls2101.rel NDRPDR iter env 6
1876         - 94  # rls2101.rel NDRPDR iter env 6
1877
1878     vpp-compare-topologies-mrr-ref:
1879       csit-vpp-perf-report-iterative-2101-3n-skx:
1880         - 35  # rls2101.rel MRR iter env 6
1881     vpp-compare-topologies-mrr-cmp:
1882       csit-vpp-perf-report-iterative-2101-2n-skx:
1883         - 62  # rls2101.rel MRR iter env 6
1884
1885     dpdk-compare-topologies-ref:
1886       csit-dpdk-perf-report-iterative-2101-3n-skx:
1887         - 12  # rls2101 NDRPDR iter env 6
1888         - 14  # rls2101 NDRPDR iter env 6
1889         - 15  # rls2101 NDRPDR iter env 6
1890         - 17  # rls2101 NDRPDR iter env 6
1891         - 19  # rls2101 NDRPDR iter env 6
1892         - 20  # rls2101 NDRPDR iter env 6
1893         - 21  # rls2101 NDRPDR iter env 6
1894         - 22  # rls2101 NDRPDR iter env 6
1895         - 25  # rls2101 NDRPDR iter env 6
1896         - 26  # rls2101 NDRPDR iter env 6
1897     dpdk-compare-topologies-cmp:
1898       csit-dpdk-perf-report-iterative-2101-2n-skx:
1899         - 11  # rls2101 NDRPDR iter env 6
1900         - 12  # rls2101 NDRPDR iter env 6
1901         - 13  # rls2101 NDRPDR iter env 6
1902         - 14  # rls2101 NDRPDR iter env 6
1903         - 15  # rls2101 NDRPDR iter env 6
1904         - 17  # rls2101 NDRPDR iter env 6
1905         - 18  # rls2101 NDRPDR iter env 6
1906         - 19  # rls2101 NDRPDR iter env 6
1907         - 20  # rls2101 NDRPDR iter env 6
1908         - 21  # rls2101 NDRPDR iter env 6
1909
1910   plot-layouts:
1911
1912     plot-soak-throughput:
1913       titlefont:
1914         size: 16
1915       xaxis:
1916         title: "<b>Test Cases [Index]</b>"
1917         titlefont:
1918           size: 14
1919         autorange: True
1920         fixedrange: False
1921         gridcolor: "rgb(230, 230, 230)"
1922         linecolor: "rgb(220, 220, 220)"
1923         linewidth: 1
1924         showgrid: True
1925         showline: True
1926         showticklabels: True
1927         tickcolor: "rgb(220, 220, 220)"
1928         tickmode: "linear"
1929         tickfont:
1930           size: 14
1931         zeroline: False
1932       yaxis:
1933         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1934         titlefont:
1935           size: 14
1936         gridcolor: "rgb(230, 230, 230)"
1937         hoverformat: ".4r"
1938         tickformat: ".3r"
1939         linecolor: "rgb(220, 220, 220)"
1940         linewidth: 1
1941         showgrid: True
1942         showline: True
1943         showticklabels: True
1944         tickcolor: "rgb(220, 220, 220)"
1945         tickfont:
1946           size: 14
1947         zeroline: False
1948         range: [0,50]
1949       autosize: False
1950       margin:
1951         t: 50
1952         b: 0
1953         l: 80
1954         r: 20
1955       showlegend: True
1956       legend:
1957         orientation: "h"
1958         font:
1959           size: 14
1960       width: 700
1961       height: 900
1962       paper_bgcolor: "#fff"
1963       plot_bgcolor: "#fff"
1964       hoverlabel:
1965         namelength: -1
1966
1967     plot-service-density:
1968       titlefont:
1969         size: 16
1970       xaxis:
1971         side: "top"
1972         autorange: True
1973         fixedrange: False
1974         showgrid: False
1975         showline: False
1976         showticklabels: False
1977         ticks: ""
1978         ticklen: 0
1979         tickwidth: 0
1980         zeroline: False
1981       yaxis:
1982         autorange: "reversed"
1983         showgrid: False
1984         showline: False
1985         showticklabels: False
1986         ticks: ""
1987         ticklen: 0
1988         tickwidth: 0
1989         zeroline: False
1990       showlegend: False
1991       paper_bgcolor: "#fff"
1992       plot_bgcolor: "#fff"
1993       width: 700
1994       height: 700
1995       hoverlabel:
1996         namelength: -1
1997
1998     plot-hoststack:
1999       titlefont:
2000         size: 16
2001       xaxis:
2002         title: "<b>Test Cases [Index]</b>"
2003         titlefont:
2004           size: 14
2005         autorange: True
2006         fixedrange: False
2007         gridcolor: "rgb(230, 230, 230)"
2008         linecolor: "rgb(220, 220, 220)"
2009         linewidth: 1
2010         showgrid: True
2011         showline: True
2012         showticklabels: True
2013         tickcolor: "rgb(220, 220, 220)"
2014         tickmode: "linear"
2015         tickfont:
2016           size: 14
2017         zeroline: False
2018       yaxis:
2019         title: "<b>Bandwidth [Gbps]</b>"
2020         titlefont:
2021           size: 14
2022         gridcolor: "rgb(230, 230, 230)"
2023         hoverformat: ".4s"
2024         linecolor: "rgb(220, 220, 220)"
2025         linewidth: 1
2026         rangemode: "tozero"
2027         showgrid: True
2028         showline: True
2029         showticklabels: True
2030         tickcolor: "rgb(230, 230, 230)"
2031         tickformat: ".3s"
2032         tickfont:
2033           size: 14
2034         zeroline: False
2035       autosize: False
2036       margin:
2037         t: 50
2038         b: 20
2039         l: 80
2040         r: 20
2041       showlegend: True
2042       legend:
2043         orientation: "h"
2044         font:
2045           size: 14
2046       width: 700
2047       height: 800
2048       paper_bgcolor: "#fff"
2049       plot_bgcolor: "#fff"
2050       hoverlabel:
2051         namelength: -1
2052
2053     plot-throughput:
2054       titlefont:
2055         size: 16
2056       xaxis:
2057         title: "<b>Test Cases [Index]</b>"
2058         titlefont:
2059           size: 14
2060         autorange: True
2061         fixedrange: False
2062         gridcolor: "rgb(230, 230, 230)"
2063         linecolor: "rgb(220, 220, 220)"
2064         linewidth: 1
2065         showgrid: True
2066         showline: True
2067         showticklabels: True
2068         tickcolor: "rgb(220, 220, 220)"
2069         tickmode: "linear"
2070         tickfont:
2071           size: 14
2072         zeroline: False
2073       yaxis:
2074         title: "<b>Packet Throughput [Mpps]</b>"
2075         titlefont:
2076           size: 14
2077         gridcolor: "rgb(230, 230, 230)"
2078         hoverformat: ".4r"
2079         tickformat: ".3r"
2080         linecolor: "rgb(220, 220, 220)"
2081         linewidth: 1
2082         showgrid: True
2083         showline: True
2084         showticklabels: True
2085         tickcolor: "rgb(220, 220, 220)"
2086         tickfont:
2087           size: 14
2088         zeroline: False
2089         range: [0,50]
2090       autosize: False
2091       margin:
2092         t: 50
2093         b: 0
2094         l: 80
2095         r: 20
2096       showlegend: True
2097       legend:
2098         orientation: "h"
2099         font:
2100           size: 14
2101       width: 700
2102       height: 900
2103       paper_bgcolor: "#fff"
2104       plot_bgcolor: "#fff"
2105       hoverlabel:
2106         namelength: -1
2107
2108     plot-throughput-gbps:
2109       titlefont:
2110         size: 16
2111       xaxis:
2112         title: "<b>Test Cases [Index]</b>"
2113         titlefont:
2114           size: 14
2115         autorange: True
2116         fixedrange: False
2117         gridcolor: "rgb(230, 230, 230)"
2118         linecolor: "rgb(220, 220, 220)"
2119         linewidth: 1
2120         showgrid: True
2121         showline: True
2122         showticklabels: True
2123         tickcolor: "rgb(220, 220, 220)"
2124         tickmode: "linear"
2125         tickfont:
2126           size: 14
2127         zeroline: False
2128       yaxis:
2129         title: "<b>Packet Throughput [Gbps]</b>"
2130         titlefont:
2131           size: 14
2132         gridcolor: "rgb(230, 230, 230)"
2133         hoverformat: ".4r"
2134         tickformat: ".3r"
2135         linecolor: "rgb(220, 220, 220)"
2136         linewidth: 1
2137         showgrid: True
2138         showline: True
2139         showticklabels: True
2140         tickcolor: "rgb(220, 220, 220)"
2141         tickfont:
2142           size: 14
2143         zeroline: False
2144         range: [0,10]
2145       autosize: False
2146       margin:
2147         t: 50
2148         b: 0
2149         l: 80
2150         r: 20
2151       showlegend: True
2152       legend:
2153         orientation: "h"
2154         font:
2155           size: 14
2156       width: 700
2157       height: 900
2158       paper_bgcolor: "#fff"
2159       plot_bgcolor: "#fff"
2160       hoverlabel:
2161         namelength: -1
2162
2163     plot-cps:
2164       titlefont:
2165         size: 16
2166       xaxis:
2167         title: "<b>Test Cases [Index]</b>"
2168         titlefont:
2169           size: 14
2170         autorange: True
2171         fixedrange: False
2172         gridcolor: "rgb(230, 230, 230)"
2173         linecolor: "rgb(220, 220, 220)"
2174         linewidth: 1
2175         showgrid: True
2176         showline: True
2177         showticklabels: True
2178         tickcolor: "rgb(220, 220, 220)"
2179         tickmode: "linear"
2180         tickfont:
2181           size: 14
2182         zeroline: False
2183       yaxis:
2184         title: "<b>Connection Rate [Mcps]</b>"
2185         titlefont:
2186           size: 14
2187         gridcolor: "rgb(230, 230, 230)"
2188         hoverformat: ".4r"
2189         tickformat: ".3s"
2190         linecolor: "rgb(220, 220, 220)"
2191         linewidth: 1
2192         showgrid: True
2193         showline: True
2194         showticklabels: True
2195         tickcolor: "rgb(220, 220, 220)"
2196         tickfont:
2197           size: 14
2198         zeroline: False
2199         range: [0,10]
2200       autosize: False
2201       margin:
2202         t: 50
2203         b: 0
2204         l: 80
2205         r: 20
2206       showlegend: True
2207       legend:
2208         orientation: "h"
2209         font:
2210           size: 14
2211       width: 700
2212       height: 900
2213       paper_bgcolor: "#fff"
2214       plot_bgcolor: "#fff"
2215       hoverlabel:
2216         namelength: -1
2217
2218     plot-throughput-speedup-analysis:
2219       titlefont:
2220         size: 16
2221       xaxis:
2222         title: "<b>Number of Cores [Qty]</b>"
2223         titlefont:
2224           size: 14
2225         autorange: True
2226         fixedrange: False
2227         gridcolor: "rgb(230, 230, 230)"
2228         linecolor: "rgb(220, 220, 220)"
2229         linewidth: 1
2230         showgrid: True
2231         showline: True
2232         showticklabels: True
2233         tickcolor: "rgb(238, 238, 238)"
2234         tickmode: "linear"
2235         tickfont:
2236           size: 14
2237         zeroline: False
2238       yaxis:
2239         title: "<b>Packet Throughput [Mpps]</b>"
2240         titlefont:
2241           size: 14
2242         type: "linear"
2243         gridcolor: "rgb(230, 230, 230)"
2244         hoverformat: ".4s"
2245         linecolor: "rgb(220, 220, 220)"
2246         linewidth: 1
2247         showgrid: True
2248         showline: True
2249         showticklabels: True
2250         tickcolor: "rgb(220, 220, 220)"
2251         tickformat: ".4s"
2252         tickfont:
2253           size: 14
2254         zeroline: True
2255         rangemode: "tozero"
2256         range: [0,100]
2257       legend:
2258         orientation: "h"
2259         font:
2260           size: 14
2261         xanchor: "left"
2262         yanchor: "top"
2263         x: 0
2264         y: -0.2
2265         bgcolor: "rgba(255, 255, 255, 0)"
2266         bordercolor: "rgba(255, 255, 255, 0)"
2267         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2268       autosize: False
2269       margin:
2270           't': 50
2271           'b': 150
2272           'l': 85
2273           'r': 10
2274       showlegend: True
2275       width: 700
2276       height: 700
2277       paper_bgcolor: "#fff"
2278       plot_bgcolor: "#fff"
2279       hoverlabel:
2280         namelength: -1
2281       annotations: [
2282         {
2283           text: "_ _          __          ...",
2284           align: "left",
2285           showarrow: False,
2286           xref: "paper",
2287           yref: "paper",
2288           xanchor: "left",
2289           yanchor: "top",
2290           x: 0,
2291           y: -0.14,
2292           font: {
2293             family: "Consolas, Courier New",
2294             size: 13
2295           },
2296         },
2297         {
2298           text: "    Perfect     Measured     Limit",
2299           align: "left",
2300           showarrow: False,
2301           xref: "paper",
2302           yref: "paper",
2303           xanchor: "left",
2304           yanchor: "top",
2305           x: 0,
2306           y: -0.15,
2307           font: {
2308             family: "Consolas, Courier New",
2309             size: 13
2310           },
2311         },
2312       ]
2313
2314     plot-throughput-speedup-analysis-gbps:
2315       titlefont:
2316         size: 16
2317       xaxis:
2318         title: "<b>Number of Cores [Qty]</b>"
2319         titlefont:
2320           size: 14
2321         autorange: True
2322         fixedrange: False
2323         gridcolor: "rgb(230, 230, 230)"
2324         linecolor: "rgb(220, 220, 220)"
2325         linewidth: 1
2326         showgrid: True
2327         showline: True
2328         showticklabels: True
2329         tickcolor: "rgb(238, 238, 238)"
2330         tickmode: "linear"
2331         tickfont:
2332           size: 14
2333         zeroline: False
2334       yaxis:
2335         title: "<b>Packet Throughput [Gbps]</b>"
2336         titlefont:
2337           size: 14
2338         type: "linear"
2339         gridcolor: "rgb(230, 230, 230)"
2340         hoverformat: ".4s"
2341         linecolor: "rgb(220, 220, 220)"
2342         linewidth: 1
2343         showgrid: True
2344         showline: True
2345         showticklabels: True
2346         tickcolor: "rgb(220, 220, 220)"
2347         tickformat: ".4s"
2348         tickfont:
2349           size: 14
2350         zeroline: True
2351         rangemode: "tozero"
2352         range: [0,100]
2353       legend:
2354         orientation: "h"
2355         font:
2356           size: 14
2357         xanchor: "left"
2358         yanchor: "top"
2359         x: 0
2360         y: -0.2
2361         bgcolor: "rgba(255, 255, 255, 0)"
2362         bordercolor: "rgba(255, 255, 255, 0)"
2363         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2364       autosize: False
2365       margin:
2366           't': 50
2367           'b': 150
2368           'l': 85
2369           'r': 10
2370       showlegend: True
2371       width: 700
2372       height: 700
2373       paper_bgcolor: "#fff"
2374       plot_bgcolor: "#fff"
2375       hoverlabel:
2376         namelength: -1
2377       annotations: [
2378         {
2379           text: "_ _          __",
2380           align: "left",
2381           showarrow: False,
2382           xref: "paper",
2383           yref: "paper",
2384           xanchor: "left",
2385           yanchor: "top",
2386           x: 0,
2387           y: -0.13,
2388           font: {
2389             family: "Consolas, Courier New",
2390             size: 13
2391           },
2392         },
2393         {
2394           text: "    Perfect     Measured",
2395           align: "left",
2396           showarrow: False,
2397           xref: "paper",
2398           yref: "paper",
2399           xanchor: "left",
2400           yanchor: "top",
2401           x: 0,
2402           y: -0.15,
2403           font: {
2404             family: "Consolas, Courier New",
2405             size: 13
2406           },
2407         },
2408       ]
2409
2410     plot-throughput-speedup-analysis-cps:
2411       titlefont:
2412         size: 16
2413       xaxis:
2414         title: "<b>Number of Cores [Qty]</b>"
2415         titlefont:
2416           size: 14
2417         autorange: True
2418         fixedrange: False
2419         gridcolor: "rgb(230, 230, 230)"
2420         linecolor: "rgb(220, 220, 220)"
2421         linewidth: 1
2422         showgrid: True
2423         showline: True
2424         showticklabels: True
2425         tickcolor: "rgb(238, 238, 238)"
2426         tickmode: "linear"
2427         tickfont:
2428           size: 14
2429         zeroline: False
2430       yaxis:
2431         title: "<b>Connection Rate [Mcps]</b>"
2432         titlefont:
2433           size: 14
2434         type: "linear"
2435         gridcolor: "rgb(230, 230, 230)"
2436         hoverformat: ".4s"
2437         linecolor: "rgb(220, 220, 220)"
2438         linewidth: 1
2439         showgrid: True
2440         showline: True
2441         showticklabels: True
2442         tickcolor: "rgb(220, 220, 220)"
2443         tickformat: ".4s"
2444         tickfont:
2445           size: 14
2446         zeroline: True
2447         rangemode: "tozero"
2448         range: [0,100]
2449       legend:
2450         orientation: "h"
2451         font:
2452           size: 14
2453         xanchor: "left"
2454         yanchor: "top"
2455         x: 0
2456         y: -0.2
2457         bgcolor: "rgba(255, 255, 255, 0)"
2458         bordercolor: "rgba(255, 255, 255, 0)"
2459         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2460       autosize: False
2461       margin:
2462           't': 50
2463           'b': 150
2464           'l': 85
2465           'r': 10
2466       showlegend: True
2467       width: 700
2468       height: 700
2469       paper_bgcolor: "#fff"
2470       plot_bgcolor: "#fff"
2471       hoverlabel:
2472         namelength: -1
2473       annotations: [
2474         {
2475           text: "_ _          __",
2476           align: "left",
2477           showarrow: False,
2478           xref: "paper",
2479           yref: "paper",
2480           xanchor: "left",
2481           yanchor: "top",
2482           x: 0,
2483           y: -0.13,
2484           font: {
2485             family: "Consolas, Courier New",
2486             size: 13
2487           },
2488         },
2489         {
2490           text: "    Perfect     Measured",
2491           align: "left",
2492           showarrow: False,
2493           xref: "paper",
2494           yref: "paper",
2495           xanchor: "left",
2496           yanchor: "top",
2497           x: 0,
2498           y: -0.15,
2499           font: {
2500             family: "Consolas, Courier New",
2501             size: 13
2502           },
2503         },
2504       ]
2505
2506     plot-latency:
2507       titlefont:
2508         size: 16
2509       xaxis:
2510         title: "<b>Direction</b>"
2511         titlefont:
2512           size: 14
2513         autorange: True
2514         fixedrange: False
2515         gridcolor: "rgb(230, 230, 230)"
2516         linecolor: "rgb(220, 220, 220)"
2517         linewidth: 1
2518         showgrid: True
2519         showline: True
2520         showticklabels: False
2521         tickcolor: "rgb(220, 220, 220)"
2522         tickmode: "linear"
2523         tickfont:
2524           size: 14
2525         zeroline: False
2526       yaxis:
2527         title: "<b>Packet Latency [uSec]</b>"
2528         titlefont:
2529           size: 14
2530         type: "linear"
2531         gridcolor: "rgb(230, 230, 230)"
2532         hoverformat: ".4s"
2533         linecolor: "rgb(220, 220, 220)"
2534         linewidth: 1
2535         showgrid: True
2536         showline: True
2537         showticklabels: True
2538         tickcolor: "rgb(220, 220, 220)"
2539         tickformat: ".4s"
2540         tickfont:
2541           size: 14
2542         zeroline: True
2543         rangemode: "tozero"
2544       legend:
2545         orientation: "h"
2546         font:
2547           size: 14
2548         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2549       autosize: False
2550       margin:
2551           't': 50
2552           'b': 150
2553           'l': 80
2554           'r': 10
2555       showlegend: True
2556       width: 700
2557       height: 700
2558       paper_bgcolor: "#fff"
2559       plot_bgcolor: "#fff"
2560       hoverlabel:
2561         namelength: -1
2562
2563     plot-hdrh-latency:
2564       title:
2565         text: ""
2566         xanchor: "center"
2567         x: 0.5
2568         font:
2569           size: 16
2570       width: 700
2571       plot_bgcolor: "white"
2572       annotations:
2573         - font:
2574             size: 14
2575           showarrow: False
2576           text: "<b>Packet Latency [uSec]</b>"
2577           x: 1
2578           xanchor: "right"
2579           xref: "paper"
2580           y: -0.045
2581           yanchor: "top"
2582           yref: "paper"
2583         - font:
2584             size: 14
2585           showarrow: False
2586           text: "<b>Probability [%]</b>"
2587           textangle: 270
2588           x: -0.06
2589           xanchor: "center"
2590           xref: "paper"
2591           y: 0.5
2592           yanchor: "middle"
2593           yref: "paper"
2594         - font:
2595             size: 14
2596           showarrow: False
2597           text: "<b>Direction: E-W</b>"
2598           x: 0.24
2599           xanchor: "center"
2600           xref: "paper"
2601           y: 1.05
2602           yanchor: "bottom"
2603           yref: "paper"
2604         - font:
2605             size: 14
2606           showarrow: False
2607           text: "<b>Direction: W-E</b>"
2608           x: 0.74
2609           xanchor: "center"
2610           xref: "paper"
2611           y: 1.05
2612           yanchor: "bottom"
2613           yref: "paper"
2614
2615     plot-hdrh-latency-percentile-x-log:
2616       title:
2617         text: "<b>Latency by Percentile Distribution</b>"
2618         xanchor: "center"
2619         x: 0.5
2620         font:
2621           size: 18
2622       showlegend: True
2623       legend:
2624         traceorder: "normal"
2625         orientation: "h"
2626         font:
2627           size: 16
2628         xanchor: "left"
2629         yanchor: "top"
2630         x: 0
2631         y: -0.2
2632         bgcolor: "rgba(255, 255, 255, 0)"
2633         bordercolor: "rgba(255, 255, 255, 0)"
2634       xaxis:
2635         type: "log"
2636         title: "<b>Percentile [%]</b>"
2637         titlefont:
2638           size: 14
2639         autorange: False
2640         fixedrange: True
2641         gridcolor: "rgb(230, 230, 230)"
2642         linecolor: "rgb(220, 220, 220)"
2643         linewidth: 1
2644         showgrid: True
2645         showline: True
2646         showticklabels: True
2647         tickcolor: "rgb(220, 220, 220)"
2648         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2649         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2650         tickfont:
2651           size: 14
2652       yaxis:
2653         title: "<b>One-Way Latency per Direction [uSec]</b>"
2654         titlefont:
2655           size: 14
2656         gridcolor: "rgb(230, 230, 230)"
2657         linecolor: "rgb(220, 220, 220)"
2658         linewidth: 1
2659         showgrid: True
2660         showline: True
2661         showticklabels: True
2662         tickcolor: "rgb(220, 220, 220)"
2663         tickfont:
2664           size: 14
2665       autosize: False
2666       width: 700
2667       height: 700
2668       paper_bgcolor: "white"
2669       plot_bgcolor: "white"
2670
2671     plot-hdrh-latency-by-percentile:
2672       title:
2673         text: "<b>Latency by Percentile Distribution</b>"
2674         xanchor: "center"
2675         x: 0.5
2676         font:
2677           size: 18
2678       showlegend: True
2679       legend:
2680         traceorder: "normal"
2681         orientation: "h"
2682         font:
2683           size: 16
2684         xanchor: "left"
2685         yanchor: "top"
2686         x: 0
2687         y: -0.2
2688         bgcolor: "rgba(255, 255, 255, 0)"
2689         bordercolor: "rgba(255, 255, 255, 0)"
2690       xaxis:
2691         type: "linear"
2692         title: "<b>Percentile [%]</b>"
2693         titlefont:
2694           size: 14
2695         autorange: False
2696         fixedrange: False
2697         range: [0, 100]
2698         gridcolor: "rgb(230, 230, 230)"
2699         linecolor: "rgb(220, 220, 220)"
2700         linewidth: 1
2701         showgrid: True
2702         showline: True
2703         showticklabels: True
2704         tickcolor: "rgb(220, 220, 220)"
2705         tickvals: [0, 25, 50, 75, 100]
2706         ticktext: [0, 25, 50, 75, 100]
2707         tickfont:
2708           size: 14
2709       yaxis:
2710         title: "<b>One-Way Latency per Direction [uSec]</b>"
2711         titlefont:
2712           size: 14
2713         gridcolor: "rgb(230, 230, 230)"
2714         linecolor: "rgb(220, 220, 220)"
2715         linewidth: 1
2716         showgrid: True
2717         showline: True
2718         showticklabels: True
2719         tickcolor: "rgb(220, 220, 220)"
2720         tickfont:
2721           size: 14
2722       width: 700
2723       height: 700
2724       paper_bgcolor: "white"
2725       plot_bgcolor: "white"
2726
2727 - type: "static"
2728   src-path: "{DIR[RST]}"
2729   dst-path: "{DIR[WORKING,SRC]}"
2730
2731 - type: "input"
2732   general:
2733     file-name: "output_info.xml.gz"
2734     file-format: ".gz"
2735     arch-file-format:
2736       - ".gz"
2737       - ".zip"
2738     download-path: "{job}/{build}/archives/{filename}"
2739     extract: "output.xml"
2740
2741     zip-file-name: "robot-plugin.zip"
2742     zip-file-format: ".zip"
2743     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2744     zip-extract: "robot-plugin/output.xml"
2745
2746   builds:
2747
2748     csit-vpp-perf-report-iterative-2009-3n-hsw:
2749       - 18  # rls2005 MRR iter env 5
2750       - 9   # rls2005 NDRPDR iter env 5
2751       - 10  # rls2005 NDRPDR iter env 5
2752       - 11  # rls2005 NDRPDR iter env 5
2753       - 12  # rls2005 NDRPDR iter env 5
2754       - 13  # rls2005 NDRPDR iter env 5
2755       - 14  # rls2005 NDRPDR iter env 5
2756       - 15  # rls2005 NDRPDR iter env 5
2757       - 16  # rls2005 NDRPDR iter env 5
2758       - 17  # rls2005 NDRPDR iter env 5
2759       - 19  # rls2005 NDRPDR iter env 5
2760       - 23  # rls2009 MRR iter env 5
2761       - 21  # rls2009 NDRPDR iter env 5
2762       - 22  # rls2009 NDRPDR iter env 5
2763       - 24  # rls2009 NDRPDR iter env 5
2764       - 25  # rls2009 NDRPDR iter env 5
2765       - 26  # rls2009 NDRPDR iter env 5
2766       - 27  # rls2009 NDRPDR iter env 5
2767       - 28  # rls2009 NDRPDR iter env 5
2768       - 29  # rls2009 NDRPDR iter env 5
2769       - 30  # rls2009 NDRPDR iter env 5
2770       - 31  # rls2009 NDRPDR iter env 5
2771     csit-vpp-perf-report-iterative-2101-3n-hsw:
2772       - 17  # rls2009 MRR iter env 6
2773       - 19  # rls2009 NDRPDR iter env 6
2774       - 20  # rls2009 NDRPDR iter env 6
2775       - 21  # rls2009 NDRPDR iter env 6
2776       - 22  # rls2009 NDRPDR iter env 6
2777       - 23  # rls2009 NDRPDR iter env 6
2778       - 24  # rls2009 NDRPDR iter env 6
2779       - 25  # rls2009 NDRPDR iter env 6
2780       - 26  # rls2009 NDRPDR iter env 6
2781       - 27  # rls2009 NDRPDR iter env 6
2782       - 63  # rls2101.rel MRR iter env 6
2783       - 64  # rls2101.rel NDRPDR iter env 6
2784       - 71  # rls2101.rel NDRPDR iter env 6
2785       - 73  # rls2101.rel NDRPDR iter env 6
2786       - 74  # rls2101.rel NDRPDR iter env 6
2787       - 80  # rls2101.rel NDRPDR iter env 6
2788       - 81  # rls2101.rel NDRPDR iter env 6
2789       - 82  # rls2101.rel NDRPDR iter env 6
2790       - 83  # rls2101.rel NDRPDR iter env 6
2791       - 88  # rls2101.rel NDRPDR iter env 6
2792       - 89  # rls2101.rel NDRPDR iter env 6
2793       - 128 # rls2101.rel NDRPDR iter RND env 6
2794       - 129 # rls2101.rel NDRPDR iter RND env 6
2795       - 130 # rls2101.rel NDRPDR iter RND env 6
2796       - 131 # rls2101.rel NDRPDR iter RND env 6
2797       - 132 # rls2101.rel NDRPDR iter RND env 6
2798       - 133 # rls2101.rel NDRPDR iter RND env 6
2799       - 134 # rls2101.rel NDRPDR iter RND env 6
2800       - 135 # rls2101.rel NDRPDR iter RND env 6
2801       - 136 # rls2101.rel NDRPDR iter RND env 6
2802       - 137 # rls2101.rel NDRPDR iter RND env 6
2803       - 65  # rls2101.rel NDRPDR reconf iter env 6
2804       - 68  # rls2101.rel NDRPDR reconf iter env 6
2805       - 77  # rls2101.rel NDRPDR reconf iter env 6
2806       - 84  # rls2101.rel NDRPDR reconf iter env 6
2807       - 90  # rls2101.rel NDRPDR reconf iter env 6
2808       - 96  # rls2101.rel NDRPDR reconf iter env 6
2809       - 101 # rls2101.rel NDRPDR reconf iter env 6
2810       - 104 # rls2101.rel NDRPDR reconf iter env 6
2811       - 105 # rls2101.rel NDRPDR reconf iter env 6
2812       - 106 # rls2101.rel NDRPDR reconf iter env 6
2813       - 107 # rls2101.rel NDRPDR reconf iter env 6
2814       - 108 # rls2101.rel NDRPDR reconf iter env 6
2815       - 110 # rls2101.rel NDRPDR reconf iter env 6
2816       - 111 # rls2101.rel NDRPDR reconf iter env 6
2817       - 112 # rls2101.rel NDRPDR reconf iter env 6
2818       - 113 # rls2101.rel NDRPDR reconf iter env 6
2819       - 114 # rls2101.rel NDRPDR reconf iter env 6
2820       - 115 # rls2101.rel NDRPDR reconf iter env 6
2821       - 116 # rls2101.rel NDRPDR reconf iter env 6
2822       - 117 # rls2101.rel NDRPDR reconf iter env 6
2823       - 69  # rls2101.rel Hoststack iter env 6
2824       - 70  # rls2101.rel Hoststack iter env 6
2825       - 75  # rls2101.rel Hoststack iter env 6
2826       - 76  # rls2101.rel Hoststack iter env 6
2827       - 78  # rls2101.rel Hoststack iter env 6
2828       - 79  # rls2101.rel Hoststack iter env 6
2829       - 85  # rls2101.rel Hoststack iter env 6
2830       - 86  # rls2101.rel Hoststack iter env 6
2831       - 87  # rls2101.rel Hoststack iter env 6
2832       - 91  # rls2101.rel Hoststack iter env 6
2833       - 92  # rls2101.rel Hoststack iter env 6
2834       - 93  # rls2101.rel Hoststack iter env 6
2835       - 94  # rls2101.rel Hoststack iter env 6
2836       - 95  # rls2101.rel Hoststack iter env 6
2837       - 97  # rls2101.rel Hoststack iter env 6
2838       - 98  # rls2101.rel Hoststack iter env 6
2839       - 99  # rls2101.rel Hoststack iter env 6
2840       - 100 # rls2101.rel Hoststack iter env 6
2841       - 102 # rls2101.rel Hoststack iter env 6
2842       - 103 # rls2101.rel Hoststack iter env 6
2843     csit-vpp-perf-report-coverage-2101-3n-hsw:
2844       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
2845       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
2846       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
2847       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
2848       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
2849       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
2850       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
2851       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
2852       - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
2853       - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
2854       - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
2855       - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
2856       - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
2857       - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
2858       - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
2859       - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
2860       - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
2861       - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
2862       - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
2863       - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
2864       - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
2865       - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
2866       - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
2867       - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
2868       - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
2869       - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
2870       - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
2871       - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
2872       - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
2873       - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
2874       - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
2875       - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
2876       - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
2877       - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
2878       - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
2879
2880
2881     csit-vpp-perf-report-iterative-2009-3n-skx:
2882       - 17  # rls2005 MRR iter env 5
2883       - 13  # rls2005 NDRPDR iter env 5
2884       - 18  # rls2005 NDRPDR iter env 5
2885       - 19  # rls2005 NDRPDR iter env 5
2886       - 41  # rls2005 NDRPDR iter env 5
2887       - 43  # rls2005 NDRPDR iter env 5
2888       - 44  # rls2005 NDRPDR iter env 5
2889       - 45  # rls2005 NDRPDR iter env 5
2890       - 46  # rls2005 NDRPDR iter env 5
2891       - 48  # rls2005 NDRPDR iter env 5
2892       - 49  # rls2005 NDRPDR iter env 5
2893       - 24  # rls2009 MRR iter env 5
2894       - 26  # rls2009 NDRPDR iter env 5
2895       - 27  # rls2009 NDRPDR iter env 5
2896       - 28  # rls2009 NDRPDR iter env 5
2897       - 29  # rls2009 NDRPDR iter env 5
2898       - 35  # rls2009 NDRPDR iter env 5
2899       - 36  # rls2009 NDRPDR iter env 5
2900       - 37  # rls2009 NDRPDR iter env 5
2901       - 38  # rls2009 NDRPDR iter env 5
2902       - 39  # rls2009 NDRPDR iter env 5
2903       - 40  # rls2009 NDRPDR iter env 5
2904     csit-vpp-perf-report-iterative-2101-3n-skx:
2905       - 34  # rls2009 MRR iter env 6
2906       - 14  # rls2009 NDRPDR iter env 6
2907       - 15  # rls2009 NDRPDR iter env 6
2908       - 16  # rls2009 NDRPDR iter env 6
2909       - 17  # rls2009 NDRPDR iter env 6
2910       - 18  # rls2009 NDRPDR iter env 6
2911       - 25  # rls2009 NDRPDR iter env 6
2912       - 26  # rls2009 NDRPDR iter env 6
2913       - 27  # rls2009 NDRPDR iter env 6
2914       - 29  # rls2009 NDRPDR iter env 6
2915       - 31  # rls2009 NDRPDR iter env 6
2916       - 35  # rls2101.rel MRR iter env 6
2917       - 36  # rls2101.rel NDRPDR iter env 6
2918       - 37  # rls2101.rel NDRPDR iter env 6
2919       - 38  # rls2101.rel NDRPDR iter env 6
2920       - 39  # rls2101.rel NDRPDR iter env 6
2921       - 40  # rls2101.rel NDRPDR iter env 6
2922       - 41  # rls2101.rel NDRPDR iter env 6
2923       - 42  # rls2101.rel NDRPDR iter env 6
2924       - 47  # rls2101.rel NDRPDR iter env 6
2925       - 48  # rls2101.rel NDRPDR iter env 6
2926     # csit-vpp-perf-report-coverage-2101-3n-skx:
2927
2928
2929     csit-vpp-perf-report-iterative-2009-2n-skx:
2930       - 20  # rls2005 MRR iter env 5
2931       - 13  # rls2005 NDRPDR iter env 5
2932       - 16  # rls2005 NDRPDR iter env 5
2933       - 17  # rls2005 NDRPDR iter env 5
2934       - 18  # rls2005 NDRPDR iter env 5
2935       - 19  # rls2005 NDRPDR iter env 5
2936       - 21  # rls2005 NDRPDR iter env 5
2937       - 22  # rls2005 NDRPDR iter env 5
2938       - 23  # rls2005 NDRPDR iter env 5
2939       - 24  # rls2005 NDRPDR iter env 5
2940       - 25  # rls2005 NDRPDR iter env 5
2941       - 120 # rls2009 MRR iter env 5
2942       - 35  # rls2009 NDRPDR iter env 5
2943       - 36  # rls2009 NDRPDR iter env 5
2944       - 37  # rls2009 NDRPDR iter env 5
2945       - 39  # rls2009 NDRPDR iter env 5
2946       - 40  # rls2009 NDRPDR iter env 5
2947       - 42  # rls2009 NDRPDR iter env 5
2948       - 43  # rls2009 NDRPDR iter env 5
2949       - 44  # rls2009 NDRPDR iter env 5
2950       - 46  # rls2009 NDRPDR iter env 5
2951       - 48  # rls2009 NDRPDR iter env 5
2952       - 110 # rls2009 NDRPDR iter NAT44 env 5
2953       - 111 # rls2009 NDRPDR iter NAT44 env 5
2954       - 112 # rls2009 NDRPDR iter NAT44 env 5
2955       - 113 # rls2009 NDRPDR iter NAT44 env 5
2956       - 114 # rls2009 NDRPDR iter NAT44 env 5
2957       - 115 # rls2009 NDRPDR iter NAT44 env 5
2958       - 116 # rls2009 NDRPDR iter NAT44 env 5
2959       - 118 # rls2009 NDRPDR iter NAT44 env 5
2960       - 119 # rls2009 NDRPDR iter NAT44 env 5
2961       - 121 # rls2009 NDRPDR iter NAT44 env 5
2962     csit-vpp-perf-report-iterative-2101-2n-skx:
2963       - 21  # rls2009 MRR iter env 6
2964       - 22  # rls2009 NDRPDR iter env 6
2965       - 23  # rls2009 NDRPDR iter env 6
2966       - 24  # rls2009 NDRPDR iter env 6
2967       - 25  # rls2009 NDRPDR iter env 6
2968       - 26  # rls2009 NDRPDR iter env 6
2969       - 28  # rls2009 NDRPDR iter env 6
2970       - 39  # rls2009 NDRPDR iter env 6
2971       - 40  # rls2009 NDRPDR iter env 6
2972       - 41  # rls2009 NDRPDR iter env 6
2973       - 44  # rls2009 NDRPDR iter env 6
2974       - 62  # rls2101.rel MRR iter env 6
2975       - 63  # rls2101.rel NDRPDR iter env 6
2976       - 69  # rls2101.rel NDRPDR iter env 6
2977       - 70  # rls2101.rel NDRPDR iter env 6
2978       - 75  # rls2101.rel NDRPDR iter env 6
2979       - 76  # rls2101.rel NDRPDR iter env 6
2980       - 77  # rls2101.rel NDRPDR iter env 6
2981       - 82  # rls2101.rel NDRPDR iter env 6
2982       - 85  # rls2101.rel NDRPDR iter env 6
2983       - 86  # rls2101.rel NDRPDR iter env 6
2984       - 94  # rls2101.rel NDRPDR iter env 6
2985       - 89  # rls2101.rel NDRPDR iter RND env 6
2986       - 90  # rls2101.rel NDRPDR iter RND env 6
2987       - 91  # rls2101.rel NDRPDR iter RND env 6
2988       - 92  # rls2101.rel NDRPDR iter RND env 6
2989       - 93  # rls2101.rel NDRPDR iter RND env 6
2990       - 96  # rls2101.rel NDRPDR iter RND env 6
2991       - 98  # rls2101.rel NDRPDR iter RND env 6
2992       - 99  # rls2101.rel NDRPDR iter RND env 6
2993       - 101 # rls2101.rel NDRPDR iter RND env 6
2994       - 102 # rls2101.rel NDRPDR iter RND env 6
2995       - 65  # rls2101.rel MRR nf-density iter env 6
2996       - 67  # rls2101.rel NDRPDR nf-density iter env 6
2997       - 72  # rls2101.rel NDRPDR nf-density iter env 6
2998       - 79  # rls2101.rel NDRPDR nf-density iter env 6
2999       - 83  # rls2101.rel NDRPDR nf-density iter env 6
3000       - 88  # rls2101.rel NDRPDR nf-density iter env 6
3001       - 97  # rls2101.rel NDRPDR nf-density iter env 6
3002       - 103 # rls2101.rel NDRPDR nf-density iter env 6
3003       - 64  # rls2101.rel NDRPDR reconf iter env 6
3004       - 66  # rls2101.rel NDRPDR reconf iter env 6
3005       - 71  # rls2101.rel NDRPDR reconf iter env 6
3006       - 74  # rls2101.rel NDRPDR reconf iter env 6
3007       - 78  # rls2101.rel NDRPDR reconf iter env 6
3008       - 87  # rls2101.rel NDRPDR reconf iter env 6
3009       - 95  # rls2101.rel NDRPDR reconf iter env 6
3010       - 100 # rls2101.rel NDRPDR reconf iter env 6
3011       - 104 # rls2101.rel NDRPDR reconf iter env 6
3012       - 106 # rls2101.rel NDRPDR reconf iter env 6
3013       - 68  # rls2101.rel soak env 6
3014       - 73  # rls2101.rel soak env 6
3015     # csit-vpp-perf-report-coverage-2101-2n-skx:
3016
3017
3018     csit-vpp-perf-report-iterative-2009-2n-clx:
3019       - 77  # rls2005 MRR iter env 5
3020       - 13  # rls2005 NDRPDR iter env 5
3021       - 15  # rls2005 NDRPDR iter env 5
3022       - 17  # rls2005 NDRPDR iter env 5
3023       - 18  # rls2005 NDRPDR iter env 5
3024       - 19  # rls2005 NDRPDR iter env 5
3025       - 20  # rls2005 NDRPDR iter env 5
3026       - 21  # rls2005 NDRPDR iter env 5
3027       - 22  # rls2005 NDRPDR iter env 5
3028       - 23  # rls2005 NDRPDR iter env 5
3029       - 24  # rls2005 NDRPDR iter env 5
3030       - 125 # rls2009 MRR iter env 5
3031       - 36  # rls2009 NDRPDR iter env 5
3032       - 39  # rls2009 NDRPDR iter env 5
3033       - 40  # rls2009 NDRPDR iter env 5
3034       - 65  # rls2009 NDRPDR iter env 5
3035       - 66  # rls2009 NDRPDR iter env 5
3036       - 79  # rls2009 NDRPDR iter env 5
3037       - 82  # rls2009 NDRPDR iter env 5
3038       - 88  # rls2009 NDRPDR iter env 5
3039       - 89  # rls2009 NDRPDR iter env 5
3040       - 90  # rls2009 NDRPDR iter env 5
3041       - 114 # rls2009 NDRPDR iter NAT44 env 5
3042       - 115 # rls2009 NDRPDR iter NAT44 env 5
3043       - 116 # rls2009 NDRPDR iter NAT44 env 5
3044       - 117 # rls2009 NDRPDR iter NAT44 env 5
3045       - 118 # rls2009 NDRPDR iter NAT44 env 5
3046       - 119 # rls2009 NDRPDR iter NAT44 env 5
3047       - 121 # rls2009 NDRPDR iter NAT44 env 5
3048       - 122 # rls2009 NDRPDR iter NAT44 env 5
3049       - 123 # rls2009 NDRPDR iter NAT44 env 5
3050       - 126 # rls2009 NDRPDR iter NAT44 env 5
3051     csit-vpp-perf-report-iterative-2101-2n-clx:
3052       - 15  # rls2009 MRR iter env 6
3053       - 16  # rls2009 NDRPDR iter env 6
3054       - 17  # rls2009 NDRPDR iter env 6
3055       - 18  # rls2009 NDRPDR iter env 6
3056       - 19  # rls2009 NDRPDR iter env 6
3057       - 20  # rls2009 NDRPDR iter env 6
3058       - 21  # rls2009 NDRPDR iter env 6
3059       - 32  # rls2009 NDRPDR iter env 6
3060       - 33  # rls2009 NDRPDR iter env 6
3061       - 34  # rls2009 NDRPDR iter env 6
3062       - 35  # rls2009 NDRPDR iter env 6
3063       - 53  # rls2101.rel MRR iter env 6
3064       - 54  # rls2101.rel NDRPDR iter env 6
3065       - 59  # rls2101.rel NDRPDR iter env 6
3066       - 60  # rls2101.rel NDRPDR iter env 6
3067       - 63  # rls2101.rel NDRPDR iter env 6
3068       - 66  # rls2101.rel NDRPDR iter env 6
3069       - 68  # rls2101.rel NDRPDR iter env 6
3070       - 73  # rls2101.rel NDRPDR iter env 6
3071       - 75  # rls2101.rel NDRPDR iter env 6
3072       - 87  # rls2101.rel NDRPDR iter RND env 6
3073       - 72  # rls2101.rel MRR nf-density iter env 6
3074       - 57  # rls2101.rel NDRPDR nf-density iter env 6
3075       - 62  # rls2101.rel NDRPDR nf-density iter env 6
3076       - 70  # rls2101.rel NDRPDR nf-density iter env 6
3077       - 71  # rls2101.rel NDRPDR nf-density iter env 6
3078       - 82  # rls2101.rel NDRPDR nf-density iter env 6
3079       - 55  # rls2101.rel NDRPDR reconf iter env 6
3080       - 64  # rls2101.rel NDRPDR reconf iter env 6
3081       - 76  # rls2101.rel NDRPDR reconf iter env 6
3082       - 58  # rls2101.rel soak env 6
3083       - 61  # rls2101.rel soak env 6
3084     # csit-vpp-perf-report-coverage-2101-2n-clx:
3085
3086
3087     csit-vpp-perf-report-iterative-2009-2n-zn2:
3088       - 15  # rls2009 MRR iter env 5
3089       - 17  # rls2009 NDRPDR iter env 5
3090       - 18  # rls2009 NDRPDR iter env 5
3091       - 31  # rls2009 NDRPDR iter env 5
3092       - 33  # rls2009 NDRPDR iter env 5
3093       - 34  # rls2009 NDRPDR iter env 5
3094     csit-vpp-perf-report-iterative-2101-2n-zn2:
3095       - 8   # rls2009 MRR iter env6
3096       - 9   # rls2009 NDRPDR iter env 6
3097       - 10  # rls2009 NDRPDR iter env 6
3098       - 11  # rls2009 NDRPDR iter env 6
3099       - 12  # rls2009 NDRPDR iter env 6
3100       - 13  # rls2009 NDRPDR iter env 6
3101       - 20  # rls2009 NDRPDR iter env 6
3102       - 21  # rls2009 NDRPDR iter env 6
3103       - 22  # rls2009 NDRPDR iter env 6
3104       - 25  # rls2009 NDRPDR iter env 6
3105       - 26  # rls2009 NDRPDR iter env 6
3106       - 30  # rls2101.rel MRR iter env 6
3107       - 31  # rls2101.rel NDRPDR iter env 6
3108       - 32  # rls2101.rel NDRPDR iter env 6
3109       - 33  # rls2101.rel NDRPDR iter env 6
3110       - 34  # rls2101.rel NDRPDR iter env 6
3111       - 35  # rls2101.rel NDRPDR iter env 6
3112       - 37  # rls2101.rel NDRPDR iter env 6
3113       - 38  # rls2101.rel NDRPDR iter env 6
3114       - 40  # rls2101.rel NDRPDR iter RND env 6
3115       - 41  # rls2101.rel NDRPDR iter RND env 6
3116       - 42  # rls2101.rel NDRPDR iter RND env 6
3117       - 43  # rls2101.rel NDRPDR iter RND env 6
3118       - 45  # rls2101.rel NDRPDR iter RND env 6
3119
3120     csit-vpp-perf-report-iterative-2009-3n-tsh:
3121       - 8   # rls2005 NDRPDR iter env 5
3122       - 11  # rls2005 NDRPDR iter env 5
3123       - 12  # rls2005 NDRPDR iter env 5
3124       - 24  # rls2005 NDRPDR iter env 5
3125       - 27  # rls2005 NDRPDR iter env 5
3126       - 29  # rls2005 NDRPDR iter env 5
3127       - 31  # rls2005 NDRPDR iter env 5
3128       - 39  # rls2005 NDRPDR iter env 5
3129       - 40  # rls2005 NDRPDR iter env 5
3130       - 42  # rls2005 NDRPDR iter env 5
3131       - 13  # rls2005 MRR iter env 5
3132       - 14  # rls2009 NDRPDR iter env 5
3133       - 20  # rls2009 NDRPDR iter env 5
3134       - 21  # rls2009 NDRPDR iter env 5
3135       - 22  # rls2009 NDRPDR iter env 5
3136       - 23  # rls2009 NDRPDR iter env 5
3137       - 28  # rls2009 NDRPDR iter env 5
3138       - 30  # rls2009 NDRPDR iter env 5
3139       - 33  # rls2009 NDRPDR iter env 5
3140       - 38  # rls2009 NDRPDR iter env 5
3141       - 41  # rls2009 NDRPDR iter env 5
3142       - 15  # rls2009 MRR iter env 5
3143     csit-vpp-perf-report-iterative-2101-3n-tsh:
3144       - 7   # rls2009 MRR iter env 6
3145       - 8   # rls2009 NDRPDR iter env 6
3146       - 13  # rls2009 NDRPDR iter env 6
3147       - 14  # rls2009 NDRPDR iter env 6
3148       - 15  # rls2009 NDRPDR