Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272
273     plot-vpp-hdrh-lat-3n-skx:
274       csit-vpp-perf-report-iterative-2101-3n-skx:
275         - 36  # rls2101.rel NDRPDR iter env 6
276
277 #    plot-vpp-nfv-3n-skx-ndrpdr:
278 #      # No data
279 #      csit-vpp-perf-report-iterative-2101-3n-skx:
280
281 #    plot-vpp-nfv-3n-skx-mrr:
282 #      # No data
283 #      csit-vpp-perf-report-iterative-2101-3n-skx:
284
285     plot-dpdk-throughput-latency-3n-skx:
286       csit-dpdk-perf-report-iterative-2101-3n-skx:
287         - 12  # rls2101 NDRPDR iter env 6
288         - 14  # rls2101 NDRPDR iter env 6
289         - 15  # rls2101 NDRPDR iter env 6
290         - 17  # rls2101 NDRPDR iter env 6
291         - 19  # rls2101 NDRPDR iter env 6
292         - 20  # rls2101 NDRPDR iter env 6
293         - 21  # rls2101 NDRPDR iter env 6
294         - 22  # rls2101 NDRPDR iter env 6
295         - 25  # rls2101 NDRPDR iter env 6
296         - 26  # rls2101 NDRPDR iter env 6
297
298     plot-dpdk-hdrh-lat-3n-skx:
299       csit-dpdk-perf-report-iterative-2101-3n-skx:
300         - 12  # rls2101 NDRPDR iter env 6
301
302     # 2n-skx
303
304     plot-vpp-throughput-lat-tsa-2n-skx:
305       csit-vpp-perf-report-iterative-2101-2n-skx:
306         - 63  # rls2101.rel NDRPDR iter env 6
307         - 69  # rls2101.rel NDRPDR iter env 6
308         - 70  # rls2101.rel NDRPDR iter env 6
309         - 75  # rls2101.rel NDRPDR iter env 6
310         - 76  # rls2101.rel NDRPDR iter env 6
311         - 77  # rls2101.rel NDRPDR iter env 6
312         - 82  # rls2101.rel NDRPDR iter env 6
313         - 85  # rls2101.rel NDRPDR iter env 6
314         - 86  # rls2101.rel NDRPDR iter env 6
315         - 94  # rls2101.rel NDRPDR iter env 6
316         - 89  # rls2101.rel NDRPDR iter RND env 6
317         - 90  # rls2101.rel NDRPDR iter RND env 6
318         - 91  # rls2101.rel NDRPDR iter RND env 6
319         - 92  # rls2101.rel NDRPDR iter RND env 6
320         - 93  # rls2101.rel NDRPDR iter RND env 6
321         - 96  # rls2101.rel NDRPDR iter RND env 6
322         - 98  # rls2101.rel NDRPDR iter RND env 6
323         - 99  # rls2101.rel NDRPDR iter RND env 6
324         - 101 # rls2101.rel NDRPDR iter RND env 6
325         - 102 # rls2101.rel NDRPDR iter RND env 6
326
327     plot-vpp-hdrh-lat-2n-skx:
328       csit-vpp-perf-report-iterative-2101-2n-skx:
329         - 94  # rls2101.rel NDRPDR iter env 6
330
331     plot-vpp-hdrh-lat-2n-skx-rnd:
332       csit-vpp-perf-report-iterative-2101-2n-skx:
333         - 89  # rls2101.rel NDRPDR iter RND env 6
334
335     plot-vpp-soak-2n-skx:
336       csit-vpp-perf-report-iterative-2101-2n-skx:
337         - 68  # rls2101.rel soak env 6
338         - 73  # rls2101.rel soak env 6
339
340     plot-vpp-nfv-2n-skx-ndrpdr:
341       csit-vpp-perf-report-iterative-2101-2n-skx:
342         - 67  # rls2101.rel NDRPDR nf-density iter env 6
343         - 72  # rls2101.rel NDRPDR nf-density iter env 6
344         - 79  # rls2101.rel NDRPDR nf-density iter env 6
345         - 83  # rls2101.rel NDRPDR nf-density iter env 6
346         - 88  # rls2101.rel NDRPDR nf-density iter env 6
347         - 97  # rls2101.rel NDRPDR nf-density iter env 6
348         - 103 # rls2101.rel NDRPDR nf-density iter env 6
349
350     plot-vpp-nfv-2n-skx-mrr:
351       csit-vpp-perf-report-iterative-2101-2n-skx:
352         - 65  # rls2101.rel MRR nf-density iter env 6
353
354     plot-vpp-nfv-reconf-2n-skx:
355       csit-vpp-perf-report-iterative-2101-2n-skx:
356         - 64  # rls2101.rel NDRPDR reconf iter env 6
357         - 66  # rls2101.rel NDRPDR reconf iter env 6
358         - 71  # rls2101.rel NDRPDR reconf iter env 6
359         - 74  # rls2101.rel NDRPDR reconf iter env 6
360         - 78  # rls2101.rel NDRPDR reconf iter env 6
361         - 87  # rls2101.rel NDRPDR reconf iter env 6
362         - 95  # rls2101.rel NDRPDR reconf iter env 6
363         - 100 # rls2101.rel NDRPDR reconf iter env 6
364         - 104 # rls2101.rel NDRPDR reconf iter env 6
365         - 106 # rls2101.rel NDRPDR reconf iter env 6
366
367     plot-dpdk-throughput-latency-2n-skx:
368       csit-dpdk-perf-report-iterative-2101-2n-skx:
369         - 11  # rls2101 NDRPDR iter env 6
370         - 12  # rls2101 NDRPDR iter env 6
371         - 13  # rls2101 NDRPDR iter env 6
372         - 14  # rls2101 NDRPDR iter env 6
373         - 15  # rls2101 NDRPDR iter env 6
374         - 17  # rls2101 NDRPDR iter env 6
375         - 18  # rls2101 NDRPDR iter env 6
376         - 19  # rls2101 NDRPDR iter env 6
377         - 20  # rls2101 NDRPDR iter env 6
378         - 21  # rls2101 NDRPDR iter env 6
379
380     plot-dpdk-hdrh-lat-2n-skx:
381       csit-dpdk-perf-report-iterative-2101-2n-skx:
382         - 11  # rls2101 NDRPDR iter env 6
383
384     # 2n-zn2
385
386     plot-vpp-throughput-lat-tsa-2n-zn2:
387       csit-vpp-perf-report-iterative-2101-2n-zn2:
388         - 31  # rls2101.rel NDRPDR iter env 6
389         - 32  # rls2101.rel NDRPDR iter env 6
390         - 33  # rls2101.rel NDRPDR iter env 6
391         - 34  # rls2101.rel NDRPDR iter env 6
392         - 35  # rls2101.rel NDRPDR iter env 6
393         - 37  # rls2101.rel NDRPDR iter env 6
394         - 38  # rls2101.rel NDRPDR iter env 6
395         - 40  # rls2101.rel NDRPDR iter RND env 6
396         - 41  # rls2101.rel NDRPDR iter RND env 6
397         - 42  # rls2101.rel NDRPDR iter RND env 6
398         - 43  # rls2101.rel NDRPDR iter RND env 6
399         - 45  # rls2101.rel NDRPDR iter RND env 6
400
401     plot-vpp-hdrh-lat-2n-zn2:
402       csit-vpp-perf-report-iterative-2101-2n-zn2:
403         - 31  # rls2101.rel NDRPDR iter env 6
404
405     plot-vpp-hdrh-lat-2n-zn2-rnd:
406       csit-vpp-perf-report-iterative-2101-2n-zn2:
407         - 40  # rls2101.rel NDRPDR iter RND env 6
408
409     plot-dpdk-throughput-latency-2n-zn2:
410       csit-dpdk-perf-report-iterative-2101-2n-zn2:
411         - 11  # rls2101 NDRPDR iter env 6
412         - 12  # rls2101 NDRPDR iter env 6
413         - 13  # rls2101 NDRPDR iter env 6
414         - 14  # rls2101 NDRPDR iter env 6
415         - 16  # rls2101 NDRPDR iter env 6
416         - 17  # rls2101 NDRPDR iter env 6
417         - 18  # rls2101 NDRPDR iter env 6
418         - 19  # rls2101 NDRPDR iter env 6
419         - 20  # rls2101 NDRPDR iter env 6
420         - 21  # rls2101 NDRPDR iter env 6
421
422     plot-dpdk-hdrh-lat-2n-zn2:
423       csit-dpdk-perf-report-iterative-2101-2n-zn2:
424         - 11  # rls2101 NDRPDR iter env 6
425
426     # 2n-clx
427
428     plot-vpp-throughput-lat-tsa-2n-clx:
429       csit-vpp-perf-report-iterative-2101-2n-clx:
430         - 54  # rls2101.rel NDRPDR iter env 6
431         - 59  # rls2101.rel NDRPDR iter env 6
432         - 60  # rls2101.rel NDRPDR iter env 6
433         - 63  # rls2101.rel NDRPDR iter env 6
434         - 66  # rls2101.rel NDRPDR iter env 6
435         - 68  # rls2101.rel NDRPDR iter env 6
436         - 73  # rls2101.rel NDRPDR iter env 6
437         - 75  # rls2101.rel NDRPDR iter env 6
438
439     plot-vpp-hdrh-lat-2n-clx:
440       csit-vpp-perf-report-iterative-2101-2n-clx:
441         - 75  # rls2101.rel NDRPDR iter env 6
442
443 #     plot-vpp-hdrh-lat-2n-clx-rnd:
444 #       csit-vpp-perf-report-iterative-2101-2n-clx:
445 #         -
446
447     plot-vpp-nfv-2n-clx-ndrpdr:
448       csit-vpp-perf-report-iterative-2101-2n-clx:
449         - 57  # rls2101.rel NDRPDR nf-density iter env 6
450         - 62  # rls2101.rel NDRPDR nf-density iter env 6
451         - 70  # rls2101.rel NDRPDR nf-density iter env 6
452         - 71  # rls2101.rel NDRPDR nf-density iter env 6
453         - 82  # rls2101.rel NDRPDR nf-density iter env 6
454
455     plot-vpp-nfv-2n-clx-mrr:
456       csit-vpp-perf-report-iterative-2101-2n-clx:
457         - 72  # rls2101.rel MRR nf-density iter env 6
458
459     plot-vpp-nfv-reconf-2n-clx:
460       csit-vpp-perf-report-iterative-2101-2n-clx:
461         - 55  # rls2101.rel NDRPDR reconf iter env 6
462         - 64  # rls2101.rel NDRPDR reconf iter env 6
463         - 76  # rls2101.rel NDRPDR reconf iter env 6
464
465     plot-vpp-soak-2n-clx:
466       csit-vpp-perf-report-iterative-2101-2n-clx:
467         - 58  # rls2101.rel soak env 6
468         - 61  # rls2101.rel soak env 6
469
470     plot-dpdk-throughput-latency-2n-clx:
471       csit-dpdk-perf-report-iterative-2101-2n-clx:
472         - 12  # rls2101 NDRPDR iter env 6
473         - 13  # rls2101 NDRPDR iter env 6
474         - 14  # rls2101 NDRPDR iter env 6
475         - 18  # rls2101 NDRPDR iter env 6
476         - 22  # rls2101 NDRPDR iter env 6
477
478     plot-dpdk-hdrh-lat-2n-clx:
479       csit-dpdk-perf-report-iterative-2101-2n-clx:
480         - 12  # rls2101 NDRPDR iter env 6
481
482     # 3n-tsh
483
484     plot-vpp-throughput-lat-tsa-3n-tsh:
485       csit-vpp-perf-report-iterative-2101-3n-tsh:
486         - 23  # rls2101.rel NDRPDR iter env 6
487         - 24  # rls2101.rel NDRPDR iter env 6
488         - 25  # rls2101.rel NDRPDR iter env 6
489         - 26  # rls2101.rel NDRPDR iter env 6
490         - 27  # rls2101.rel NDRPDR iter env 6
491         - 28  # rls2101.rel NDRPDR iter env 6
492
493     plot-vpp-hdrh-lat-3n-tsh:
494       csit-vpp-perf-report-iterative-2101-3n-tsh:
495         - 23  # rls2101.rel NDRPDR iter env 6
496
497     plot-dpdk-throughput-latency-3n-tsh:
498       csit-dpdk-perf-report-iterative-2101-3n-tsh:
499         - 11  # rls2101 NDRPDR iter env 6
500         - 12  # rls2101 NDRPDR iter env 6
501         - 13  # rls2101 NDRPDR iter env 6
502         - 14  # rls2101 NDRPDR iter env 6
503         - 16  # rls2101 NDRPDR iter env 6
504         - 17  # rls2101 NDRPDR iter env 6
505         - 18  # rls2101 NDRPDR iter env 6
506         - 19  # rls2101 NDRPDR iter env 6
507         - 20  # rls2101 NDRPDR iter env 6
508         - 21  # rls2101 NDRPDR iter env 6
509
510     plot-dpdk-hdrh-lat-3n-tsh:
511       csit-dpdk-perf-report-iterative-2101-3n-tsh:
512         - 21  # rls2101 NDRPDR iter env 6
513
514     # 2n-tx2
515
516     plot-vpp-throughput-lat-tsa-2n-tx2:
517       csit-vpp-perf-report-iterative-2101-2n-tx2:
518         - 22  # rls2101.rel NDRPDR iter env 6
519         - 23  # rls2101.rel NDRPDR iter env 6
520         - 24  # rls2101.rel NDRPDR iter env 6
521         - 25  # rls2101.rel NDRPDR iter env 6
522         - 26  # rls2101.rel NDRPDR iter env 6
523         - 27  # rls2101.rel NDRPDR iter env 6
524         - 28  # rls2101.rel NDRPDR iter env 6
525         - 29  # rls2101.rel NDRPDR iter env 6
526         - 30  # rls2101.rel NDRPDR iter env 6
527         - 31  # rls2101.rel NDRPDR iter env 6
528
529     plot-vpp-hdrh-lat-2n-tx2:
530       csit-vpp-perf-report-iterative-2101-2n-tx2:
531         - 29  # rls2101.rel NDRPDR iter env 6
532
533     plot-dpdk-throughput-latency-2n-tx2:
534       csit-dpdk-perf-report-iterative-2101-2n-tx2:
535         - 4   # rls2101 NDRPDR iter env 6
536         - 6   # rls2101 NDRPDR iter env 6
537         - 7   # rls2101 NDRPDR iter env 6
538         - 8   # rls2101 NDRPDR iter env 6
539         - 9   # rls2101 NDRPDR iter env 6
540         - 10  # rls2101 NDRPDR iter env 6
541         - 11  # rls2101 NDRPDR iter env 6
542         - 12  # rls2101 NDRPDR iter env 6
543         - 13  # rls2101 NDRPDR iter env 6
544         - 14  # rls2101 NDRPDR iter env 6
545
546     plot-dpdk-hdrh-lat-2n-tx2:
547       csit-dpdk-perf-report-iterative-2101-2n-tx2:
548         - 4   # rls2101 NDRPDR iter env 6
549
550     # 3n-dnv
551
552     plot-vpp-throughput-lat-tsa-3n-dnv:
553       csit-vpp-perf-report-iterative-2101-3n-dnv:
554         - 33  # rls2101.rel NDRPDR iter env 6
555         - 34  # rls2101.rel NDRPDR iter env 6
556         - 35  # rls2101.rel NDRPDR iter env 6
557         - 36  # rls2101.rel NDRPDR iter env 6
558         - 37  # rls2101.rel NDRPDR iter env 6
559         - 38  # rls2101.rel NDRPDR iter env 6
560         - 39  # rls2101.rel NDRPDR iter env 6
561         - 40  # rls2101.rel NDRPDR iter env 6
562         - 41  # rls2101.rel NDRPDR iter env 6
563         - 42  # rls2101.rel NDRPDR iter env 6
564         - 43  # rls2101.rel NDRPDR iter RND env 6
565         - 44  # rls2101.rel NDRPDR iter RND env 6
566         - 45  # rls2101.rel NDRPDR iter RND env 6
567         - 46  # rls2101.rel NDRPDR iter RND env 6
568         - 47  # rls2101.rel NDRPDR iter RND env 6
569         - 48  # rls2101.rel NDRPDR iter RND env 6
570         - 49  # rls2101.rel NDRPDR iter RND env 6
571         - 50  # rls2101.rel NDRPDR iter RND env 6
572         - 51  # rls2101.rel NDRPDR iter RND env 6
573         - 52  # rls2101.rel NDRPDR iter RND env 6
574
575 #    plot-dpdk-throughput-latency-3n-dnv:
576 #      # No data
577 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
578
579     # 2n-dnv
580
581     plot-vpp-throughput-lat-tsa-2n-dnv:
582       csit-vpp-perf-report-iterative-2101-2n-dnv:
583         - 32  # rls2101.rel NDRPDR iter env 6
584         - 33  # rls2101.rel NDRPDR iter env 6
585         - 34  # rls2101.rel NDRPDR iter env 6
586         - 35  # rls2101.rel NDRPDR iter env 6
587         - 39  # rls2101.rel NDRPDR iter env 6
588         - 41  # rls2101.rel NDRPDR iter env 6
589         - 42  # rls2101.rel NDRPDR iter env 6
590         - 43  # rls2101.rel NDRPDR iter env 6
591         - 44  # rls2101.rel NDRPDR iter env 6
592         - 45  # rls2101.rel NDRPDR iter env 6
593         - 46  # rls2101.rel NDRPDR iter RND env 6
594         - 47  # rls2101.rel NDRPDR iter RND env 6
595         - 48  # rls2101.rel NDRPDR iter RND env 6
596         - 49  # rls2101.rel NDRPDR iter RND env 6
597         - 50  # rls2101.rel NDRPDR iter RND env 6
598         - 51  # rls2101.rel NDRPDR iter RND env 6
599         - 52  # rls2101.rel NDRPDR iter RND env 6
600         - 53  # rls2101.rel NDRPDR iter RND env 6
601         - 54  # rls2101.rel NDRPDR iter RND env 6
602         - 55  # rls2101.rel NDRPDR iter RND env 6
603
604 #    plot-dpdk-throughput-latency-2n-dnv:
605 #      # No data
606 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
607
608     ###########################################################################
609     # Simple tables (only one data set):
610
611     # NIC Comparisons
612
613     vpp-nic-comparison-3n-skx:
614       csit-vpp-perf-report-iterative-2101-3n-skx:
615         - 36  # rls2101.rel NDRPDR iter env 6
616         - 37  # rls2101.rel NDRPDR iter env 6
617         - 38  # rls2101.rel NDRPDR iter env 6
618         - 39  # rls2101.rel NDRPDR iter env 6
619         - 40  # rls2101.rel NDRPDR iter env 6
620         - 41  # rls2101.rel NDRPDR iter env 6
621         - 42  # rls2101.rel NDRPDR iter env 6
622         - 47  # rls2101.rel NDRPDR iter env 6
623         - 48  # rls2101.rel NDRPDR iter env 6
624
625     vpp-nic-comparison-2n-skx:
626       csit-vpp-perf-report-iterative-2101-2n-skx:
627         - 63  # rls2101.rel NDRPDR iter env 6
628         - 69  # rls2101.rel NDRPDR iter env 6
629         - 70  # rls2101.rel NDRPDR iter env 6
630         - 75  # rls2101.rel NDRPDR iter env 6
631         - 76  # rls2101.rel NDRPDR iter env 6
632         - 77  # rls2101.rel NDRPDR iter env 6
633         - 82  # rls2101.rel NDRPDR iter env 6
634         - 85  # rls2101.rel NDRPDR iter env 6
635         - 86  # rls2101.rel NDRPDR iter env 6
636         - 94  # rls2101.rel NDRPDR iter env 6
637         - 89  # rls2101.rel NDRPDR iter RND env 6
638         - 90  # rls2101.rel NDRPDR iter RND env 6
639         - 91  # rls2101.rel NDRPDR iter RND env 6
640         - 92  # rls2101.rel NDRPDR iter RND env 6
641         - 93  # rls2101.rel NDRPDR iter RND env 6
642         - 96  # rls2101.rel NDRPDR iter RND env 6
643         - 98  # rls2101.rel NDRPDR iter RND env 6
644         - 99  # rls2101.rel NDRPDR iter RND env 6
645         - 101 # rls2101.rel NDRPDR iter RND env 6
646         - 102 # rls2101.rel NDRPDR iter RND env 6
647
648     vpp-nic-comparison-3n-skx-mrr:
649       csit-vpp-perf-report-iterative-2101-3n-skx:
650         - 35  # rls2101.rel MRR iter env 6
651
652     vpp-nic-comparison-2n-skx-mrr:
653       csit-vpp-perf-report-iterative-2101-2n-skx:
654         - 62  # rls2101.rel MRR iter env 6
655
656     # Results
657
658     vpp-perf-results-3n-hsw:
659       csit-vpp-perf-report-coverage-2101-3n-hsw:
660         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
661         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
662         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
663         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
664         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
665         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
666         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
667         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
668         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
669         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
670         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
671         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
672         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
673         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
674         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
675         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
676         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
677         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
678         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
679         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
680         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
681         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
682         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
683         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
684         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
685         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
686         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
687         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
688         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
689         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
690         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
691         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
692         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
693         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
694         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
695
696     vpp-perf-results-3n-skx:
697       # csit-vpp-perf-report-coverage-2101-3n-skx:
698       csit-vpp-perf-report-iterative-2101-3n-skx:
699         - 36  # rls2101.rel NDRPDR iter env 6
700
701     vpp-perf-results-2n-skx:
702       # csit-vpp-perf-report-coverage-2101-2n-skx:
703       csit-vpp-perf-report-iterative-2101-2n-skx:
704         - 94  # rls2101.rel NDRPDR iter env 6
705
706     vpp-perf-results-2n-zn2:
707       csit-vpp-perf-report-iterative-2101-2n-zn2:
708         - 31  # rls2101.rel NDRPDR iter env 6
709
710     vpp-perf-results-2n-clx:
711       # csit-vpp-perf-report-coverage-2101-2n-clx:
712       csit-vpp-perf-report-iterative-2101-2n-clx:
713         - 75  # rls2101.rel NDRPDR iter env 6
714
715     vpp-perf-results-3n-tsh:
716       csit-vpp-perf-report-iterative-2101-3n-tsh:
717         - 23  # rls2101.rel NDRPDR iter env 6
718
719     vpp-perf-results-2n-tx2:
720       csit-vpp-perf-report-iterative-2101-2n-tx2:
721         - 29  # rls2101.rel NDRPDR iter env 6
722
723     vpp-perf-results-3n-dnv:
724       csit-vpp-perf-report-coverage-2101-3n-dnv:
725         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
726         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
727         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
728         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
729         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
730         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
731         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
732         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
733         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
734
735     vpp-perf-results-2n-dnv:
736       csit-vpp-perf-report-coverage-2101-2n-dnv:
737         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
738         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
739         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
740         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
741         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
742         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
743
744     vpp-mrr-results-3n-hsw:
745       csit-vpp-perf-report-iterative-2101-3n-hsw:
746         - 63  # rls2101.rel MRR iter env 6
747
748     vpp-mrr-results-3n-skx:
749       csit-vpp-perf-report-iterative-2101-3n-skx:
750         - 35  # rls2101.rel MRR iter env 6
751
752     vpp-mrr-results-2n-skx:
753       csit-vpp-perf-report-iterative-2101-2n-skx:
754         - 62  # rls2101.rel MRR iter env 6
755
756     vpp-mrr-results-2n-zn2:
757       csit-vpp-perf-report-iterative-2101-2n-zn2:
758         - 30  # rls2101.rel MRR iter env 6
759
760     vpp-mrr-results-2n-clx:
761       csit-vpp-perf-report-iterative-2101-2n-clx:
762         - 53  # rls2101.rel MRR iter env 6
763
764     vpp-mrr-results-3n-tsh:
765       csit-vpp-perf-report-iterative-2101-3n-tsh:
766         - 22  # rls2101.rel MRR iter env 6
767
768     vpp-mrr-results-2n-tx2:
769       csit-vpp-perf-report-iterative-2101-2n-tx2:
770         - 21  # rls2101.rel MRR iter env 6
771
772     vpp-mrr-results-3n-dnv:
773       csit-vpp-perf-report-iterative-2101-3n-dnv:
774         - 32  # rls2101.rel MRR iter env 6
775
776     vpp-mrr-results-2n-dnv:
777       csit-vpp-perf-report-iterative-2101-2n-dnv:
778         - 31  # rls2101.rel MRR iter env 6
779
780     vpp-device-results-ubuntu:
781       csit-vpp-device-2101-ubuntu1804-1n-skx:
782         - 358  # rls2101.rel VPP DEV env 6
783
784     dpdk-perf-results-3n-hsw:
785       csit-dpdk-perf-report-iterative-2101-3n-hsw:
786         - 11  # rls2101 NDRPDR iter env 6
787
788     dpdk-perf-results-3n-skx:
789       csit-dpdk-perf-report-iterative-2101-3n-skx:
790         - 12  # rls2101 NDRPDR iter env 6
791
792     dpdk-perf-results-2n-skx:
793       csit-dpdk-perf-report-iterative-2101-2n-skx:
794         - 11  # rls2101 NDRPDR iter env 6
795
796     dpdk-perf-results-2n-zn2:
797       csit-dpdk-perf-report-iterative-2101-2n-zn2:
798         - 11  # rls2101 NDRPDR iter env 6
799
800     dpdk-perf-results-2n-clx:
801       csit-dpdk-perf-report-iterative-2101-2n-clx:
802         - 12  # rls2101 NDRPDR iter env 6
803
804 #    dpdk-perf-results-2n-dnv:
805 #      # No data
806 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
807
808 #    dpdk-perf-results-3n-dnv:
809 #      # No data
810 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
811
812     dpdk-perf-results-3n-tsh:
813       csit-dpdk-perf-report-iterative-2101-3n-tsh:
814         - 21  # rls2101 NDRPDR iter env 6
815
816     dpdk-perf-results-2n-tx2:
817       csit-dpdk-perf-report-iterative-2101-2n-tx2:
818         - 4   # rls2101 NDRPDR iter env 6
819
820 ###########################################################################
821     # Tables (more than one data set)
822
823     # Performance changes
824
825     vpp-performance-changes-3n-hsw-h1:
826       csit-vpp-perf-report-iterative-2009-3n-hsw:
827         - 9   # rls2005 NDRPDR iter env 5
828         - 10  # rls2005 NDRPDR iter env 5
829         - 11  # rls2005 NDRPDR iter env 5
830         - 12  # rls2005 NDRPDR iter env 5
831         - 13  # rls2005 NDRPDR iter env 5
832         - 14  # rls2005 NDRPDR iter env 5
833         - 15  # rls2005 NDRPDR iter env 5
834         - 16  # rls2005 NDRPDR iter env 5
835         - 17  # rls2005 NDRPDR iter env 5
836         - 19  # rls2005 NDRPDR iter env 5
837     vpp-performance-changes-3n-hsw-ref-env-old:
838       csit-vpp-perf-report-iterative-2009-3n-hsw:
839         - 21  # rls2009 NDRPDR iter env 5
840         - 22  # rls2009 NDRPDR iter env 5
841         - 24  # rls2009 NDRPDR iter env 5
842         - 25  # rls2009 NDRPDR iter env 5
843         - 26  # rls2009 NDRPDR iter env 5
844         - 27  # rls2009 NDRPDR iter env 5
845         - 28  # rls2009 NDRPDR iter env 5
846         - 29  # rls2009 NDRPDR iter env 5
847         - 30  # rls2009 NDRPDR iter env 5
848         - 31  # rls2009 NDRPDR iter env 5
849     vpp-performance-changes-3n-hsw-ref-env-new:
850       csit-vpp-perf-report-iterative-2101-3n-hsw:
851         - 19  # rls2009 NDRPDR iter env 6
852         - 20  # rls2009 NDRPDR iter env 6
853         - 21  # rls2009 NDRPDR iter env 6
854         - 22  # rls2009 NDRPDR iter env 6
855         - 23  # rls2009 NDRPDR iter env 6
856         - 24  # rls2009 NDRPDR iter env 6
857         - 25  # rls2009 NDRPDR iter env 6
858         - 26  # rls2009 NDRPDR iter env 6
859         - 27  # rls2009 NDRPDR iter env 6
860         - 28  # rls2009 NDRPDR iter env 6
861     vpp-performance-changes-3n-hsw-cmp:
862       csit-vpp-perf-report-iterative-2101-3n-hsw:
863         - 64  # rls2101.rel NDRPDR iter env 6
864         - 71  # rls2101.rel NDRPDR iter env 6
865         - 73  # rls2101.rel NDRPDR iter env 6
866         - 74  # rls2101.rel NDRPDR iter env 6
867         - 80  # rls2101.rel NDRPDR iter env 6
868         - 81  # rls2101.rel NDRPDR iter env 6
869         - 82  # rls2101.rel NDRPDR iter env 6
870         - 83  # rls2101.rel NDRPDR iter env 6
871         - 88  # rls2101.rel NDRPDR iter env 6
872         - 89  # rls2101.rel NDRPDR iter env 6
873         - 128 # rls2101.rel NDRPDR iter RND env 6
874         - 129 # rls2101.rel NDRPDR iter RND env 6
875         - 130 # rls2101.rel NDRPDR iter RND env 6
876         - 131 # rls2101.rel NDRPDR iter RND env 6
877         - 132 # rls2101.rel NDRPDR iter RND env 6
878         - 133 # rls2101.rel NDRPDR iter RND env 6
879         - 134 # rls2101.rel NDRPDR iter RND env 6
880         - 135 # rls2101.rel NDRPDR iter RND env 6
881         - 136 # rls2101.rel NDRPDR iter RND env 6
882         - 137 # rls2101.rel NDRPDR iter RND env 6
883
884     vpp-performance-changes-3n-skx-h1:
885       csit-vpp-perf-report-iterative-2009-3n-skx:
886         - 13  # rls2005 NDRPDR iter env 5
887         - 18  # rls2005 NDRPDR iter env 5
888         - 19  # rls2005 NDRPDR iter env 5
889         - 41  # rls2005 NDRPDR iter env 5
890         - 43  # rls2005 NDRPDR iter env 5
891         - 44  # rls2005 NDRPDR iter env 5
892         - 45  # rls2005 NDRPDR iter env 5
893         - 46  # rls2005 NDRPDR iter env 5
894         - 48  # rls2005 NDRPDR iter env 5
895         - 49  # rls2005 NDRPDR iter env 5
896     vpp-performance-changes-3n-skx-ref-env-old:
897       csit-vpp-perf-report-iterative-2009-3n-skx:
898         - 26  # rls2009 NDRPDR iter env 5
899         - 27  # rls2009 NDRPDR iter env 5
900         - 28  # rls2009 NDRPDR iter env 5
901         - 29  # rls2009 NDRPDR iter env 5
902         - 35  # rls2009 NDRPDR iter env 5
903         - 36  # rls2009 NDRPDR iter env 5
904         - 37  # rls2009 NDRPDR iter env 5
905         - 38  # rls2009 NDRPDR iter env 5
906         - 39  # rls2009 NDRPDR iter env 5
907         - 40  # rls2009 NDRPDR iter env 5
908     vpp-performance-changes-3n-skx-ref-env-new:
909       csit-vpp-perf-report-iterative-2101-3n-skx:
910         - 14  # rls2009 NDRPDR iter env 6
911         - 15  # rls2009 NDRPDR iter env 6
912         - 16  # rls2009 NDRPDR iter env 6
913         - 17  # rls2009 NDRPDR iter env 6
914         - 18  # rls2009 NDRPDR iter env 6
915         - 25  # rls2009 NDRPDR iter env 6
916         - 26  # rls2009 NDRPDR iter env 6
917         - 27  # rls2009 NDRPDR iter env 6
918         - 29  # rls2009 NDRPDR iter env 6
919         - 31  # rls2009 NDRPDR iter env 6
920     vpp-performance-changes-3n-skx-cmp:
921       csit-vpp-perf-report-iterative-2101-3n-skx:
922         - 36  # rls2101.rel NDRPDR iter env 6
923         - 37  # rls2101.rel NDRPDR iter env 6
924         - 38  # rls2101.rel NDRPDR iter env 6
925         - 39  # rls2101.rel NDRPDR iter env 6
926         - 40  # rls2101.rel NDRPDR iter env 6
927         - 41  # rls2101.rel NDRPDR iter env 6
928         - 42  # rls2101.rel NDRPDR iter env 6
929         - 47  # rls2101.rel NDRPDR iter env 6
930         - 48  # rls2101.rel NDRPDR iter env 6
931
932     vpp-performance-changes-2n-skx-h1:
933       csit-vpp-perf-report-iterative-2009-2n-skx:
934         - 13  # rls2005 NDRPDR iter env 5
935         - 16  # rls2005 NDRPDR iter env 5
936         - 17  # rls2005 NDRPDR iter env 5
937         - 18  # rls2005 NDRPDR iter env 5
938         - 19  # rls2005 NDRPDR iter env 5
939         - 21  # rls2005 NDRPDR iter env 5
940         - 22  # rls2005 NDRPDR iter env 5
941         - 23  # rls2005 NDRPDR iter env 5
942         - 24  # rls2005 NDRPDR iter env 5
943         - 25  # rls2005 NDRPDR iter env 5
944     vpp-performance-changes-2n-skx-ref-env-old:
945       csit-vpp-perf-report-iterative-2009-2n-skx:
946         - 35  # rls2009 NDRPDR iter env 5
947         - 36  # rls2009 NDRPDR iter env 5
948         - 37  # rls2009 NDRPDR iter env 5
949         - 39  # rls2009 NDRPDR iter env 5
950         - 40  # rls2009 NDRPDR iter env 5
951         - 42  # rls2009 NDRPDR iter env 5
952         - 43  # rls2009 NDRPDR iter env 5
953         - 44  # rls2009 NDRPDR iter env 5
954         - 46  # rls2009 NDRPDR iter env 5
955         - 48  # rls2009 NDRPDR iter env 5
956         - 110 # rls2009 NDRPDR iter NAT44 env 5
957         - 111 # rls2009 NDRPDR iter NAT44 env 5
958         - 112 # rls2009 NDRPDR iter NAT44 env 5
959         - 113 # rls2009 NDRPDR iter NAT44 env 5
960         - 114 # rls2009 NDRPDR iter NAT44 env 5
961         - 115 # rls2009 NDRPDR iter NAT44 env 5
962         - 116 # rls2009 NDRPDR iter NAT44 env 5
963         - 118 # rls2009 NDRPDR iter NAT44 env 5
964         - 119 # rls2009 NDRPDR iter NAT44 env 5
965         - 121 # rls2009 NDRPDR iter NAT44 env 5
966     vpp-performance-changes-2n-skx-ref-env-new:
967       csit-vpp-perf-report-iterative-2101-2n-skx:
968         - 22  # rls2009 NDRPDR iter env 6
969         - 23  # rls2009 NDRPDR iter env 6
970         - 24  # rls2009 NDRPDR iter env 6
971         - 25  # rls2009 NDRPDR iter env 6
972         - 26  # rls2009 NDRPDR iter env 6
973         - 28  # rls2009 NDRPDR iter env 6
974         - 39  # rls2009 NDRPDR iter env 6
975         - 40  # rls2009 NDRPDR iter env 6
976         - 41  # rls2009 NDRPDR iter env 6
977         - 44  # rls2009 NDRPDR iter env 6
978     vpp-performance-changes-2n-skx-cmp:
979       csit-vpp-perf-report-iterative-2101-2n-skx:
980         - 63  # rls2101.rel NDRPDR iter env 6
981         - 69  # rls2101.rel NDRPDR iter env 6
982         - 70  # rls2101.rel NDRPDR iter env 6
983         - 75  # rls2101.rel NDRPDR iter env 6
984         - 76  # rls2101.rel NDRPDR iter env 6
985         - 77  # rls2101.rel NDRPDR iter env 6
986         - 82  # rls2101.rel NDRPDR iter env 6
987         - 85  # rls2101.rel NDRPDR iter env 6
988         - 86  # rls2101.rel NDRPDR iter env 6
989         - 94  # rls2101.rel NDRPDR iter env 6
990         - 89  # rls2101.rel NDRPDR iter RND env 6
991         - 90  # rls2101.rel NDRPDR iter RND env 6
992         - 91  # rls2101.rel NDRPDR iter RND env 6
993         - 92  # rls2101.rel NDRPDR iter RND env 6
994         - 93  # rls2101.rel NDRPDR iter RND env 6
995         - 96  # rls2101.rel NDRPDR iter RND env 6
996         - 98  # rls2101.rel NDRPDR iter RND env 6
997         - 99  # rls2101.rel NDRPDR iter RND env 6
998         - 101 # rls2101.rel NDRPDR iter RND env 6
999         - 102 # rls2101.rel NDRPDR iter RND env 6
1000
1001     vpp-performance-changes-2n-clx-h1:
1002       csit-vpp-perf-report-iterative-2009-2n-clx:
1003         - 13  # rls2005 NDRPDR iter env 5
1004         - 15  # rls2005 NDRPDR iter env 5
1005         - 17  # rls2005 NDRPDR iter env 5
1006         - 18  # rls2005 NDRPDR iter env 5
1007         - 19  # rls2005 NDRPDR iter env 5
1008         - 20  # rls2005 NDRPDR iter env 5
1009         - 21  # rls2005 NDRPDR iter env 5
1010         - 22  # rls2005 NDRPDR iter env 5
1011         - 23  # rls2005 NDRPDR iter env 5
1012         - 24  # rls2005 NDRPDR iter env 5
1013     vpp-performance-changes-2n-clx-ref-env-old:
1014       csit-vpp-perf-report-iterative-2009-2n-clx:
1015         - 36  # rls2009 NDRPDR iter env 5
1016         - 39  # rls2009 NDRPDR iter env 5
1017         - 40  # rls2009 NDRPDR iter env 5
1018         - 65  # rls2009 NDRPDR iter env 5
1019         - 66  # rls2009 NDRPDR iter env 5
1020         - 79  # rls2009 NDRPDR iter env 5
1021         - 82  # rls2009 NDRPDR iter env 5
1022         - 88  # rls2009 NDRPDR iter env 5
1023         - 89  # rls2009 NDRPDR iter env 5
1024         - 90  # rls2009 NDRPDR iter env 5
1025         - 114 # rls2009 NDRPDR iter NAT44 env 5
1026         - 115 # rls2009 NDRPDR iter NAT44 env 5
1027         - 116 # rls2009 NDRPDR iter NAT44 env 5
1028         - 117 # rls2009 NDRPDR iter NAT44 env 5
1029         - 118 # rls2009 NDRPDR iter NAT44 env 5
1030         - 119 # rls2009 NDRPDR iter NAT44 env 5
1031         - 121 # rls2009 NDRPDR iter NAT44 env 5
1032         - 122 # rls2009 NDRPDR iter NAT44 env 5
1033         - 123 # rls2009 NDRPDR iter NAT44 env 5
1034         - 126 # rls2009 NDRPDR iter NAT44 env 5
1035     vpp-performance-changes-2n-clx-ref-env-new:
1036       csit-vpp-perf-report-iterative-2101-2n-clx:
1037         - 16  # rls2009 NDRPDR iter env 6
1038         - 17  # rls2009 NDRPDR iter env 6
1039         - 18  # rls2009 NDRPDR iter env 6
1040         - 19  # rls2009 NDRPDR iter env 6
1041         - 20  # rls2009 NDRPDR iter env 6
1042         - 21  # rls2009 NDRPDR iter env 6
1043         - 32  # rls2009 NDRPDR iter env 6
1044         - 33  # rls2009 NDRPDR iter env 6
1045         - 34  # rls2009 NDRPDR iter env 6
1046         - 35  # rls2009 NDRPDR iter env 6
1047     vpp-performance-changes-2n-clx-cmp:
1048       csit-vpp-perf-report-iterative-2101-2n-clx:
1049         - 54  # rls2101.rel NDRPDR iter env 6
1050         - 59  # rls2101.rel NDRPDR iter env 6
1051         - 60  # rls2101.rel NDRPDR iter env 6
1052         - 63  # rls2101.rel NDRPDR iter env 6
1053         - 66  # rls2101.rel NDRPDR iter env 6
1054         - 68  # rls2101.rel NDRPDR iter env 6
1055         - 73  # rls2101.rel NDRPDR iter env 6
1056         - 75  # rls2101.rel NDRPDR iter env 6
1057
1058     vpp-performance-changes-2n-zn2-ref-env-old:
1059       csit-vpp-perf-report-iterative-2009-2n-zn2:
1060         - 17  # rls2009 NDRPDR iter env 5
1061         - 18  # rls2009 NDRPDR iter env 5
1062         - 31  # rls2009 NDRPDR iter env 5
1063         - 33  # rls2009 NDRPDR iter env 5
1064         - 34  # rls2009 NDRPDR iter env 5
1065     vpp-performance-changes-2n-zn2-ref-env-new:
1066       csit-vpp-perf-report-iterative-2101-2n-zn2:
1067         - 9   # rls2009 NDRPDR iter env 6
1068         - 10  # rls2009 NDRPDR iter env 6
1069         - 11  # rls2009 NDRPDR iter env 6
1070         - 12  # rls2009 NDRPDR iter env 6
1071         - 13  # rls2009 NDRPDR iter env 6
1072         - 20  # rls2009 NDRPDR iter env 6
1073         - 21  # rls2009 NDRPDR iter env 6
1074         - 22  # rls2009 NDRPDR iter env 6
1075         - 25  # rls2009 NDRPDR iter env 6
1076         - 26  # rls2009 NDRPDR iter env 6
1077     vpp-performance-changes-2n-zn2-cmp:
1078       csit-vpp-perf-report-iterative-2101-2n-zn2:
1079         - 31  # rls2101.rel NDRPDR iter env 6
1080         - 32  # rls2101.rel NDRPDR iter env 6
1081         - 33  # rls2101.rel NDRPDR iter env 6
1082         - 34  # rls2101.rel NDRPDR iter env 6
1083         - 35  # rls2101.rel NDRPDR iter env 6
1084         - 37  # rls2101.rel NDRPDR iter env 6
1085         - 38  # rls2101.rel NDRPDR iter env 6
1086         - 40  # rls2101.rel NDRPDR iter RND env 6
1087         - 41  # rls2101.rel NDRPDR iter RND env 6
1088         - 42  # rls2101.rel NDRPDR iter RND env 6
1089         - 43  # rls2101.rel NDRPDR iter RND env 6
1090         - 45  # rls2101.rel NDRPDR iter RND env 6
1091
1092     vpp-performance-changes-2n-dnv-h1:
1093       csit-vpp-perf-report-iterative-2009-2n-dnv:
1094         - 16  # rls2005 NDRPDR iter env 5
1095         - 17  # rls2005 NDRPDR iter env 5
1096         - 18  # rls2005 NDRPDR iter env 5
1097         - 19  # rls2005 NDRPDR iter env 5
1098         - 21  # rls2005 NDRPDR iter env 5
1099         - 24  # rls2005 NDRPDR iter env 5
1100         - 27  # rls2005 NDRPDR iter env 5
1101         - 28  # rls2005 NDRPDR iter env 5
1102         - 29  # rls2005 NDRPDR iter env 5
1103         - 30  # rls2005 NDRPDR iter env 5
1104     vpp-performance-changes-2n-dnv-ref-env-old:
1105       csit-vpp-perf-report-iterative-2009-2n-dnv:
1106         - 3   # rls2009 NDRPDR iter env 5
1107         - 5   # rls2009 NDRPDR iter env 5
1108         - 6   # rls2009 NDRPDR iter env 5
1109         - 7   # rls2009 NDRPDR iter env 5
1110         - 9   # rls2009 NDRPDR iter env 5
1111         - 10  # rls2009 NDRPDR iter env 5
1112         - 11  # rls2009 NDRPDR iter env 5
1113         - 12  # rls2009 NDRPDR iter env 5
1114         - 14  # rls2009 NDRPDR iter env 5
1115         - 15  # rls2009 NDRPDR iter env 5
1116     vpp-performance-changes-2n-dnv-ref-env-new:
1117       # TODO: Re-test in new env
1118       csit-vpp-perf-report-iterative-2009-2n-dnv:
1119         - 3   # rls2009 NDRPDR iter env 5
1120         - 5   # rls2009 NDRPDR iter env 5
1121         - 6   # rls2009 NDRPDR iter env 5
1122         - 7   # rls2009 NDRPDR iter env 5
1123         - 9   # rls2009 NDRPDR iter env 5
1124         - 10  # rls2009 NDRPDR iter env 5
1125         - 11  # rls2009 NDRPDR iter env 5
1126         - 12  # rls2009 NDRPDR iter env 5
1127         - 14  # rls2009 NDRPDR iter env 5
1128         - 15  # rls2009 NDRPDR iter env 5
1129     vpp-performance-changes-2n-dnv-cmp:
1130       csit-vpp-perf-report-iterative-2101-2n-dnv:
1131         - 32  # rls2101.rel NDRPDR iter env 6
1132         - 33  # rls2101.rel NDRPDR iter env 6
1133         - 34  # rls2101.rel NDRPDR iter env 6
1134         - 35  # rls2101.rel NDRPDR iter env 6
1135         - 39  # rls2101.rel NDRPDR iter env 6
1136         - 41  # rls2101.rel NDRPDR iter env 6
1137         - 42  # rls2101.rel NDRPDR iter env 6
1138         - 43  # rls2101.rel NDRPDR iter env 6
1139         - 44  # rls2101.rel NDRPDR iter env 6
1140         - 45  # rls2101.rel NDRPDR iter env 6
1141         - 46  # rls2101.rel NDRPDR iter RND env 6
1142         - 47  # rls2101.rel NDRPDR iter RND env 6
1143         - 48  # rls2101.rel NDRPDR iter RND env 6
1144         - 49  # rls2101.rel NDRPDR iter RND env 6
1145         - 50  # rls2101.rel NDRPDR iter RND env 6
1146         - 51  # rls2101.rel NDRPDR iter RND env 6
1147         - 52  # rls2101.rel NDRPDR iter RND env 6
1148         - 53  # rls2101.rel NDRPDR iter RND env 6
1149         - 54  # rls2101.rel NDRPDR iter RND env 6
1150         - 55  # rls2101.rel NDRPDR iter RND env 6
1151
1152     vpp-performance-changes-3n-dnv-h1:
1153       csit-vpp-perf-report-iterative-2009-3n-dnv:
1154         - 16  # rls2005 NDRPDR iter env 5
1155         - 23  # rls2005 NDRPDR iter env 5
1156         - 25  # rls2005 NDRPDR iter env 5
1157         - 26  # rls2005 NDRPDR iter env 5
1158         - 27  # rls2005 NDRPDR iter env 5
1159         - 28  # rls2005 NDRPDR iter env 5
1160         - 29  # rls2005 NDRPDR iter env 5
1161         - 30  # rls2005 NDRPDR iter env 5
1162         - 31  # rls2005 NDRPDR iter env 5
1163         - 32  # rls2005 NDRPDR iter env 5
1164     vpp-performance-changes-3n-dnv-ref-env-old:
1165       csit-vpp-perf-report-iterative-2009-3n-dnv:
1166         - 3   # rls2009 NDRPDR iter env 5
1167         - 6   # rls2009 NDRPDR iter env 5
1168         - 7   # rls2009 NDRPDR iter env 5
1169         - 8   # rls2009 NDRPDR iter env 5
1170         - 10  # rls2009 NDRPDR iter env 5
1171         - 11  # rls2009 NDRPDR iter env 5
1172         - 12  # rls2009 NDRPDR iter env 5
1173         - 14  # rls2009 NDRPDR iter env 5
1174         - 15  # rls2009 NDRPDR iter env 5
1175         - 24  # rls2009 NDRPDR iter env 5
1176     vpp-performance-changes-3n-dnv-ref-env-new:
1177       # TODO: Re-test in new env
1178       csit-vpp-perf-report-iterative-2009-3n-dnv:
1179         - 3   # rls2009 NDRPDR iter env 5
1180         - 6   # rls2009 NDRPDR iter env 5
1181         - 7   # rls2009 NDRPDR iter env 5
1182         - 8   # rls2009 NDRPDR iter env 5
1183         - 10  # rls2009 NDRPDR iter env 5
1184         - 11  # rls2009 NDRPDR iter env 5
1185         - 12  # rls2009 NDRPDR iter env 5
1186         - 14  # rls2009 NDRPDR iter env 5
1187         - 15  # rls2009 NDRPDR iter env 5
1188         - 24  # rls2009 NDRPDR iter env 5
1189     vpp-performance-changes-3n-dnv-cmp:
1190       csit-vpp-perf-report-iterative-2101-3n-dnv:
1191         - 33  # rls2101.rel NDRPDR iter env 6
1192         - 34  # rls2101.rel NDRPDR iter env 6
1193         - 35  # rls2101.rel NDRPDR iter env 6
1194         - 36  # rls2101.rel NDRPDR iter env 6
1195         - 37  # rls2101.rel NDRPDR iter env 6
1196         - 38  # rls2101.rel NDRPDR iter env 6
1197         - 39  # rls2101.rel NDRPDR iter env 6
1198         - 40  # rls2101.rel NDRPDR iter env 6
1199         - 41  # rls2101.rel NDRPDR iter env 6
1200         - 42  # rls2101.rel NDRPDR iter env 6
1201         - 43  # rls2101.rel NDRPDR iter RND env 6
1202         - 44  # rls2101.rel NDRPDR iter RND env 6
1203         - 45  # rls2101.rel NDRPDR iter RND env 6
1204         - 46  # rls2101.rel NDRPDR iter RND env 6
1205         - 47  # rls2101.rel NDRPDR iter RND env 6
1206         - 48  # rls2101.rel NDRPDR iter RND env 6
1207         - 49  # rls2101.rel NDRPDR iter RND env 6
1208         - 50  # rls2101.rel NDRPDR iter RND env 6
1209         - 51  # rls2101.rel NDRPDR iter RND env 6
1210         - 52  # rls2101.rel NDRPDR iter RND env 6
1211
1212     vpp-performance-changes-3n-tsh-h1:
1213       csit-vpp-perf-report-iterative-2009-3n-tsh:
1214         - 8   # rls2005 NDRPDR iter env 5
1215         - 11  # rls2005 NDRPDR iter env 5
1216         - 12  # rls2005 NDRPDR iter env 5
1217         - 24  # rls2005 NDRPDR iter env 5
1218         - 27  # rls2005 NDRPDR iter env 5
1219         - 29  # rls2005 NDRPDR iter env 5
1220         - 31  # rls2005 NDRPDR iter env 5
1221         - 39  # rls2005 NDRPDR iter env 5
1222         - 40  # rls2005 NDRPDR iter env 5
1223         - 42  # rls2005 NDRPDR iter env 5
1224     vpp-performance-changes-3n-tsh-ref-env-old:
1225       csit-vpp-perf-report-iterative-2009-3n-tsh:
1226         - 14  # rls2009 NDRPDR iter env 5
1227         - 20  # rls2009 NDRPDR iter env 5
1228         - 21  # rls2009 NDRPDR iter env 5
1229         - 22  # rls2009 NDRPDR iter env 5
1230         - 23  # rls2009 NDRPDR iter env 5
1231         - 28  # rls2009 NDRPDR iter env 5
1232         - 30  # rls2009 NDRPDR iter env 5
1233         - 33  # rls2009 NDRPDR iter env 5
1234         - 38  # rls2009 NDRPDR iter env 5
1235         - 41  # rls2009 NDRPDR iter env 5
1236     vpp-performance-changes-3n-tsh-ref-env-new:
1237       csit-vpp-perf-report-iterative-2101-3n-tsh:
1238         - 8   # rls2009 NDRPDR iter env 6
1239         - 13  # rls2009 NDRPDR iter env 6
1240         - 14  # rls2009 NDRPDR iter env 6
1241         - 15  # rls2009 NDRPDR iter env 6
1242         - 16  # rls2009 NDRPDR iter env 6
1243         - 17  # rls2009 NDRPDR iter env 6
1244         - 18  # rls2009 NDRPDR iter env 6
1245         - 19  # rls2009 NDRPDR iter env 6
1246         - 21  # rls2009 NDRPDR iter env 6
1247     vpp-performance-changes-3n-tsh-cmp:
1248       csit-vpp-perf-report-iterative-2101-3n-tsh:
1249         - 23  # rls2101.rel NDRPDR iter env 6
1250         - 24  # rls2101.rel NDRPDR iter env 6
1251         - 25  # rls2101.rel NDRPDR iter env 6
1252         - 26  # rls2101.rel NDRPDR iter env 6
1253         - 27  # rls2101.rel NDRPDR iter env 6
1254         - 28  # rls2101.rel NDRPDR iter env 6
1255
1256 #     vpp-performance-changes-2n-tx2-h1:
1257 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1258 #         -
1259 #     vpp-performance-changes-2n-tx2-ref-env-old:
1260 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1261 #         -
1262     vpp-performance-changes-2n-tx2-ref-env-new:
1263       csit-vpp-perf-report-iterative-2101-2n-tx2:
1264         - 6   # rls2009 NDRPDR iter env 6
1265         - 7   # rls2009 NDRPDR iter env 6
1266         - 11  # rls2009 NDRPDR iter env 6
1267         - 12  # rls2009 NDRPDR iter env 6
1268         - 13  # rls2009 NDRPDR iter env 6
1269         - 16  # rls2009 NDRPDR iter env 6
1270         - 17  # rls2009 NDRPDR iter env 6
1271         - 18  # rls2009 NDRPDR iter env 6
1272         - 19  # rls2009 NDRPDR iter env 6
1273         - 20  # rls2009 NDRPDR iter env 6
1274     vpp-performance-changes-2n-tx2-cmp:
1275       csit-vpp-perf-report-iterative-2101-2n-tx2:
1276         - 22  # rls2101.rel NDRPDR iter env 6
1277         - 23  # rls2101.rel NDRPDR iter env 6
1278         - 24  # rls2101.rel NDRPDR iter env 6
1279         - 25  # rls2101.rel NDRPDR iter env 6
1280         - 26  # rls2101.rel NDRPDR iter env 6
1281         - 27  # rls2101.rel NDRPDR iter env 6
1282         - 28  # rls2101.rel NDRPDR iter env 6
1283         - 29  # rls2101.rel NDRPDR iter env 6
1284         - 30  # rls2101.rel NDRPDR iter env 6
1285         - 31  # rls2101.rel NDRPDR iter env 6
1286
1287     vpp-soak-vs-ndr-2n-skx-ref:
1288       csit-vpp-perf-report-iterative-2101-2n-skx:
1289         - 63  # rls2101.rel NDRPDR iter env 6
1290         - 69  # rls2101.rel NDRPDR iter env 6
1291         - 70  # rls2101.rel NDRPDR iter env 6
1292         - 75  # rls2101.rel NDRPDR iter env 6
1293         - 76  # rls2101.rel NDRPDR iter env 6
1294         - 77  # rls2101.rel NDRPDR iter env 6
1295         - 82  # rls2101.rel NDRPDR iter env 6
1296         - 85  # rls2101.rel NDRPDR iter env 6
1297         - 86  # rls2101.rel NDRPDR iter env 6
1298         - 94  # rls2101.rel NDRPDR iter env 6
1299     vpp-soak-vs-ndr-2n-skx-cmp:
1300       csit-vpp-perf-report-iterative-2101-2n-skx:
1301         - 68  # rls2101.rel soak env 6
1302         - 73  # rls2101.rel soak env 6
1303     vpp-soak-vs-ndr-2n-skx:
1304       csit-vpp-perf-report-iterative-2101-2n-skx:
1305         - 63  # rls2101.rel NDRPDR iter env 6
1306         - 69  # rls2101.rel NDRPDR iter env 6
1307         - 70  # rls2101.rel NDRPDR iter env 6
1308         - 75  # rls2101.rel NDRPDR iter env 6
1309         - 76  # rls2101.rel NDRPDR iter env 6
1310         - 77  # rls2101.rel NDRPDR iter env 6
1311         - 82  # rls2101.rel NDRPDR iter env 6
1312         - 85  # rls2101.rel NDRPDR iter env 6
1313         - 86  # rls2101.rel NDRPDR iter env 6
1314         - 94  # rls2101.rel NDRPDR iter env 6
1315         - 68  # rls2101.rel soak env 6
1316         - 73  # rls2101.rel soak env 6
1317
1318     vpp-soak-vs-ndr-2n-clx-ref:
1319       csit-vpp-perf-report-iterative-2101-2n-clx:
1320         - 54  # rls2101.rel NDRPDR iter env 6
1321         - 59  # rls2101.rel NDRPDR iter env 6
1322         - 60  # rls2101.rel NDRPDR iter env 6
1323         - 63  # rls2101.rel NDRPDR iter env 6
1324         - 66  # rls2101.rel NDRPDR iter env 6
1325         - 68  # rls2101.rel NDRPDR iter env 6
1326         - 73  # rls2101.rel NDRPDR iter env 6
1327         - 75  # rls2101.rel NDRPDR iter env 6
1328     vpp-soak-vs-ndr-2n-clx-cmp:
1329       csit-vpp-perf-report-iterative-2101-2n-clx:
1330         - 58  # rls2101.rel soak env 6
1331         - 61  # rls2101.rel soak env 6
1332     vpp-soak-vs-ndr-2n-clx:
1333       csit-vpp-perf-report-iterative-2101-2n-clx:
1334         - 54  # rls2101.rel NDRPDR iter env 6
1335         - 59  # rls2101.rel NDRPDR iter env 6
1336         - 60  # rls2101.rel NDRPDR iter env 6
1337         - 63  # rls2101.rel NDRPDR iter env 6
1338         - 66  # rls2101.rel NDRPDR iter env 6
1339         - 68  # rls2101.rel NDRPDR iter env 6
1340         - 73  # rls2101.rel NDRPDR iter env 6
1341         - 75  # rls2101.rel NDRPDR iter env 6
1342         - 58  # rls2101.rel soak env 6
1343         - 61  # rls2101.rel soak env 6
1344
1345     vpp-performance-changes-3n-hsw-mrr-h1:
1346       csit-vpp-perf-report-iterative-2009-3n-hsw:
1347         - 18  # rls2005 MRR iter env 5
1348     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1349       csit-vpp-perf-report-iterative-2009-3n-hsw:
1350         - 23  # rls2009 MRR iter env 5
1351     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1352       csit-vpp-perf-report-iterative-2101-3n-hsw:
1353         - 17  # rls2009 MRR iter env 6
1354     vpp-performance-changes-3n-hsw-mrr-cmp:
1355       csit-vpp-perf-report-iterative-2101-3n-hsw:
1356         - 63  # rls2101.rel MRR iter env 6
1357
1358     vpp-performance-changes-3n-skx-mrr-h1:
1359       csit-vpp-perf-report-iterative-2009-3n-skx:
1360         - 17  # rls2005 MRR iter env 5
1361     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1362       csit-vpp-perf-report-iterative-2009-3n-skx:
1363         - 24  # rls2009 MRR iter env 5
1364     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1365       csit-vpp-perf-report-iterative-2101-3n-skx:
1366         - 34  # rls2009 MRR iter env 6
1367     vpp-performance-changes-3n-skx-mrr-cmp:
1368       csit-vpp-perf-report-iterative-2101-3n-skx:
1369         - 35  # rls2101.rel MRR iter env 6
1370
1371     vpp-performance-changes-2n-skx-mrr-h1:
1372       csit-vpp-perf-report-iterative-2009-2n-skx:
1373         - 20  # rls2005 MRR iter env 5
1374     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1375       csit-vpp-perf-report-iterative-2009-2n-skx:
1376         - 120 # rls2009 MRR iter env 5
1377     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1378       csit-vpp-perf-report-iterative-2101-2n-skx:
1379         - 21  # rls2009 MRR iter env 6
1380     vpp-performance-changes-2n-skx-mrr-cmp:
1381       csit-vpp-perf-report-iterative-2101-2n-skx:
1382         - 62  # rls2101.rel MRR iter env 6
1383
1384     vpp-performance-changes-2n-clx-mrr-h1:
1385       csit-vpp-perf-report-iterative-2009-2n-clx:
1386         - 77  # rls2005 MRR iter env 5
1387     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1388       csit-vpp-perf-report-iterative-2009-2n-clx:
1389         - 125 # rls2009 MRR iter env 5
1390     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1391       csit-vpp-perf-report-iterative-2101-2n-clx:
1392         - 15  # rls2009 MRR iter env 6
1393     vpp-performance-changes-2n-clx-mrr-cmp:
1394       csit-vpp-perf-report-iterative-2101-2n-clx:
1395         - 53  # rls2101.rel MRR iter env 6
1396
1397     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1398       csit-vpp-perf-report-iterative-2009-2n-zn2:
1399         - 15  # rls2009 MRR iter env 5
1400     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1401       csit-vpp-perf-report-iterative-2101-2n-zn2:
1402         - 8   # rls2009 MRR iter env6
1403     vpp-performance-changes-2n-zn2-mrr-cmp:
1404       csit-vpp-perf-report-iterative-2101-2n-zn2:
1405         - 30  # rls2101.rel MRR iter env 6
1406
1407     vpp-performance-changes-2n-dnv-mrr-h1:
1408       csit-vpp-perf-report-iterative-2009-2n-dnv:
1409         - 23  # rls2005 MRR iter env 5
1410     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1411       csit-vpp-perf-report-iterative-2009-2n-dnv:
1412         - 13  # rls2009 MRR iter env 5
1413     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1414       # TODO: Re-test in new env
1415       csit-vpp-perf-report-iterative-2009-2n-dnv:
1416         - 13  # rls2009 MRR iter env 5
1417     vpp-performance-changes-2n-dnv-mrr-cmp:
1418       csit-vpp-perf-report-iterative-2101-2n-dnv:
1419         - 31  # rls2101.rel MRR iter env 6
1420
1421     vpp-performance-changes-3n-dnv-mrr-h1:
1422       csit-vpp-perf-report-iterative-2009-3n-dnv:
1423         - 19  # rls2005 MRR iter env 5
1424     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1425       csit-vpp-perf-report-iterative-2009-3n-dnv:
1426         - 22  # rls2009 MRR iter env 5
1427     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1428       # TODO: Re-test in new env
1429       csit-vpp-perf-report-iterative-2009-3n-dnv:
1430         - 22  # rls2009 MRR iter env 5
1431     vpp-performance-changes-3n-dnv-mrr-cmp:
1432       csit-vpp-perf-report-iterative-2101-3n-dnv:
1433         - 32  # rls2101.rel MRR iter env 6
1434
1435     vpp-performance-changes-3n-tsh-mrr-h1:
1436       csit-vpp-perf-report-iterative-2009-3n-tsh:
1437         - 13  # rls2005 MRR iter env 5
1438     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1439       csit-vpp-perf-report-iterative-2009-3n-tsh:
1440         - 15  # rls2009 MRR iter env 5
1441     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1442       csit-vpp-perf-report-iterative-2101-3n-tsh:
1443         - 7   # rls2009 MRR iter env 6
1444     vpp-performance-changes-3n-tsh-mrr-cmp:
1445       csit-vpp-perf-report-iterative-2101-3n-tsh:
1446         - 22  # rls2101.rel MRR iter env 6
1447
1448 #     vpp-performance-changes-2n-tx2-mrr-h1:
1449 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1450 #         -
1451 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1452 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1453 #         -
1454     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1455       csit-vpp-perf-report-iterative-2101-2n-tx2:
1456         - 5   # rls2009 MRR iter env 6
1457     vpp-performance-changes-2n-tx2-mrr-cmp:
1458       csit-vpp-perf-report-iterative-2101-2n-tx2:
1459         - 21  # rls2101.rel MRR iter env 6
1460
1461     dpdk-performance-changes-3n-hsw-h1:
1462       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1463         - 25  # NDRPDR iter
1464         - 26  # NDRPDR iter
1465         - 27  # NDRPDR iter
1466         - 28  # NDRPDR iter
1467         - 29  # NDRPDR iter
1468         - 30  # NDRPDR iter
1469         - 31  # NDRPDR iter
1470         - 32  # NDRPDR iter
1471         - 33  # NDRPDR iter
1472         - 34  # NDRPDR iter
1473     dpdk-performance-changes-3n-hsw-ref:
1474       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1475         - 6   # NDRPDR iter env5
1476         - 7   # NDRPDR iter env5
1477         - 8   # NDRPDR iter env5
1478         - 9   # NDRPDR iter env5
1479         - 10  # NDRPDR iter env5
1480         - 11  # NDRPDR iter env5
1481         - 12  # NDRPDR iter env5
1482         - 13  # NDRPDR iter env5
1483         - 14  # NDRPDR iter env5
1484         - 15  # NDRPDR iter env5
1485     dpdk-performance-changes-3n-hsw-cmp:
1486       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1487         - 11  # rls2101 NDRPDR iter env 6
1488         - 12  # rls2101 NDRPDR iter env 6
1489         - 13  # rls2101 NDRPDR iter env 6
1490         - 14  # rls2101 NDRPDR iter env 6
1491         - 16  # rls2101 NDRPDR iter env 6
1492         - 17  # rls2101 NDRPDR iter env 6
1493         - 18  # rls2101 NDRPDR iter env 6
1494         - 19  # rls2101 NDRPDR iter env 6
1495         - 20  # rls2101 NDRPDR iter env 6
1496         - 21  # rls2101 NDRPDR iter env 6
1497
1498     dpdk-performance-changes-3n-skx-h1:
1499       csit-dpdk-perf-report-iterative-2005-3n-skx:
1500         - 28  # NDRPDR iter
1501         - 29  # NDRPDR iter
1502         - 30  # NDRPDR iter
1503         - 31  # NDRPDR iter
1504         - 32  # NDRPDR iter
1505         - 33  # NDRPDR iter
1506         - 34  # NDRPDR iter
1507         - 35  # NDRPDR iter
1508         - 36  # NDRPDR iter
1509         - 37  # NDRPDR iter
1510     dpdk-performance-changes-3n-skx-ref:
1511       csit-dpdk-perf-report-iterative-2009-3n-skx:
1512         - 4   # NDRPDR sel env5
1513         - 5   # NDRPDR sel env5
1514         - 6   # NDRPDR sel env5
1515         - 7   # NDRPDR sel env5
1516         - 8   # NDRPDR sel env5
1517         - 9   # NDRPDR sel env5
1518         - 14  # NDRPDR sel env5
1519         - 11  # NDRPDR sel env5
1520         - 12  # NDRPDR sel env5
1521         - 13  # NDRPDR sel env5
1522     dpdk-performance-changes-3n-skx-cmp:
1523       csit-dpdk-perf-report-iterative-2101-3n-skx:
1524         - 12  # rls2101 NDRPDR iter env 6
1525         - 14  # rls2101 NDRPDR iter env 6
1526         - 15  # rls2101 NDRPDR iter env 6
1527         - 17  # rls2101 NDRPDR iter env 6
1528         - 19  # rls2101 NDRPDR iter env 6
1529         - 20  # rls2101 NDRPDR iter env 6
1530         - 21  # rls2101 NDRPDR iter env 6
1531         - 22  # rls2101 NDRPDR iter env 6
1532         - 25  # rls2101 NDRPDR iter env 6
1533         - 26  # rls2101 NDRPDR iter env 6
1534
1535     dpdk-performance-changes-2n-skx-h1:
1536       csit-dpdk-perf-report-iterative-2005-2n-skx:
1537         - 20  # NDRPDR iter
1538         - 21  # NDRPDR iter
1539         - 22  # NDRPDR iter
1540         - 23  # NDRPDR iter
1541         - 24  # NDRPDR iter
1542         - 25  # NDRPDR iter
1543         - 26  # NDRPDR iter
1544         - 27  # NDRPDR iter
1545         - 28  # NDRPDR iter
1546         - 29  # NDRPDR iter
1547     dpdk-performance-changes-2n-skx-ref:
1548       csit-dpdk-perf-report-iterative-2009-2n-skx:
1549         - 4   # NDRPDR iter env5
1550         - 5   # NDRPDR iter env5
1551         - 6   # NDRPDR iter env5
1552         - 7   # NDRPDR iter env5
1553         - 8   # NDRPDR iter env5
1554         - 9   # NDRPDR iter env5
1555         - 10  # NDRPDR iter env5
1556         - 11  # NDRPDR iter env5
1557         - 12  # NDRPDR iter env5
1558         - 13  # NDRPDR iter env5
1559     dpdk-performance-changes-2n-skx-cmp:
1560       csit-dpdk-perf-report-iterative-2101-2n-skx:
1561         - 11  # rls2101 NDRPDR iter env 6
1562         - 12  # rls2101 NDRPDR iter env 6
1563         - 13  # rls2101 NDRPDR iter env 6
1564         - 14  # rls2101 NDRPDR iter env 6
1565         - 15  # rls2101 NDRPDR iter env 6
1566         - 17  # rls2101 NDRPDR iter env 6
1567         - 18  # rls2101 NDRPDR iter env 6
1568         - 19  # rls2101 NDRPDR iter env 6
1569         - 20  # rls2101 NDRPDR iter env 6
1570         - 21  # rls2101 NDRPDR iter env 6
1571
1572     dpdk-performance-changes-2n-clx-h1:
1573       csit-dpdk-perf-report-iterative-2005-2n-clx:
1574         - 20  # NDRPDR iter
1575         - 21  # NDRPDR iter
1576         - 22  # NDRPDR iter
1577         - 23  # NDRPDR iter
1578         - 24  # NDRPDR iter
1579         - 25  # NDRPDR iter
1580         - 26  # NDRPDR iter
1581         - 27  # NDRPDR iter
1582         - 28  # NDRPDR iter
1583         - 29  # NDRPDR iter
1584     dpdk-performance-changes-2n-clx-ref:
1585       csit-dpdk-perf-report-iterative-2009-2n-clx:
1586         - 4   # NDRPDR iter env5
1587         - 5   # NDRPDR iter env5
1588         - 6   # NDRPDR iter env5
1589         - 7   # NDRPDR iter env5
1590         - 8   # NDRPDR iter env5
1591         - 9   # NDRPDR iter env5
1592         - 10  # NDRPDR iter env5
1593         - 11  # NDRPDR iter env5
1594         - 12  # NDRPDR iter env5
1595         - 13  # NDRPDR iter env5
1596     dpdk-performance-changes-2n-clx-cmp:
1597       csit-dpdk-perf-report-iterative-2101-2n-clx:
1598         - 12  # rls2101 NDRPDR iter env 6
1599         - 13  # rls2101 NDRPDR iter env 6
1600         - 14  # rls2101 NDRPDR iter env 6
1601         - 18  # rls2101 NDRPDR iter env 6
1602         - 22  # rls2101 NDRPDR iter env 6
1603
1604     dpdk-performance-changes-2n-zn2-ref:
1605       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1606         - 16  # NDRPDR iter env5
1607         - 21  # NDRPDR iter env5
1608         - 22  # NDRPDR iter env5
1609         - 23  # NDRPDR iter env5
1610         - 24  # NDRPDR iter env5
1611         - 25  # NDRPDR iter env5
1612         - 29  # NDRPDR iter env5
1613     dpdk-performance-changes-2n-zn2-cmp:
1614       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1615         - 11  # rls2101 NDRPDR iter env 6
1616         - 12  # rls2101 NDRPDR iter env 6
1617         - 13  # rls2101 NDRPDR iter env 6
1618         - 14  # rls2101 NDRPDR iter env 6
1619         - 16  # rls2101 NDRPDR iter env 6
1620         - 17  # rls2101 NDRPDR iter env 6
1621         - 18  # rls2101 NDRPDR iter env 6
1622         - 19  # rls2101 NDRPDR iter env 6
1623         - 20  # rls2101 NDRPDR iter env 6
1624         - 21  # rls2101 NDRPDR iter env 6
1625
1626 #    dpdk-performance-changes-2n-dnv-h1:
1627 #      csit-dpdk-perf-verify-2101-2n-dnv:
1628 #        - 9   # NDRPDR sel
1629 #        - 10  # NDRPDR sel
1630 #        - 11  # NDRPDR sel
1631 #        - 12  # NDRPDR sel
1632 #        - 13  # NDRPDR sel
1633 #        - 14  # NDRPDR sel
1634 #        - 15  # NDRPDR sel
1635 #        - 16  # NDRPDR sel
1636 #        - 17  # NDRPDR sel
1637 #        - 18  # NDRPDR sel
1638 #    dpdk-performance-changes-2n-dnv-ref:
1639 #      # No data
1640 #    dpdk-performance-changes-2n-dnv-cmp:
1641 #      # No data
1642 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1643
1644 #    dpdk-performance-changes-3n-dnv-h1:
1645 #      csit-dpdk-perf-verify-2101-3n-dnv:
1646 #        - 12  # NDRPDR sel
1647 #        - 13  # NDRPDR sel
1648 #        - 14  # NDRPDR sel
1649 #        - 15  # NDRPDR sel
1650 #        - 16  # NDRPDR sel
1651 #        - 17  # NDRPDR sel
1652 #        - 18  # NDRPDR sel
1653 #        - 19  # NDRPDR sel
1654 #        - 20  # NDRPDR sel
1655 #        - 22  # NDRPDR sel
1656 #    dpdk-performance-changes-3n-dnv-ref:
1657 #      # No data
1658 #    dpdk-performance-changes-3n-dnv-cmp:
1659 #      # No data
1660 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1661
1662     dpdk-performance-changes-3n-tsh-h1:
1663       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1664         - 5   # NDRPDR sel
1665     dpdk-performance-changes-3n-tsh-ref:
1666       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1667         - 1   # NDRPDR iter env5
1668         - 2   # NDRPDR iter env5
1669         - 3   # NDRPDR iter env5
1670         - 4   # NDRPDR iter env5
1671         - 5   # NDRPDR iter env5
1672         - 6   # NDRPDR iter env5
1673         - 7   # NDRPDR iter env5
1674         - 9   # NDRPDR iter env5
1675         - 10  # NDRPDR iter env5
1676         - 11  # NDRPDR iter env5
1677     dpdk-performance-changes-3n-tsh-cmp:
1678       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1679         - 11  # rls2101 NDRPDR iter env 6
1680         - 12  # rls2101 NDRPDR iter env 6
1681         - 13  # rls2101 NDRPDR iter env 6
1682         - 14  # rls2101 NDRPDR iter env 6
1683         - 16  # rls2101 NDRPDR iter env 6
1684         - 17  # rls2101 NDRPDR iter env 6
1685         - 18  # rls2101 NDRPDR iter env 6
1686         - 19  # rls2101 NDRPDR iter env 6
1687         - 20  # rls2101 NDRPDR iter env 6
1688         - 21  # rls2101 NDRPDR iter env 6
1689
1690     # Compare testbeds
1691
1692     vpp-compare-testbeds-ref:
1693       csit-vpp-perf-report-iterative-2101-3n-hsw:
1694         - 64  # rls2101.rel NDRPDR iter env 6
1695         - 71  # rls2101.rel NDRPDR iter env 6
1696         - 73  # rls2101.rel NDRPDR iter env 6
1697         - 74  # rls2101.rel NDRPDR iter env 6
1698         - 80  # rls2101.rel NDRPDR iter env 6
1699         - 81  # rls2101.rel NDRPDR iter env 6
1700         - 82  # rls2101.rel NDRPDR iter env 6
1701         - 83  # rls2101.rel NDRPDR iter env 6
1702         - 88  # rls2101.rel NDRPDR iter env 6
1703         - 89  # rls2101.rel NDRPDR iter env 6
1704     vpp-compare-testbeds-cmp:
1705       csit-vpp-perf-report-iterative-2101-3n-skx:
1706         - 36  # rls2101.rel NDRPDR iter env 6
1707         - 37  # rls2101.rel NDRPDR iter env 6
1708         - 38  # rls2101.rel NDRPDR iter env 6
1709         - 39  # rls2101.rel NDRPDR iter env 6
1710         - 40  # rls2101.rel NDRPDR iter env 6
1711         - 41  # rls2101.rel NDRPDR iter env 6
1712         - 42  # rls2101.rel NDRPDR iter env 6
1713         - 47  # rls2101.rel NDRPDR iter env 6
1714         - 48  # rls2101.rel NDRPDR iter env 6
1715
1716     vpp-compare-testbeds-skx-clx-ref:
1717       csit-vpp-perf-report-iterative-2101-2n-skx:
1718         - 63  # rls2101.rel NDRPDR iter env 6
1719         - 69  # rls2101.rel NDRPDR iter env 6
1720         - 70  # rls2101.rel NDRPDR iter env 6
1721         - 75  # rls2101.rel NDRPDR iter env 6
1722         - 76  # rls2101.rel NDRPDR iter env 6
1723         - 77  # rls2101.rel NDRPDR iter env 6
1724         - 82  # rls2101.rel NDRPDR iter env 6
1725         - 85  # rls2101.rel NDRPDR iter env 6
1726         - 86  # rls2101.rel NDRPDR iter env 6
1727         - 94  # rls2101.rel NDRPDR iter env 6
1728         - 89  # rls2101.rel NDRPDR iter RND env 6
1729         - 90  # rls2101.rel NDRPDR iter RND env 6
1730         - 91  # rls2101.rel NDRPDR iter RND env 6
1731         - 92  # rls2101.rel NDRPDR iter RND env 6
1732         - 93  # rls2101.rel NDRPDR iter RND env 6
1733         - 96  # rls2101.rel NDRPDR iter RND env 6
1734         - 98  # rls2101.rel NDRPDR iter RND env 6
1735         - 99  # rls2101.rel NDRPDR iter RND env 6
1736         - 101 # rls2101.rel NDRPDR iter RND env 6
1737         - 102 # rls2101.rel NDRPDR iter RND env 6
1738     vpp-compare-testbeds-skx-clx-cmp:
1739       csit-vpp-perf-report-iterative-2101-2n-clx:
1740         - 54  # rls2101.rel NDRPDR iter env 6
1741         - 59  # rls2101.rel NDRPDR iter env 6
1742         - 60  # rls2101.rel NDRPDR iter env 6
1743         - 63  # rls2101.rel NDRPDR iter env 6
1744         - 66  # rls2101.rel NDRPDR iter env 6
1745         - 68  # rls2101.rel NDRPDR iter env 6
1746         - 73  # rls2101.rel NDRPDR iter env 6
1747         - 75  # rls2101.rel NDRPDR iter env 6
1748
1749     vpp-compare-testbeds-hsw-clx-ref:
1750       csit-vpp-perf-report-iterative-2101-3n-hsw:
1751         - 64  # rls2101.rel NDRPDR iter env 6
1752         - 71  # rls2101.rel NDRPDR iter env 6
1753         - 73  # rls2101.rel NDRPDR iter env 6
1754         - 74  # rls2101.rel NDRPDR iter env 6
1755         - 80  # rls2101.rel NDRPDR iter env 6
1756         - 81  # rls2101.rel NDRPDR iter env 6
1757         - 82  # rls2101.rel NDRPDR iter env 6
1758         - 83  # rls2101.rel NDRPDR iter env 6
1759         - 88  # rls2101.rel NDRPDR iter env 6
1760         - 89  # rls2101.rel NDRPDR iter env 6
1761         - 128 # rls2101.rel NDRPDR iter RND env 6
1762         - 129 # rls2101.rel NDRPDR iter RND env 6
1763         - 130 # rls2101.rel NDRPDR iter RND env 6
1764         - 131 # rls2101.rel NDRPDR iter RND env 6
1765         - 132 # rls2101.rel NDRPDR iter RND env 6
1766         - 133 # rls2101.rel NDRPDR iter RND env 6
1767         - 134 # rls2101.rel NDRPDR iter RND env 6
1768         - 135 # rls2101.rel NDRPDR iter RND env 6
1769         - 136 # rls2101.rel NDRPDR iter RND env 6
1770         - 137 # rls2101.rel NDRPDR iter RND env 6
1771     vpp-compare-testbeds-hsw-clx-cmp:
1772       csit-vpp-perf-report-iterative-2101-2n-clx:
1773         - 54  # rls2101.rel NDRPDR iter env 6
1774         - 59  # rls2101.rel NDRPDR iter env 6
1775         - 60  # rls2101.rel NDRPDR iter env 6
1776         - 63  # rls2101.rel NDRPDR iter env 6
1777         - 66  # rls2101.rel NDRPDR iter env 6
1778         - 68  # rls2101.rel NDRPDR iter env 6
1779         - 73  # rls2101.rel NDRPDR iter env 6
1780         - 75  # rls2101.rel NDRPDR iter env 6
1781
1782     vpp-compare-testbeds-mrr-ref:
1783       csit-vpp-perf-report-iterative-2101-3n-hsw:
1784         - 63  # rls2101.rel MRR iter env 6
1785     vpp-compare-testbeds-mrr-cmp:
1786       csit-vpp-perf-report-iterative-2101-3n-skx:
1787         - 35  # rls2101.rel MRR iter env 6
1788
1789     vpp-compare-testbeds-mrr-skx-clx-ref:
1790       csit-vpp-perf-report-iterative-2101-2n-skx:
1791         - 62  # rls2101.rel MRR iter env 6
1792     vpp-compare-testbeds-mrr-skx-clx-cmp:
1793       csit-vpp-perf-report-iterative-2101-2n-clx:
1794         - 53  # rls2101.rel MRR iter env 6
1795
1796     vpp-compare-testbeds-mrr-hsw-clx-ref:
1797       csit-vpp-perf-report-iterative-2101-3n-hsw:
1798         - 63  # rls2101.rel MRR iter env 6
1799     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1800       csit-vpp-perf-report-iterative-2101-2n-clx:
1801         - 53  # rls2101.rel MRR iter env 6
1802
1803     dpdk-compare-testbeds-ref:
1804       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1805         - 11  # rls2101 NDRPDR iter env 6
1806         - 12  # rls2101 NDRPDR iter env 6
1807         - 13  # rls2101 NDRPDR iter env 6
1808         - 14  # rls2101 NDRPDR iter env 6
1809         - 16  # rls2101 NDRPDR iter env 6
1810         - 17  # rls2101 NDRPDR iter env 6
1811         - 18  # rls2101 NDRPDR iter env 6
1812         - 19  # rls2101 NDRPDR iter env 6
1813         - 20  # rls2101 NDRPDR iter env 6
1814         - 21  # rls2101 NDRPDR iter env 6
1815     dpdk-compare-testbeds-cmp:
1816       csit-dpdk-perf-report-iterative-2101-3n-skx:
1817         - 12  # rls2101 NDRPDR iter env 6
1818         - 14  # rls2101 NDRPDR iter env 6
1819         - 15  # rls2101 NDRPDR iter env 6
1820         - 17  # rls2101 NDRPDR iter env 6
1821         - 19  # rls2101 NDRPDR iter env 6
1822         - 20  # rls2101 NDRPDR iter env 6
1823         - 21  # rls2101 NDRPDR iter env 6
1824         - 22  # rls2101 NDRPDR iter env 6
1825         - 25  # rls2101 NDRPDR iter env 6
1826         - 26  # rls2101 NDRPDR iter env 6
1827
1828     dpdk-compare-testbeds-skx-clx-ref:
1829       csit-dpdk-perf-report-iterative-2101-2n-skx:
1830         - 11  # rls2101 NDRPDR iter env 6
1831         - 12  # rls2101 NDRPDR iter env 6
1832         - 13  # rls2101 NDRPDR iter env 6
1833         - 14  # rls2101 NDRPDR iter env 6
1834         - 15  # rls2101 NDRPDR iter env 6
1835         - 17  # rls2101 NDRPDR iter env 6
1836         - 18  # rls2101 NDRPDR iter env 6
1837         - 19  # rls2101 NDRPDR iter env 6
1838         - 20  # rls2101 NDRPDR iter env 6
1839         - 21  # rls2101 NDRPDR iter env 6
1840     dpdk-compare-testbeds-skx-clx-cmp:
1841       csit-dpdk-perf-report-iterative-2101-2n-clx:
1842         - 12  # rls2101 NDRPDR iter env 6
1843         - 13  # rls2101 NDRPDR iter env 6
1844         - 14  # rls2101 NDRPDR iter env 6
1845         - 18  # rls2101 NDRPDR iter env 6
1846         - 22  # rls2101 NDRPDR iter env 6
1847
1848     # Compare topologies
1849
1850     vpp-compare-topologies-ref:
1851       csit-vpp-perf-report-iterative-2101-3n-skx:
1852         - 36  # rls2101.rel NDRPDR iter env 6
1853         - 37  # rls2101.rel NDRPDR iter env 6
1854         - 38  # rls2101.rel NDRPDR iter env 6
1855         - 39  # rls2101.rel NDRPDR iter env 6
1856         - 40  # rls2101.rel NDRPDR iter env 6
1857         - 41  # rls2101.rel NDRPDR iter env 6
1858         - 42  # rls2101.rel NDRPDR iter env 6
1859         - 47  # rls2101.rel NDRPDR iter env 6
1860         - 48  # rls2101.rel NDRPDR iter env 6
1861     vpp-compare-topologies-cmp:
1862       csit-vpp-perf-report-iterative-2101-2n-skx:
1863         - 63  # rls2101.rel NDRPDR iter env 6
1864         - 69  # rls2101.rel NDRPDR iter env 6
1865         - 70  # rls2101.rel NDRPDR iter env 6
1866         - 75  # rls2101.rel NDRPDR iter env 6
1867         - 76  # rls2101.rel NDRPDR iter env 6
1868         - 77  # rls2101.rel NDRPDR iter env 6
1869         - 82  # rls2101.rel NDRPDR iter env 6
1870         - 85  # rls2101.rel NDRPDR iter env 6
1871         - 86  # rls2101.rel NDRPDR iter env 6
1872         - 94  # rls2101.rel NDRPDR iter env 6
1873
1874     vpp-compare-topologies-mrr-ref:
1875       csit-vpp-perf-report-iterative-2101-3n-skx:
1876         - 35  # rls2101.rel MRR iter env 6
1877     vpp-compare-topologies-mrr-cmp:
1878       csit-vpp-perf-report-iterative-2101-2n-skx:
1879         - 62  # rls2101.rel MRR iter env 6
1880
1881     dpdk-compare-topologies-ref:
1882       csit-dpdk-perf-report-iterative-2101-3n-skx:
1883         - 12  # rls2101 NDRPDR iter env 6
1884         - 14  # rls2101 NDRPDR iter env 6
1885         - 15  # rls2101 NDRPDR iter env 6
1886         - 17  # rls2101 NDRPDR iter env 6
1887         - 19  # rls2101 NDRPDR iter env 6
1888         - 20  # rls2101 NDRPDR iter env 6
1889         - 21  # rls2101 NDRPDR iter env 6
1890         - 22  # rls2101 NDRPDR iter env 6
1891         - 25  # rls2101 NDRPDR iter env 6
1892         - 26  # rls2101 NDRPDR iter env 6
1893     dpdk-compare-topologies-cmp:
1894       csit-dpdk-perf-report-iterative-2101-2n-skx:
1895         - 11  # rls2101 NDRPDR iter env 6
1896         - 12  # rls2101 NDRPDR iter env 6
1897         - 13  # rls2101 NDRPDR iter env 6
1898         - 14  # rls2101 NDRPDR iter env 6
1899         - 15  # rls2101 NDRPDR iter env 6
1900         - 17  # rls2101 NDRPDR iter env 6
1901         - 18  # rls2101 NDRPDR iter env 6
1902         - 19  # rls2101 NDRPDR iter env 6
1903         - 20  # rls2101 NDRPDR iter env 6
1904         - 21  # rls2101 NDRPDR iter env 6
1905
1906   plot-layouts:
1907
1908     plot-soak-throughput:
1909       titlefont:
1910         size: 16
1911       xaxis:
1912         title: "<b>Test Cases [Index]</b>"
1913         titlefont:
1914           size: 14
1915         autorange: True
1916         fixedrange: False
1917         gridcolor: "rgb(230, 230, 230)"
1918         linecolor: "rgb(220, 220, 220)"
1919         linewidth: 1
1920         showgrid: True
1921         showline: True
1922         showticklabels: True
1923         tickcolor: "rgb(220, 220, 220)"
1924         tickmode: "linear"
1925         tickfont:
1926           size: 14
1927         zeroline: False
1928       yaxis:
1929         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1930         titlefont:
1931           size: 14
1932         gridcolor: "rgb(230, 230, 230)"
1933         hoverformat: ".4r"
1934         tickformat: ".3r"
1935         linecolor: "rgb(220, 220, 220)"
1936         linewidth: 1
1937         showgrid: True
1938         showline: True
1939         showticklabels: True
1940         tickcolor: "rgb(220, 220, 220)"
1941         tickfont:
1942           size: 14
1943         zeroline: False
1944         range: [0,50]
1945       autosize: False
1946       margin:
1947         t: 50
1948         b: 0
1949         l: 80
1950         r: 20
1951       showlegend: True
1952       legend:
1953         orientation: "h"
1954         font:
1955           size: 14
1956       width: 700
1957       height: 900
1958       paper_bgcolor: "#fff"
1959       plot_bgcolor: "#fff"
1960       hoverlabel:
1961         namelength: -1
1962
1963     plot-service-density:
1964       titlefont:
1965         size: 16
1966       xaxis:
1967         side: "top"
1968         autorange: True
1969         fixedrange: False
1970         showgrid: False
1971         showline: False
1972         showticklabels: False
1973         ticks: ""
1974         ticklen: 0
1975         tickwidth: 0
1976         zeroline: False
1977       yaxis:
1978         autorange: "reversed"
1979         showgrid: False
1980         showline: False
1981         showticklabels: False
1982         ticks: ""
1983         ticklen: 0
1984         tickwidth: 0
1985         zeroline: False
1986       showlegend: False
1987       paper_bgcolor: "#fff"
1988       plot_bgcolor: "#fff"
1989       width: 700
1990       height: 700
1991       hoverlabel:
1992         namelength: -1
1993
1994     plot-hoststack:
1995       titlefont:
1996         size: 16
1997       xaxis:
1998         title: "<b>Test Cases [Index]</b>"
1999         titlefont:
2000           size: 14
2001         autorange: True
2002         fixedrange: False
2003         gridcolor: "rgb(230, 230, 230)"
2004         linecolor: "rgb(220, 220, 220)"
2005         linewidth: 1
2006         showgrid: True
2007         showline: True
2008         showticklabels: True
2009         tickcolor: "rgb(220, 220, 220)"
2010         tickmode: "linear"
2011         tickfont:
2012           size: 14
2013         zeroline: False
2014       yaxis:
2015         title: "<b>Bandwidth [Gbps]</b>"
2016         titlefont:
2017           size: 14
2018         gridcolor: "rgb(230, 230, 230)"
2019         hoverformat: ".4s"
2020         linecolor: "rgb(220, 220, 220)"
2021         linewidth: 1
2022         rangemode: "tozero"
2023         showgrid: True
2024         showline: True
2025         showticklabels: True
2026         tickcolor: "rgb(230, 230, 230)"
2027         tickformat: ".3s"
2028         tickfont:
2029           size: 14
2030         zeroline: False
2031       autosize: False
2032       margin:
2033         t: 50
2034         b: 20
2035         l: 80
2036         r: 20
2037       showlegend: True
2038       legend:
2039         orientation: "h"
2040         font:
2041           size: 14
2042       width: 700
2043       height: 800
2044       paper_bgcolor: "#fff"
2045       plot_bgcolor: "#fff"
2046       hoverlabel:
2047         namelength: -1
2048
2049     plot-throughput:
2050       titlefont:
2051         size: 16
2052       xaxis:
2053         title: "<b>Test Cases [Index]</b>"
2054         titlefont:
2055           size: 14
2056         autorange: True
2057         fixedrange: False
2058         gridcolor: "rgb(230, 230, 230)"
2059         linecolor: "rgb(220, 220, 220)"
2060         linewidth: 1
2061         showgrid: True
2062         showline: True
2063         showticklabels: True
2064         tickcolor: "rgb(220, 220, 220)"
2065         tickmode: "linear"
2066         tickfont:
2067           size: 14
2068         zeroline: False
2069       yaxis:
2070         title: "<b>Packet Throughput [Mpps]</b>"
2071         titlefont:
2072           size: 14
2073         gridcolor: "rgb(230, 230, 230)"
2074         hoverformat: ".4r"
2075         tickformat: ".3r"
2076         linecolor: "rgb(220, 220, 220)"
2077         linewidth: 1
2078         showgrid: True
2079         showline: True
2080         showticklabels: True
2081         tickcolor: "rgb(220, 220, 220)"
2082         tickfont:
2083           size: 14
2084         zeroline: False
2085         range: [0,50]
2086       autosize: False
2087       margin:
2088         t: 50
2089         b: 0
2090         l: 80
2091         r: 20
2092       showlegend: True
2093       legend:
2094         orientation: "h"
2095         font:
2096           size: 14
2097       width: 700
2098       height: 900
2099       paper_bgcolor: "#fff"
2100       plot_bgcolor: "#fff"
2101       hoverlabel:
2102         namelength: -1
2103
2104     plot-throughput-gbps:
2105       titlefont:
2106         size: 16
2107       xaxis:
2108         title: "<b>Test Cases [Index]</b>"
2109         titlefont:
2110           size: 14
2111         autorange: True
2112         fixedrange: False
2113         gridcolor: "rgb(230, 230, 230)"
2114         linecolor: "rgb(220, 220, 220)"
2115         linewidth: 1
2116         showgrid: True
2117         showline: True
2118         showticklabels: True
2119         tickcolor: "rgb(220, 220, 220)"
2120         tickmode: "linear"
2121         tickfont:
2122           size: 14
2123         zeroline: False
2124       yaxis:
2125         title: "<b>Packet Throughput [Gbps]</b>"
2126         titlefont:
2127           size: 14
2128         gridcolor: "rgb(230, 230, 230)"
2129         hoverformat: ".4r"
2130         tickformat: ".3r"
2131         linecolor: "rgb(220, 220, 220)"
2132         linewidth: 1
2133         showgrid: True
2134         showline: True
2135         showticklabels: True
2136         tickcolor: "rgb(220, 220, 220)"
2137         tickfont:
2138           size: 14
2139         zeroline: False
2140         range: [0,10]
2141       autosize: False
2142       margin:
2143         t: 50
2144         b: 0
2145         l: 80
2146         r: 20
2147       showlegend: True
2148       legend:
2149         orientation: "h"
2150         font:
2151           size: 14
2152       width: 700
2153       height: 900
2154       paper_bgcolor: "#fff"
2155       plot_bgcolor: "#fff"
2156       hoverlabel:
2157         namelength: -1
2158
2159     plot-cps:
2160       titlefont:
2161         size: 16
2162       xaxis:
2163         title: "<b>Test Cases [Index]</b>"
2164         titlefont:
2165           size: 14
2166         autorange: True
2167         fixedrange: False
2168         gridcolor: "rgb(230, 230, 230)"
2169         linecolor: "rgb(220, 220, 220)"
2170         linewidth: 1
2171         showgrid: True
2172         showline: True
2173         showticklabels: True
2174         tickcolor: "rgb(220, 220, 220)"
2175         tickmode: "linear"
2176         tickfont:
2177           size: 14
2178         zeroline: False
2179       yaxis:
2180         title: "<b>Connection Rate [Mcps]</b>"
2181         titlefont:
2182           size: 14
2183         gridcolor: "rgb(230, 230, 230)"
2184         hoverformat: ".4r"
2185         tickformat: ".3s"
2186         linecolor: "rgb(220, 220, 220)"
2187         linewidth: 1
2188         showgrid: True
2189         showline: True
2190         showticklabels: True
2191         tickcolor: "rgb(220, 220, 220)"
2192         tickfont:
2193           size: 14
2194         zeroline: False
2195         range: [0,10]
2196       autosize: False
2197       margin:
2198         t: 50
2199         b: 0
2200         l: 80
2201         r: 20
2202       showlegend: True
2203       legend:
2204         orientation: "h"
2205         font:
2206           size: 14
2207       width: 700
2208       height: 900
2209       paper_bgcolor: "#fff"
2210       plot_bgcolor: "#fff"
2211       hoverlabel:
2212         namelength: -1
2213
2214     plot-throughput-speedup-analysis:
2215       titlefont:
2216         size: 16
2217       xaxis:
2218         title: "<b>Number of Cores [Qty]</b>"
2219         titlefont:
2220           size: 14
2221         autorange: True
2222         fixedrange: False
2223         gridcolor: "rgb(230, 230, 230)"
2224         linecolor: "rgb(220, 220, 220)"
2225         linewidth: 1
2226         showgrid: True
2227         showline: True
2228         showticklabels: True
2229         tickcolor: "rgb(238, 238, 238)"
2230         tickmode: "linear"
2231         tickfont:
2232           size: 14
2233         zeroline: False
2234       yaxis:
2235         title: "<b>Packet Throughput [Mpps]</b>"
2236         titlefont:
2237           size: 14
2238         type: "linear"
2239         gridcolor: "rgb(230, 230, 230)"
2240         hoverformat: ".4s"
2241         linecolor: "rgb(220, 220, 220)"
2242         linewidth: 1
2243         showgrid: True
2244         showline: True
2245         showticklabels: True
2246         tickcolor: "rgb(220, 220, 220)"
2247         tickformat: ".4s"
2248         tickfont:
2249           size: 14
2250         zeroline: True
2251         rangemode: "tozero"
2252         range: [0,100]
2253       legend:
2254         orientation: "h"
2255         font:
2256           size: 14
2257         xanchor: "left"
2258         yanchor: "top"
2259         x: 0
2260         y: -0.2
2261         bgcolor: "rgba(255, 255, 255, 0)"
2262         bordercolor: "rgba(255, 255, 255, 0)"
2263         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2264       autosize: False
2265       margin:
2266           't': 50
2267           'b': 150
2268           'l': 85
2269           'r': 10
2270       showlegend: True
2271       width: 700
2272       height: 700
2273       paper_bgcolor: "#fff"
2274       plot_bgcolor: "#fff"
2275       hoverlabel:
2276         namelength: -1
2277       annotations: [
2278         {
2279           text: "_ _          __          ...",
2280           align: "left",
2281           showarrow: False,
2282           xref: "paper",
2283           yref: "paper",
2284           xanchor: "left",
2285           yanchor: "top",
2286           x: 0,
2287           y: -0.14,
2288           font: {
2289             family: "Consolas, Courier New",
2290             size: 13
2291           },
2292         },
2293         {
2294           text: "    Perfect     Measured     Limit",
2295           align: "left",
2296           showarrow: False,
2297           xref: "paper",
2298           yref: "paper",
2299           xanchor: "left",
2300           yanchor: "top",
2301           x: 0,
2302           y: -0.15,
2303           font: {
2304             family: "Consolas, Courier New",
2305             size: 13
2306           },
2307         },
2308       ]
2309
2310     plot-throughput-speedup-analysis-gbps:
2311       titlefont:
2312         size: 16
2313       xaxis:
2314         title: "<b>Number of Cores [Qty]</b>"
2315         titlefont:
2316           size: 14
2317         autorange: True
2318         fixedrange: False
2319         gridcolor: "rgb(230, 230, 230)"
2320         linecolor: "rgb(220, 220, 220)"
2321         linewidth: 1
2322         showgrid: True
2323         showline: True
2324         showticklabels: True
2325         tickcolor: "rgb(238, 238, 238)"
2326         tickmode: "linear"
2327         tickfont:
2328           size: 14
2329         zeroline: False
2330       yaxis:
2331         title: "<b>Packet Throughput [Gbps]</b>"
2332         titlefont:
2333           size: 14
2334         type: "linear"
2335         gridcolor: "rgb(230, 230, 230)"
2336         hoverformat: ".4s"
2337         linecolor: "rgb(220, 220, 220)"
2338         linewidth: 1
2339         showgrid: True
2340         showline: True
2341         showticklabels: True
2342         tickcolor: "rgb(220, 220, 220)"
2343         tickformat: ".4s"
2344         tickfont:
2345           size: 14
2346         zeroline: True
2347         rangemode: "tozero"
2348         range: [0,100]
2349       legend:
2350         orientation: "h"
2351         font:
2352           size: 14
2353         xanchor: "left"
2354         yanchor: "top"
2355         x: 0
2356         y: -0.2
2357         bgcolor: "rgba(255, 255, 255, 0)"
2358         bordercolor: "rgba(255, 255, 255, 0)"
2359         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2360       autosize: False
2361       margin:
2362           't': 50
2363           'b': 150
2364           'l': 85
2365           'r': 10
2366       showlegend: True
2367       width: 700
2368       height: 700
2369       paper_bgcolor: "#fff"
2370       plot_bgcolor: "#fff"
2371       hoverlabel:
2372         namelength: -1
2373       annotations: [
2374         {
2375           text: "_ _          __",
2376           align: "left",
2377           showarrow: False,
2378           xref: "paper",
2379           yref: "paper",
2380           xanchor: "left",
2381           yanchor: "top",
2382           x: 0,
2383           y: -0.13,
2384           font: {
2385             family: "Consolas, Courier New",
2386             size: 13
2387           },
2388         },
2389         {
2390           text: "    Perfect     Measured",
2391           align: "left",
2392           showarrow: False,
2393           xref: "paper",
2394           yref: "paper",
2395           xanchor: "left",
2396           yanchor: "top",
2397           x: 0,
2398           y: -0.15,
2399           font: {
2400             family: "Consolas, Courier New",
2401             size: 13
2402           },
2403         },
2404       ]
2405
2406     plot-throughput-speedup-analysis-cps:
2407       titlefont:
2408         size: 16
2409       xaxis:
2410         title: "<b>Number of Cores [Qty]</b>"
2411         titlefont:
2412           size: 14
2413         autorange: True
2414         fixedrange: False
2415         gridcolor: "rgb(230, 230, 230)"
2416         linecolor: "rgb(220, 220, 220)"
2417         linewidth: 1
2418         showgrid: True
2419         showline: True
2420         showticklabels: True
2421         tickcolor: "rgb(238, 238, 238)"
2422         tickmode: "linear"
2423         tickfont:
2424           size: 14
2425         zeroline: False
2426       yaxis:
2427         title: "<b>Connection Rate [Mcps]</b>"
2428         titlefont:
2429           size: 14
2430         type: "linear"
2431         gridcolor: "rgb(230, 230, 230)"
2432         hoverformat: ".4s"
2433         linecolor: "rgb(220, 220, 220)"
2434         linewidth: 1
2435         showgrid: True
2436         showline: True
2437         showticklabels: True
2438         tickcolor: "rgb(220, 220, 220)"
2439         tickformat: ".4s"
2440         tickfont:
2441           size: 14
2442         zeroline: True
2443         rangemode: "tozero"
2444         range: [0,100]
2445       legend:
2446         orientation: "h"
2447         font:
2448           size: 14
2449         xanchor: "left"
2450         yanchor: "top"
2451         x: 0
2452         y: -0.2
2453         bgcolor: "rgba(255, 255, 255, 0)"
2454         bordercolor: "rgba(255, 255, 255, 0)"
2455         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2456       autosize: False
2457       margin:
2458           't': 50
2459           'b': 150
2460           'l': 85
2461           'r': 10
2462       showlegend: True
2463       width: 700
2464       height: 700
2465       paper_bgcolor: "#fff"
2466       plot_bgcolor: "#fff"
2467       hoverlabel:
2468         namelength: -1
2469       annotations: [
2470         {
2471           text: "_ _          __",
2472           align: "left",
2473           showarrow: False,
2474           xref: "paper",
2475           yref: "paper",
2476           xanchor: "left",
2477           yanchor: "top",
2478           x: 0,
2479           y: -0.13,
2480           font: {
2481             family: "Consolas, Courier New",
2482             size: 13
2483           },
2484         },
2485         {
2486           text: "    Perfect     Measured",
2487           align: "left",
2488           showarrow: False,
2489           xref: "paper",
2490           yref: "paper",
2491           xanchor: "left",
2492           yanchor: "top",
2493           x: 0,
2494           y: -0.15,
2495           font: {
2496             family: "Consolas, Courier New",
2497             size: 13
2498           },
2499         },
2500       ]
2501
2502     plot-latency:
2503       titlefont:
2504         size: 16
2505       xaxis:
2506         title: "<b>Direction</b>"
2507         titlefont:
2508           size: 14
2509         autorange: True
2510         fixedrange: False
2511         gridcolor: "rgb(230, 230, 230)"
2512         linecolor: "rgb(220, 220, 220)"
2513         linewidth: 1
2514         showgrid: True
2515         showline: True
2516         showticklabels: False
2517         tickcolor: "rgb(220, 220, 220)"
2518         tickmode: "linear"
2519         tickfont:
2520           size: 14
2521         zeroline: False
2522       yaxis:
2523         title: "<b>Packet Latency [uSec]</b>"
2524         titlefont:
2525           size: 14
2526         type: "linear"
2527         gridcolor: "rgb(230, 230, 230)"
2528         hoverformat: ".4s"
2529         linecolor: "rgb(220, 220, 220)"
2530         linewidth: 1
2531         showgrid: True
2532         showline: True
2533         showticklabels: True
2534         tickcolor: "rgb(220, 220, 220)"
2535         tickformat: ".4s"
2536         tickfont:
2537           size: 14
2538         zeroline: True
2539         rangemode: "tozero"
2540       legend:
2541         orientation: "h"
2542         font:
2543           size: 14
2544         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2545       autosize: False
2546       margin:
2547           't': 50
2548           'b': 150
2549           'l': 80
2550           'r': 10
2551       showlegend: True
2552       width: 700
2553       height: 700
2554       paper_bgcolor: "#fff"
2555       plot_bgcolor: "#fff"
2556       hoverlabel:
2557         namelength: -1
2558
2559     plot-hdrh-latency:
2560       title:
2561         text: ""
2562         xanchor: "center"
2563         x: 0.5
2564         font:
2565           size: 16
2566       width: 700
2567       plot_bgcolor: "white"
2568       annotations:
2569         - font:
2570             size: 14
2571           showarrow: False
2572           text: "<b>Packet Latency [uSec]</b>"
2573           x: 1
2574           xanchor: "right"
2575           xref: "paper"
2576           y: -0.045
2577           yanchor: "top"
2578           yref: "paper"
2579         - font:
2580             size: 14
2581           showarrow: False
2582           text: "<b>Probability [%]</b>"
2583           textangle: 270
2584           x: -0.06
2585           xanchor: "center"
2586           xref: "paper"
2587           y: 0.5
2588           yanchor: "middle"
2589           yref: "paper"
2590         - font:
2591             size: 14
2592           showarrow: False
2593           text: "<b>Direction: E-W</b>"
2594           x: 0.24
2595           xanchor: "center"
2596           xref: "paper"
2597           y: 1.05
2598           yanchor: "bottom"
2599           yref: "paper"
2600         - font:
2601             size: 14
2602           showarrow: False
2603           text: "<b>Direction: W-E</b>"
2604           x: 0.74
2605           xanchor: "center"
2606           xref: "paper"
2607           y: 1.05
2608           yanchor: "bottom"
2609           yref: "paper"
2610
2611     plot-hdrh-latency-percentile-x-log:
2612       title:
2613         text: "<b>Latency by Percentile Distribution</b>"
2614         xanchor: "center"
2615         x: 0.5
2616         font:
2617           size: 18
2618       showlegend: True
2619       legend:
2620         traceorder: "normal"
2621         orientation: "h"
2622         font:
2623           size: 16
2624         xanchor: "left"
2625         yanchor: "top"
2626         x: 0
2627         y: -0.2
2628         bgcolor: "rgba(255, 255, 255, 0)"
2629         bordercolor: "rgba(255, 255, 255, 0)"
2630       xaxis:
2631         type: "log"
2632         title: "<b>Percentile [%]</b>"
2633         titlefont:
2634           size: 14
2635         autorange: False
2636         fixedrange: True
2637         gridcolor: "rgb(230, 230, 230)"
2638         linecolor: "rgb(220, 220, 220)"
2639         linewidth: 1
2640         showgrid: True
2641         showline: True
2642         showticklabels: True
2643         tickcolor: "rgb(220, 220, 220)"
2644         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2645         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2646         tickfont:
2647           size: 14
2648       yaxis:
2649         title: "<b>One-Way Latency per Direction [uSec]</b>"
2650         titlefont:
2651           size: 14
2652         gridcolor: "rgb(230, 230, 230)"
2653         linecolor: "rgb(220, 220, 220)"
2654         linewidth: 1
2655         showgrid: True
2656         showline: True
2657         showticklabels: True
2658         tickcolor: "rgb(220, 220, 220)"
2659         tickfont:
2660           size: 14
2661       autosize: False
2662       width: 700
2663       height: 700
2664       paper_bgcolor: "white"
2665       plot_bgcolor: "white"
2666
2667     plot-hdrh-latency-by-percentile:
2668       title:
2669         text: "<b>Latency by Percentile Distribution</b>"
2670         xanchor: "center"
2671         x: 0.5
2672         font:
2673           size: 18
2674       showlegend: True
2675       legend:
2676         traceorder: "normal"
2677         orientation: "h"
2678         font:
2679           size: 16
2680         xanchor: "left"
2681         yanchor: "top"
2682         x: 0
2683         y: -0.2
2684         bgcolor: "rgba(255, 255, 255, 0)"
2685         bordercolor: "rgba(255, 255, 255, 0)"
2686       xaxis:
2687         type: "linear"
2688         title: "<b>Percentile [%]</b>"
2689         titlefont:
2690           size: 14
2691         autorange: False
2692         fixedrange: False
2693         range: [0, 100]
2694         gridcolor: "rgb(230, 230, 230)"
2695         linecolor: "rgb(220, 220, 220)"
2696         linewidth: 1
2697         showgrid: True
2698         showline: True
2699         showticklabels: True
2700         tickcolor: "rgb(220, 220, 220)"
2701         tickvals: [0, 25, 50, 75, 100]
2702         ticktext: [0, 25, 50, 75, 100]
2703         tickfont:
2704           size: 14
2705       yaxis:
2706         title: "<b>One-Way Latency per Direction [uSec]</b>"
2707         titlefont:
2708           size: 14
2709         gridcolor: "rgb(230, 230, 230)"
2710         linecolor: "rgb(220, 220, 220)"
2711         linewidth: 1
2712         showgrid: True
2713         showline: True
2714         showticklabels: True
2715         tickcolor: "rgb(220, 220, 220)"
2716         tickfont:
2717           size: 14
2718       width: 700
2719       height: 700
2720       paper_bgcolor: "white"
2721       plot_bgcolor: "white"
2722
2723 - type: "static"
2724   src-path: "{DIR[RST]}"
2725   dst-path: "{DIR[WORKING,SRC]}"
2726
2727 - type: "input"
2728   general:
2729     file-name: "output_info.xml.gz"
2730     file-format: ".gz"
2731     arch-file-format:
2732       - ".gz"
2733       - ".zip"
2734     download-path: "{job}/{build}/archives/{filename}"
2735     extract: "output.xml"
2736
2737     zip-file-name: "robot-plugin.zip"
2738     zip-file-format: ".zip"
2739     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2740     zip-extract: "robot-plugin/output.xml"
2741
2742   builds:
2743
2744     csit-vpp-perf-report-iterative-2009-3n-hsw:
2745       - 18  # rls2005 MRR iter env 5
2746       - 9   # rls2005 NDRPDR iter env 5
2747       - 10  # rls2005 NDRPDR iter env 5
2748       - 11  # rls2005 NDRPDR iter env 5
2749       - 12  # rls2005 NDRPDR iter env 5
2750       - 13  # rls2005 NDRPDR iter env 5
2751       - 14  # rls2005 NDRPDR iter env 5
2752       - 15  # rls2005 NDRPDR iter env 5
2753       - 16  # rls2005 NDRPDR iter env 5
2754       - 17  # rls2005 NDRPDR iter env 5
2755       - 19  # rls2005 NDRPDR iter env 5
2756       - 23  # rls2009 MRR iter env 5
2757       - 21  # rls2009 NDRPDR iter env 5
2758       - 22  # rls2009 NDRPDR iter env 5
2759       - 24  # rls2009 NDRPDR iter env 5
2760       - 25  # rls2009 NDRPDR iter env 5
2761       - 26  # rls2009 NDRPDR iter env 5
2762       - 27  # rls2009 NDRPDR iter env 5
2763       - 28  # rls2009 NDRPDR iter env 5
2764       - 29  # rls2009 NDRPDR iter env 5
2765       - 30  # rls2009 NDRPDR iter env 5
2766       - 31  # rls2009 NDRPDR iter env 5
2767     csit-vpp-perf-report-iterative-2101-3n-hsw:
2768       - 17  # rls2009 MRR iter env 6
2769       - 19  # rls2009 NDRPDR iter env 6
2770       - 20  # rls2009 NDRPDR iter env 6
2771       - 21  # rls2009 NDRPDR iter env 6
2772       - 22  # rls2009 NDRPDR iter env 6
2773       - 23  # rls2009 NDRPDR iter env 6
2774       - 24  # rls2009 NDRPDR iter env 6
2775       - 25  # rls2009 NDRPDR iter env 6
2776       - 26  # rls2009 NDRPDR iter env 6
2777       - 27  # rls2009 NDRPDR iter env 6
2778       - 63  # rls2101.rel MRR iter env 6
2779       - 64  # rls2101.rel NDRPDR iter env 6
2780       - 71  # rls2101.rel NDRPDR iter env 6
2781       - 73  # rls2101.rel NDRPDR iter env 6
2782       - 74  # rls2101.rel NDRPDR iter env 6
2783       - 80  # rls2101.rel NDRPDR iter env 6
2784       - 81  # rls2101.rel NDRPDR iter env 6
2785       - 82  # rls2101.rel NDRPDR iter env 6
2786       - 83  # rls2101.rel NDRPDR iter env 6
2787       - 88  # rls2101.rel NDRPDR iter env 6
2788       - 89  # rls2101.rel NDRPDR iter env 6
2789       - 128 # rls2101.rel NDRPDR iter RND env 6
2790       - 129 # rls2101.rel NDRPDR iter RND env 6
2791       - 130 # rls2101.rel NDRPDR iter RND env 6
2792       - 131 # rls2101.rel NDRPDR iter RND env 6
2793       - 132 # rls2101.rel NDRPDR iter RND env 6
2794       - 133 # rls2101.rel NDRPDR iter RND env 6
2795       - 134 # rls2101.rel NDRPDR iter RND env 6
2796       - 135 # rls2101.rel NDRPDR iter RND env 6
2797       - 136 # rls2101.rel NDRPDR iter RND env 6
2798       - 137 # rls2101.rel NDRPDR iter RND env 6
2799       - 65  # rls2101.rel NDRPDR reconf iter env 6
2800       - 68  # rls2101.rel NDRPDR reconf iter env 6
2801       - 77  # rls2101.rel NDRPDR reconf iter env 6
2802       - 84  # rls2101.rel NDRPDR reconf iter env 6
2803       - 90  # rls2101.rel NDRPDR reconf iter env 6
2804       - 96  # rls2101.rel NDRPDR reconf iter env 6
2805       - 101 # rls2101.rel NDRPDR reconf iter env 6
2806       - 104 # rls2101.rel NDRPDR reconf iter env 6
2807       - 105 # rls2101.rel NDRPDR reconf iter env 6
2808       - 106 # rls2101.rel NDRPDR reconf iter env 6
2809       - 107 # rls2101.rel NDRPDR reconf iter env 6
2810       - 108 # rls2101.rel NDRPDR reconf iter env 6
2811       - 110 # rls2101.rel NDRPDR reconf iter env 6
2812       - 111 # rls2101.rel NDRPDR reconf iter env 6
2813       - 112 # rls2101.rel NDRPDR reconf iter env 6
2814       - 113 # rls2101.rel NDRPDR reconf iter env 6
2815       - 114 # rls2101.rel NDRPDR reconf iter env 6
2816       - 115 # rls2101.rel NDRPDR reconf iter env 6
2817       - 116 # rls2101.rel NDRPDR reconf iter env 6
2818       - 117 # rls2101.rel NDRPDR reconf iter env 6
2819       - 69  # rls2101.rel Hoststack iter env 6
2820       - 70  # rls2101.rel Hoststack iter env 6
2821       - 75  # rls2101.rel Hoststack iter env 6
2822       - 76  # rls2101.rel Hoststack iter env 6
2823       - 78  # rls2101.rel Hoststack iter env 6
2824       - 79  # rls2101.rel Hoststack iter env 6
2825       - 85  # rls2101.rel Hoststack iter env 6
2826       - 86  # rls2101.rel Hoststack iter env 6
2827       - 87  # rls2101.rel Hoststack iter env 6
2828       - 91  # rls2101.rel Hoststack iter env 6
2829       - 92  # rls2101.rel Hoststack iter env 6
2830       - 93  # rls2101.rel Hoststack iter env 6
2831       - 94  # rls2101.rel Hoststack iter env 6
2832       - 95  # rls2101.rel Hoststack iter env 6
2833       - 97  # rls2101.rel Hoststack iter env 6
2834       - 98  # rls2101.rel Hoststack iter env 6
2835       - 99  # rls2101.rel Hoststack iter env 6
2836       - 100 # rls2101.rel Hoststack iter env 6
2837       - 102 # rls2101.rel Hoststack iter env 6
2838       - 103 # rls2101.rel Hoststack iter env 6
2839     csit-vpp-perf-report-coverage-2101-3n-hsw:
2840       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
2841       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
2842       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
2843       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
2844       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
2845       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
2846       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
2847       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
2848       - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
2849       - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
2850       - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
2851       - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
2852       - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
2853       - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
2854       - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
2855       - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
2856       - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
2857       - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
2858       - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
2859       - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
2860       - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
2861       - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
2862       - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
2863       - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
2864       - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
2865       - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
2866       - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
2867       - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
2868       - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
2869       - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
2870       - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
2871       - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
2872       - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
2873       - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
2874       - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
2875
2876
2877     csit-vpp-perf-report-iterative-2009-3n-skx:
2878       - 17  # rls2005 MRR iter env 5
2879       - 13  # rls2005 NDRPDR iter env 5
2880       - 18  # rls2005 NDRPDR iter env 5
2881       - 19  # rls2005 NDRPDR iter env 5
2882       - 41  # rls2005 NDRPDR iter env 5
2883       - 43  # rls2005 NDRPDR iter env 5
2884       - 44  # rls2005 NDRPDR iter env 5
2885       - 45  # rls2005 NDRPDR iter env 5
2886       - 46  # rls2005 NDRPDR iter env 5
2887       - 48  # rls2005 NDRPDR iter env 5
2888       - 49  # rls2005 NDRPDR iter env 5
2889       - 24  # rls2009 MRR iter env 5
2890       - 26  # rls2009 NDRPDR iter env 5
2891       - 27  # rls2009 NDRPDR iter env 5
2892       - 28  # rls2009 NDRPDR iter env 5
2893       - 29  # rls2009 NDRPDR iter env 5
2894       - 35  # rls2009 NDRPDR iter env 5
2895       - 36  # rls2009 NDRPDR iter env 5
2896       - 37  # rls2009 NDRPDR iter env 5
2897       - 38  # rls2009 NDRPDR iter env 5
2898       - 39  # rls2009 NDRPDR iter env 5
2899       - 40  # rls2009 NDRPDR iter env 5
2900     csit-vpp-perf-report-iterative-2101-3n-skx:
2901       - 34  # rls2009 MRR iter env 6
2902       - 14  # rls2009 NDRPDR iter env 6
2903       - 15  # rls2009 NDRPDR iter env 6
2904       - 16  # rls2009 NDRPDR iter env 6
2905       - 17  # rls2009 NDRPDR iter env 6
2906       - 18  # rls2009 NDRPDR iter env 6
2907       - 25  # rls2009 NDRPDR iter env 6
2908       - 26  # rls2009 NDRPDR iter env 6
2909       - 27  # rls2009 NDRPDR iter env 6
2910       - 29  # rls2009 NDRPDR iter env 6
2911       - 31  # rls2009 NDRPDR iter env 6
2912       - 35  # rls2101.rel MRR iter env 6
2913       - 36  # rls2101.rel NDRPDR iter env 6
2914       - 37  # rls2101.rel NDRPDR iter env 6
2915       - 38  # rls2101.rel NDRPDR iter env 6
2916       - 39  # rls2101.rel NDRPDR iter env 6
2917       - 40  # rls2101.rel NDRPDR iter env 6
2918       - 41  # rls2101.rel NDRPDR iter env 6
2919       - 42  # rls2101.rel NDRPDR iter env 6
2920       - 47  # rls2101.rel NDRPDR iter env 6
2921       - 48  # rls2101.rel NDRPDR iter env 6
2922     # csit-vpp-perf-report-coverage-2101-3n-skx:
2923
2924
2925     csit-vpp-perf-report-iterative-2009-2n-skx:
2926       - 20  # rls2005 MRR iter env 5
2927       - 13  # rls2005 NDRPDR iter env 5
2928       - 16  # rls2005 NDRPDR iter env 5
2929       - 17  # rls2005 NDRPDR iter env 5
2930       - 18  # rls2005 NDRPDR iter env 5
2931       - 19  # rls2005 NDRPDR iter env 5
2932       - 21  # rls2005 NDRPDR iter env 5
2933       - 22  # rls2005 NDRPDR iter env 5
2934       - 23  # rls2005 NDRPDR iter env 5
2935       - 24  # rls2005 NDRPDR iter env 5
2936       - 25  # rls2005 NDRPDR iter env 5
2937       - 120 # rls2009 MRR iter env 5
2938       - 35  # rls2009 NDRPDR iter env 5
2939       - 36  # rls2009 NDRPDR iter env 5
2940       - 37  # rls2009 NDRPDR iter env 5
2941       - 39  # rls2009 NDRPDR iter env 5
2942       - 40  # rls2009 NDRPDR iter env 5
2943       - 42  # rls2009 NDRPDR iter env 5
2944       - 43  # rls2009 NDRPDR iter env 5
2945       - 44  # rls2009 NDRPDR iter env 5
2946       - 46  # rls2009 NDRPDR iter env 5
2947       - 48  # rls2009 NDRPDR iter env 5
2948       - 110 # rls2009 NDRPDR iter NAT44 env 5
2949       - 111 # rls2009 NDRPDR iter NAT44 env 5
2950       - 112 # rls2009 NDRPDR iter NAT44 env 5
2951       - 113 # rls2009 NDRPDR iter NAT44 env 5
2952       - 114 # rls2009 NDRPDR iter NAT44 env 5
2953       - 115 # rls2009 NDRPDR iter NAT44 env 5
2954       - 116 # rls2009 NDRPDR iter NAT44 env 5
2955       - 118 # rls2009 NDRPDR iter NAT44 env 5
2956       - 119 # rls2009 NDRPDR iter NAT44 env 5
2957       - 121 # rls2009 NDRPDR iter NAT44 env 5
2958     csit-vpp-perf-report-iterative-2101-2n-skx:
2959       - 21  # rls2009 MRR iter env 6
2960       - 22  # rls2009 NDRPDR iter env 6
2961       - 23  # rls2009 NDRPDR iter env 6
2962       - 24  # rls2009 NDRPDR iter env 6
2963       - 25  # rls2009 NDRPDR iter env 6
2964       - 26  # rls2009 NDRPDR iter env 6
2965       - 28  # rls2009 NDRPDR iter env 6
2966       - 39  # rls2009 NDRPDR iter env 6
2967       - 40  # rls2009 NDRPDR iter env 6
2968       - 41  # rls2009 NDRPDR iter env 6
2969       - 44  # rls2009 NDRPDR iter env 6
2970       - 62  # rls2101.rel MRR iter env 6
2971       - 63  # rls2101.rel NDRPDR iter env 6
2972       - 69  # rls2101.rel NDRPDR iter env 6
2973       - 70  # rls2101.rel NDRPDR iter env 6
2974       - 75  # rls2101.rel NDRPDR iter env 6
2975       - 76  # rls2101.rel NDRPDR iter env 6
2976       - 77  # rls2101.rel NDRPDR iter env 6
2977       - 82  # rls2101.rel NDRPDR iter env 6
2978       - 85  # rls2101.rel NDRPDR iter env 6
2979       - 86  # rls2101.rel NDRPDR iter env 6
2980       - 94  # rls2101.rel NDRPDR iter env 6
2981       - 89  # rls2101.rel NDRPDR iter RND env 6
2982       - 90  # rls2101.rel NDRPDR iter RND env 6
2983       - 91  # rls2101.rel NDRPDR iter RND env 6
2984       - 92  # rls2101.rel NDRPDR iter RND env 6
2985       - 93  # rls2101.rel NDRPDR iter RND env 6
2986       - 96  # rls2101.rel NDRPDR iter RND env 6
2987       - 98  # rls2101.rel NDRPDR iter RND env 6
2988       - 99  # rls2101.rel NDRPDR iter RND env 6
2989       - 101 # rls2101.rel NDRPDR iter RND env 6
2990       - 102 # rls2101.rel NDRPDR iter RND env 6
2991       - 65  # rls2101.rel MRR nf-density iter env 6
2992       - 67  # rls2101.rel NDRPDR nf-density iter env 6
2993       - 72  # rls2101.rel NDRPDR nf-density iter env 6
2994       - 79  # rls2101.rel NDRPDR nf-density iter env 6
2995       - 83  # rls2101.rel NDRPDR nf-density iter env 6
2996       - 88  # rls2101.rel NDRPDR nf-density iter env 6
2997       - 97  # rls2101.rel NDRPDR nf-density iter env 6
2998       - 103 # rls2101.rel NDRPDR nf-density iter env 6
2999       - 64  # rls2101.rel NDRPDR reconf iter env 6
3000       - 66  # rls2101.rel NDRPDR reconf iter env 6
3001       - 71  # rls2101.rel NDRPDR reconf iter env 6
3002       - 74  # rls2101.rel NDRPDR reconf iter env 6
3003       - 78  # rls2101.rel NDRPDR reconf iter env 6
3004       - 87  # rls2101.rel NDRPDR reconf iter env 6
3005       - 95  # rls2101.rel NDRPDR reconf iter env 6
3006       - 100 # rls2101.rel NDRPDR reconf iter env 6
3007       - 104 # rls2101.rel NDRPDR reconf iter env 6
3008       - 106 # rls2101.rel NDRPDR reconf iter env 6
3009       - 68  # rls2101.rel soak env 6
3010       - 73  # rls2101.rel soak env 6
3011     # csit-vpp-perf-report-coverage-2101-2n-skx:
3012
3013
3014     csit-vpp-perf-report-iterative-2009-2n-clx:
3015       - 77  # rls2005 MRR iter env 5
3016       - 13  # rls2005 NDRPDR iter env 5
3017       - 15  # rls2005 NDRPDR iter env 5
3018       - 17  # rls2005 NDRPDR iter env 5
3019       - 18  # rls2005 NDRPDR iter env 5
3020       - 19  # rls2005 NDRPDR iter env 5
3021       - 20  # rls2005 NDRPDR iter env 5
3022       - 21  # rls2005 NDRPDR iter env 5
3023       - 22  # rls2005 NDRPDR iter env 5
3024       - 23  # rls2005 NDRPDR iter env 5
3025       - 24  # rls2005 NDRPDR iter env 5
3026       - 125 # rls2009 MRR iter env 5
3027       - 36  # rls2009 NDRPDR iter env 5
3028       - 39  # rls2009 NDRPDR iter env 5
3029       - 40  # rls2009 NDRPDR iter env 5
3030       - 65  # rls2009 NDRPDR iter env 5
3031       - 66  # rls2009 NDRPDR iter env 5
3032       - 79  # rls2009 NDRPDR iter env 5
3033       - 82  # rls2009 NDRPDR iter env 5
3034       - 88  # rls2009 NDRPDR iter env 5
3035       - 89  # rls2009 NDRPDR iter env 5
3036       - 90  # rls2009 NDRPDR iter env 5
3037       - 114 # rls2009 NDRPDR iter NAT44 env 5
3038       - 115 # rls2009 NDRPDR iter NAT44 env 5
3039       - 116 # rls2009 NDRPDR iter NAT44 env 5
3040       - 117 # rls2009 NDRPDR iter NAT44 env 5
3041       - 118 # rls2009 NDRPDR iter NAT44 env 5
3042       - 119 # rls2009 NDRPDR iter NAT44 env 5
3043       - 121 # rls2009 NDRPDR iter NAT44 env 5
3044       - 122 # rls2009 NDRPDR iter NAT44 env 5
3045       - 123 # rls2009 NDRPDR iter NAT44 env 5
3046       - 126 # rls2009 NDRPDR iter NAT44 env 5
3047     csit-vpp-perf-report-iterative-2101-2n-clx:
3048       - 15  # rls2009 MRR iter env 6
3049       - 16  # rls2009 NDRPDR iter env 6
3050       - 17  # rls2009 NDRPDR iter env 6
3051       - 18  # rls2009 NDRPDR iter env 6
3052       - 19  # rls2009 NDRPDR iter env 6
3053       - 20  # rls2009 NDRPDR iter env 6
3054       - 21  # rls2009 NDRPDR iter env 6
3055       - 32  # rls2009 NDRPDR iter env 6
3056       - 33  # rls2009 NDRPDR iter env 6
3057       - 34  # rls2009 NDRPDR iter env 6
3058       - 35  # rls2009 NDRPDR iter env 6
3059       - 53  # rls2101.rel MRR iter env 6
3060       - 54  # rls2101.rel NDRPDR iter env 6
3061       - 59  # rls2101.rel NDRPDR iter env 6
3062       - 60  # rls2101.rel NDRPDR iter env 6
3063       - 63  # rls2101.rel NDRPDR iter env 6
3064       - 66  # rls2101.rel NDRPDR iter env 6
3065       - 68  # rls2101.rel NDRPDR iter env 6
3066       - 73  # rls2101.rel NDRPDR iter env 6
3067       - 75  # rls2101.rel NDRPDR iter env 6
3068       - 72  # rls2101.rel MRR nf-density iter env 6
3069       - 57  # rls2101.rel NDRPDR nf-density iter env 6
3070       - 62  # rls2101.rel NDRPDR nf-density iter env 6
3071       - 70  # rls2101.rel NDRPDR nf-density iter env 6
3072       - 71  # rls2101.rel NDRPDR nf-density iter env 6
3073       - 82  # rls2101.rel NDRPDR nf-density iter env 6
3074       - 55  # rls2101.rel NDRPDR reconf iter env 6
3075       - 64  # rls2101.rel NDRPDR reconf iter env 6
3076       - 76  # rls2101.rel NDRPDR reconf iter env 6
3077       - 58  # rls2101.rel soak env 6
3078       - 61  # rls2101.rel soak env 6
3079     # csit-vpp-perf-report-coverage-2101-2n-clx:
3080
3081
3082     csit-vpp-perf-report-iterative-2009-2n-zn2:
3083       - 15  # rls2009 MRR iter env 5
3084       - 17  # rls2009 NDRPDR iter env 5
3085       - 18  # rls2009 NDRPDR iter env 5
3086       - 31  # rls2009 NDRPDR iter env 5
3087       - 33  # rls2009 NDRPDR iter env 5
3088       - 34  # rls2009 NDRPDR iter env 5
3089     csit-vpp-perf-report-iterative-2101-2n-zn2:
3090       - 8   # rls2009 MRR iter env6
3091       - 9   # rls2009 NDRPDR iter env 6
3092       - 10  # rls2009 NDRPDR iter env 6
3093       - 11  # rls2009 NDRPDR iter env 6
3094       - 12  # rls2009 NDRPDR iter env 6
3095       - 13  # rls2009 NDRPDR iter env 6
3096       - 20  # rls2009 NDRPDR iter env 6
3097       - 21  # rls2009 NDRPDR iter env 6
3098       - 22  # rls2009 NDRPDR iter env 6
3099       - 25  # rls2009 NDRPDR iter env 6
3100       - 26  # rls2009 NDRPDR iter env 6
3101       - 30  # rls2101.rel MRR iter env 6
3102       - 31  # rls2101.rel NDRPDR iter env 6
3103       - 32  # rls2101.rel NDRPDR iter env 6
3104       - 33  # rls2101.rel NDRPDR iter env 6
3105       - 34  # rls2101.rel NDRPDR iter env 6
3106       - 35  # rls2101.rel NDRPDR iter env 6
3107       - 37  # rls2101.rel NDRPDR iter env 6
3108       - 38  # rls2101.rel NDRPDR iter env 6
3109       - 40  # rls2101.rel NDRPDR iter RND env 6
3110       - 41  # rls2101.rel NDRPDR iter RND env 6
3111       - 42  # rls2101.rel NDRPDR iter RND env 6
3112       - 43  # rls2101.rel NDRPDR iter RND env 6
3113       - 45  # rls2101.rel NDRPDR iter RND env 6
3114
3115     csit-vpp-perf-report-iterative-2009-3n-tsh:
3116       - 8   # rls2005 NDRPDR iter env 5
3117       - 11  # rls2005 NDRPDR iter env 5
3118       - 12  # rls2005 NDRPDR iter env 5
3119       - 24  # rls2005 NDRPDR iter env 5
3120       - 27  # rls2005 NDRPDR iter env 5
3121       - 29  # rls2005 NDRPDR iter env 5
3122       - 31  # rls2005 NDRPDR iter env 5
3123       - 39  # rls2005 NDRPDR iter env 5
3124       - 40  # rls2005 NDRPDR iter env 5
3125       - 42  # rls2005 NDRPDR iter env 5
3126       - 13  # rls2005 MRR iter env 5
3127       - 14  # rls2009 NDRPDR iter env 5
3128       - 20  # rls2009 NDRPDR iter env 5
3129       - 21  # rls2009 NDRPDR iter env 5
3130       - 22  # rls2009 NDRPDR iter env 5
3131       - 23  # rls2009 NDRPDR iter env 5
3132       - 28  # rls2009 NDRPDR iter env 5
3133       - 30  # rls2009 NDRPDR iter env 5
3134       - 33  # rls2009 NDRPDR iter env 5
3135       - 38  # rls2009 NDRPDR iter env 5
3136       - 41  # rls2009 NDRPDR iter env 5
3137       - 15  # rls2009 MRR iter env 5
3138     csit-vpp-perf-report-iterative-2101-3n-tsh:
3139       - 7   # rls2009 MRR iter env 6
3140       - 8   # rls2009 NDRPDR iter env 6
3141       - 13  # rls2009 NDRPDR iter env 6
3142       - 14  # rls2009 NDRPDR iter env 6
3143       - 15  # rls2009 NDRPDR iter env 6
3144       - 16  # rls2009 NDRPDR iter env 6
3145       - 17  # rls2009 NDRPDR iter env 6
3146       - 18  # rls2009 NDRPDR iter env 6
3147       - 19  # rls2009 NDRPDR iter env 6
3148       - 21  # rls2009 NDRPDR iter env 6