Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272         - 50  # rls2101.rel NDRPDR iter env 6
273
274     plot-vpp-hdrh-lat-3n-skx:
275       csit-vpp-perf-report-iterative-2101-3n-skx:
276         - 36  # rls2101.rel NDRPDR iter env 6
277
278 #    plot-vpp-nfv-3n-skx-ndrpdr:
279 #      # No data
280 #      csit-vpp-perf-report-iterative-2101-3n-skx:
281
282 #    plot-vpp-nfv-3n-skx-mrr:
283 #      # No data
284 #      csit-vpp-perf-report-iterative-2101-3n-skx:
285
286     plot-dpdk-throughput-latency-3n-skx:
287       csit-dpdk-perf-report-iterative-2101-3n-skx:
288         - 12  # rls2101 NDRPDR iter env 6
289         - 14  # rls2101 NDRPDR iter env 6
290         - 15  # rls2101 NDRPDR iter env 6
291         - 17  # rls2101 NDRPDR iter env 6
292         - 19  # rls2101 NDRPDR iter env 6
293         - 20  # rls2101 NDRPDR iter env 6
294         - 21  # rls2101 NDRPDR iter env 6
295         - 22  # rls2101 NDRPDR iter env 6
296         - 25  # rls2101 NDRPDR iter env 6
297         - 26  # rls2101 NDRPDR iter env 6
298
299     plot-dpdk-hdrh-lat-3n-skx:
300       csit-dpdk-perf-report-iterative-2101-3n-skx:
301         - 12  # rls2101 NDRPDR iter env 6
302
303     # 2n-skx
304
305     plot-vpp-throughput-lat-tsa-2n-skx:
306       csit-vpp-perf-report-iterative-2101-2n-skx:
307         - 63  # rls2101.rel NDRPDR iter env 6
308         - 69  # rls2101.rel NDRPDR iter env 6
309         - 70  # rls2101.rel NDRPDR iter env 6
310         - 75  # rls2101.rel NDRPDR iter env 6
311         - 76  # rls2101.rel NDRPDR iter env 6
312         - 77  # rls2101.rel NDRPDR iter env 6
313         - 82  # rls2101.rel NDRPDR iter env 6
314         - 85  # rls2101.rel NDRPDR iter env 6
315         - 86  # rls2101.rel NDRPDR iter env 6
316         - 94  # rls2101.rel NDRPDR iter env 6
317         - 89  # rls2101.rel NDRPDR iter RND env 6
318         - 90  # rls2101.rel NDRPDR iter RND env 6
319         - 91  # rls2101.rel NDRPDR iter RND env 6
320         - 92  # rls2101.rel NDRPDR iter RND env 6
321         - 93  # rls2101.rel NDRPDR iter RND env 6
322         - 96  # rls2101.rel NDRPDR iter RND env 6
323         - 98  # rls2101.rel NDRPDR iter RND env 6
324         - 99  # rls2101.rel NDRPDR iter RND env 6
325         - 101 # rls2101.rel NDRPDR iter RND env 6
326         - 102 # rls2101.rel NDRPDR iter RND env 6
327
328     plot-vpp-hdrh-lat-2n-skx:
329       csit-vpp-perf-report-iterative-2101-2n-skx:
330         - 94  # rls2101.rel NDRPDR iter env 6
331
332     plot-vpp-hdrh-lat-2n-skx-rnd:
333       csit-vpp-perf-report-iterative-2101-2n-skx:
334         - 89  # rls2101.rel NDRPDR iter RND env 6
335
336     plot-vpp-soak-2n-skx:
337       csit-vpp-perf-report-iterative-2101-2n-skx:
338         - 68  # rls2101.rel soak env 6
339         - 73  # rls2101.rel soak env 6
340
341     plot-vpp-nfv-2n-skx-ndrpdr:
342       csit-vpp-perf-report-iterative-2101-2n-skx:
343         - 67  # rls2101.rel NDRPDR nf-density iter env 6
344         - 72  # rls2101.rel NDRPDR nf-density iter env 6
345         - 79  # rls2101.rel NDRPDR nf-density iter env 6
346         - 83  # rls2101.rel NDRPDR nf-density iter env 6
347         - 88  # rls2101.rel NDRPDR nf-density iter env 6
348         - 97  # rls2101.rel NDRPDR nf-density iter env 6
349         - 103 # rls2101.rel NDRPDR nf-density iter env 6
350         - 108 # rls2101.rel NDRPDR nf-density iter env 6
351         - 109 # rls2101.rel NDRPDR nf-density iter env 6
352         - 110 # rls2101.rel NDRPDR nf-density iter env 6
353
354     plot-vpp-nfv-2n-skx-mrr:
355       csit-vpp-perf-report-iterative-2101-2n-skx:
356         - 65  # rls2101.rel MRR nf-density iter env 6
357
358     plot-vpp-nfv-reconf-2n-skx:
359       csit-vpp-perf-report-iterative-2101-2n-skx:
360         - 64  # rls2101.rel NDRPDR reconf iter env 6
361         - 66  # rls2101.rel NDRPDR reconf iter env 6
362         - 71  # rls2101.rel NDRPDR reconf iter env 6
363         - 74  # rls2101.rel NDRPDR reconf iter env 6
364         - 78  # rls2101.rel NDRPDR reconf iter env 6
365         - 87  # rls2101.rel NDRPDR reconf iter env 6
366         - 95  # rls2101.rel NDRPDR reconf iter env 6
367         - 100 # rls2101.rel NDRPDR reconf iter env 6
368         - 104 # rls2101.rel NDRPDR reconf iter env 6
369         - 106 # rls2101.rel NDRPDR reconf iter env 6
370
371     plot-dpdk-throughput-latency-2n-skx:
372       csit-dpdk-perf-report-iterative-2101-2n-skx:
373         - 11  # rls2101 NDRPDR iter env 6
374         - 12  # rls2101 NDRPDR iter env 6
375         - 13  # rls2101 NDRPDR iter env 6
376         - 14  # rls2101 NDRPDR iter env 6
377         - 15  # rls2101 NDRPDR iter env 6
378         - 17  # rls2101 NDRPDR iter env 6
379         - 18  # rls2101 NDRPDR iter env 6
380         - 19  # rls2101 NDRPDR iter env 6
381         - 20  # rls2101 NDRPDR iter env 6
382         - 21  # rls2101 NDRPDR iter env 6
383
384     plot-dpdk-hdrh-lat-2n-skx:
385       csit-dpdk-perf-report-iterative-2101-2n-skx:
386         - 11  # rls2101 NDRPDR iter env 6
387
388     # 2n-zn2
389
390     plot-vpp-throughput-lat-tsa-2n-zn2:
391       csit-vpp-perf-report-iterative-2101-2n-zn2:
392         - 31  # rls2101.rel NDRPDR iter env 6
393         - 32  # rls2101.rel NDRPDR iter env 6
394         - 33  # rls2101.rel NDRPDR iter env 6
395         - 34  # rls2101.rel NDRPDR iter env 6
396         - 35  # rls2101.rel NDRPDR iter env 6
397         - 36  # rls2101.rel NDRPDR iter env 6
398         - 37  # rls2101.rel NDRPDR iter env 6
399         - 38  # rls2101.rel NDRPDR iter env 6
400         - 44  # rls2101.rel NDRPDR iter env 6
401         - 49  # rls2101.rel NDRPDR iter env 6
402         - 39  # rls2101.rel NDRPDR iter RND env 6
403         - 40  # rls2101.rel NDRPDR iter RND env 6
404         - 41  # rls2101.rel NDRPDR iter RND env 6
405         - 42  # rls2101.rel NDRPDR iter RND env 6
406         - 43  # rls2101.rel NDRPDR iter RND env 6
407         - 45  # rls2101.rel NDRPDR iter RND env 6
408         - 48  # rls2101.rel NDRPDR iter RND env 6
409         - 50  # rls2101.rel NDRPDR iter RND env 6
410         - 51  # rls2101.rel NDRPDR iter RND env 6
411         - 52  # rls2101.rel NDRPDR iter RND env 6
412
413     plot-vpp-hdrh-lat-2n-zn2:
414       csit-vpp-perf-report-iterative-2101-2n-zn2:
415         - 31  # rls2101.rel NDRPDR iter env 6
416
417     plot-vpp-hdrh-lat-2n-zn2-rnd:
418       csit-vpp-perf-report-iterative-2101-2n-zn2:
419         - 40  # rls2101.rel NDRPDR iter RND env 6
420
421     plot-dpdk-throughput-latency-2n-zn2:
422       csit-dpdk-perf-report-iterative-2101-2n-zn2:
423         - 11  # rls2101 NDRPDR iter env 6
424         - 12  # rls2101 NDRPDR iter env 6
425         - 13  # rls2101 NDRPDR iter env 6
426         - 14  # rls2101 NDRPDR iter env 6
427         - 16  # rls2101 NDRPDR iter env 6
428         - 17  # rls2101 NDRPDR iter env 6
429         - 18  # rls2101 NDRPDR iter env 6
430         - 19  # rls2101 NDRPDR iter env 6
431         - 20  # rls2101 NDRPDR iter env 6
432         - 21  # rls2101 NDRPDR iter env 6
433
434     plot-dpdk-hdrh-lat-2n-zn2:
435       csit-dpdk-perf-report-iterative-2101-2n-zn2:
436         - 11  # rls2101 NDRPDR iter env 6
437
438     # 2n-clx
439
440     plot-vpp-throughput-lat-tsa-2n-clx:
441       csit-vpp-perf-report-iterative-2101-2n-clx:
442         - 54  # rls2101.rel NDRPDR iter env 6
443         - 59  # rls2101.rel NDRPDR iter env 6
444         - 60  # rls2101.rel NDRPDR iter env 6
445         - 63  # rls2101.rel NDRPDR iter env 6
446         - 66  # rls2101.rel NDRPDR iter env 6
447         - 68  # rls2101.rel NDRPDR iter env 6
448         - 73  # rls2101.rel NDRPDR iter env 6
449         - 75  # rls2101.rel NDRPDR iter env 6
450         - 86  # rls2101.rel NDRPDR iter env 6
451         - 90  # rls2101.rel NDRPDR iter env 6
452         - 80  # rls2101.rel NDRPDR iter RND env 6
453         - 87  # rls2101.rel NDRPDR iter RND env 6
454         - 91  # rls2101.rel NDRPDR iter RND env 6
455         - 92  # rls2101.rel NDRPDR iter RND env 6
456         - 93  # rls2101.rel NDRPDR iter RND env 6
457         - 94  # rls2101.rel NDRPDR iter RND env 6
458         - 95  # rls2101.rel NDRPDR iter RND env 6
459         - 100 # rls2101.rel NDRPDR iter RND env 6
460         - 106 # rls2101.rel NDRPDR iter RND env 6
461         - 108 # rls2101.rel NDRPDR iter RND env 6
462
463     plot-vpp-hdrh-lat-2n-clx:
464       csit-vpp-perf-report-iterative-2101-2n-clx:
465         - 75  # rls2101.rel NDRPDR iter env 6
466
467     plot-vpp-hdrh-lat-2n-clx-rnd:
468       csit-vpp-perf-report-iterative-2101-2n-clx:
469         - 87  # rls2101.rel NDRPDR iter RND env 6
470
471     plot-vpp-nfv-2n-clx-ndrpdr:
472       csit-vpp-perf-report-iterative-2101-2n-clx:
473         - 57  # rls2101.rel NDRPDR nf-density iter env 6
474         - 62  # rls2101.rel NDRPDR nf-density iter env 6
475         - 70  # rls2101.rel NDRPDR nf-density iter env 6
476         - 71  # rls2101.rel NDRPDR nf-density iter env 6
477         - 82  # rls2101.rel NDRPDR nf-density iter env 6
478         - 88  # rls2101.rel NDRPDR nf-density iter env 6
479         - 89  # rls2101.rel NDRPDR nf-density iter env 6
480         - 96  # rls2101.rel NDRPDR nf-density iter env 6
481         - 97  # rls2101.rel NDRPDR nf-density iter env 6
482         - 98  # rls2101.rel NDRPDR nf-density iter env 6
483
484     plot-vpp-nfv-2n-clx-mrr:
485       csit-vpp-perf-report-iterative-2101-2n-clx:
486         - 72  # rls2101.rel MRR nf-density iter env 6
487
488     plot-vpp-nfv-reconf-2n-clx:
489       csit-vpp-perf-report-iterative-2101-2n-clx:
490         - 55  # rls2101.rel NDRPDR reconf iter env 6
491         - 64  # rls2101.rel NDRPDR reconf iter env 6
492         - 76  # rls2101.rel NDRPDR reconf iter env 6
493         - 83  # rls2101.rel NDRPDR reconf iter env 6
494         - 99  # rls2101.rel NDRPDR reconf iter env 6
495         - 101 # rls2101.rel NDRPDR reconf iter env 6
496         - 102 # rls2101.rel NDRPDR reconf iter env 6
497         - 107 # rls2101.rel NDRPDR reconf iter env 6
498         - 109 # rls2101.rel NDRPDR reconf iter env 6
499         - 110 # rls2101.rel NDRPDR reconf iter env 6
500
501     plot-vpp-soak-2n-clx:
502       csit-vpp-perf-report-iterative-2101-2n-clx:
503         - 58  # rls2101.rel soak env 6
504         - 61  # rls2101.rel soak env 6
505
506     plot-dpdk-throughput-latency-2n-clx:
507       csit-dpdk-perf-report-iterative-2101-2n-clx:
508         - 12  # rls2101 NDRPDR iter env 6
509         - 13  # rls2101 NDRPDR iter env 6
510         - 14  # rls2101 NDRPDR iter env 6
511         - 18  # rls2101 NDRPDR iter env 6
512         - 22  # rls2101 NDRPDR iter env 6
513
514     plot-dpdk-hdrh-lat-2n-clx:
515       csit-dpdk-perf-report-iterative-2101-2n-clx:
516         - 12  # rls2101 NDRPDR iter env 6
517
518     # 3n-tsh
519
520     plot-vpp-throughput-lat-tsa-3n-tsh:
521       csit-vpp-perf-report-iterative-2101-3n-tsh:
522         - 23  # rls2101.rel NDRPDR iter env 6
523         - 24  # rls2101.rel NDRPDR iter env 6
524         - 25  # rls2101.rel NDRPDR iter env 6
525         - 26  # rls2101.rel NDRPDR iter env 6
526         - 27  # rls2101.rel NDRPDR iter env 6
527         - 28  # rls2101.rel NDRPDR iter env 6
528         - 29  # rls2101.rel NDRPDR iter env 6
529         - 30  # rls2101.rel NDRPDR iter env 6
530         - 31  # rls2101.rel NDRPDR iter env 6
531         - 32  # rls2101.rel NDRPDR iter env 6
532
533     plot-vpp-hdrh-lat-3n-tsh:
534       csit-vpp-perf-report-iterative-2101-3n-tsh:
535         - 23  # rls2101.rel NDRPDR iter env 6
536
537     plot-dpdk-throughput-latency-3n-tsh:
538       csit-dpdk-perf-report-iterative-2101-3n-tsh:
539         - 11  # rls2101 NDRPDR iter env 6
540         - 12  # rls2101 NDRPDR iter env 6
541         - 13  # rls2101 NDRPDR iter env 6
542         - 14  # rls2101 NDRPDR iter env 6
543         - 16  # rls2101 NDRPDR iter env 6
544         - 17  # rls2101 NDRPDR iter env 6
545         - 18  # rls2101 NDRPDR iter env 6
546         - 19  # rls2101 NDRPDR iter env 6
547         - 20  # rls2101 NDRPDR iter env 6
548         - 21  # rls2101 NDRPDR iter env 6
549
550     plot-dpdk-hdrh-lat-3n-tsh:
551       csit-dpdk-perf-report-iterative-2101-3n-tsh:
552         - 21  # rls2101 NDRPDR iter env 6
553
554     # 2n-tx2
555
556     plot-vpp-throughput-lat-tsa-2n-tx2:
557       csit-vpp-perf-report-iterative-2101-2n-tx2:
558         - 22  # rls2101.rel NDRPDR iter env 6
559         - 23  # rls2101.rel NDRPDR iter env 6
560         - 24  # rls2101.rel NDRPDR iter env 6
561         - 25  # rls2101.rel NDRPDR iter env 6
562         - 26  # rls2101.rel NDRPDR iter env 6
563         - 27  # rls2101.rel NDRPDR iter env 6
564         - 28  # rls2101.rel NDRPDR iter env 6
565         - 29  # rls2101.rel NDRPDR iter env 6
566         - 30  # rls2101.rel NDRPDR iter env 6
567         - 31  # rls2101.rel NDRPDR iter env 6
568
569     plot-vpp-hdrh-lat-2n-tx2:
570       csit-vpp-perf-report-iterative-2101-2n-tx2:
571         - 29  # rls2101.rel NDRPDR iter env 6
572
573     plot-dpdk-throughput-latency-2n-tx2:
574       csit-dpdk-perf-report-iterative-2101-2n-tx2:
575         - 4   # rls2101 NDRPDR iter env 6
576         - 6   # rls2101 NDRPDR iter env 6
577         - 7   # rls2101 NDRPDR iter env 6
578         - 8   # rls2101 NDRPDR iter env 6
579         - 9   # rls2101 NDRPDR iter env 6
580         - 10  # rls2101 NDRPDR iter env 6
581         - 11  # rls2101 NDRPDR iter env 6
582         - 12  # rls2101 NDRPDR iter env 6
583         - 13  # rls2101 NDRPDR iter env 6
584         - 14  # rls2101 NDRPDR iter env 6
585
586     plot-dpdk-hdrh-lat-2n-tx2:
587       csit-dpdk-perf-report-iterative-2101-2n-tx2:
588         - 4   # rls2101 NDRPDR iter env 6
589
590     # 3n-dnv
591
592     plot-vpp-throughput-lat-tsa-3n-dnv:
593       csit-vpp-perf-report-iterative-2101-3n-dnv:
594         - 33  # rls2101.rel NDRPDR iter env 6
595         - 34  # rls2101.rel NDRPDR iter env 6
596         - 35  # rls2101.rel NDRPDR iter env 6
597         - 36  # rls2101.rel NDRPDR iter env 6
598         - 37  # rls2101.rel NDRPDR iter env 6
599         - 38  # rls2101.rel NDRPDR iter env 6
600         - 39  # rls2101.rel NDRPDR iter env 6
601         - 40  # rls2101.rel NDRPDR iter env 6
602         - 41  # rls2101.rel NDRPDR iter env 6
603         - 42  # rls2101.rel NDRPDR iter env 6
604         - 43  # rls2101.rel NDRPDR iter RND env 6
605         - 44  # rls2101.rel NDRPDR iter RND env 6
606         - 45  # rls2101.rel NDRPDR iter RND env 6
607         - 46  # rls2101.rel NDRPDR iter RND env 6
608         - 47  # rls2101.rel NDRPDR iter RND env 6
609         - 48  # rls2101.rel NDRPDR iter RND env 6
610         - 49  # rls2101.rel NDRPDR iter RND env 6
611         - 50  # rls2101.rel NDRPDR iter RND env 6
612         - 51  # rls2101.rel NDRPDR iter RND env 6
613         - 52  # rls2101.rel NDRPDR iter RND env 6
614
615 #    plot-dpdk-throughput-latency-3n-dnv:
616 #      # No data
617 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
618
619     # 2n-dnv
620
621     plot-vpp-throughput-lat-tsa-2n-dnv:
622       csit-vpp-perf-report-iterative-2101-2n-dnv:
623         - 32  # rls2101.rel NDRPDR iter env 6
624         - 33  # rls2101.rel NDRPDR iter env 6
625         - 34  # rls2101.rel NDRPDR iter env 6
626         - 35  # rls2101.rel NDRPDR iter env 6
627         - 39  # rls2101.rel NDRPDR iter env 6
628         - 41  # rls2101.rel NDRPDR iter env 6
629         - 42  # rls2101.rel NDRPDR iter env 6
630         - 43  # rls2101.rel NDRPDR iter env 6
631         - 44  # rls2101.rel NDRPDR iter env 6
632         - 45  # rls2101.rel NDRPDR iter env 6
633         - 46  # rls2101.rel NDRPDR iter RND env 6
634         - 47  # rls2101.rel NDRPDR iter RND env 6
635         - 48  # rls2101.rel NDRPDR iter RND env 6
636         - 49  # rls2101.rel NDRPDR iter RND env 6
637         - 50  # rls2101.rel NDRPDR iter RND env 6
638         - 51  # rls2101.rel NDRPDR iter RND env 6
639         - 52  # rls2101.rel NDRPDR iter RND env 6
640         - 53  # rls2101.rel NDRPDR iter RND env 6
641         - 54  # rls2101.rel NDRPDR iter RND env 6
642         - 55  # rls2101.rel NDRPDR iter RND env 6
643
644 #    plot-dpdk-throughput-latency-2n-dnv:
645 #      # No data
646 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
647
648     ###########################################################################
649     # Simple tables (only one data set):
650
651     # NIC Comparisons
652
653     vpp-nic-comparison-3n-skx:
654       csit-vpp-perf-report-iterative-2101-3n-skx:
655         - 36  # rls2101.rel NDRPDR iter env 6
656         - 37  # rls2101.rel NDRPDR iter env 6
657         - 38  # rls2101.rel NDRPDR iter env 6
658         - 39  # rls2101.rel NDRPDR iter env 6
659         - 40  # rls2101.rel NDRPDR iter env 6
660         - 41  # rls2101.rel NDRPDR iter env 6
661         - 42  # rls2101.rel NDRPDR iter env 6
662         - 47  # rls2101.rel NDRPDR iter env 6
663         - 48  # rls2101.rel NDRPDR iter env 6
664         - 50  # rls2101.rel NDRPDR iter env 6
665
666     vpp-nic-comparison-2n-skx:
667       csit-vpp-perf-report-iterative-2101-2n-skx:
668         - 63  # rls2101.rel NDRPDR iter env 6
669         - 69  # rls2101.rel NDRPDR iter env 6
670         - 70  # rls2101.rel NDRPDR iter env 6
671         - 75  # rls2101.rel NDRPDR iter env 6
672         - 76  # rls2101.rel NDRPDR iter env 6
673         - 77  # rls2101.rel NDRPDR iter env 6
674         - 82  # rls2101.rel NDRPDR iter env 6
675         - 85  # rls2101.rel NDRPDR iter env 6
676         - 86  # rls2101.rel NDRPDR iter env 6
677         - 94  # rls2101.rel NDRPDR iter env 6
678         - 89  # rls2101.rel NDRPDR iter RND env 6
679         - 90  # rls2101.rel NDRPDR iter RND env 6
680         - 91  # rls2101.rel NDRPDR iter RND env 6
681         - 92  # rls2101.rel NDRPDR iter RND env 6
682         - 93  # rls2101.rel NDRPDR iter RND env 6
683         - 96  # rls2101.rel NDRPDR iter RND env 6
684         - 98  # rls2101.rel NDRPDR iter RND env 6
685         - 99  # rls2101.rel NDRPDR iter RND env 6
686         - 101 # rls2101.rel NDRPDR iter RND env 6
687         - 102 # rls2101.rel NDRPDR iter RND env 6
688
689     vpp-nic-comparison-3n-skx-mrr:
690       csit-vpp-perf-report-iterative-2101-3n-skx:
691         - 35  # rls2101.rel MRR iter env 6
692
693     vpp-nic-comparison-2n-skx-mrr:
694       csit-vpp-perf-report-iterative-2101-2n-skx:
695         - 62  # rls2101.rel MRR iter env 6
696
697     # Results
698
699     vpp-perf-results-3n-hsw:
700       csit-vpp-perf-report-coverage-2101-3n-hsw:
701         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
702         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
703         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
704         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
705         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
706         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
707         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
708         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
709         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
710         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
711         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
712         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
713         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
714         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
715         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
716         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
717         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
718         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
719         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
720         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
721         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
722         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
723         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
724         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
725         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
726         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
727         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
728         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
729         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
730         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
731         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
732         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
733         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
734         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
735         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
736
737     vpp-perf-results-3n-skx:
738       csit-vpp-perf-report-coverage-2101-3n-skx:
739         - 1   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-00
740         - 2   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-01
741         - 3   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-02
742 #         - 4   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-03
743         - 5   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-00
744         - 16  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-01
745         - 7   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-02
746 #         - 17  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-03
747 #         - 18  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-04
748 #         - 19  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-05
749 #         - 20  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
750         - 12  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
751         - 13  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-00
752         - 26  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-01
753         - 15  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-02
754         - 21  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-00
755         - 22  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-01
756         - 23  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6tun-00
757         - 24  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-00
758         - 30  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-01
759         - 27  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-02
760         - 28  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-03
761 #         - 29  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-04
762 #         - 31  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-05
763         - 32  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-06
764         - 33  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-07
765         - 34  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-08
766         - 35  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-09
767         - 36  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-10
768 #         - 37  # rls2101.rel NDRPDR cov env 6 3n-skx-memif-00
769         - 38  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-00
770 #         - 39  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-01
771 #         - 40  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-00
772 #         - 41  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-01
773         - 42  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-02
774         - 43  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-03
775
776     vpp-perf-results-2n-skx:
777       csit-vpp-perf-report-coverage-2101-2n-skx:
778         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
779         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
780         - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
781         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
782         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
783         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
784         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
785         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
786 #        - 20  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
787         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
788         - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
789         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
790         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
791         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
792         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
793         - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
794         - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
795         - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
796
797     vpp-perf-results-2n-zn2:
798       csit-vpp-perf-report-iterative-2101-2n-zn2:
799         - 31  # rls2101.rel NDRPDR iter env 6
800
801     vpp-perf-results-2n-clx:
802       csit-vpp-perf-report-coverage-2101-2n-clx:
803         - 1   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-00
804         - 2   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-01
805         - 3   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-02
806         - 4   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-03
807         - 5   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-04
808         - 6   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-05
809         - 7   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-06
810         - 8   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-07
811 #         - 9   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
812         - 10  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-00
813         - 11  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-01
814         - 12  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-00
815         - 13  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-01
816         - 14  # rls2101.rel NDRPDR cov env 6 2n-clx-lb-00
817         - 15  # rls2101.rel NDRPDR cov env 6 2n-clx-memif-00
818         - 16  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-00
819         - 17  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-01
820         - 18  # rls2101.rel NDRPDR cov env 6 2n-clx-vts-00
821
822     vpp-perf-results-3n-tsh:
823       csit-vpp-perf-report-iterative-2101-3n-tsh:
824         - 23  # rls2101.rel NDRPDR iter env 6
825
826     vpp-perf-results-2n-tx2:
827       csit-vpp-perf-report-coverage-2101-2n-tx2:
828         - 1   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-00
829         - 2   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-01
830         - 3   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-02
831         - 4   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-03
832         - 5   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-04
833         - 6   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-05
834         - 7   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-06
835         - 8   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-00
836         - 9   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-01
837         - 10  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-00
838         - 11  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-01
839         - 12  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-02
840         - 13  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-03
841
842     vpp-perf-results-3n-dnv:
843       csit-vpp-perf-report-coverage-2101-3n-dnv:
844         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
845         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
846         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
847         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
848         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
849         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
850         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
851         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
852         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
853
854     vpp-perf-results-2n-dnv:
855       csit-vpp-perf-report-coverage-2101-2n-dnv:
856         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
857         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
858         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
859         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
860         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
861         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
862
863     vpp-mrr-results-3n-hsw:
864       csit-vpp-perf-report-iterative-2101-3n-hsw:
865         - 63  # rls2101.rel MRR iter env 6
866
867     vpp-mrr-results-3n-skx:
868       csit-vpp-perf-report-iterative-2101-3n-skx:
869         - 35  # rls2101.rel MRR iter env 6
870
871     vpp-mrr-results-2n-skx:
872       csit-vpp-perf-report-iterative-2101-2n-skx:
873         - 62  # rls2101.rel MRR iter env 6
874
875     vpp-mrr-results-2n-zn2:
876       csit-vpp-perf-report-iterative-2101-2n-zn2:
877         - 30  # rls2101.rel MRR iter env 6
878
879     vpp-mrr-results-2n-clx:
880       csit-vpp-perf-report-iterative-2101-2n-clx:
881         - 53  # rls2101.rel MRR iter env 6
882
883     vpp-mrr-results-3n-tsh:
884       csit-vpp-perf-report-iterative-2101-3n-tsh:
885         - 22  # rls2101.rel MRR iter env 6
886
887     vpp-mrr-results-2n-tx2:
888       csit-vpp-perf-report-iterative-2101-2n-tx2:
889         - 21  # rls2101.rel MRR iter env 6
890
891     vpp-mrr-results-3n-dnv:
892       csit-vpp-perf-report-iterative-2101-3n-dnv:
893         - 32  # rls2101.rel MRR iter env 6
894
895     vpp-mrr-results-2n-dnv:
896       csit-vpp-perf-report-iterative-2101-2n-dnv:
897         - 31  # rls2101.rel MRR iter env 6
898
899     vpp-device-results-ubuntu:
900       csit-vpp-device-2101-ubuntu1804-1n-skx:
901         - 358  # rls2101.rel VPP DEV env 6
902
903     dpdk-perf-results-3n-hsw:
904       csit-dpdk-perf-report-iterative-2101-3n-hsw:
905         - 11  # rls2101 NDRPDR iter env 6
906
907     dpdk-perf-results-3n-skx:
908       csit-dpdk-perf-report-iterative-2101-3n-skx:
909         - 12  # rls2101 NDRPDR iter env 6
910
911     dpdk-perf-results-2n-skx:
912       csit-dpdk-perf-report-iterative-2101-2n-skx:
913         - 11  # rls2101 NDRPDR iter env 6
914
915     dpdk-perf-results-2n-zn2:
916       csit-dpdk-perf-report-iterative-2101-2n-zn2:
917         - 11  # rls2101 NDRPDR iter env 6
918
919     dpdk-perf-results-2n-clx:
920       csit-dpdk-perf-report-iterative-2101-2n-clx:
921         - 12  # rls2101 NDRPDR iter env 6
922
923 #    dpdk-perf-results-2n-dnv:
924 #      # No data
925 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
926
927 #    dpdk-perf-results-3n-dnv:
928 #      # No data
929 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
930
931     dpdk-perf-results-3n-tsh:
932       csit-dpdk-perf-report-iterative-2101-3n-tsh:
933         - 21  # rls2101 NDRPDR iter env 6
934
935     dpdk-perf-results-2n-tx2:
936       csit-dpdk-perf-report-iterative-2101-2n-tx2:
937         - 4   # rls2101 NDRPDR iter env 6
938
939 ###########################################################################
940     # Tables (more than one data set)
941
942     # Performance changes
943
944     vpp-performance-changes-3n-hsw-h1:
945       csit-vpp-perf-report-iterative-2009-3n-hsw:
946         - 9   # rls2005 NDRPDR iter env 5
947         - 10  # rls2005 NDRPDR iter env 5
948         - 11  # rls2005 NDRPDR iter env 5
949         - 12  # rls2005 NDRPDR iter env 5
950         - 13  # rls2005 NDRPDR iter env 5
951         - 14  # rls2005 NDRPDR iter env 5
952         - 15  # rls2005 NDRPDR iter env 5
953         - 16  # rls2005 NDRPDR iter env 5
954         - 17  # rls2005 NDRPDR iter env 5
955         - 19  # rls2005 NDRPDR iter env 5
956     vpp-performance-changes-3n-hsw-ref-env-old:
957       csit-vpp-perf-report-iterative-2009-3n-hsw:
958         - 21  # rls2009 NDRPDR iter env 5
959         - 22  # rls2009 NDRPDR iter env 5
960         - 24  # rls2009 NDRPDR iter env 5
961         - 25  # rls2009 NDRPDR iter env 5
962         - 26  # rls2009 NDRPDR iter env 5
963         - 27  # rls2009 NDRPDR iter env 5
964         - 28  # rls2009 NDRPDR iter env 5
965         - 29  # rls2009 NDRPDR iter env 5
966         - 30  # rls2009 NDRPDR iter env 5
967         - 31  # rls2009 NDRPDR iter env 5
968     vpp-performance-changes-3n-hsw-ref-env-new:
969       csit-vpp-perf-report-iterative-2101-3n-hsw:
970         - 19  # rls2009 NDRPDR iter env 6
971         - 20  # rls2009 NDRPDR iter env 6
972         - 21  # rls2009 NDRPDR iter env 6
973         - 22  # rls2009 NDRPDR iter env 6
974         - 23  # rls2009 NDRPDR iter env 6
975         - 24  # rls2009 NDRPDR iter env 6
976         - 25  # rls2009 NDRPDR iter env 6
977         - 26  # rls2009 NDRPDR iter env 6
978         - 27  # rls2009 NDRPDR iter env 6
979         - 28  # rls2009 NDRPDR iter env 6
980     vpp-performance-changes-3n-hsw-cmp:
981       csit-vpp-perf-report-iterative-2101-3n-hsw:
982         - 64  # rls2101.rel NDRPDR iter env 6
983         - 71  # rls2101.rel NDRPDR iter env 6
984         - 73  # rls2101.rel NDRPDR iter env 6
985         - 74  # rls2101.rel NDRPDR iter env 6
986         - 80  # rls2101.rel NDRPDR iter env 6
987         - 81  # rls2101.rel NDRPDR iter env 6
988         - 82  # rls2101.rel NDRPDR iter env 6
989         - 83  # rls2101.rel NDRPDR iter env 6
990         - 88  # rls2101.rel NDRPDR iter env 6
991         - 89  # rls2101.rel NDRPDR iter env 6
992         - 128 # rls2101.rel NDRPDR iter RND env 6
993         - 129 # rls2101.rel NDRPDR iter RND env 6
994         - 130 # rls2101.rel NDRPDR iter RND env 6
995         - 131 # rls2101.rel NDRPDR iter RND env 6
996         - 132 # rls2101.rel NDRPDR iter RND env 6
997         - 133 # rls2101.rel NDRPDR iter RND env 6
998         - 134 # rls2101.rel NDRPDR iter RND env 6
999         - 135 # rls2101.rel NDRPDR iter RND env 6
1000         - 136 # rls2101.rel NDRPDR iter RND env 6
1001         - 137 # rls2101.rel NDRPDR iter RND env 6
1002
1003     vpp-performance-changes-3n-skx-h1:
1004       csit-vpp-perf-report-iterative-2009-3n-skx:
1005         - 13  # rls2005 NDRPDR iter env 5
1006         - 18  # rls2005 NDRPDR iter env 5
1007         - 19  # rls2005 NDRPDR iter env 5
1008         - 41  # rls2005 NDRPDR iter env 5
1009         - 43  # rls2005 NDRPDR iter env 5
1010         - 44  # rls2005 NDRPDR iter env 5
1011         - 45  # rls2005 NDRPDR iter env 5
1012         - 46  # rls2005 NDRPDR iter env 5
1013         - 48  # rls2005 NDRPDR iter env 5
1014         - 49  # rls2005 NDRPDR iter env 5
1015     vpp-performance-changes-3n-skx-ref-env-old:
1016       csit-vpp-perf-report-iterative-2009-3n-skx:
1017         - 26  # rls2009 NDRPDR iter env 5
1018         - 27  # rls2009 NDRPDR iter env 5
1019         - 28  # rls2009 NDRPDR iter env 5
1020         - 29  # rls2009 NDRPDR iter env 5
1021         - 35  # rls2009 NDRPDR iter env 5
1022         - 36  # rls2009 NDRPDR iter env 5
1023         - 37  # rls2009 NDRPDR iter env 5
1024         - 38  # rls2009 NDRPDR iter env 5
1025         - 39  # rls2009 NDRPDR iter env 5
1026         - 40  # rls2009 NDRPDR iter env 5
1027     vpp-performance-changes-3n-skx-ref-env-new:
1028       csit-vpp-perf-report-iterative-2101-3n-skx:
1029         - 14  # rls2009 NDRPDR iter env 6
1030         - 15  # rls2009 NDRPDR iter env 6
1031         - 16  # rls2009 NDRPDR iter env 6
1032         - 17  # rls2009 NDRPDR iter env 6
1033         - 18  # rls2009 NDRPDR iter env 6
1034         - 25  # rls2009 NDRPDR iter env 6
1035         - 26  # rls2009 NDRPDR iter env 6
1036         - 27  # rls2009 NDRPDR iter env 6
1037         - 29  # rls2009 NDRPDR iter env 6
1038         - 31  # rls2009 NDRPDR iter env 6
1039     vpp-performance-changes-3n-skx-cmp:
1040       csit-vpp-perf-report-iterative-2101-3n-skx:
1041         - 36  # rls2101.rel NDRPDR iter env 6
1042         - 37  # rls2101.rel NDRPDR iter env 6
1043         - 38  # rls2101.rel NDRPDR iter env 6
1044         - 39  # rls2101.rel NDRPDR iter env 6
1045         - 40  # rls2101.rel NDRPDR iter env 6
1046         - 41  # rls2101.rel NDRPDR iter env 6
1047         - 42  # rls2101.rel NDRPDR iter env 6
1048         - 47  # rls2101.rel NDRPDR iter env 6
1049         - 48  # rls2101.rel NDRPDR iter env 6
1050         - 50  # rls2101.rel NDRPDR iter env 6
1051
1052     vpp-performance-changes-2n-skx-h1:
1053       csit-vpp-perf-report-iterative-2009-2n-skx:
1054         - 13  # rls2005 NDRPDR iter env 5
1055         - 16  # rls2005 NDRPDR iter env 5
1056         - 17  # rls2005 NDRPDR iter env 5
1057         - 18  # rls2005 NDRPDR iter env 5
1058         - 19  # rls2005 NDRPDR iter env 5
1059         - 21  # rls2005 NDRPDR iter env 5
1060         - 22  # rls2005 NDRPDR iter env 5
1061         - 23  # rls2005 NDRPDR iter env 5
1062         - 24  # rls2005 NDRPDR iter env 5
1063         - 25  # rls2005 NDRPDR iter env 5
1064     vpp-performance-changes-2n-skx-ref-env-old:
1065       csit-vpp-perf-report-iterative-2009-2n-skx:
1066         - 35  # rls2009 NDRPDR iter env 5
1067         - 36  # rls2009 NDRPDR iter env 5
1068         - 37  # rls2009 NDRPDR iter env 5
1069         - 39  # rls2009 NDRPDR iter env 5
1070         - 40  # rls2009 NDRPDR iter env 5
1071         - 42  # rls2009 NDRPDR iter env 5
1072         - 43  # rls2009 NDRPDR iter env 5
1073         - 44  # rls2009 NDRPDR iter env 5
1074         - 46  # rls2009 NDRPDR iter env 5
1075         - 48  # rls2009 NDRPDR iter env 5
1076         - 110 # rls2009 NDRPDR iter NAT44 env 5
1077         - 111 # rls2009 NDRPDR iter NAT44 env 5
1078         - 112 # rls2009 NDRPDR iter NAT44 env 5
1079         - 113 # rls2009 NDRPDR iter NAT44 env 5
1080         - 114 # rls2009 NDRPDR iter NAT44 env 5
1081         - 115 # rls2009 NDRPDR iter NAT44 env 5
1082         - 116 # rls2009 NDRPDR iter NAT44 env 5
1083         - 118 # rls2009 NDRPDR iter NAT44 env 5
1084         - 119 # rls2009 NDRPDR iter NAT44 env 5
1085         - 121 # rls2009 NDRPDR iter NAT44 env 5
1086     vpp-performance-changes-2n-skx-ref-env-new:
1087       csit-vpp-perf-report-iterative-2101-2n-skx:
1088         - 22  # rls2009 NDRPDR iter env 6
1089         - 23  # rls2009 NDRPDR iter env 6
1090         - 24  # rls2009 NDRPDR iter env 6
1091         - 25  # rls2009 NDRPDR iter env 6
1092         - 26  # rls2009 NDRPDR iter env 6
1093         - 28  # rls2009 NDRPDR iter env 6
1094         - 39  # rls2009 NDRPDR iter env 6
1095         - 40  # rls2009 NDRPDR iter env 6
1096         - 41  # rls2009 NDRPDR iter env 6
1097         - 44  # rls2009 NDRPDR iter env 6
1098     vpp-performance-changes-2n-skx-cmp:
1099       csit-vpp-perf-report-iterative-2101-2n-skx:
1100         - 63  # rls2101.rel NDRPDR iter env 6
1101         - 69  # rls2101.rel NDRPDR iter env 6
1102         - 70  # rls2101.rel NDRPDR iter env 6
1103         - 75  # rls2101.rel NDRPDR iter env 6
1104         - 76  # rls2101.rel NDRPDR iter env 6
1105         - 77  # rls2101.rel NDRPDR iter env 6
1106         - 82  # rls2101.rel NDRPDR iter env 6
1107         - 85  # rls2101.rel NDRPDR iter env 6
1108         - 86  # rls2101.rel NDRPDR iter env 6
1109         - 94  # rls2101.rel NDRPDR iter env 6
1110         - 89  # rls2101.rel NDRPDR iter RND env 6
1111         - 90  # rls2101.rel NDRPDR iter RND env 6
1112         - 91  # rls2101.rel NDRPDR iter RND env 6
1113         - 92  # rls2101.rel NDRPDR iter RND env 6
1114         - 93  # rls2101.rel NDRPDR iter RND env 6
1115         - 96  # rls2101.rel NDRPDR iter RND env 6
1116         - 98  # rls2101.rel NDRPDR iter RND env 6
1117         - 99  # rls2101.rel NDRPDR iter RND env 6
1118         - 101 # rls2101.rel NDRPDR iter RND env 6
1119         - 102 # rls2101.rel NDRPDR iter RND env 6
1120
1121     vpp-performance-changes-2n-clx-h1:
1122       csit-vpp-perf-report-iterative-2009-2n-clx:
1123         - 13  # rls2005 NDRPDR iter env 5
1124         - 15  # rls2005 NDRPDR iter env 5
1125         - 17  # rls2005 NDRPDR iter env 5
1126         - 18  # rls2005 NDRPDR iter env 5
1127         - 19  # rls2005 NDRPDR iter env 5
1128         - 20  # rls2005 NDRPDR iter env 5
1129         - 21  # rls2005 NDRPDR iter env 5
1130         - 22  # rls2005 NDRPDR iter env 5
1131         - 23  # rls2005 NDRPDR iter env 5
1132         - 24  # rls2005 NDRPDR iter env 5
1133     vpp-performance-changes-2n-clx-ref-env-old:
1134       csit-vpp-perf-report-iterative-2009-2n-clx:
1135         - 36  # rls2009 NDRPDR iter env 5
1136         - 39  # rls2009 NDRPDR iter env 5
1137         - 40  # rls2009 NDRPDR iter env 5
1138         - 65  # rls2009 NDRPDR iter env 5
1139         - 66  # rls2009 NDRPDR iter env 5
1140         - 79  # rls2009 NDRPDR iter env 5
1141         - 82  # rls2009 NDRPDR iter env 5
1142         - 88  # rls2009 NDRPDR iter env 5
1143         - 89  # rls2009 NDRPDR iter env 5
1144         - 90  # rls2009 NDRPDR iter env 5
1145         - 114 # rls2009 NDRPDR iter NAT44 env 5
1146         - 115 # rls2009 NDRPDR iter NAT44 env 5
1147         - 116 # rls2009 NDRPDR iter NAT44 env 5
1148         - 117 # rls2009 NDRPDR iter NAT44 env 5
1149         - 118 # rls2009 NDRPDR iter NAT44 env 5
1150         - 119 # rls2009 NDRPDR iter NAT44 env 5
1151         - 121 # rls2009 NDRPDR iter NAT44 env 5
1152         - 122 # rls2009 NDRPDR iter NAT44 env 5
1153         - 123 # rls2009 NDRPDR iter NAT44 env 5
1154         - 126 # rls2009 NDRPDR iter NAT44 env 5
1155     vpp-performance-changes-2n-clx-ref-env-new:
1156       csit-vpp-perf-report-iterative-2101-2n-clx:
1157         - 16  # rls2009 NDRPDR iter env 6
1158         - 17  # rls2009 NDRPDR iter env 6
1159         - 18  # rls2009 NDRPDR iter env 6
1160         - 19  # rls2009 NDRPDR iter env 6
1161         - 20  # rls2009 NDRPDR iter env 6
1162         - 21  # rls2009 NDRPDR iter env 6
1163         - 32  # rls2009 NDRPDR iter env 6
1164         - 33  # rls2009 NDRPDR iter env 6
1165         - 34  # rls2009 NDRPDR iter env 6
1166         - 35  # rls2009 NDRPDR iter env 6
1167     vpp-performance-changes-2n-clx-cmp:
1168       csit-vpp-perf-report-iterative-2101-2n-clx:
1169         - 54  # rls2101.rel NDRPDR iter env 6
1170         - 59  # rls2101.rel NDRPDR iter env 6
1171         - 60  # rls2101.rel NDRPDR iter env 6
1172         - 63  # rls2101.rel NDRPDR iter env 6
1173         - 66  # rls2101.rel NDRPDR iter env 6
1174         - 68  # rls2101.rel NDRPDR iter env 6
1175         - 73  # rls2101.rel NDRPDR iter env 6
1176         - 75  # rls2101.rel NDRPDR iter env 6
1177         - 86  # rls2101.rel NDRPDR iter env 6
1178         - 90  # rls2101.rel NDRPDR iter env 6
1179         - 80  # rls2101.rel NDRPDR iter RND env 6
1180         - 87  # rls2101.rel NDRPDR iter RND env 6
1181         - 91  # rls2101.rel NDRPDR iter RND env 6
1182         - 92  # rls2101.rel NDRPDR iter RND env 6
1183         - 93  # rls2101.rel NDRPDR iter RND env 6
1184         - 94  # rls2101.rel NDRPDR iter RND env 6
1185         - 95  # rls2101.rel NDRPDR iter RND env 6
1186         - 100 # rls2101.rel NDRPDR iter RND env 6
1187         - 106 # rls2101.rel NDRPDR iter RND env 6
1188         - 108 # rls2101.rel NDRPDR iter RND env 6
1189
1190     vpp-performance-changes-2n-zn2-ref-env-old:
1191       csit-vpp-perf-report-iterative-2009-2n-zn2:
1192         - 17  # rls2009 NDRPDR iter env 5
1193         - 18  # rls2009 NDRPDR iter env 5
1194         - 31  # rls2009 NDRPDR iter env 5
1195         - 33  # rls2009 NDRPDR iter env 5
1196         - 34  # rls2009 NDRPDR iter env 5
1197     vpp-performance-changes-2n-zn2-ref-env-new:
1198       csit-vpp-perf-report-iterative-2101-2n-zn2:
1199         - 9   # rls2009 NDRPDR iter env 6
1200         - 10  # rls2009 NDRPDR iter env 6
1201         - 11  # rls2009 NDRPDR iter env 6
1202         - 12  # rls2009 NDRPDR iter env 6
1203         - 13  # rls2009 NDRPDR iter env 6
1204         - 20  # rls2009 NDRPDR iter env 6
1205         - 21  # rls2009 NDRPDR iter env 6
1206         - 22  # rls2009 NDRPDR iter env 6
1207         - 25  # rls2009 NDRPDR iter env 6
1208         - 26  # rls2009 NDRPDR iter env 6
1209     vpp-performance-changes-2n-zn2-cmp:
1210       csit-vpp-perf-report-iterative-2101-2n-zn2:
1211         - 31  # rls2101.rel NDRPDR iter env 6
1212         - 32  # rls2101.rel NDRPDR iter env 6
1213         - 33  # rls2101.rel NDRPDR iter env 6
1214         - 34  # rls2101.rel NDRPDR iter env 6
1215         - 35  # rls2101.rel NDRPDR iter env 6
1216         - 36  # rls2101.rel NDRPDR iter env 6
1217         - 37  # rls2101.rel NDRPDR iter env 6
1218         - 38  # rls2101.rel NDRPDR iter env 6
1219         - 44  # rls2101.rel NDRPDR iter env 6
1220         - 49  # rls2101.rel NDRPDR iter env 6
1221         - 39  # rls2101.rel NDRPDR iter RND env 6
1222         - 40  # rls2101.rel NDRPDR iter RND env 6
1223         - 41  # rls2101.rel NDRPDR iter RND env 6
1224         - 42  # rls2101.rel NDRPDR iter RND env 6
1225         - 43  # rls2101.rel NDRPDR iter RND env 6
1226         - 45  # rls2101.rel NDRPDR iter RND env 6
1227         - 48  # rls2101.rel NDRPDR iter RND env 6
1228         - 50  # rls2101.rel NDRPDR iter RND env 6
1229         - 51  # rls2101.rel NDRPDR iter RND env 6
1230         - 52  # rls2101.rel NDRPDR iter RND env 6
1231
1232     vpp-performance-changes-2n-dnv-h1:
1233       csit-vpp-perf-report-iterative-2009-2n-dnv:
1234         - 16  # rls2005 NDRPDR iter env 5
1235         - 17  # rls2005 NDRPDR iter env 5
1236         - 18  # rls2005 NDRPDR iter env 5
1237         - 19  # rls2005 NDRPDR iter env 5
1238         - 21  # rls2005 NDRPDR iter env 5
1239         - 24  # rls2005 NDRPDR iter env 5
1240         - 27  # rls2005 NDRPDR iter env 5
1241         - 28  # rls2005 NDRPDR iter env 5
1242         - 29  # rls2005 NDRPDR iter env 5
1243         - 30  # rls2005 NDRPDR iter env 5
1244     vpp-performance-changes-2n-dnv-ref-env-old:
1245       csit-vpp-perf-report-iterative-2009-2n-dnv:
1246         - 3   # rls2009 NDRPDR iter env 5
1247         - 5   # rls2009 NDRPDR iter env 5
1248         - 6   # rls2009 NDRPDR iter env 5
1249         - 7   # rls2009 NDRPDR iter env 5
1250         - 9   # rls2009 NDRPDR iter env 5
1251         - 10  # rls2009 NDRPDR iter env 5
1252         - 11  # rls2009 NDRPDR iter env 5
1253         - 12  # rls2009 NDRPDR iter env 5
1254         - 14  # rls2009 NDRPDR iter env 5
1255         - 15  # rls2009 NDRPDR iter env 5
1256     vpp-performance-changes-2n-dnv-ref-env-new:
1257       # TODO: Re-test in new env
1258       csit-vpp-perf-report-iterative-2009-2n-dnv:
1259         - 3   # rls2009 NDRPDR iter env 5
1260         - 5   # rls2009 NDRPDR iter env 5
1261         - 6   # rls2009 NDRPDR iter env 5
1262         - 7   # rls2009 NDRPDR iter env 5
1263         - 9   # rls2009 NDRPDR iter env 5
1264         - 10  # rls2009 NDRPDR iter env 5
1265         - 11  # rls2009 NDRPDR iter env 5
1266         - 12  # rls2009 NDRPDR iter env 5
1267         - 14  # rls2009 NDRPDR iter env 5
1268         - 15  # rls2009 NDRPDR iter env 5
1269     vpp-performance-changes-2n-dnv-cmp:
1270       csit-vpp-perf-report-iterative-2101-2n-dnv:
1271         - 32  # rls2101.rel NDRPDR iter env 6
1272         - 33  # rls2101.rel NDRPDR iter env 6
1273         - 34  # rls2101.rel NDRPDR iter env 6
1274         - 35  # rls2101.rel NDRPDR iter env 6
1275         - 39  # rls2101.rel NDRPDR iter env 6
1276         - 41  # rls2101.rel NDRPDR iter env 6
1277         - 42  # rls2101.rel NDRPDR iter env 6
1278         - 43  # rls2101.rel NDRPDR iter env 6
1279         - 44  # rls2101.rel NDRPDR iter env 6
1280         - 45  # rls2101.rel NDRPDR iter env 6
1281         - 46  # rls2101.rel NDRPDR iter RND env 6
1282         - 47  # rls2101.rel NDRPDR iter RND env 6
1283         - 48  # rls2101.rel NDRPDR iter RND env 6
1284         - 49  # rls2101.rel NDRPDR iter RND env 6
1285         - 50  # rls2101.rel NDRPDR iter RND env 6
1286         - 51  # rls2101.rel NDRPDR iter RND env 6
1287         - 52  # rls2101.rel NDRPDR iter RND env 6
1288         - 53  # rls2101.rel NDRPDR iter RND env 6
1289         - 54  # rls2101.rel NDRPDR iter RND env 6
1290         - 55  # rls2101.rel NDRPDR iter RND env 6
1291
1292     vpp-performance-changes-3n-dnv-h1:
1293       csit-vpp-perf-report-iterative-2009-3n-dnv:
1294         - 16  # rls2005 NDRPDR iter env 5
1295         - 23  # rls2005 NDRPDR iter env 5
1296         - 25  # rls2005 NDRPDR iter env 5
1297         - 26  # rls2005 NDRPDR iter env 5
1298         - 27  # rls2005 NDRPDR iter env 5
1299         - 28  # rls2005 NDRPDR iter env 5
1300         - 29  # rls2005 NDRPDR iter env 5
1301         - 30  # rls2005 NDRPDR iter env 5
1302         - 31  # rls2005 NDRPDR iter env 5
1303         - 32  # rls2005 NDRPDR iter env 5
1304     vpp-performance-changes-3n-dnv-ref-env-old:
1305       csit-vpp-perf-report-iterative-2009-3n-dnv:
1306         - 3   # rls2009 NDRPDR iter env 5
1307         - 6   # rls2009 NDRPDR iter env 5
1308         - 7   # rls2009 NDRPDR iter env 5
1309         - 8   # rls2009 NDRPDR iter env 5
1310         - 10  # rls2009 NDRPDR iter env 5
1311         - 11  # rls2009 NDRPDR iter env 5
1312         - 12  # rls2009 NDRPDR iter env 5
1313         - 14  # rls2009 NDRPDR iter env 5
1314         - 15  # rls2009 NDRPDR iter env 5
1315         - 24  # rls2009 NDRPDR iter env 5
1316     vpp-performance-changes-3n-dnv-ref-env-new:
1317       # TODO: Re-test in new env
1318       csit-vpp-perf-report-iterative-2009-3n-dnv:
1319         - 3   # rls2009 NDRPDR iter env 5
1320         - 6   # rls2009 NDRPDR iter env 5
1321         - 7   # rls2009 NDRPDR iter env 5
1322         - 8   # rls2009 NDRPDR iter env 5
1323         - 10  # rls2009 NDRPDR iter env 5
1324         - 11  # rls2009 NDRPDR iter env 5
1325         - 12  # rls2009 NDRPDR iter env 5
1326         - 14  # rls2009 NDRPDR iter env 5
1327         - 15  # rls2009 NDRPDR iter env 5
1328         - 24  # rls2009 NDRPDR iter env 5
1329     vpp-performance-changes-3n-dnv-cmp:
1330       csit-vpp-perf-report-iterative-2101-3n-dnv:
1331         - 33  # rls2101.rel NDRPDR iter env 6
1332         - 34  # rls2101.rel NDRPDR iter env 6
1333         - 35  # rls2101.rel NDRPDR iter env 6
1334         - 36  # rls2101.rel NDRPDR iter env 6
1335         - 37  # rls2101.rel NDRPDR iter env 6
1336         - 38  # rls2101.rel NDRPDR iter env 6
1337         - 39  # rls2101.rel NDRPDR iter env 6
1338         - 40  # rls2101.rel NDRPDR iter env 6
1339         - 41  # rls2101.rel NDRPDR iter env 6
1340         - 42  # rls2101.rel NDRPDR iter env 6
1341         - 43  # rls2101.rel NDRPDR iter RND env 6
1342         - 44  # rls2101.rel NDRPDR iter RND env 6
1343         - 45  # rls2101.rel NDRPDR iter RND env 6
1344         - 46  # rls2101.rel NDRPDR iter RND env 6
1345         - 47  # rls2101.rel NDRPDR iter RND env 6
1346         - 48  # rls2101.rel NDRPDR iter RND env 6
1347         - 49  # rls2101.rel NDRPDR iter RND env 6
1348         - 50  # rls2101.rel NDRPDR iter RND env 6
1349         - 51  # rls2101.rel NDRPDR iter RND env 6
1350         - 52  # rls2101.rel NDRPDR iter RND env 6
1351
1352     vpp-performance-changes-3n-tsh-h1:
1353       csit-vpp-perf-report-iterative-2009-3n-tsh:
1354         - 8   # rls2005 NDRPDR iter env 5
1355         - 11  # rls2005 NDRPDR iter env 5
1356         - 12  # rls2005 NDRPDR iter env 5
1357         - 24  # rls2005 NDRPDR iter env 5
1358         - 27  # rls2005 NDRPDR iter env 5
1359         - 29  # rls2005 NDRPDR iter env 5
1360         - 31  # rls2005 NDRPDR iter env 5
1361         - 39  # rls2005 NDRPDR iter env 5
1362         - 40  # rls2005 NDRPDR iter env 5
1363         - 42  # rls2005 NDRPDR iter env 5
1364     vpp-performance-changes-3n-tsh-ref-env-old:
1365       csit-vpp-perf-report-iterative-2009-3n-tsh:
1366         - 14  # rls2009 NDRPDR iter env 5
1367         - 20  # rls2009 NDRPDR iter env 5
1368         - 21  # rls2009 NDRPDR iter env 5
1369         - 22  # rls2009 NDRPDR iter env 5
1370         - 23  # rls2009 NDRPDR iter env 5
1371         - 28  # rls2009 NDRPDR iter env 5
1372         - 30  # rls2009 NDRPDR iter env 5
1373         - 33  # rls2009 NDRPDR iter env 5
1374         - 38  # rls2009 NDRPDR iter env 5
1375         - 41  # rls2009 NDRPDR iter env 5
1376     vpp-performance-changes-3n-tsh-ref-env-new:
1377       csit-vpp-perf-report-iterative-2101-3n-tsh:
1378         - 8   # rls2009 NDRPDR iter env 6
1379         - 13  # rls2009 NDRPDR iter env 6
1380         - 14  # rls2009 NDRPDR iter env 6
1381         - 15  # rls2009 NDRPDR iter env 6
1382         - 16  # rls2009 NDRPDR iter env 6
1383         - 17  # rls2009 NDRPDR iter env 6
1384         - 18  # rls2009 NDRPDR iter env 6
1385         - 19  # rls2009 NDRPDR iter env 6
1386         - 21  # rls2009 NDRPDR iter env 6
1387     vpp-performance-changes-3n-tsh-cmp:
1388       csit-vpp-perf-report-iterative-2101-3n-tsh:
1389         - 23  # rls2101.rel NDRPDR iter env 6
1390         - 24  # rls2101.rel NDRPDR iter env 6
1391         - 25  # rls2101.rel NDRPDR iter env 6
1392         - 26  # rls2101.rel NDRPDR iter env 6
1393         - 27  # rls2101.rel NDRPDR iter env 6
1394         - 28  # rls2101.rel NDRPDR iter env 6
1395         - 29  # rls2101.rel NDRPDR iter env 6
1396         - 30  # rls2101.rel NDRPDR iter env 6
1397         - 31  # rls2101.rel NDRPDR iter env 6
1398         - 32  # rls2101.rel NDRPDR iter env 6
1399
1400 #     vpp-performance-changes-2n-tx2-h1:
1401 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1402 #         -
1403 #     vpp-performance-changes-2n-tx2-ref-env-old:
1404 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1405 #         -
1406     vpp-performance-changes-2n-tx2-ref-env-new:
1407       csit-vpp-perf-report-iterative-2101-2n-tx2:
1408         - 6   # rls2009 NDRPDR iter env 6
1409         - 7   # rls2009 NDRPDR iter env 6
1410         - 11  # rls2009 NDRPDR iter env 6
1411         - 12  # rls2009 NDRPDR iter env 6
1412         - 13  # rls2009 NDRPDR iter env 6
1413         - 16  # rls2009 NDRPDR iter env 6
1414         - 17  # rls2009 NDRPDR iter env 6
1415         - 18  # rls2009 NDRPDR iter env 6
1416         - 19  # rls2009 NDRPDR iter env 6
1417         - 20  # rls2009 NDRPDR iter env 6
1418     vpp-performance-changes-2n-tx2-cmp:
1419       csit-vpp-perf-report-iterative-2101-2n-tx2:
1420         - 22  # rls2101.rel NDRPDR iter env 6
1421         - 23  # rls2101.rel NDRPDR iter env 6
1422         - 24  # rls2101.rel NDRPDR iter env 6
1423         - 25  # rls2101.rel NDRPDR iter env 6
1424         - 26  # rls2101.rel NDRPDR iter env 6
1425         - 27  # rls2101.rel NDRPDR iter env 6
1426         - 28  # rls2101.rel NDRPDR iter env 6
1427         - 29  # rls2101.rel NDRPDR iter env 6
1428         - 30  # rls2101.rel NDRPDR iter env 6
1429         - 31  # rls2101.rel NDRPDR iter env 6
1430
1431     vpp-soak-vs-ndr-2n-skx-ref:
1432       csit-vpp-perf-report-iterative-2101-2n-skx:
1433         - 63  # rls2101.rel NDRPDR iter env 6
1434         - 69  # rls2101.rel NDRPDR iter env 6
1435         - 70  # rls2101.rel NDRPDR iter env 6
1436         - 75  # rls2101.rel NDRPDR iter env 6
1437         - 76  # rls2101.rel NDRPDR iter env 6
1438         - 77  # rls2101.rel NDRPDR iter env 6
1439         - 82  # rls2101.rel NDRPDR iter env 6
1440         - 85  # rls2101.rel NDRPDR iter env 6
1441         - 86  # rls2101.rel NDRPDR iter env 6
1442         - 94  # rls2101.rel NDRPDR iter env 6
1443     vpp-soak-vs-ndr-2n-skx-cmp:
1444       csit-vpp-perf-report-iterative-2101-2n-skx:
1445         - 68  # rls2101.rel soak env 6
1446         - 73  # rls2101.rel soak env 6
1447     vpp-soak-vs-ndr-2n-skx:
1448       csit-vpp-perf-report-iterative-2101-2n-skx:
1449         - 63  # rls2101.rel NDRPDR iter env 6
1450         - 69  # rls2101.rel NDRPDR iter env 6
1451         - 70  # rls2101.rel NDRPDR iter env 6
1452         - 75  # rls2101.rel NDRPDR iter env 6
1453         - 76  # rls2101.rel NDRPDR iter env 6
1454         - 77  # rls2101.rel NDRPDR iter env 6
1455         - 82  # rls2101.rel NDRPDR iter env 6
1456         - 85  # rls2101.rel NDRPDR iter env 6
1457         - 86  # rls2101.rel NDRPDR iter env 6
1458         - 94  # rls2101.rel NDRPDR iter env 6
1459         - 68  # rls2101.rel soak env 6
1460         - 73  # rls2101.rel soak env 6
1461
1462     vpp-soak-vs-ndr-2n-clx-ref:
1463       csit-vpp-perf-report-iterative-2101-2n-clx:
1464         - 54  # rls2101.rel NDRPDR iter env 6
1465         - 59  # rls2101.rel NDRPDR iter env 6
1466         - 60  # rls2101.rel NDRPDR iter env 6
1467         - 63  # rls2101.rel NDRPDR iter env 6
1468         - 66  # rls2101.rel NDRPDR iter env 6
1469         - 68  # rls2101.rel NDRPDR iter env 6
1470         - 73  # rls2101.rel NDRPDR iter env 6
1471         - 75  # rls2101.rel NDRPDR iter env 6
1472         - 86  # rls2101.rel NDRPDR iter env 6
1473         - 90  # rls2101.rel NDRPDR iter env 6
1474     vpp-soak-vs-ndr-2n-clx-cmp:
1475       csit-vpp-perf-report-iterative-2101-2n-clx:
1476         - 58  # rls2101.rel soak env 6
1477         - 61  # rls2101.rel soak env 6
1478     vpp-soak-vs-ndr-2n-clx:
1479       csit-vpp-perf-report-iterative-2101-2n-clx:
1480         - 54  # rls2101.rel NDRPDR iter env 6
1481         - 59  # rls2101.rel NDRPDR iter env 6
1482         - 60  # rls2101.rel NDRPDR iter env 6
1483         - 63  # rls2101.rel NDRPDR iter env 6
1484         - 66  # rls2101.rel NDRPDR iter env 6
1485         - 68  # rls2101.rel NDRPDR iter env 6
1486         - 73  # rls2101.rel NDRPDR iter env 6
1487         - 75  # rls2101.rel NDRPDR iter env 6
1488         - 86  # rls2101.rel NDRPDR iter env 6
1489         - 90  # rls2101.rel NDRPDR iter env 6
1490         - 58  # rls2101.rel soak env 6
1491         - 61  # rls2101.rel soak env 6
1492
1493     vpp-performance-changes-3n-hsw-mrr-h1:
1494       csit-vpp-perf-report-iterative-2009-3n-hsw:
1495         - 18  # rls2005 MRR iter env 5
1496     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1497       csit-vpp-perf-report-iterative-2009-3n-hsw:
1498         - 23  # rls2009 MRR iter env 5
1499     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1500       csit-vpp-perf-report-iterative-2101-3n-hsw:
1501         - 17  # rls2009 MRR iter env 6
1502     vpp-performance-changes-3n-hsw-mrr-cmp:
1503       csit-vpp-perf-report-iterative-2101-3n-hsw:
1504         - 63  # rls2101.rel MRR iter env 6
1505
1506     vpp-performance-changes-3n-skx-mrr-h1:
1507       csit-vpp-perf-report-iterative-2009-3n-skx:
1508         - 17  # rls2005 MRR iter env 5
1509     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1510       csit-vpp-perf-report-iterative-2009-3n-skx:
1511         - 24  # rls2009 MRR iter env 5
1512     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1513       csit-vpp-perf-report-iterative-2101-3n-skx:
1514         - 34  # rls2009 MRR iter env 6
1515     vpp-performance-changes-3n-skx-mrr-cmp:
1516       csit-vpp-perf-report-iterative-2101-3n-skx:
1517         - 35  # rls2101.rel MRR iter env 6
1518
1519     vpp-performance-changes-2n-skx-mrr-h1:
1520       csit-vpp-perf-report-iterative-2009-2n-skx:
1521         - 20  # rls2005 MRR iter env 5
1522     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1523       csit-vpp-perf-report-iterative-2009-2n-skx:
1524         - 120 # rls2009 MRR iter env 5
1525     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1526       csit-vpp-perf-report-iterative-2101-2n-skx:
1527         - 21  # rls2009 MRR iter env 6
1528     vpp-performance-changes-2n-skx-mrr-cmp:
1529       csit-vpp-perf-report-iterative-2101-2n-skx:
1530         - 62  # rls2101.rel MRR iter env 6
1531
1532     vpp-performance-changes-2n-clx-mrr-h1:
1533       csit-vpp-perf-report-iterative-2009-2n-clx:
1534         - 77  # rls2005 MRR iter env 5
1535     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1536       csit-vpp-perf-report-iterative-2009-2n-clx:
1537         - 125 # rls2009 MRR iter env 5
1538     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1539       csit-vpp-perf-report-iterative-2101-2n-clx:
1540         - 15  # rls2009 MRR iter env 6
1541     vpp-performance-changes-2n-clx-mrr-cmp:
1542       csit-vpp-perf-report-iterative-2101-2n-clx:
1543         - 53  # rls2101.rel MRR iter env 6
1544
1545     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1546       csit-vpp-perf-report-iterative-2009-2n-zn2:
1547         - 15  # rls2009 MRR iter env 5
1548     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1549       csit-vpp-perf-report-iterative-2101-2n-zn2:
1550         - 8   # rls2009 MRR iter env6
1551     vpp-performance-changes-2n-zn2-mrr-cmp:
1552       csit-vpp-perf-report-iterative-2101-2n-zn2:
1553         - 30  # rls2101.rel MRR iter env 6
1554
1555     vpp-performance-changes-2n-dnv-mrr-h1:
1556       csit-vpp-perf-report-iterative-2009-2n-dnv:
1557         - 23  # rls2005 MRR iter env 5
1558     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1559       csit-vpp-perf-report-iterative-2009-2n-dnv:
1560         - 13  # rls2009 MRR iter env 5
1561     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1562       # TODO: Re-test in new env
1563       csit-vpp-perf-report-iterative-2009-2n-dnv:
1564         - 13  # rls2009 MRR iter env 5
1565     vpp-performance-changes-2n-dnv-mrr-cmp:
1566       csit-vpp-perf-report-iterative-2101-2n-dnv:
1567         - 31  # rls2101.rel MRR iter env 6
1568
1569     vpp-performance-changes-3n-dnv-mrr-h1:
1570       csit-vpp-perf-report-iterative-2009-3n-dnv:
1571         - 19  # rls2005 MRR iter env 5
1572     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1573       csit-vpp-perf-report-iterative-2009-3n-dnv:
1574         - 22  # rls2009 MRR iter env 5
1575     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1576       # TODO: Re-test in new env
1577       csit-vpp-perf-report-iterative-2009-3n-dnv:
1578         - 22  # rls2009 MRR iter env 5
1579     vpp-performance-changes-3n-dnv-mrr-cmp:
1580       csit-vpp-perf-report-iterative-2101-3n-dnv:
1581         - 32  # rls2101.rel MRR iter env 6
1582
1583     vpp-performance-changes-3n-tsh-mrr-h1:
1584       csit-vpp-perf-report-iterative-2009-3n-tsh:
1585         - 13  # rls2005 MRR iter env 5
1586     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1587       csit-vpp-perf-report-iterative-2009-3n-tsh:
1588         - 15  # rls2009 MRR iter env 5
1589     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1590       csit-vpp-perf-report-iterative-2101-3n-tsh:
1591         - 7   # rls2009 MRR iter env 6
1592     vpp-performance-changes-3n-tsh-mrr-cmp:
1593       csit-vpp-perf-report-iterative-2101-3n-tsh:
1594         - 22  # rls2101.rel MRR iter env 6
1595
1596 #     vpp-performance-changes-2n-tx2-mrr-h1:
1597 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1598 #         -
1599 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1600 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1601 #         -
1602     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1603       csit-vpp-perf-report-iterative-2101-2n-tx2:
1604         - 5   # rls2009 MRR iter env 6
1605     vpp-performance-changes-2n-tx2-mrr-cmp:
1606       csit-vpp-perf-report-iterative-2101-2n-tx2:
1607         - 21  # rls2101.rel MRR iter env 6
1608
1609     dpdk-performance-changes-3n-hsw-h1:
1610       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1611         - 25  # NDRPDR iter
1612         - 26  # NDRPDR iter
1613         - 27  # NDRPDR iter
1614         - 28  # NDRPDR iter
1615         - 29  # NDRPDR iter
1616         - 30  # NDRPDR iter
1617         - 31  # NDRPDR iter
1618         - 32  # NDRPDR iter
1619         - 33  # NDRPDR iter
1620         - 34  # NDRPDR iter
1621     dpdk-performance-changes-3n-hsw-ref:
1622       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1623         - 6   # NDRPDR iter env5
1624         - 7   # NDRPDR iter env5
1625         - 8   # NDRPDR iter env5
1626         - 9   # NDRPDR iter env5
1627         - 10  # NDRPDR iter env5
1628         - 11  # NDRPDR iter env5
1629         - 12  # NDRPDR iter env5
1630         - 13  # NDRPDR iter env5
1631         - 14  # NDRPDR iter env5
1632         - 15  # NDRPDR iter env5
1633     dpdk-performance-changes-3n-hsw-cmp:
1634       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1635         - 11  # rls2101 NDRPDR iter env 6
1636         - 12  # rls2101 NDRPDR iter env 6
1637         - 13  # rls2101 NDRPDR iter env 6
1638         - 14  # rls2101 NDRPDR iter env 6
1639         - 16  # rls2101 NDRPDR iter env 6
1640         - 17  # rls2101 NDRPDR iter env 6
1641         - 18  # rls2101 NDRPDR iter env 6
1642         - 19  # rls2101 NDRPDR iter env 6
1643         - 20  # rls2101 NDRPDR iter env 6
1644         - 21  # rls2101 NDRPDR iter env 6
1645
1646     dpdk-performance-changes-3n-skx-h1:
1647       csit-dpdk-perf-report-iterative-2005-3n-skx:
1648         - 28  # NDRPDR iter
1649         - 29  # NDRPDR iter
1650         - 30  # NDRPDR iter
1651         - 31  # NDRPDR iter
1652         - 32  # NDRPDR iter
1653         - 33  # NDRPDR iter
1654         - 34  # NDRPDR iter
1655         - 35  # NDRPDR iter
1656         - 36  # NDRPDR iter
1657         - 37  # NDRPDR iter
1658     dpdk-performance-changes-3n-skx-ref:
1659       csit-dpdk-perf-report-iterative-2009-3n-skx:
1660         - 4   # NDRPDR sel env5
1661         - 5   # NDRPDR sel env5
1662         - 6   # NDRPDR sel env5
1663         - 7   # NDRPDR sel env5
1664         - 8   # NDRPDR sel env5
1665         - 9   # NDRPDR sel env5
1666         - 14  # NDRPDR sel env5
1667         - 11  # NDRPDR sel env5
1668         - 12  # NDRPDR sel env5
1669         - 13  # NDRPDR sel env5
1670     dpdk-performance-changes-3n-skx-cmp:
1671       csit-dpdk-perf-report-iterative-2101-3n-skx:
1672         - 12  # rls2101 NDRPDR iter env 6
1673         - 14  # rls2101 NDRPDR iter env 6
1674         - 15  # rls2101 NDRPDR iter env 6
1675         - 17  # rls2101 NDRPDR iter env 6
1676         - 19  # rls2101 NDRPDR iter env 6
1677         - 20  # rls2101 NDRPDR iter env 6
1678         - 21  # rls2101 NDRPDR iter env 6
1679         - 22  # rls2101 NDRPDR iter env 6
1680         - 25  # rls2101 NDRPDR iter env 6
1681         - 26  # rls2101 NDRPDR iter env 6
1682
1683     dpdk-performance-changes-2n-skx-h1:
1684       csit-dpdk-perf-report-iterative-2005-2n-skx:
1685         - 20  # NDRPDR iter
1686         - 21  # NDRPDR iter
1687         - 22  # NDRPDR iter
1688         - 23  # NDRPDR iter
1689         - 24  # NDRPDR iter
1690         - 25  # NDRPDR iter
1691         - 26  # NDRPDR iter
1692         - 27  # NDRPDR iter
1693         - 28  # NDRPDR iter
1694         - 29  # NDRPDR iter
1695     dpdk-performance-changes-2n-skx-ref:
1696       csit-dpdk-perf-report-iterative-2009-2n-skx:
1697         - 4   # NDRPDR iter env5
1698         - 5   # NDRPDR iter env5
1699         - 6   # NDRPDR iter env5
1700         - 7   # NDRPDR iter env5
1701         - 8   # NDRPDR iter env5
1702         - 9   # NDRPDR iter env5
1703         - 10  # NDRPDR iter env5
1704         - 11  # NDRPDR iter env5
1705         - 12  # NDRPDR iter env5
1706         - 13  # NDRPDR iter env5
1707     dpdk-performance-changes-2n-skx-cmp:
1708       csit-dpdk-perf-report-iterative-2101-2n-skx:
1709         - 11  # rls2101 NDRPDR iter env 6
1710         - 12  # rls2101 NDRPDR iter env 6
1711         - 13  # rls2101 NDRPDR iter env 6
1712         - 14  # rls2101 NDRPDR iter env 6
1713         - 15  # rls2101 NDRPDR iter env 6
1714         - 17  # rls2101 NDRPDR iter env 6
1715         - 18  # rls2101 NDRPDR iter env 6
1716         - 19  # rls2101 NDRPDR iter env 6
1717         - 20  # rls2101 NDRPDR iter env 6
1718         - 21  # rls2101 NDRPDR iter env 6
1719
1720     dpdk-performance-changes-2n-clx-h1:
1721       csit-dpdk-perf-report-iterative-2005-2n-clx:
1722         - 20  # NDRPDR iter
1723         - 21  # NDRPDR iter
1724         - 22  # NDRPDR iter
1725         - 23  # NDRPDR iter
1726         - 24  # NDRPDR iter
1727         - 25  # NDRPDR iter
1728         - 26  # NDRPDR iter
1729         - 27  # NDRPDR iter
1730         - 28  # NDRPDR iter
1731         - 29  # NDRPDR iter
1732     dpdk-performance-changes-2n-clx-ref:
1733       csit-dpdk-perf-report-iterative-2009-2n-clx:
1734         - 4   # NDRPDR iter env5
1735         - 5   # NDRPDR iter env5
1736         - 6   # NDRPDR iter env5
1737         - 7   # NDRPDR iter env5
1738         - 8   # NDRPDR iter env5
1739         - 9   # NDRPDR iter env5
1740         - 10  # NDRPDR iter env5
1741         - 11  # NDRPDR iter env5
1742         - 12  # NDRPDR iter env5
1743         - 13  # NDRPDR iter env5
1744     dpdk-performance-changes-2n-clx-cmp:
1745       csit-dpdk-perf-report-iterative-2101-2n-clx:
1746         - 12  # rls2101 NDRPDR iter env 6
1747         - 13  # rls2101 NDRPDR iter env 6
1748         - 14  # rls2101 NDRPDR iter env 6
1749         - 18  # rls2101 NDRPDR iter env 6
1750         - 22  # rls2101 NDRPDR iter env 6
1751
1752     dpdk-performance-changes-2n-zn2-ref:
1753       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1754         - 16  # NDRPDR iter env5
1755         - 21  # NDRPDR iter env5
1756         - 22  # NDRPDR iter env5
1757         - 23  # NDRPDR iter env5
1758         - 24  # NDRPDR iter env5
1759         - 25  # NDRPDR iter env5
1760         - 29  # NDRPDR iter env5
1761     dpdk-performance-changes-2n-zn2-cmp:
1762       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1763         - 11  # rls2101 NDRPDR iter env 6
1764         - 12  # rls2101 NDRPDR iter env 6
1765         - 13  # rls2101 NDRPDR iter env 6
1766         - 14  # rls2101 NDRPDR iter env 6
1767         - 16  # rls2101 NDRPDR iter env 6
1768         - 17  # rls2101 NDRPDR iter env 6
1769         - 18  # rls2101 NDRPDR iter env 6
1770         - 19  # rls2101 NDRPDR iter env 6
1771         - 20  # rls2101 NDRPDR iter env 6
1772         - 21  # rls2101 NDRPDR iter env 6
1773
1774 #    dpdk-performance-changes-2n-dnv-h1:
1775 #      csit-dpdk-perf-verify-2101-2n-dnv:
1776 #        - 9   # NDRPDR sel
1777 #        - 10  # NDRPDR sel
1778 #        - 11  # NDRPDR sel
1779 #        - 12  # NDRPDR sel
1780 #        - 13  # NDRPDR sel
1781 #        - 14  # NDRPDR sel
1782 #        - 15  # NDRPDR sel
1783 #        - 16  # NDRPDR sel
1784 #        - 17  # NDRPDR sel
1785 #        - 18  # NDRPDR sel
1786 #    dpdk-performance-changes-2n-dnv-ref:
1787 #      # No data
1788 #    dpdk-performance-changes-2n-dnv-cmp:
1789 #      # No data
1790 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1791
1792 #    dpdk-performance-changes-3n-dnv-h1:
1793 #      csit-dpdk-perf-verify-2101-3n-dnv:
1794 #        - 12  # NDRPDR sel
1795 #        - 13  # NDRPDR sel
1796 #        - 14  # NDRPDR sel
1797 #        - 15  # NDRPDR sel
1798 #        - 16  # NDRPDR sel
1799 #        - 17  # NDRPDR sel
1800 #        - 18  # NDRPDR sel
1801 #        - 19  # NDRPDR sel
1802 #        - 20  # NDRPDR sel
1803 #        - 22  # NDRPDR sel
1804 #    dpdk-performance-changes-3n-dnv-ref:
1805 #      # No data
1806 #    dpdk-performance-changes-3n-dnv-cmp:
1807 #      # No data
1808 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1809
1810     dpdk-performance-changes-3n-tsh-h1:
1811       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1812         - 5   # NDRPDR sel
1813     dpdk-performance-changes-3n-tsh-ref:
1814       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1815         - 1   # NDRPDR iter env5
1816         - 2   # NDRPDR iter env5
1817         - 3   # NDRPDR iter env5
1818         - 4   # NDRPDR iter env5
1819         - 5   # NDRPDR iter env5
1820         - 6   # NDRPDR iter env5
1821         - 7   # NDRPDR iter env5
1822         - 9   # NDRPDR iter env5
1823         - 10  # NDRPDR iter env5
1824         - 11  # NDRPDR iter env5
1825     dpdk-performance-changes-3n-tsh-cmp:
1826       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1827         - 11  # rls2101 NDRPDR iter env 6
1828         - 12  # rls2101 NDRPDR iter env 6
1829         - 13  # rls2101 NDRPDR iter env 6
1830         - 14  # rls2101 NDRPDR iter env 6
1831         - 16  # rls2101 NDRPDR iter env 6
1832         - 17  # rls2101 NDRPDR iter env 6
1833         - 18  # rls2101 NDRPDR iter env 6
1834         - 19  # rls2101 NDRPDR iter env 6
1835         - 20  # rls2101 NDRPDR iter env 6
1836         - 21  # rls2101 NDRPDR iter env 6
1837
1838     # Compare testbeds
1839
1840     vpp-compare-testbeds-ref:
1841       csit-vpp-perf-report-iterative-2101-3n-hsw:
1842         - 64  # rls2101.rel NDRPDR iter env 6
1843         - 71  # rls2101.rel NDRPDR iter env 6
1844         - 73  # rls2101.rel NDRPDR iter env 6
1845         - 74  # rls2101.rel NDRPDR iter env 6
1846         - 80  # rls2101.rel NDRPDR iter env 6
1847         - 81  # rls2101.rel NDRPDR iter env 6
1848         - 82  # rls2101.rel NDRPDR iter env 6
1849         - 83  # rls2101.rel NDRPDR iter env 6
1850         - 88  # rls2101.rel NDRPDR iter env 6
1851         - 89  # rls2101.rel NDRPDR iter env 6
1852     vpp-compare-testbeds-cmp:
1853       csit-vpp-perf-report-iterative-2101-3n-skx:
1854         - 36  # rls2101.rel NDRPDR iter env 6
1855         - 37  # rls2101.rel NDRPDR iter env 6
1856         - 38  # rls2101.rel NDRPDR iter env 6
1857         - 39  # rls2101.rel NDRPDR iter env 6
1858         - 40  # rls2101.rel NDRPDR iter env 6
1859         - 41  # rls2101.rel NDRPDR iter env 6
1860         - 42  # rls2101.rel NDRPDR iter env 6
1861         - 47  # rls2101.rel NDRPDR iter env 6
1862         - 48  # rls2101.rel NDRPDR iter env 6
1863         - 50  # rls2101.rel NDRPDR iter env 6
1864
1865     vpp-compare-testbeds-skx-clx-ref:
1866       csit-vpp-perf-report-iterative-2101-2n-skx:
1867         - 63  # rls2101.rel NDRPDR iter env 6
1868         - 69  # rls2101.rel NDRPDR iter env 6
1869         - 70  # rls2101.rel NDRPDR iter env 6
1870         - 75  # rls2101.rel NDRPDR iter env 6
1871         - 76  # rls2101.rel NDRPDR iter env 6
1872         - 77  # rls2101.rel NDRPDR iter env 6
1873         - 82  # rls2101.rel NDRPDR iter env 6
1874         - 85  # rls2101.rel NDRPDR iter env 6
1875         - 86  # rls2101.rel NDRPDR iter env 6
1876         - 94  # rls2101.rel NDRPDR iter env 6
1877         - 89  # rls2101.rel NDRPDR iter RND env 6
1878         - 90  # rls2101.rel NDRPDR iter RND env 6
1879         - 91  # rls2101.rel NDRPDR iter RND env 6
1880         - 92  # rls2101.rel NDRPDR iter RND env 6
1881         - 93  # rls2101.rel NDRPDR iter RND env 6
1882         - 96  # rls2101.rel NDRPDR iter RND env 6
1883         - 98  # rls2101.rel NDRPDR iter RND env 6
1884         - 99  # rls2101.rel NDRPDR iter RND env 6
1885         - 101 # rls2101.rel NDRPDR iter RND env 6
1886         - 102 # rls2101.rel NDRPDR iter RND env 6
1887     vpp-compare-testbeds-skx-clx-cmp:
1888       csit-vpp-perf-report-iterative-2101-2n-clx:
1889         - 54  # rls2101.rel NDRPDR iter env 6
1890         - 59  # rls2101.rel NDRPDR iter env 6
1891         - 60  # rls2101.rel NDRPDR iter env 6
1892         - 63  # rls2101.rel NDRPDR iter env 6
1893         - 66  # rls2101.rel NDRPDR iter env 6
1894         - 68  # rls2101.rel NDRPDR iter env 6
1895         - 73  # rls2101.rel NDRPDR iter env 6
1896         - 75  # rls2101.rel NDRPDR iter env 6
1897         - 86  # rls2101.rel NDRPDR iter env 6
1898         - 90  # rls2101.rel NDRPDR iter env 6
1899         - 80  # rls2101.rel NDRPDR iter RND env 6
1900         - 87  # rls2101.rel NDRPDR iter RND env 6
1901         - 91  # rls2101.rel NDRPDR iter RND env 6
1902         - 92  # rls2101.rel NDRPDR iter RND env 6
1903         - 93  # rls2101.rel NDRPDR iter RND env 6
1904         - 94  # rls2101.rel NDRPDR iter RND env 6
1905         - 95  # rls2101.rel NDRPDR iter RND env 6
1906         - 100 # rls2101.rel NDRPDR iter RND env 6
1907         - 106 # rls2101.rel NDRPDR iter RND env 6
1908         - 108 # rls2101.rel NDRPDR iter RND env 6
1909
1910     vpp-compare-testbeds-hsw-clx-ref:
1911       csit-vpp-perf-report-iterative-2101-3n-hsw:
1912         - 64  # rls2101.rel NDRPDR iter env 6
1913         - 71  # rls2101.rel NDRPDR iter env 6
1914         - 73  # rls2101.rel NDRPDR iter env 6
1915         - 74  # rls2101.rel NDRPDR iter env 6
1916         - 80  # rls2101.rel NDRPDR iter env 6
1917         - 81  # rls2101.rel NDRPDR iter env 6
1918         - 82  # rls2101.rel NDRPDR iter env 6
1919         - 83  # rls2101.rel NDRPDR iter env 6
1920         - 88  # rls2101.rel NDRPDR iter env 6
1921         - 89  # rls2101.rel NDRPDR iter env 6
1922         - 128 # rls2101.rel NDRPDR iter RND env 6
1923         - 129 # rls2101.rel NDRPDR iter RND env 6
1924         - 130 # rls2101.rel NDRPDR iter RND env 6
1925         - 131 # rls2101.rel NDRPDR iter RND env 6
1926         - 132 # rls2101.rel NDRPDR iter RND env 6
1927         - 133 # rls2101.rel NDRPDR iter RND env 6
1928         - 134 # rls2101.rel NDRPDR iter RND env 6
1929         - 135 # rls2101.rel NDRPDR iter RND env 6
1930         - 136 # rls2101.rel NDRPDR iter RND env 6
1931         - 137 # rls2101.rel NDRPDR iter RND env 6
1932     vpp-compare-testbeds-hsw-clx-cmp:
1933       csit-vpp-perf-report-iterative-2101-2n-clx:
1934         - 54  # rls2101.rel NDRPDR iter env 6
1935         - 59  # rls2101.rel NDRPDR iter env 6
1936         - 60  # rls2101.rel NDRPDR iter env 6
1937         - 63  # rls2101.rel NDRPDR iter env 6
1938         - 66  # rls2101.rel NDRPDR iter env 6
1939         - 68  # rls2101.rel NDRPDR iter env 6
1940         - 73  # rls2101.rel NDRPDR iter env 6
1941         - 75  # rls2101.rel NDRPDR iter env 6
1942         - 90  # rls2101.rel NDRPDR iter env 6
1943         - 80  # rls2101.rel NDRPDR iter RND env 6
1944         - 87  # rls2101.rel NDRPDR iter RND env 6
1945         - 91  # rls2101.rel NDRPDR iter RND env 6
1946         - 92  # rls2101.rel NDRPDR iter RND env 6
1947         - 93  # rls2101.rel NDRPDR iter RND env 6
1948         - 94  # rls2101.rel NDRPDR iter RND env 6
1949         - 95  # rls2101.rel NDRPDR iter RND env 6
1950         - 100 # rls2101.rel NDRPDR iter RND env 6
1951         - 106 # rls2101.rel NDRPDR iter RND env 6
1952         - 108 # rls2101.rel NDRPDR iter RND env 6
1953
1954     vpp-compare-testbeds-mrr-ref:
1955       csit-vpp-perf-report-iterative-2101-3n-hsw:
1956         - 63  # rls2101.rel MRR iter env 6
1957     vpp-compare-testbeds-mrr-cmp:
1958       csit-vpp-perf-report-iterative-2101-3n-skx:
1959         - 35  # rls2101.rel MRR iter env 6
1960
1961     vpp-compare-testbeds-mrr-skx-clx-ref:
1962       csit-vpp-perf-report-iterative-2101-2n-skx:
1963         - 62  # rls2101.rel MRR iter env 6
1964     vpp-compare-testbeds-mrr-skx-clx-cmp:
1965       csit-vpp-perf-report-iterative-2101-2n-clx:
1966         - 53  # rls2101.rel MRR iter env 6
1967
1968     vpp-compare-testbeds-mrr-hsw-clx-ref:
1969       csit-vpp-perf-report-iterative-2101-3n-hsw:
1970         - 63  # rls2101.rel MRR iter env 6
1971     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1972       csit-vpp-perf-report-iterative-2101-2n-clx:
1973         - 53  # rls2101.rel MRR iter env 6
1974
1975     dpdk-compare-testbeds-ref:
1976       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1977         - 11  # rls2101 NDRPDR iter env 6
1978         - 12  # rls2101 NDRPDR iter env 6
1979         - 13  # rls2101 NDRPDR iter env 6
1980         - 14  # rls2101 NDRPDR iter env 6
1981         - 16  # rls2101 NDRPDR iter env 6
1982         - 17  # rls2101 NDRPDR iter env 6
1983         - 18  # rls2101 NDRPDR iter env 6
1984         - 19  # rls2101 NDRPDR iter env 6
1985         - 20  # rls2101 NDRPDR iter env 6
1986         - 21  # rls2101 NDRPDR iter env 6
1987     dpdk-compare-testbeds-cmp:
1988       csit-dpdk-perf-report-iterative-2101-3n-skx:
1989         - 12  # rls2101 NDRPDR iter env 6
1990         - 14  # rls2101 NDRPDR iter env 6
1991         - 15  # rls2101 NDRPDR iter env 6
1992         - 17  # rls2101 NDRPDR iter env 6
1993         - 19  # rls2101 NDRPDR iter env 6
1994         - 20  # rls2101 NDRPDR iter env 6
1995         - 21  # rls2101 NDRPDR iter env 6
1996         - 22  # rls2101 NDRPDR iter env 6
1997         - 25  # rls2101 NDRPDR iter env 6
1998         - 26  # rls2101 NDRPDR iter env 6
1999
2000     dpdk-compare-testbeds-skx-clx-ref:
2001       csit-dpdk-perf-report-iterative-2101-2n-skx:
2002         - 11  # rls2101 NDRPDR iter env 6
2003         - 12  # rls2101 NDRPDR iter env 6
2004         - 13  # rls2101 NDRPDR iter env 6
2005         - 14  # rls2101 NDRPDR iter env 6
2006         - 15  # rls2101 NDRPDR iter env 6
2007         - 17  # rls2101 NDRPDR iter env 6
2008         - 18  # rls2101 NDRPDR iter env 6
2009         - 19  # rls2101 NDRPDR iter env 6
2010         - 20  # rls2101 NDRPDR iter env 6
2011         - 21  # rls2101 NDRPDR iter env 6
2012     dpdk-compare-testbeds-skx-clx-cmp:
2013       csit-dpdk-perf-report-iterative-2101-2n-clx:
2014         - 12  # rls2101 NDRPDR iter env 6
2015         - 13  # rls2101 NDRPDR iter env 6
2016         - 14  # rls2101 NDRPDR iter env 6
2017         - 18  # rls2101 NDRPDR iter env 6
2018         - 22  # rls2101 NDRPDR iter env 6
2019
2020     # Compare topologies
2021
2022     vpp-compare-topologies-ref:
2023       csit-vpp-perf-report-iterative-2101-3n-skx:
2024         - 36  # rls2101.rel NDRPDR iter env 6
2025         - 37  # rls2101.rel NDRPDR iter env 6
2026         - 38  # rls2101.rel NDRPDR iter env 6
2027         - 39  # rls2101.rel NDRPDR iter env 6
2028         - 40  # rls2101.rel NDRPDR iter env 6
2029         - 41  # rls2101.rel NDRPDR iter env 6
2030         - 42  # rls2101.rel NDRPDR iter env 6
2031         - 47  # rls2101.rel NDRPDR iter env 6
2032         - 48  # rls2101.rel NDRPDR iter env 6
2033         - 50  # rls2101.rel NDRPDR iter env 6
2034     vpp-compare-topologies-cmp:
2035       csit-vpp-perf-report-iterative-2101-2n-skx:
2036         - 63  # rls2101.rel NDRPDR iter env 6
2037         - 69  # rls2101.rel NDRPDR iter env 6
2038         - 70  # rls2101.rel NDRPDR iter env 6
2039         - 75  # rls2101.rel NDRPDR iter env 6
2040         - 76  # rls2101.rel NDRPDR iter env 6
2041         - 77  # rls2101.rel NDRPDR iter env 6
2042         - 82  # rls2101.rel NDRPDR iter env 6
2043         - 85  # rls2101.rel NDRPDR iter env 6
2044         - 86  # rls2101.rel NDRPDR iter env 6
2045         - 94  # rls2101.rel NDRPDR iter env 6
2046
2047     vpp-compare-topologies-mrr-ref:
2048       csit-vpp-perf-report-iterative-2101-3n-skx:
2049         - 35  # rls2101.rel MRR iter env 6
2050     vpp-compare-topologies-mrr-cmp:
2051       csit-vpp-perf-report-iterative-2101-2n-skx:
2052         - 62  # rls2101.rel MRR iter env 6
2053
2054     dpdk-compare-topologies-ref:
2055       csit-dpdk-perf-report-iterative-2101-3n-skx:
2056         - 12  # rls2101 NDRPDR iter env 6
2057         - 14  # rls2101 NDRPDR iter env 6
2058         - 15  # rls2101 NDRPDR iter env 6
2059         - 17  # rls2101 NDRPDR iter env 6
2060         - 19  # rls2101 NDRPDR iter env 6
2061         - 20  # rls2101 NDRPDR iter env 6
2062         - 21  # rls2101 NDRPDR iter env 6
2063         - 22  # rls2101 NDRPDR iter env 6
2064         - 25  # rls2101 NDRPDR iter env 6
2065         - 26  # rls2101 NDRPDR iter env 6
2066     dpdk-compare-topologies-cmp:
2067       csit-dpdk-perf-report-iterative-2101-2n-skx:
2068         - 11  # rls2101 NDRPDR iter env 6
2069         - 12  # rls2101 NDRPDR iter env 6
2070         - 13  # rls2101 NDRPDR iter env 6
2071         - 14  # rls2101 NDRPDR iter env 6
2072         - 15  # rls2101 NDRPDR iter env 6
2073         - 17  # rls2101 NDRPDR iter env 6
2074         - 18  # rls2101 NDRPDR iter env 6
2075         - 19  # rls2101 NDRPDR iter env 6
2076         - 20  # rls2101 NDRPDR iter env 6
2077         - 21  # rls2101 NDRPDR iter env 6
2078
2079   plot-layouts:
2080
2081     plot-soak-throughput:
2082       titlefont:
2083         size: 16
2084       xaxis:
2085         title: "<b>Test Cases [Index]</b>"
2086         titlefont:
2087           size: 14
2088         autorange: True
2089         fixedrange: False
2090         gridcolor: "rgb(230, 230, 230)"
2091         linecolor: "rgb(220, 220, 220)"
2092         linewidth: 1
2093         showgrid: True
2094         showline: True
2095         showticklabels: True
2096         tickcolor: "rgb(220, 220, 220)"
2097         tickmode: "linear"
2098         tickfont:
2099           size: 14
2100         zeroline: False
2101       yaxis:
2102         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
2103         titlefont:
2104           size: 14
2105         gridcolor: "rgb(230, 230, 230)"
2106         hoverformat: ".4r"
2107         tickformat: ".3r"
2108         linecolor: "rgb(220, 220, 220)"
2109         linewidth: 1
2110         showgrid: True
2111         showline: True
2112         showticklabels: True
2113         tickcolor: "rgb(220, 220, 220)"
2114         tickfont:
2115           size: 14
2116         zeroline: False
2117         range: [0,50]
2118       autosize: False
2119       margin:
2120         t: 50
2121         b: 0
2122         l: 80
2123         r: 20
2124       showlegend: True
2125       legend:
2126         orientation: "h"
2127         font:
2128           size: 14
2129       width: 700
2130       height: 900
2131       paper_bgcolor: "#fff"
2132       plot_bgcolor: "#fff"
2133       hoverlabel:
2134         namelength: -1
2135
2136     plot-service-density:
2137       titlefont:
2138         size: 16
2139       xaxis:
2140         side: "top"
2141         autorange: True
2142         fixedrange: False
2143         showgrid: False
2144         showline: False
2145         showticklabels: False
2146         ticks: ""
2147         ticklen: 0
2148         tickwidth: 0
2149         zeroline: False
2150       yaxis:
2151         autorange: "reversed"
2152         showgrid: False
2153         showline: False
2154         showticklabels: False
2155         ticks: ""
2156         ticklen: 0
2157         tickwidth: 0
2158         zeroline: False
2159       showlegend: False
2160       paper_bgcolor: "#fff"
2161       plot_bgcolor: "#fff"
2162       width: 700
2163       height: 700
2164       hoverlabel:
2165         namelength: -1
2166
2167     plot-hoststack:
2168       titlefont:
2169         size: 16
2170       xaxis:
2171         title: "<b>Test Cases [Index]</b>"
2172         titlefont:
2173           size: 14
2174         autorange: True
2175         fixedrange: False
2176         gridcolor: "rgb(230, 230, 230)"
2177         linecolor: "rgb(220, 220, 220)"
2178         linewidth: 1
2179         showgrid: True
2180         showline: True
2181         showticklabels: True
2182         tickcolor: "rgb(220, 220, 220)"
2183         tickmode: "linear"
2184         tickfont:
2185           size: 14
2186         zeroline: False
2187       yaxis:
2188         title: "<b>Bandwidth [Gbps]</b>"
2189         titlefont:
2190           size: 14
2191         gridcolor: "rgb(230, 230, 230)"
2192         hoverformat: ".4s"
2193         linecolor: "rgb(220, 220, 220)"
2194         linewidth: 1
2195         rangemode: "tozero"
2196         showgrid: True
2197         showline: True
2198         showticklabels: True
2199         tickcolor: "rgb(230, 230, 230)"
2200         tickformat: ".3s"
2201         tickfont:
2202           size: 14
2203         zeroline: False
2204       autosize: False
2205       margin:
2206         t: 50
2207         b: 20
2208         l: 80
2209         r: 20
2210       showlegend: True
2211       legend:
2212         orientation: "h"
2213         font:
2214           size: 14
2215       width: 700
2216       height: 800
2217       paper_bgcolor: "#fff"
2218       plot_bgcolor: "#fff"
2219       hoverlabel:
2220         namelength: -1
2221
2222     plot-throughput:
2223       titlefont:
2224         size: 16
2225       xaxis:
2226         title: "<b>Test Cases [Index]</b>"
2227         titlefont:
2228           size: 14
2229         autorange: True
2230         fixedrange: False
2231         gridcolor: "rgb(230, 230, 230)"
2232         linecolor: "rgb(220, 220, 220)"
2233         linewidth: 1
2234         showgrid: True
2235         showline: True
2236         showticklabels: True
2237         tickcolor: "rgb(220, 220, 220)"
2238         tickmode: "linear"
2239         tickfont:
2240           size: 14
2241         zeroline: False
2242       yaxis:
2243         title: "<b>Packet Throughput [Mpps]</b>"
2244         titlefont:
2245           size: 14
2246         gridcolor: "rgb(230, 230, 230)"
2247         hoverformat: ".4r"
2248         tickformat: ".3r"
2249         linecolor: "rgb(220, 220, 220)"
2250         linewidth: 1
2251         showgrid: True
2252         showline: True
2253         showticklabels: True
2254         tickcolor: "rgb(220, 220, 220)"
2255         tickfont:
2256           size: 14
2257         zeroline: False
2258         range: [0,50]
2259       autosize: False
2260       margin:
2261         t: 50
2262         b: 0
2263         l: 80
2264         r: 20
2265       showlegend: True
2266       legend:
2267         orientation: "h"
2268         font:
2269           size: 14
2270       width: 700
2271       height: 900
2272       paper_bgcolor: "#fff"
2273       plot_bgcolor: "#fff"
2274       hoverlabel:
2275         namelength: -1
2276
2277     plot-throughput-gbps:
2278       titlefont:
2279         size: 16
2280       xaxis:
2281         title: "<b>Test Cases [Index]</b>"
2282         titlefont:
2283           size: 14
2284         autorange: True
2285         fixedrange: False
2286         gridcolor: "rgb(230, 230, 230)"
2287         linecolor: "rgb(220, 220, 220)"
2288         linewidth: 1
2289         showgrid: True
2290         showline: True
2291         showticklabels: True
2292         tickcolor: "rgb(220, 220, 220)"
2293         tickmode: "linear"
2294         tickfont:
2295           size: 14
2296         zeroline: False
2297       yaxis:
2298         title: "<b>Packet Throughput [Gbps]</b>"
2299         titlefont:
2300           size: 14
2301         gridcolor: "rgb(230, 230, 230)"
2302         hoverformat: ".4r"
2303         tickformat: ".3r"
2304         linecolor: "rgb(220, 220, 220)"
2305         linewidth: 1
2306         showgrid: True
2307         showline: True
2308         showticklabels: True
2309         tickcolor: "rgb(220, 220, 220)"
2310         tickfont:
2311           size: 14
2312         zeroline: False
2313         range: [0,10]
2314       autosize: False
2315       margin:
2316         t: 50
2317         b: 0
2318         l: 80
2319         r: 20
2320       showlegend: True
2321       legend:
2322         orientation: "h"
2323         font:
2324           size: 14
2325       width: 700
2326       height: 900
2327       paper_bgcolor: "#fff"
2328       plot_bgcolor: "#fff"
2329       hoverlabel:
2330         namelength: -1
2331
2332     plot-cps:
2333       titlefont:
2334         size: 16
2335       xaxis:
2336         title: "<b>Test Cases [Index]</b>"
2337         titlefont:
2338           size: 14
2339         autorange: True
2340         fixedrange: False
2341         gridcolor: "rgb(230, 230, 230)"
2342         linecolor: "rgb(220, 220, 220)"
2343         linewidth: 1
2344         showgrid: True
2345         showline: True
2346         showticklabels: True
2347         tickcolor: "rgb(220, 220, 220)"
2348         tickmode: "linear"
2349         tickfont:
2350           size: 14
2351         zeroline: False
2352       yaxis:
2353         title: "<b>Connection Rate [Mcps]</b>"
2354         titlefont:
2355           size: 14
2356         gridcolor: "rgb(230, 230, 230)"
2357         hoverformat: ".4r"
2358         tickformat: ".3s"
2359         linecolor: "rgb(220, 220, 220)"
2360         linewidth: 1
2361         showgrid: True
2362         showline: True
2363         showticklabels: True
2364         tickcolor: "rgb(220, 220, 220)"
2365         tickfont:
2366           size: 14
2367         zeroline: False
2368         range: [0,10]
2369       autosize: False
2370       margin:
2371         t: 50
2372         b: 0
2373         l: 80
2374         r: 20
2375       showlegend: True
2376       legend:
2377         orientation: "h"
2378         font:
2379           size: 14
2380       width: 700
2381       height: 900
2382       paper_bgcolor: "#fff"
2383       plot_bgcolor: "#fff"
2384       hoverlabel:
2385         namelength: -1
2386
2387     plot-throughput-speedup-analysis:
2388       titlefont:
2389         size: 16
2390       xaxis:
2391         title: "<b>Number of Cores [Qty]</b>"
2392         titlefont:
2393           size: 14
2394         autorange: True
2395         fixedrange: False
2396         gridcolor: "rgb(230, 230, 230)"
2397         linecolor: "rgb(220, 220, 220)"
2398         linewidth: 1
2399         showgrid: True
2400         showline: True
2401         showticklabels: True
2402         tickcolor: "rgb(238, 238, 238)"
2403         tickmode: "linear"
2404         tickfont:
2405           size: 14
2406         zeroline: False
2407       yaxis:
2408         title: "<b>Packet Throughput [Mpps]</b>"
2409         titlefont:
2410           size: 14
2411         type: "linear"
2412         gridcolor: "rgb(230, 230, 230)"
2413         hoverformat: ".4s"
2414         linecolor: "rgb(220, 220, 220)"
2415         linewidth: 1
2416         showgrid: True
2417         showline: True
2418         showticklabels: True
2419         tickcolor: "rgb(220, 220, 220)"
2420         tickformat: ".4s"
2421         tickfont:
2422           size: 14
2423         zeroline: True
2424         rangemode: "tozero"
2425         range: [0,100]
2426       legend:
2427         orientation: "h"
2428         font:
2429           size: 14
2430         xanchor: "left"
2431         yanchor: "top"
2432         x: 0
2433         y: -0.2
2434         bgcolor: "rgba(255, 255, 255, 0)"
2435         bordercolor: "rgba(255, 255, 255, 0)"
2436         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2437       autosize: False
2438       margin:
2439           't': 50
2440           'b': 150
2441           'l': 85
2442           'r': 10
2443       showlegend: True
2444       width: 700
2445       height: 700
2446       paper_bgcolor: "#fff"
2447       plot_bgcolor: "#fff"
2448       hoverlabel:
2449         namelength: -1
2450       annotations: [
2451         {
2452           text: "_ _          __          ...",
2453           align: "left",
2454           showarrow: False,
2455           xref: "paper",
2456           yref: "paper",
2457           xanchor: "left",
2458           yanchor: "top",
2459           x: 0,
2460           y: -0.14,
2461           font: {
2462             family: "Consolas, Courier New",
2463             size: 13
2464           },
2465         },
2466         {
2467           text: "    Perfect     Measured     Limit",
2468           align: "left",
2469           showarrow: False,
2470           xref: "paper",
2471           yref: "paper",
2472           xanchor: "left",
2473           yanchor: "top",
2474           x: 0,
2475           y: -0.15,
2476           font: {
2477             family: "Consolas, Courier New",
2478             size: 13
2479           },
2480         },
2481       ]
2482
2483     plot-throughput-speedup-analysis-gbps:
2484       titlefont:
2485         size: 16
2486       xaxis:
2487         title: "<b>Number of Cores [Qty]</b>"
2488         titlefont:
2489           size: 14
2490         autorange: True
2491         fixedrange: False
2492         gridcolor: "rgb(230, 230, 230)"
2493         linecolor: "rgb(220, 220, 220)"
2494         linewidth: 1
2495         showgrid: True
2496         showline: True
2497         showticklabels: True
2498         tickcolor: "rgb(238, 238, 238)"
2499         tickmode: "linear"
2500         tickfont:
2501           size: 14
2502         zeroline: False
2503       yaxis:
2504         title: "<b>Packet Throughput [Gbps]</b>"
2505         titlefont:
2506           size: 14
2507         type: "linear"
2508         gridcolor: "rgb(230, 230, 230)"
2509         hoverformat: ".4s"
2510         linecolor: "rgb(220, 220, 220)"
2511         linewidth: 1
2512         showgrid: True
2513         showline: True
2514         showticklabels: True
2515         tickcolor: "rgb(220, 220, 220)"
2516         tickformat: ".4s"
2517         tickfont:
2518           size: 14
2519         zeroline: True
2520         rangemode: "tozero"
2521         range: [0,100]
2522       legend:
2523         orientation: "h"
2524         font:
2525           size: 14
2526         xanchor: "left"
2527         yanchor: "top"
2528         x: 0
2529         y: -0.2
2530         bgcolor: "rgba(255, 255, 255, 0)"
2531         bordercolor: "rgba(255, 255, 255, 0)"
2532         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2533       autosize: False
2534       margin:
2535           't': 50
2536           'b': 150
2537           'l': 85
2538           'r': 10
2539       showlegend: True
2540       width: 700
2541       height: 700
2542       paper_bgcolor: "#fff"
2543       plot_bgcolor: "#fff"
2544       hoverlabel:
2545         namelength: -1
2546       annotations: [
2547         {
2548           text: "_ _          __",
2549           align: "left",
2550           showarrow: False,
2551           xref: "paper",
2552           yref: "paper",
2553           xanchor: "left",
2554           yanchor: "top",
2555           x: 0,
2556           y: -0.13,
2557           font: {
2558             family: "Consolas, Courier New",
2559             size: 13
2560           },
2561         },
2562         {
2563           text: "    Perfect     Measured",
2564           align: "left",
2565           showarrow: False,
2566           xref: "paper",
2567           yref: "paper",
2568           xanchor: "left",
2569           yanchor: "top",
2570           x: 0,
2571           y: -0.15,
2572           font: {
2573             family: "Consolas, Courier New",
2574             size: 13
2575           },
2576         },
2577       ]
2578
2579     plot-throughput-speedup-analysis-cps:
2580       titlefont:
2581         size: 16
2582       xaxis:
2583         title: "<b>Number of Cores [Qty]</b>"
2584         titlefont:
2585           size: 14
2586         autorange: True
2587         fixedrange: False
2588         gridcolor: "rgb(230, 230, 230)"
2589         linecolor: "rgb(220, 220, 220)"
2590         linewidth: 1
2591         showgrid: True
2592         showline: True
2593         showticklabels: True
2594         tickcolor: "rgb(238, 238, 238)"
2595         tickmode: "linear"
2596         tickfont:
2597           size: 14
2598         zeroline: False
2599       yaxis:
2600         title: "<b>Connection Rate [Mcps]</b>"
2601         titlefont:
2602           size: 14
2603         type: "linear"
2604         gridcolor: "rgb(230, 230, 230)"
2605         hoverformat: ".4s"
2606         linecolor: "rgb(220, 220, 220)"
2607         linewidth: 1
2608         showgrid: True
2609         showline: True
2610         showticklabels: True
2611         tickcolor: "rgb(220, 220, 220)"
2612         tickformat: ".4s"
2613         tickfont:
2614           size: 14
2615         zeroline: True
2616         rangemode: "tozero"
2617         range: [0,100]
2618       legend:
2619         orientation: "h"
2620         font:
2621           size: 14
2622         xanchor: "left"
2623         yanchor: "top"
2624         x: 0
2625         y: -0.2
2626         bgcolor: "rgba(255, 255, 255, 0)"
2627         bordercolor: "rgba(255, 255, 255, 0)"
2628         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2629       autosize: False
2630       margin:
2631           't': 50
2632           'b': 150
2633           'l': 85
2634           'r': 10
2635       showlegend: True
2636       width: 700
2637       height: 700
2638       paper_bgcolor: "#fff"
2639       plot_bgcolor: "#fff"
2640       hoverlabel:
2641         namelength: -1
2642       annotations: [
2643         {
2644           text: "_ _          __",
2645           align: "left",
2646           showarrow: False,
2647           xref: "paper",
2648           yref: "paper",
2649           xanchor: "left",
2650           yanchor: "top",
2651           x: 0,
2652           y: -0.13,
2653           font: {
2654             family: "Consolas, Courier New",
2655             size: 13
2656           },
2657         },
2658         {
2659           text: "    Perfect     Measured",
2660           align: "left",
2661           showarrow: False,
2662           xref: "paper",
2663           yref: "paper",
2664           xanchor: "left",
2665           yanchor: "top",
2666           x: 0,
2667           y: -0.15,
2668           font: {
2669             family: "Consolas, Courier New",
2670             size: 13
2671           },
2672         },
2673       ]
2674
2675     plot-latency:
2676       titlefont:
2677         size: 16
2678       xaxis:
2679         title: "<b>Direction</b>"
2680         titlefont:
2681           size: 14
2682         autorange: True
2683         fixedrange: False
2684         gridcolor: "rgb(230, 230, 230)"
2685         linecolor: "rgb(220, 220, 220)"
2686         linewidth: 1
2687         showgrid: True
2688         showline: True
2689         showticklabels: False
2690         tickcolor: "rgb(220, 220, 220)"
2691         tickmode: "linear"
2692         tickfont:
2693           size: 14
2694         zeroline: False
2695       yaxis:
2696         title: "<b>Packet Latency [uSec]</b>"
2697         titlefont:
2698           size: 14
2699         type: "linear"
2700         gridcolor: "rgb(230, 230, 230)"
2701         hoverformat: ".4s"
2702         linecolor: "rgb(220, 220, 220)"
2703         linewidth: 1
2704         showgrid: True
2705         showline: True
2706         showticklabels: True
2707         tickcolor: "rgb(220, 220, 220)"
2708         tickformat: ".4s"
2709         tickfont:
2710           size: 14
2711         zeroline: True
2712         rangemode: "tozero"
2713       legend:
2714         orientation: "h"
2715         font:
2716           size: 14
2717         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2718       autosize: False
2719       margin:
2720           't': 50
2721           'b': 150
2722           'l': 80
2723           'r': 10
2724       showlegend: True
2725       width: 700
2726       height: 700
2727       paper_bgcolor: "#fff"
2728       plot_bgcolor: "#fff"
2729       hoverlabel:
2730         namelength: -1
2731
2732     plot-hdrh-latency:
2733       title:
2734         text: ""
2735         xanchor: "center"
2736         x: 0.5
2737         font:
2738           size: 16
2739       width: 700
2740       plot_bgcolor: "white"
2741       annotations:
2742         - font:
2743             size: 14
2744           showarrow: False
2745           text: "<b>Packet Latency [uSec]</b>"
2746           x: 1
2747           xanchor: "right"
2748           xref: "paper"
2749           y: -0.045
2750           yanchor: "top"
2751           yref: "paper"
2752         - font:
2753             size: 14
2754           showarrow: False
2755           text: "<b>Probability [%]</b>"
2756           textangle: 270
2757           x: -0.06
2758           xanchor: "center"
2759           xref: "paper"
2760           y: 0.5
2761           yanchor: "middle"
2762           yref: "paper"
2763         - font:
2764             size: 14
2765           showarrow: False
2766           text: "<b>Direction: E-W</b>"
2767           x: 0.24
2768           xanchor: "center"
2769           xref: "paper"
2770           y: 1.05
2771           yanchor: "bottom"
2772           yref: "paper"
2773         - font:
2774             size: 14
2775           showarrow: False
2776           text: "<b>Direction: W-E</b>"
2777           x: 0.74
2778           xanchor: "center"
2779           xref: "paper"
2780           y: 1.05
2781           yanchor: "bottom"
2782           yref: "paper"
2783
2784     plot-hdrh-latency-percentile-x-log:
2785       title:
2786         text: "<b>Latency by Percentile Distribution</b>"
2787         xanchor: "center"
2788         x: 0.5
2789         font:
2790           size: 18
2791       showlegend: True
2792       legend:
2793         traceorder: "normal"
2794         orientation: "h"
2795         font:
2796           size: 16
2797         xanchor: "left"
2798         yanchor: "top"
2799         x: 0
2800         y: -0.2
2801         bgcolor: "rgba(255, 255, 255, 0)"
2802         bordercolor: "rgba(255, 255, 255, 0)"
2803       xaxis:
2804         type: "log"
2805         title: "<b>Percentile [%]</b>"
2806         titlefont:
2807           size: 14
2808         autorange: False
2809         fixedrange: True
2810         gridcolor: "rgb(230, 230, 230)"
2811         linecolor: "rgb(220, 220, 220)"
2812         linewidth: 1
2813         showgrid: True
2814         showline: True
2815         showticklabels: True
2816         tickcolor: "rgb(220, 220, 220)"
2817         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2818         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2819         tickfont:
2820           size: 14
2821       yaxis:
2822         title: "<b>One-Way Latency per Direction [uSec]</b>"
2823         titlefont:
2824           size: 14
2825         gridcolor: "rgb(230, 230, 230)"
2826         linecolor: "rgb(220, 220, 220)"
2827         linewidth: 1
2828         showgrid: True
2829         showline: True
2830         showticklabels: True
2831         tickcolor: "rgb(220, 220, 220)"
2832         tickfont:
2833           size: 14
2834       autosize: False
2835       width: 700
2836       height: 700
2837       paper_bgcolor: "white"
2838       plot_bgcolor: "white"
2839
2840     plot-hdrh-latency-by-percentile:
2841       title:
2842         text: "<b>Latency by Percentile Distribution</b>"
2843         xanchor: "center"
2844         x: 0.5
2845         font:
2846           size: 18
2847       showlegend: True
2848       legend:
2849         traceorder: "normal"
2850         orientation: "h"
2851         font:
2852           size: 16
2853         xanchor: "left"
2854         yanchor: "top"
2855         x: 0
2856         y: -0.2
2857         bgcolor: "rgba(255, 255, 255, 0)"
2858         bordercolor: "rgba(255, 255, 255, 0)"
2859       xaxis:
2860         type: "linear"
2861         title: "<b>Percentile [%]</b>"
2862         titlefont:
2863           size: 14
2864         autorange: False
2865         fixedrange: False
2866         range: [0, 100]
2867         gridcolor: "rgb(230, 230, 230)"
2868         linecolor: "rgb(220, 220, 220)"
2869         linewidth: 1
2870         showgrid: True
2871         showline: True
2872         showticklabels: True
2873         tickcolor: "rgb(220, 220, 220)"
2874         tickvals: [0, 25, 50, 75, 100]
2875         ticktext: [0, 25, 50, 75, 100]
2876         tickfont:
2877           size: 14
2878       yaxis:
2879         title: "<b>One-Way Latency per Direction [uSec]</b>"
2880         titlefont:
2881           size: 14
2882         gridcolor: "rgb(230, 230, 230)"
2883         linecolor: "rgb(220, 220, 220)"
2884         linewidth: 1
2885         showgrid: True
2886         showline: True
2887         showticklabels: True
2888         tickcolor: "rgb(220, 220, 220)"
2889         tickfont:
2890           size: 14
2891       width: 700
2892       height: 700
2893       paper_bgcolor: "white"
2894       plot_bgcolor: "white"
2895
2896 - type: "static"
2897   src-path: "{DIR[RST]}"
2898   dst-path: "{DIR[WORKING,SRC]}"
2899
2900 - type: "input"
2901   general:
2902     file-name: "output_info.xml.gz"
2903     file-format: ".gz"
2904     arch-file-format:
2905       - ".gz"
2906       - ".zip"
2907     download-path: "{job}/{build}/archives/{filename}"
2908     extract: "output.xml"
2909
2910     zip-file-name: "robot-plugin.zip"
2911     zip-file-format: ".zip"
2912     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2913     zip-extract: "robot-plugin/output.xml"
2914
2915   builds:
2916
2917     csit-vpp-perf-report-iterative-2009-3n-hsw:
2918       - 18  # rls2005 MRR iter env 5
2919       - 9   # rls2005 NDRPDR iter env 5
2920       - 10  # rls2005 NDRPDR iter env 5
2921       - 11  # rls2005 NDRPDR iter env 5
2922       - 12  # rls2005 NDRPDR iter env 5
2923       - 13  # rls2005 NDRPDR iter env 5
2924       - 14  # rls2005 NDRPDR iter env 5
2925       - 15  # rls2005 NDRPDR iter env 5
2926       - 16  # rls2005 NDRPDR iter env 5
2927       - 17  # rls2005 NDRPDR iter env 5
2928       - 19  # rls2005 NDRPDR iter env 5
2929       - 23  # rls2009 MRR iter env 5
2930       - 21  # rls2009 NDRPDR iter env 5
2931       - 22  # rls2009 NDRPDR iter env 5
2932       - 24  # rls2009 NDRPDR iter env 5
2933       - 25  # rls2009 NDRPDR iter env 5
2934       - 26  # rls2009 NDRPDR iter env 5
2935       - 27  # rls2009 NDRPDR iter env 5
2936       - 28  # rls2009 NDRPDR iter env 5
2937       - 29  # rls2009 NDRPDR iter env 5
2938       - 30  # rls2009 NDRPDR iter env 5
2939       - 31  # rls2009 NDRPDR iter env 5
2940     csit-vpp-perf-report-iterative-2101-3n-hsw:
2941       - 17  # rls2009 MRR iter env 6
2942       - 19  # rls2009 NDRPDR iter env 6
2943       - 20  # rls2009 NDRPDR iter env 6
2944       - 21  # rls2009 NDRPDR iter env 6
2945       - 22  # rls2009 NDRPDR iter env 6
2946       - 23  # rls2009 NDRPDR iter env 6
2947       - 24  # rls2009 NDRPDR iter env 6
2948       - 25  # rls2009 NDRPDR iter env 6
2949       - 26  # rls2009 NDRPDR iter env 6
2950       - 27  # rls2009 NDRPDR iter env 6
2951       - 63  # rls2101.rel MRR iter env 6
2952       - 64  # rls2101.rel NDRPDR iter env 6
2953       - 71  # rls2101.rel NDRPDR iter env 6
2954       - 73  # rls2101.rel NDRPDR iter env 6
2955       - 74  # rls2101.rel NDRPDR iter env 6
2956       - 80  # rls2101.rel NDRPDR iter env 6
2957       - 81  # rls2101.rel NDRPDR iter env 6
2958       - 82  # rls2101.rel NDRPDR iter env 6
2959       - 83  # rls2101.rel NDRPDR iter env 6
2960       - 88  # rls2101.rel NDRPDR iter env 6
2961       - 89  # rls2101.rel NDRPDR iter env 6
2962       - 128 # rls2101.rel NDRPDR iter RND env 6
2963       - 129 # rls2101.rel NDRPDR iter RND env 6
2964       - 130 # rls2101.rel NDRPDR iter RND env 6
2965       - 131 # rls2101.rel NDRPDR iter RND env 6
2966       - 132 # rls2101.rel NDRPDR iter RND env 6
2967       - 133 # rls2101.rel NDRPDR iter RND env 6
2968       - 134 # rls2101.rel NDRPDR iter RND env 6
2969       - 135 # rls2101.rel NDRPDR iter RND env 6
2970       - 136 # rls2101.rel NDRPDR iter RND env 6
2971       - 137 # rls2101.rel NDRPDR iter RND env 6
2972       - 65  # rls2101.rel NDRPDR reconf iter env 6
2973       - 68  # rls2101.rel NDRPDR reconf iter env 6
2974       - 77  # rls2101.rel NDRPDR reconf iter env 6
2975       - 84  # rls2101.rel NDRPDR reconf iter env 6
2976       - 90  # rls2101.rel NDRPDR reconf iter env 6
2977       - 96  # rls2101.rel NDRPDR reconf iter env 6
2978       - 101 # rls2101.rel NDRPDR reconf iter env 6
2979       - 104 # rls2101.rel NDRPDR reconf iter env 6
2980       - 105 # rls2101.rel NDRPDR reconf iter env 6
2981       - 106 # rls2101.rel NDRPDR reconf iter env 6
2982       - 107 # rls2101.rel NDRPDR reconf iter env 6
2983       - 108 # rls2101.rel NDRPDR reconf iter env 6
2984       - 110 # rls2101.rel NDRPDR reconf iter env 6
2985       - 111 # rls2101.rel NDRPDR reconf iter env 6
2986       - 112 # rls2101.rel NDRPDR reconf iter env 6
2987       - 113 # rls2101.rel NDRPDR reconf iter env 6
2988       - 114 # rls2101.rel NDRPDR reconf iter env 6
2989       - 115 # rls2101.rel NDRPDR reconf iter env 6
2990       - 116 # rls2101.rel NDRPDR reconf iter env 6
2991       - 117 # rls2101.rel NDRPDR reconf iter env 6
2992       - 69  # rls2101.rel Hoststack iter env 6
2993       - 70  # rls2101.rel Hoststack iter env 6
2994       - 75  # rls2101.rel Hoststack iter env 6
2995       - 76  # rls2101.rel Hoststack iter env 6
2996       - 78  # rls2101.rel Hoststack iter env 6
2997       - 79  # rls2101.rel Hoststack iter env 6
2998       - 85  # rls2101.rel Hoststack iter env 6
2999       - 86  # rls2101.rel Hoststack iter env 6
3000       - 87  # rls2101.rel Hoststack iter env 6
3001       - 91  # rls2101.rel Hoststack iter env 6
3002       - 92  # rls2101.rel Hoststack iter env 6
3003       - 93  # rls2101.rel Hoststack iter env 6
3004       - 94  # rls2101.rel Hoststack iter env 6
3005       - 95  # rls2101.rel Hoststack iter env 6
3006       - 97  # rls2101.rel Hoststack iter env 6
3007       - 98  # rls2101.rel Hoststack iter env 6
3008       - 99  # rls2101.rel Hoststack iter env 6
3009       - 100 # rls2101.rel Hoststack iter env 6
3010       - 102 # rls2101.rel Hoststack iter env 6
3011       - 103 # rls2101.rel Hoststack iter env 6
3012     csit-vpp-perf-report-coverage-2101-3n-hsw:
3013       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
3014       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
3015       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
3016       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
3017       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
3018       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
3019       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
3020       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
3021       - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
3022       - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
3023       - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
3024       - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
3025       - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
3026       - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
3027       - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
3028       - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
3029       - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
3030       - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
3031       - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
3032       - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
3033       - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
3034       - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
3035       - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
3036       - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
3037       - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
3038       - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
3039       - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
3040       - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
3041       - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
3042       - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
3043       - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
3044       - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
3045       - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
3046       - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
3047       - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
3048
3049
3050     csit-vpp-perf-report-iterative-2009-3n-skx:
3051       - 17  # rls2005 MRR iter env 5
3052       - 13  # rls2005 NDRPDR iter env 5
3053       - 18  # rls2005 NDRPDR iter env 5
3054       - 19  # rls2005 NDRPDR iter env 5
3055       - 41  # rls2005 NDRPDR iter env 5
3056       - 43  # rls2005 NDRPDR iter env 5
3057       - 44  # rls2005 NDRPDR iter env 5
3058       - 45  # rls2005 NDRPDR iter env 5
3059       - 46  # rls2005 NDRPDR iter env 5
3060       - 48  # rls2005 NDRPDR iter env 5
3061       - 49  # rls2005 NDRPDR iter env 5
3062       - 24  # rls2009 MRR iter env 5
3063       - 26  # rls2009 NDRPDR iter env 5
3064       - 27  # rls2009 NDRPDR iter env 5
3065       - 28  # rls2009 NDRPDR iter env 5
3066       - 29  # rls2009 NDRPDR iter env 5
3067       - 35  # rls2009 NDRPDR iter env 5
3068       - 36  # rls2009 NDRPDR iter env 5
3069       - 37  # rls2009 NDRPDR iter env 5
3070       - 38  # rls2009 NDRPDR iter env 5
3071       - 39  # rls2009 NDRPDR iter env 5
3072       - 40  # rls2009 NDRPDR iter env 5
3073     csit-vpp-perf-report-iterative-2101-3n-skx:
3074       - 34  # rls2009 MRR iter env 6
3075       - 14  # rls2009 NDRPDR iter env 6
3076       - 15  # rls2009 NDRPDR iter env 6
3077       - 16  # rls2009 NDRPDR iter env 6
3078       - 17  # rls2009 NDRPDR iter env 6
3079       - 18  # rls2009 NDRPDR iter env 6
3080       - 25  # rls2009 NDRPDR iter env 6
3081       - 26  # rls2009 NDRPDR iter env 6
3082       - 27  # rls2009 NDRPDR iter env 6
3083       - 29  # rls2009 NDRPDR iter env 6
3084       - 31  # rls2009 NDRPDR iter env 6
3085       - 35  # rls2101.rel MRR iter env 6
3086       - 36  # rls2101.rel NDRPDR iter env 6
3087       - 37  # rls2101.rel NDRPDR iter env 6
3088       - 38  # rls2101.rel NDRPDR iter env 6
3089       - 39  # rls2101.rel NDRPDR iter env 6
3090       - 40  # rls2101.rel NDRPDR iter env 6
3091       - 41  # rls2101.rel NDRPDR iter env 6
3092       - 42  # rls2101.rel NDRPDR iter env 6
3093       - 47  # rls2101.rel NDRPDR iter env 6
3094       - 48  # rls2101.rel NDRPDR iter env 6
3095       - 50  # rls2101.rel NDRPDR iter env 6
3096     csit-vpp-perf-report-coverage-2101-3n-skx:
3097       - 1   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-00
3098       - 2   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-01
3099       - 3   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-02
3100 #       - 4   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-03
3101       - 5   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-00
3102       - 16  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-01
3103       - 7   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-02
3104 #       - 17  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-03
3105 #       - 18  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-04
3106 #       - 19  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-05
3107 #       - 20  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
3108       - 12  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
3109       - 13  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-00
3110       - 26  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-01
3111       - 15  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-02
3112       - 21  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-00
3113       - 22  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-01
3114       - 23  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6tun-00
3115       - 24  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-00
3116       - 30  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-01
3117       - 27  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-02
3118       - 28  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-03
3119 #       - 29  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-04
3120 #       - 31  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-05
3121       - 32  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-06
3122       - 33  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-07
3123       - 34  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-08
3124       - 35  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-09
3125       - 36  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-10
3126 #       - 37  # rls2101.rel NDRPDR cov env 6 3n-skx-memif-00
3127       - 38  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-00
3128 #       - 39  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-01
3129 #       - 40  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-00
3130 #