Report: Add data
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272
273     plot-vpp-hdrh-lat-3n-skx:
274       csit-vpp-perf-report-iterative-2101-3n-skx:
275         - 36  # rls2101.rel NDRPDR iter env 6
276
277 #    plot-vpp-nfv-3n-skx-ndrpdr:
278 #      # No data
279 #      csit-vpp-perf-report-iterative-2101-3n-skx:
280
281 #    plot-vpp-nfv-3n-skx-mrr:
282 #      # No data
283 #      csit-vpp-perf-report-iterative-2101-3n-skx:
284
285     plot-dpdk-throughput-latency-3n-skx:
286       csit-dpdk-perf-report-iterative-2101-3n-skx:
287         - 12  # rls2101 NDRPDR iter env 6
288         - 14  # rls2101 NDRPDR iter env 6
289         - 15  # rls2101 NDRPDR iter env 6
290         - 17  # rls2101 NDRPDR iter env 6
291         - 19  # rls2101 NDRPDR iter env 6
292         - 20  # rls2101 NDRPDR iter env 6
293         - 21  # rls2101 NDRPDR iter env 6
294         - 22  # rls2101 NDRPDR iter env 6
295         - 25  # rls2101 NDRPDR iter env 6
296         - 26  # rls2101 NDRPDR iter env 6
297
298     plot-dpdk-hdrh-lat-3n-skx:
299       csit-dpdk-perf-report-iterative-2101-3n-skx:
300         - 12  # rls2101 NDRPDR iter env 6
301
302     # 2n-skx
303
304     plot-vpp-throughput-lat-tsa-2n-skx:
305       csit-vpp-perf-report-iterative-2101-2n-skx:
306         - 63  # rls2101.rel NDRPDR iter env 6
307         - 69  # rls2101.rel NDRPDR iter env 6
308         - 70  # rls2101.rel NDRPDR iter env 6
309         - 75  # rls2101.rel NDRPDR iter env 6
310         - 76  # rls2101.rel NDRPDR iter env 6
311         - 77  # rls2101.rel NDRPDR iter env 6
312         - 82  # rls2101.rel NDRPDR iter env 6
313         - 85  # rls2101.rel NDRPDR iter env 6
314         - 86  # rls2101.rel NDRPDR iter env 6
315         - 94  # rls2101.rel NDRPDR iter env 6
316         - 89  # rls2101.rel NDRPDR iter RND env 6
317         - 90  # rls2101.rel NDRPDR iter RND env 6
318         - 91  # rls2101.rel NDRPDR iter RND env 6
319         - 92  # rls2101.rel NDRPDR iter RND env 6
320         - 93  # rls2101.rel NDRPDR iter RND env 6
321         - 96  # rls2101.rel NDRPDR iter RND env 6
322         - 98  # rls2101.rel NDRPDR iter RND env 6
323         - 99  # rls2101.rel NDRPDR iter RND env 6
324         - 101 # rls2101.rel NDRPDR iter RND env 6
325         - 102 # rls2101.rel NDRPDR iter RND env 6
326
327     plot-vpp-hdrh-lat-2n-skx:
328       csit-vpp-perf-report-iterative-2101-2n-skx:
329         - 94  # rls2101.rel NDRPDR iter env 6
330
331     plot-vpp-hdrh-lat-2n-skx-rnd:
332       csit-vpp-perf-report-iterative-2101-2n-skx:
333         - 89  # rls2101.rel NDRPDR iter RND env 6
334
335     plot-vpp-soak-2n-skx:
336       csit-vpp-perf-report-iterative-2101-2n-skx:
337         - 68  # rls2101.rel soak env 6
338         - 73  # rls2101.rel soak env 6
339
340     plot-vpp-nfv-2n-skx-ndrpdr:
341       csit-vpp-perf-report-iterative-2101-2n-skx:
342         - 67  # rls2101.rel NDRPDR nf-density iter env 6
343         - 72  # rls2101.rel NDRPDR nf-density iter env 6
344         - 79  # rls2101.rel NDRPDR nf-density iter env 6
345         - 83  # rls2101.rel NDRPDR nf-density iter env 6
346         - 88  # rls2101.rel NDRPDR nf-density iter env 6
347         - 97  # rls2101.rel NDRPDR nf-density iter env 6
348         - 103 # rls2101.rel NDRPDR nf-density iter env 6
349         - 108 # rls2101.rel NDRPDR nf-density iter env 6
350         - 109 # rls2101.rel NDRPDR nf-density iter env 6
351         - 110 # rls2101.rel NDRPDR nf-density iter env 6
352
353     plot-vpp-nfv-2n-skx-mrr:
354       csit-vpp-perf-report-iterative-2101-2n-skx:
355         - 65  # rls2101.rel MRR nf-density iter env 6
356
357     plot-vpp-nfv-reconf-2n-skx:
358       csit-vpp-perf-report-iterative-2101-2n-skx:
359         - 64  # rls2101.rel NDRPDR reconf iter env 6
360         - 66  # rls2101.rel NDRPDR reconf iter env 6
361         - 71  # rls2101.rel NDRPDR reconf iter env 6
362         - 74  # rls2101.rel NDRPDR reconf iter env 6
363         - 78  # rls2101.rel NDRPDR reconf iter env 6
364         - 87  # rls2101.rel NDRPDR reconf iter env 6
365         - 95  # rls2101.rel NDRPDR reconf iter env 6
366         - 100 # rls2101.rel NDRPDR reconf iter env 6
367         - 104 # rls2101.rel NDRPDR reconf iter env 6
368         - 106 # rls2101.rel NDRPDR reconf iter env 6
369
370     plot-dpdk-throughput-latency-2n-skx:
371       csit-dpdk-perf-report-iterative-2101-2n-skx:
372         - 11  # rls2101 NDRPDR iter env 6
373         - 12  # rls2101 NDRPDR iter env 6
374         - 13  # rls2101 NDRPDR iter env 6
375         - 14  # rls2101 NDRPDR iter env 6
376         - 15  # rls2101 NDRPDR iter env 6
377         - 17  # rls2101 NDRPDR iter env 6
378         - 18  # rls2101 NDRPDR iter env 6
379         - 19  # rls2101 NDRPDR iter env 6
380         - 20  # rls2101 NDRPDR iter env 6
381         - 21  # rls2101 NDRPDR iter env 6
382
383     plot-dpdk-hdrh-lat-2n-skx:
384       csit-dpdk-perf-report-iterative-2101-2n-skx:
385         - 11  # rls2101 NDRPDR iter env 6
386
387     # 2n-zn2
388
389     plot-vpp-throughput-lat-tsa-2n-zn2:
390       csit-vpp-perf-report-iterative-2101-2n-zn2:
391         - 31  # rls2101.rel NDRPDR iter env 6
392         - 32  # rls2101.rel NDRPDR iter env 6
393         - 33  # rls2101.rel NDRPDR iter env 6
394         - 34  # rls2101.rel NDRPDR iter env 6
395         - 35  # rls2101.rel NDRPDR iter env 6
396         - 36  # rls2101.rel NDRPDR iter env 6
397         - 37  # rls2101.rel NDRPDR iter env 6
398         - 38  # rls2101.rel NDRPDR iter env 6
399         - 40  # rls2101.rel NDRPDR iter RND env 6
400         - 41  # rls2101.rel NDRPDR iter RND env 6
401         - 42  # rls2101.rel NDRPDR iter RND env 6
402         - 43  # rls2101.rel NDRPDR iter RND env 6
403         - 45  # rls2101.rel NDRPDR iter RND env 6
404         - 48  # rls2101.rel NDRPDR iter RND env 6
405         - 50  # rls2101.rel NDRPDR iter RND env 6
406
407     plot-vpp-hdrh-lat-2n-zn2:
408       csit-vpp-perf-report-iterative-2101-2n-zn2:
409         - 31  # rls2101.rel NDRPDR iter env 6
410
411     plot-vpp-hdrh-lat-2n-zn2-rnd:
412       csit-vpp-perf-report-iterative-2101-2n-zn2:
413         - 40  # rls2101.rel NDRPDR iter RND env 6
414
415     plot-dpdk-throughput-latency-2n-zn2:
416       csit-dpdk-perf-report-iterative-2101-2n-zn2:
417         - 11  # rls2101 NDRPDR iter env 6
418         - 12  # rls2101 NDRPDR iter env 6
419         - 13  # rls2101 NDRPDR iter env 6
420         - 14  # rls2101 NDRPDR iter env 6
421         - 16  # rls2101 NDRPDR iter env 6
422         - 17  # rls2101 NDRPDR iter env 6
423         - 18  # rls2101 NDRPDR iter env 6
424         - 19  # rls2101 NDRPDR iter env 6
425         - 20  # rls2101 NDRPDR iter env 6
426         - 21  # rls2101 NDRPDR iter env 6
427
428     plot-dpdk-hdrh-lat-2n-zn2:
429       csit-dpdk-perf-report-iterative-2101-2n-zn2:
430         - 11  # rls2101 NDRPDR iter env 6
431
432     # 2n-clx
433
434     plot-vpp-throughput-lat-tsa-2n-clx:
435       csit-vpp-perf-report-iterative-2101-2n-clx:
436         - 54  # rls2101.rel NDRPDR iter env 6
437         - 59  # rls2101.rel NDRPDR iter env 6
438         - 60  # rls2101.rel NDRPDR iter env 6
439         - 63  # rls2101.rel NDRPDR iter env 6
440         - 66  # rls2101.rel NDRPDR iter env 6
441         - 68  # rls2101.rel NDRPDR iter env 6
442         - 73  # rls2101.rel NDRPDR iter env 6
443         - 75  # rls2101.rel NDRPDR iter env 6
444         - 87  # rls2101.rel NDRPDR iter RND env 6
445         - 91  # rls2101.rel NDRPDR iter RND env 6
446         - 93  # rls2101.rel NDRPDR iter RND env 6
447         - 94  # rls2101.rel NDRPDR iter RND env 6
448
449     plot-vpp-hdrh-lat-2n-clx:
450       csit-vpp-perf-report-iterative-2101-2n-clx:
451         - 75  # rls2101.rel NDRPDR iter env 6
452
453     plot-vpp-hdrh-lat-2n-clx-rnd:
454       csit-vpp-perf-report-iterative-2101-2n-clx:
455         - 87  # rls2101.rel NDRPDR iter RND env 6
456
457     plot-vpp-nfv-2n-clx-ndrpdr:
458       csit-vpp-perf-report-iterative-2101-2n-clx:
459         - 57  # rls2101.rel NDRPDR nf-density iter env 6
460         - 62  # rls2101.rel NDRPDR nf-density iter env 6
461         - 70  # rls2101.rel NDRPDR nf-density iter env 6
462         - 71  # rls2101.rel NDRPDR nf-density iter env 6
463         - 82  # rls2101.rel NDRPDR nf-density iter env 6
464         - 88  # rls2101.rel NDRPDR nf-density iter env 6
465         - 89  # rls2101.rel NDRPDR nf-density iter env 6
466         - 96  # rls2101.rel NDRPDR nf-density iter env 6
467
468     plot-vpp-nfv-2n-clx-mrr:
469       csit-vpp-perf-report-iterative-2101-2n-clx:
470         - 72  # rls2101.rel MRR nf-density iter env 6
471
472     plot-vpp-nfv-reconf-2n-clx:
473       csit-vpp-perf-report-iterative-2101-2n-clx:
474         - 55  # rls2101.rel NDRPDR reconf iter env 6
475         - 64  # rls2101.rel NDRPDR reconf iter env 6
476         - 76  # rls2101.rel NDRPDR reconf iter env 6
477         - 83  # rls2101.rel NDRPDR reconf iter env 6
478
479     plot-vpp-soak-2n-clx:
480       csit-vpp-perf-report-iterative-2101-2n-clx:
481         - 58  # rls2101.rel soak env 6
482         - 61  # rls2101.rel soak env 6
483
484     plot-dpdk-throughput-latency-2n-clx:
485       csit-dpdk-perf-report-iterative-2101-2n-clx:
486         - 12  # rls2101 NDRPDR iter env 6
487         - 13  # rls2101 NDRPDR iter env 6
488         - 14  # rls2101 NDRPDR iter env 6
489         - 18  # rls2101 NDRPDR iter env 6
490         - 22  # rls2101 NDRPDR iter env 6
491
492     plot-dpdk-hdrh-lat-2n-clx:
493       csit-dpdk-perf-report-iterative-2101-2n-clx:
494         - 12  # rls2101 NDRPDR iter env 6
495
496     # 3n-tsh
497
498     plot-vpp-throughput-lat-tsa-3n-tsh:
499       csit-vpp-perf-report-iterative-2101-3n-tsh:
500         - 23  # rls2101.rel NDRPDR iter env 6
501         - 24  # rls2101.rel NDRPDR iter env 6
502         - 25  # rls2101.rel NDRPDR iter env 6
503         - 26  # rls2101.rel NDRPDR iter env 6
504         - 27  # rls2101.rel NDRPDR iter env 6
505         - 28  # rls2101.rel NDRPDR iter env 6
506         - 29  # rls2101.rel NDRPDR iter env 6
507
508     plot-vpp-hdrh-lat-3n-tsh:
509       csit-vpp-perf-report-iterative-2101-3n-tsh:
510         - 23  # rls2101.rel NDRPDR iter env 6
511
512     plot-dpdk-throughput-latency-3n-tsh:
513       csit-dpdk-perf-report-iterative-2101-3n-tsh:
514         - 11  # rls2101 NDRPDR iter env 6
515         - 12  # rls2101 NDRPDR iter env 6
516         - 13  # rls2101 NDRPDR iter env 6
517         - 14  # rls2101 NDRPDR iter env 6
518         - 16  # rls2101 NDRPDR iter env 6
519         - 17  # rls2101 NDRPDR iter env 6
520         - 18  # rls2101 NDRPDR iter env 6
521         - 19  # rls2101 NDRPDR iter env 6
522         - 20  # rls2101 NDRPDR iter env 6
523         - 21  # rls2101 NDRPDR iter env 6
524
525     plot-dpdk-hdrh-lat-3n-tsh:
526       csit-dpdk-perf-report-iterative-2101-3n-tsh:
527         - 21  # rls2101 NDRPDR iter env 6
528
529     # 2n-tx2
530
531     plot-vpp-throughput-lat-tsa-2n-tx2:
532       csit-vpp-perf-report-iterative-2101-2n-tx2:
533         - 22  # rls2101.rel NDRPDR iter env 6
534         - 23  # rls2101.rel NDRPDR iter env 6
535         - 24  # rls2101.rel NDRPDR iter env 6
536         - 25  # rls2101.rel NDRPDR iter env 6
537         - 26  # rls2101.rel NDRPDR iter env 6
538         - 27  # rls2101.rel NDRPDR iter env 6
539         - 28  # rls2101.rel NDRPDR iter env 6
540         - 29  # rls2101.rel NDRPDR iter env 6
541         - 30  # rls2101.rel NDRPDR iter env 6
542         - 31  # rls2101.rel NDRPDR iter env 6
543
544     plot-vpp-hdrh-lat-2n-tx2:
545       csit-vpp-perf-report-iterative-2101-2n-tx2:
546         - 29  # rls2101.rel NDRPDR iter env 6
547
548     plot-dpdk-throughput-latency-2n-tx2:
549       csit-dpdk-perf-report-iterative-2101-2n-tx2:
550         - 4   # rls2101 NDRPDR iter env 6
551         - 6   # rls2101 NDRPDR iter env 6
552         - 7   # rls2101 NDRPDR iter env 6
553         - 8   # rls2101 NDRPDR iter env 6
554         - 9   # rls2101 NDRPDR iter env 6
555         - 10  # rls2101 NDRPDR iter env 6
556         - 11  # rls2101 NDRPDR iter env 6
557         - 12  # rls2101 NDRPDR iter env 6
558         - 13  # rls2101 NDRPDR iter env 6
559         - 14  # rls2101 NDRPDR iter env 6
560
561     plot-dpdk-hdrh-lat-2n-tx2:
562       csit-dpdk-perf-report-iterative-2101-2n-tx2:
563         - 4   # rls2101 NDRPDR iter env 6
564
565     # 3n-dnv
566
567     plot-vpp-throughput-lat-tsa-3n-dnv:
568       csit-vpp-perf-report-iterative-2101-3n-dnv:
569         - 33  # rls2101.rel NDRPDR iter env 6
570         - 34  # rls2101.rel NDRPDR iter env 6
571         - 35  # rls2101.rel NDRPDR iter env 6
572         - 36  # rls2101.rel NDRPDR iter env 6
573         - 37  # rls2101.rel NDRPDR iter env 6
574         - 38  # rls2101.rel NDRPDR iter env 6
575         - 39  # rls2101.rel NDRPDR iter env 6
576         - 40  # rls2101.rel NDRPDR iter env 6
577         - 41  # rls2101.rel NDRPDR iter env 6
578         - 42  # rls2101.rel NDRPDR iter env 6
579         - 43  # rls2101.rel NDRPDR iter RND env 6
580         - 44  # rls2101.rel NDRPDR iter RND env 6
581         - 45  # rls2101.rel NDRPDR iter RND env 6
582         - 46  # rls2101.rel NDRPDR iter RND env 6
583         - 47  # rls2101.rel NDRPDR iter RND env 6
584         - 48  # rls2101.rel NDRPDR iter RND env 6
585         - 49  # rls2101.rel NDRPDR iter RND env 6
586         - 50  # rls2101.rel NDRPDR iter RND env 6
587         - 51  # rls2101.rel NDRPDR iter RND env 6
588         - 52  # rls2101.rel NDRPDR iter RND env 6
589
590 #    plot-dpdk-throughput-latency-3n-dnv:
591 #      # No data
592 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
593
594     # 2n-dnv
595
596     plot-vpp-throughput-lat-tsa-2n-dnv:
597       csit-vpp-perf-report-iterative-2101-2n-dnv:
598         - 32  # rls2101.rel NDRPDR iter env 6
599         - 33  # rls2101.rel NDRPDR iter env 6
600         - 34  # rls2101.rel NDRPDR iter env 6
601         - 35  # rls2101.rel NDRPDR iter env 6
602         - 39  # rls2101.rel NDRPDR iter env 6
603         - 41  # rls2101.rel NDRPDR iter env 6
604         - 42  # rls2101.rel NDRPDR iter env 6
605         - 43  # rls2101.rel NDRPDR iter env 6
606         - 44  # rls2101.rel NDRPDR iter env 6
607         - 45  # rls2101.rel NDRPDR iter env 6
608         - 46  # rls2101.rel NDRPDR iter RND env 6
609         - 47  # rls2101.rel NDRPDR iter RND env 6
610         - 48  # rls2101.rel NDRPDR iter RND env 6
611         - 49  # rls2101.rel NDRPDR iter RND env 6
612         - 50  # rls2101.rel NDRPDR iter RND env 6
613         - 51  # rls2101.rel NDRPDR iter RND env 6
614         - 52  # rls2101.rel NDRPDR iter RND env 6
615         - 53  # rls2101.rel NDRPDR iter RND env 6
616         - 54  # rls2101.rel NDRPDR iter RND env 6
617         - 55  # rls2101.rel NDRPDR iter RND env 6
618
619 #    plot-dpdk-throughput-latency-2n-dnv:
620 #      # No data
621 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
622
623     ###########################################################################
624     # Simple tables (only one data set):
625
626     # NIC Comparisons
627
628     vpp-nic-comparison-3n-skx:
629       csit-vpp-perf-report-iterative-2101-3n-skx:
630         - 36  # rls2101.rel NDRPDR iter env 6
631         - 37  # rls2101.rel NDRPDR iter env 6
632         - 38  # rls2101.rel NDRPDR iter env 6
633         - 39  # rls2101.rel NDRPDR iter env 6
634         - 40  # rls2101.rel NDRPDR iter env 6
635         - 41  # rls2101.rel NDRPDR iter env 6
636         - 42  # rls2101.rel NDRPDR iter env 6
637         - 47  # rls2101.rel NDRPDR iter env 6
638         - 48  # rls2101.rel NDRPDR iter env 6
639
640     vpp-nic-comparison-2n-skx:
641       csit-vpp-perf-report-iterative-2101-2n-skx:
642         - 63  # rls2101.rel NDRPDR iter env 6
643         - 69  # rls2101.rel NDRPDR iter env 6
644         - 70  # rls2101.rel NDRPDR iter env 6
645         - 75  # rls2101.rel NDRPDR iter env 6
646         - 76  # rls2101.rel NDRPDR iter env 6
647         - 77  # rls2101.rel NDRPDR iter env 6
648         - 82  # rls2101.rel NDRPDR iter env 6
649         - 85  # rls2101.rel NDRPDR iter env 6
650         - 86  # rls2101.rel NDRPDR iter env 6
651         - 94  # rls2101.rel NDRPDR iter env 6
652         - 89  # rls2101.rel NDRPDR iter RND env 6
653         - 90  # rls2101.rel NDRPDR iter RND env 6
654         - 91  # rls2101.rel NDRPDR iter RND env 6
655         - 92  # rls2101.rel NDRPDR iter RND env 6
656         - 93  # rls2101.rel NDRPDR iter RND env 6
657         - 96  # rls2101.rel NDRPDR iter RND env 6
658         - 98  # rls2101.rel NDRPDR iter RND env 6
659         - 99  # rls2101.rel NDRPDR iter RND env 6
660         - 101 # rls2101.rel NDRPDR iter RND env 6
661         - 102 # rls2101.rel NDRPDR iter RND env 6
662
663     vpp-nic-comparison-3n-skx-mrr:
664       csit-vpp-perf-report-iterative-2101-3n-skx:
665         - 35  # rls2101.rel MRR iter env 6
666
667     vpp-nic-comparison-2n-skx-mrr:
668       csit-vpp-perf-report-iterative-2101-2n-skx:
669         - 62  # rls2101.rel MRR iter env 6
670
671     # Results
672
673     vpp-perf-results-3n-hsw:
674       csit-vpp-perf-report-coverage-2101-3n-hsw:
675         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
676         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
677         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
678         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
679         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
680         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
681         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
682         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
683         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
684         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
685         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
686         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
687         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
688         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
689         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
690         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
691         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
692         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
693         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
694         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
695         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
696         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
697         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
698         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
699         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
700         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
701         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
702         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
703         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
704         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
705         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
706         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
707         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
708         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
709         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
710
711     vpp-perf-results-3n-skx:
712       # csit-vpp-perf-report-coverage-2101-3n-skx:
713       csit-vpp-perf-report-iterative-2101-3n-skx:
714         - 36  # rls2101.rel NDRPDR iter env 6
715
716     vpp-perf-results-2n-skx:
717       csit-vpp-perf-report-coverage-2101-2n-skx:
718         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
719         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
720 #        - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
721         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
722         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
723         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
724         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
725         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
726         - 9   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
727         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
728 #        - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
729         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
730         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
731         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
732         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
733 #        - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
734 #        - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
735 #        - 18  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
736
737     vpp-perf-results-2n-zn2:
738       csit-vpp-perf-report-iterative-2101-2n-zn2:
739         - 31  # rls2101.rel NDRPDR iter env 6
740
741     vpp-perf-results-2n-clx:
742       # csit-vpp-perf-report-coverage-2101-2n-clx:
743       csit-vpp-perf-report-iterative-2101-2n-clx:
744         - 75  # rls2101.rel NDRPDR iter env 6
745
746     vpp-perf-results-3n-tsh:
747       csit-vpp-perf-report-iterative-2101-3n-tsh:
748         - 23  # rls2101.rel NDRPDR iter env 6
749
750     vpp-perf-results-2n-tx2:
751       csit-vpp-perf-report-iterative-2101-2n-tx2:
752         - 29  # rls2101.rel NDRPDR iter env 6
753
754     vpp-perf-results-3n-dnv:
755       csit-vpp-perf-report-coverage-2101-3n-dnv:
756         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
757         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
758         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
759         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
760         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
761         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
762         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
763         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
764         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
765
766     vpp-perf-results-2n-dnv:
767       csit-vpp-perf-report-coverage-2101-2n-dnv:
768         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
769         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
770         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
771         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
772         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
773         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
774
775     vpp-mrr-results-3n-hsw:
776       csit-vpp-perf-report-iterative-2101-3n-hsw:
777         - 63  # rls2101.rel MRR iter env 6
778
779     vpp-mrr-results-3n-skx:
780       csit-vpp-perf-report-iterative-2101-3n-skx:
781         - 35  # rls2101.rel MRR iter env 6
782
783     vpp-mrr-results-2n-skx:
784       csit-vpp-perf-report-iterative-2101-2n-skx:
785         - 62  # rls2101.rel MRR iter env 6
786
787     vpp-mrr-results-2n-zn2:
788       csit-vpp-perf-report-iterative-2101-2n-zn2:
789         - 30  # rls2101.rel MRR iter env 6
790
791     vpp-mrr-results-2n-clx:
792       csit-vpp-perf-report-iterative-2101-2n-clx:
793         - 53  # rls2101.rel MRR iter env 6
794
795     vpp-mrr-results-3n-tsh:
796       csit-vpp-perf-report-iterative-2101-3n-tsh:
797         - 22  # rls2101.rel MRR iter env 6
798
799     vpp-mrr-results-2n-tx2:
800       csit-vpp-perf-report-iterative-2101-2n-tx2:
801         - 21  # rls2101.rel MRR iter env 6
802
803     vpp-mrr-results-3n-dnv:
804       csit-vpp-perf-report-iterative-2101-3n-dnv:
805         - 32  # rls2101.rel MRR iter env 6
806
807     vpp-mrr-results-2n-dnv:
808       csit-vpp-perf-report-iterative-2101-2n-dnv:
809         - 31  # rls2101.rel MRR iter env 6
810
811     vpp-device-results-ubuntu:
812       csit-vpp-device-2101-ubuntu1804-1n-skx:
813         - 358  # rls2101.rel VPP DEV env 6
814
815     dpdk-perf-results-3n-hsw:
816       csit-dpdk-perf-report-iterative-2101-3n-hsw:
817         - 11  # rls2101 NDRPDR iter env 6
818
819     dpdk-perf-results-3n-skx:
820       csit-dpdk-perf-report-iterative-2101-3n-skx:
821         - 12  # rls2101 NDRPDR iter env 6
822
823     dpdk-perf-results-2n-skx:
824       csit-dpdk-perf-report-iterative-2101-2n-skx:
825         - 11  # rls2101 NDRPDR iter env 6
826
827     dpdk-perf-results-2n-zn2:
828       csit-dpdk-perf-report-iterative-2101-2n-zn2:
829         - 11  # rls2101 NDRPDR iter env 6
830
831     dpdk-perf-results-2n-clx:
832       csit-dpdk-perf-report-iterative-2101-2n-clx:
833         - 12  # rls2101 NDRPDR iter env 6
834
835 #    dpdk-perf-results-2n-dnv:
836 #      # No data
837 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
838
839 #    dpdk-perf-results-3n-dnv:
840 #      # No data
841 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
842
843     dpdk-perf-results-3n-tsh:
844       csit-dpdk-perf-report-iterative-2101-3n-tsh:
845         - 21  # rls2101 NDRPDR iter env 6
846
847     dpdk-perf-results-2n-tx2:
848       csit-dpdk-perf-report-iterative-2101-2n-tx2:
849         - 4   # rls2101 NDRPDR iter env 6
850
851 ###########################################################################
852     # Tables (more than one data set)
853
854     # Performance changes
855
856     vpp-performance-changes-3n-hsw-h1:
857       csit-vpp-perf-report-iterative-2009-3n-hsw:
858         - 9   # rls2005 NDRPDR iter env 5
859         - 10  # rls2005 NDRPDR iter env 5
860         - 11  # rls2005 NDRPDR iter env 5
861         - 12  # rls2005 NDRPDR iter env 5
862         - 13  # rls2005 NDRPDR iter env 5
863         - 14  # rls2005 NDRPDR iter env 5
864         - 15  # rls2005 NDRPDR iter env 5
865         - 16  # rls2005 NDRPDR iter env 5
866         - 17  # rls2005 NDRPDR iter env 5
867         - 19  # rls2005 NDRPDR iter env 5
868     vpp-performance-changes-3n-hsw-ref-env-old:
869       csit-vpp-perf-report-iterative-2009-3n-hsw:
870         - 21  # rls2009 NDRPDR iter env 5
871         - 22  # rls2009 NDRPDR iter env 5
872         - 24  # rls2009 NDRPDR iter env 5
873         - 25  # rls2009 NDRPDR iter env 5
874         - 26  # rls2009 NDRPDR iter env 5
875         - 27  # rls2009 NDRPDR iter env 5
876         - 28  # rls2009 NDRPDR iter env 5
877         - 29  # rls2009 NDRPDR iter env 5
878         - 30  # rls2009 NDRPDR iter env 5
879         - 31  # rls2009 NDRPDR iter env 5
880     vpp-performance-changes-3n-hsw-ref-env-new:
881       csit-vpp-perf-report-iterative-2101-3n-hsw:
882         - 19  # rls2009 NDRPDR iter env 6
883         - 20  # rls2009 NDRPDR iter env 6
884         - 21  # rls2009 NDRPDR iter env 6
885         - 22  # rls2009 NDRPDR iter env 6
886         - 23  # rls2009 NDRPDR iter env 6
887         - 24  # rls2009 NDRPDR iter env 6
888         - 25  # rls2009 NDRPDR iter env 6
889         - 26  # rls2009 NDRPDR iter env 6
890         - 27  # rls2009 NDRPDR iter env 6
891         - 28  # rls2009 NDRPDR iter env 6
892     vpp-performance-changes-3n-hsw-cmp:
893       csit-vpp-perf-report-iterative-2101-3n-hsw:
894         - 64  # rls2101.rel NDRPDR iter env 6
895         - 71  # rls2101.rel NDRPDR iter env 6
896         - 73  # rls2101.rel NDRPDR iter env 6
897         - 74  # rls2101.rel NDRPDR iter env 6
898         - 80  # rls2101.rel NDRPDR iter env 6
899         - 81  # rls2101.rel NDRPDR iter env 6
900         - 82  # rls2101.rel NDRPDR iter env 6
901         - 83  # rls2101.rel NDRPDR iter env 6
902         - 88  # rls2101.rel NDRPDR iter env 6
903         - 89  # rls2101.rel NDRPDR iter env 6
904         - 128 # rls2101.rel NDRPDR iter RND env 6
905         - 129 # rls2101.rel NDRPDR iter RND env 6
906         - 130 # rls2101.rel NDRPDR iter RND env 6
907         - 131 # rls2101.rel NDRPDR iter RND env 6
908         - 132 # rls2101.rel NDRPDR iter RND env 6
909         - 133 # rls2101.rel NDRPDR iter RND env 6
910         - 134 # rls2101.rel NDRPDR iter RND env 6
911         - 135 # rls2101.rel NDRPDR iter RND env 6
912         - 136 # rls2101.rel NDRPDR iter RND env 6
913         - 137 # rls2101.rel NDRPDR iter RND env 6
914
915     vpp-performance-changes-3n-skx-h1:
916       csit-vpp-perf-report-iterative-2009-3n-skx:
917         - 13  # rls2005 NDRPDR iter env 5
918         - 18  # rls2005 NDRPDR iter env 5
919         - 19  # rls2005 NDRPDR iter env 5
920         - 41  # rls2005 NDRPDR iter env 5
921         - 43  # rls2005 NDRPDR iter env 5
922         - 44  # rls2005 NDRPDR iter env 5
923         - 45  # rls2005 NDRPDR iter env 5
924         - 46  # rls2005 NDRPDR iter env 5
925         - 48  # rls2005 NDRPDR iter env 5
926         - 49  # rls2005 NDRPDR iter env 5
927     vpp-performance-changes-3n-skx-ref-env-old:
928       csit-vpp-perf-report-iterative-2009-3n-skx:
929         - 26  # rls2009 NDRPDR iter env 5
930         - 27  # rls2009 NDRPDR iter env 5
931         - 28  # rls2009 NDRPDR iter env 5
932         - 29  # rls2009 NDRPDR iter env 5
933         - 35  # rls2009 NDRPDR iter env 5
934         - 36  # rls2009 NDRPDR iter env 5
935         - 37  # rls2009 NDRPDR iter env 5
936         - 38  # rls2009 NDRPDR iter env 5
937         - 39  # rls2009 NDRPDR iter env 5
938         - 40  # rls2009 NDRPDR iter env 5
939     vpp-performance-changes-3n-skx-ref-env-new:
940       csit-vpp-perf-report-iterative-2101-3n-skx:
941         - 14  # rls2009 NDRPDR iter env 6
942         - 15  # rls2009 NDRPDR iter env 6
943         - 16  # rls2009 NDRPDR iter env 6
944         - 17  # rls2009 NDRPDR iter env 6
945         - 18  # rls2009 NDRPDR iter env 6
946         - 25  # rls2009 NDRPDR iter env 6
947         - 26  # rls2009 NDRPDR iter env 6
948         - 27  # rls2009 NDRPDR iter env 6
949         - 29  # rls2009 NDRPDR iter env 6
950         - 31  # rls2009 NDRPDR iter env 6
951     vpp-performance-changes-3n-skx-cmp:
952       csit-vpp-perf-report-iterative-2101-3n-skx:
953         - 36  # rls2101.rel NDRPDR iter env 6
954         - 37  # rls2101.rel NDRPDR iter env 6
955         - 38  # rls2101.rel NDRPDR iter env 6
956         - 39  # rls2101.rel NDRPDR iter env 6
957         - 40  # rls2101.rel NDRPDR iter env 6
958         - 41  # rls2101.rel NDRPDR iter env 6
959         - 42  # rls2101.rel NDRPDR iter env 6
960         - 47  # rls2101.rel NDRPDR iter env 6
961         - 48  # rls2101.rel NDRPDR iter env 6
962
963     vpp-performance-changes-2n-skx-h1:
964       csit-vpp-perf-report-iterative-2009-2n-skx:
965         - 13  # rls2005 NDRPDR iter env 5
966         - 16  # rls2005 NDRPDR iter env 5
967         - 17  # rls2005 NDRPDR iter env 5
968         - 18  # rls2005 NDRPDR iter env 5
969         - 19  # rls2005 NDRPDR iter env 5
970         - 21  # rls2005 NDRPDR iter env 5
971         - 22  # rls2005 NDRPDR iter env 5
972         - 23  # rls2005 NDRPDR iter env 5
973         - 24  # rls2005 NDRPDR iter env 5
974         - 25  # rls2005 NDRPDR iter env 5
975     vpp-performance-changes-2n-skx-ref-env-old:
976       csit-vpp-perf-report-iterative-2009-2n-skx:
977         - 35  # rls2009 NDRPDR iter env 5
978         - 36  # rls2009 NDRPDR iter env 5
979         - 37  # rls2009 NDRPDR iter env 5
980         - 39  # rls2009 NDRPDR iter env 5
981         - 40  # rls2009 NDRPDR iter env 5
982         - 42  # rls2009 NDRPDR iter env 5
983         - 43  # rls2009 NDRPDR iter env 5
984         - 44  # rls2009 NDRPDR iter env 5
985         - 46  # rls2009 NDRPDR iter env 5
986         - 48  # rls2009 NDRPDR iter env 5
987         - 110 # rls2009 NDRPDR iter NAT44 env 5
988         - 111 # rls2009 NDRPDR iter NAT44 env 5
989         - 112 # rls2009 NDRPDR iter NAT44 env 5
990         - 113 # rls2009 NDRPDR iter NAT44 env 5
991         - 114 # rls2009 NDRPDR iter NAT44 env 5
992         - 115 # rls2009 NDRPDR iter NAT44 env 5
993         - 116 # rls2009 NDRPDR iter NAT44 env 5
994         - 118 # rls2009 NDRPDR iter NAT44 env 5
995         - 119 # rls2009 NDRPDR iter NAT44 env 5
996         - 121 # rls2009 NDRPDR iter NAT44 env 5
997     vpp-performance-changes-2n-skx-ref-env-new:
998       csit-vpp-perf-report-iterative-2101-2n-skx:
999         - 22  # rls2009 NDRPDR iter env 6
1000         - 23  # rls2009 NDRPDR iter env 6
1001         - 24  # rls2009 NDRPDR iter env 6
1002         - 25  # rls2009 NDRPDR iter env 6
1003         - 26  # rls2009 NDRPDR iter env 6
1004         - 28  # rls2009 NDRPDR iter env 6
1005         - 39  # rls2009 NDRPDR iter env 6
1006         - 40  # rls2009 NDRPDR iter env 6
1007         - 41  # rls2009 NDRPDR iter env 6
1008         - 44  # rls2009 NDRPDR iter env 6
1009     vpp-performance-changes-2n-skx-cmp:
1010       csit-vpp-perf-report-iterative-2101-2n-skx:
1011         - 63  # rls2101.rel NDRPDR iter env 6
1012         - 69  # rls2101.rel NDRPDR iter env 6
1013         - 70  # rls2101.rel NDRPDR iter env 6
1014         - 75  # rls2101.rel NDRPDR iter env 6
1015         - 76  # rls2101.rel NDRPDR iter env 6
1016         - 77  # rls2101.rel NDRPDR iter env 6
1017         - 82  # rls2101.rel NDRPDR iter env 6
1018         - 85  # rls2101.rel NDRPDR iter env 6
1019         - 86  # rls2101.rel NDRPDR iter env 6
1020         - 94  # rls2101.rel NDRPDR iter env 6
1021         - 89  # rls2101.rel NDRPDR iter RND env 6
1022         - 90  # rls2101.rel NDRPDR iter RND env 6
1023         - 91  # rls2101.rel NDRPDR iter RND env 6
1024         - 92  # rls2101.rel NDRPDR iter RND env 6
1025         - 93  # rls2101.rel NDRPDR iter RND env 6
1026         - 96  # rls2101.rel NDRPDR iter RND env 6
1027         - 98  # rls2101.rel NDRPDR iter RND env 6
1028         - 99  # rls2101.rel NDRPDR iter RND env 6
1029         - 101 # rls2101.rel NDRPDR iter RND env 6
1030         - 102 # rls2101.rel NDRPDR iter RND env 6
1031
1032     vpp-performance-changes-2n-clx-h1:
1033       csit-vpp-perf-report-iterative-2009-2n-clx:
1034         - 13  # rls2005 NDRPDR iter env 5
1035         - 15  # rls2005 NDRPDR iter env 5
1036         - 17  # rls2005 NDRPDR iter env 5
1037         - 18  # rls2005 NDRPDR iter env 5
1038         - 19  # rls2005 NDRPDR iter env 5
1039         - 20  # rls2005 NDRPDR iter env 5
1040         - 21  # rls2005 NDRPDR iter env 5
1041         - 22  # rls2005 NDRPDR iter env 5
1042         - 23  # rls2005 NDRPDR iter env 5
1043         - 24  # rls2005 NDRPDR iter env 5
1044     vpp-performance-changes-2n-clx-ref-env-old:
1045       csit-vpp-perf-report-iterative-2009-2n-clx:
1046         - 36  # rls2009 NDRPDR iter env 5
1047         - 39  # rls2009 NDRPDR iter env 5
1048         - 40  # rls2009 NDRPDR iter env 5
1049         - 65  # rls2009 NDRPDR iter env 5
1050         - 66  # rls2009 NDRPDR iter env 5
1051         - 79  # rls2009 NDRPDR iter env 5
1052         - 82  # rls2009 NDRPDR iter env 5
1053         - 88  # rls2009 NDRPDR iter env 5
1054         - 89  # rls2009 NDRPDR iter env 5
1055         - 90  # rls2009 NDRPDR iter env 5
1056         - 114 # rls2009 NDRPDR iter NAT44 env 5
1057         - 115 # rls2009 NDRPDR iter NAT44 env 5
1058         - 116 # rls2009 NDRPDR iter NAT44 env 5
1059         - 117 # rls2009 NDRPDR iter NAT44 env 5
1060         - 118 # rls2009 NDRPDR iter NAT44 env 5
1061         - 119 # rls2009 NDRPDR iter NAT44 env 5
1062         - 121 # rls2009 NDRPDR iter NAT44 env 5
1063         - 122 # rls2009 NDRPDR iter NAT44 env 5
1064         - 123 # rls2009 NDRPDR iter NAT44 env 5
1065         - 126 # rls2009 NDRPDR iter NAT44 env 5
1066     vpp-performance-changes-2n-clx-ref-env-new:
1067       csit-vpp-perf-report-iterative-2101-2n-clx:
1068         - 16  # rls2009 NDRPDR iter env 6
1069         - 17  # rls2009 NDRPDR iter env 6
1070         - 18  # rls2009 NDRPDR iter env 6
1071         - 19  # rls2009 NDRPDR iter env 6
1072         - 20  # rls2009 NDRPDR iter env 6
1073         - 21  # rls2009 NDRPDR iter env 6
1074         - 32  # rls2009 NDRPDR iter env 6
1075         - 33  # rls2009 NDRPDR iter env 6
1076         - 34  # rls2009 NDRPDR iter env 6
1077         - 35  # rls2009 NDRPDR iter env 6
1078     vpp-performance-changes-2n-clx-cmp:
1079       csit-vpp-perf-report-iterative-2101-2n-clx:
1080         - 54  # rls2101.rel NDRPDR iter env 6
1081         - 59  # rls2101.rel NDRPDR iter env 6
1082         - 60  # rls2101.rel NDRPDR iter env 6
1083         - 63  # rls2101.rel NDRPDR iter env 6
1084         - 66  # rls2101.rel NDRPDR iter env 6
1085         - 68  # rls2101.rel NDRPDR iter env 6
1086         - 73  # rls2101.rel NDRPDR iter env 6
1087         - 75  # rls2101.rel NDRPDR iter env 6
1088         - 87  # rls2101.rel NDRPDR iter RND env 6
1089         - 91  # rls2101.rel NDRPDR iter RND env 6
1090         - 93  # rls2101.rel NDRPDR iter RND env 6
1091         - 94  # rls2101.rel NDRPDR iter RND env 6
1092
1093     vpp-performance-changes-2n-zn2-ref-env-old:
1094       csit-vpp-perf-report-iterative-2009-2n-zn2:
1095         - 17  # rls2009 NDRPDR iter env 5
1096         - 18  # rls2009 NDRPDR iter env 5
1097         - 31  # rls2009 NDRPDR iter env 5
1098         - 33  # rls2009 NDRPDR iter env 5
1099         - 34  # rls2009 NDRPDR iter env 5
1100     vpp-performance-changes-2n-zn2-ref-env-new:
1101       csit-vpp-perf-report-iterative-2101-2n-zn2:
1102         - 9   # rls2009 NDRPDR iter env 6
1103         - 10  # rls2009 NDRPDR iter env 6
1104         - 11  # rls2009 NDRPDR iter env 6
1105         - 12  # rls2009 NDRPDR iter env 6
1106         - 13  # rls2009 NDRPDR iter env 6
1107         - 20  # rls2009 NDRPDR iter env 6
1108         - 21  # rls2009 NDRPDR iter env 6
1109         - 22  # rls2009 NDRPDR iter env 6
1110         - 25  # rls2009 NDRPDR iter env 6
1111         - 26  # rls2009 NDRPDR iter env 6
1112     vpp-performance-changes-2n-zn2-cmp:
1113       csit-vpp-perf-report-iterative-2101-2n-zn2:
1114         - 31  # rls2101.rel NDRPDR iter env 6
1115         - 32  # rls2101.rel NDRPDR iter env 6
1116         - 33  # rls2101.rel NDRPDR iter env 6
1117         - 34  # rls2101.rel NDRPDR iter env 6
1118         - 35  # rls2101.rel NDRPDR iter env 6
1119         - 36  # rls2101.rel NDRPDR iter env 6
1120         - 37  # rls2101.rel NDRPDR iter env 6
1121         - 38  # rls2101.rel NDRPDR iter env 6
1122         - 40  # rls2101.rel NDRPDR iter RND env 6
1123         - 41  # rls2101.rel NDRPDR iter RND env 6
1124         - 42  # rls2101.rel NDRPDR iter RND env 6
1125         - 43  # rls2101.rel NDRPDR iter RND env 6
1126         - 45  # rls2101.rel NDRPDR iter RND env 6
1127         - 48  # rls2101.rel NDRPDR iter RND env 6
1128         - 50  # rls2101.rel NDRPDR iter RND env 6
1129
1130     vpp-performance-changes-2n-dnv-h1:
1131       csit-vpp-perf-report-iterative-2009-2n-dnv:
1132         - 16  # rls2005 NDRPDR iter env 5
1133         - 17  # rls2005 NDRPDR iter env 5
1134         - 18  # rls2005 NDRPDR iter env 5
1135         - 19  # rls2005 NDRPDR iter env 5
1136         - 21  # rls2005 NDRPDR iter env 5
1137         - 24  # rls2005 NDRPDR iter env 5
1138         - 27  # rls2005 NDRPDR iter env 5
1139         - 28  # rls2005 NDRPDR iter env 5
1140         - 29  # rls2005 NDRPDR iter env 5
1141         - 30  # rls2005 NDRPDR iter env 5
1142     vpp-performance-changes-2n-dnv-ref-env-old:
1143       csit-vpp-perf-report-iterative-2009-2n-dnv:
1144         - 3   # rls2009 NDRPDR iter env 5
1145         - 5   # rls2009 NDRPDR iter env 5
1146         - 6   # rls2009 NDRPDR iter env 5
1147         - 7   # rls2009 NDRPDR iter env 5
1148         - 9   # rls2009 NDRPDR iter env 5
1149         - 10  # rls2009 NDRPDR iter env 5
1150         - 11  # rls2009 NDRPDR iter env 5
1151         - 12  # rls2009 NDRPDR iter env 5
1152         - 14  # rls2009 NDRPDR iter env 5
1153         - 15  # rls2009 NDRPDR iter env 5
1154     vpp-performance-changes-2n-dnv-ref-env-new:
1155       # TODO: Re-test in new env
1156       csit-vpp-perf-report-iterative-2009-2n-dnv:
1157         - 3   # rls2009 NDRPDR iter env 5
1158         - 5   # rls2009 NDRPDR iter env 5
1159         - 6   # rls2009 NDRPDR iter env 5
1160         - 7   # rls2009 NDRPDR iter env 5
1161         - 9   # rls2009 NDRPDR iter env 5
1162         - 10  # rls2009 NDRPDR iter env 5
1163         - 11  # rls2009 NDRPDR iter env 5
1164         - 12  # rls2009 NDRPDR iter env 5
1165         - 14  # rls2009 NDRPDR iter env 5
1166         - 15  # rls2009 NDRPDR iter env 5
1167     vpp-performance-changes-2n-dnv-cmp:
1168       csit-vpp-perf-report-iterative-2101-2n-dnv:
1169         - 32  # rls2101.rel NDRPDR iter env 6
1170         - 33  # rls2101.rel NDRPDR iter env 6
1171         - 34  # rls2101.rel NDRPDR iter env 6
1172         - 35  # rls2101.rel NDRPDR iter env 6
1173         - 39  # rls2101.rel NDRPDR iter env 6
1174         - 41  # rls2101.rel NDRPDR iter env 6
1175         - 42  # rls2101.rel NDRPDR iter env 6
1176         - 43  # rls2101.rel NDRPDR iter env 6
1177         - 44  # rls2101.rel NDRPDR iter env 6
1178         - 45  # rls2101.rel NDRPDR iter env 6
1179         - 46  # rls2101.rel NDRPDR iter RND env 6
1180         - 47  # rls2101.rel NDRPDR iter RND env 6
1181         - 48  # rls2101.rel NDRPDR iter RND env 6
1182         - 49  # rls2101.rel NDRPDR iter RND env 6
1183         - 50  # rls2101.rel NDRPDR iter RND env 6
1184         - 51  # rls2101.rel NDRPDR iter RND env 6
1185         - 52  # rls2101.rel NDRPDR iter RND env 6
1186         - 53  # rls2101.rel NDRPDR iter RND env 6
1187         - 54  # rls2101.rel NDRPDR iter RND env 6
1188         - 55  # rls2101.rel NDRPDR iter RND env 6
1189
1190     vpp-performance-changes-3n-dnv-h1:
1191       csit-vpp-perf-report-iterative-2009-3n-dnv:
1192         - 16  # rls2005 NDRPDR iter env 5
1193         - 23  # rls2005 NDRPDR iter env 5
1194         - 25  # rls2005 NDRPDR iter env 5
1195         - 26  # rls2005 NDRPDR iter env 5
1196         - 27  # rls2005 NDRPDR iter env 5
1197         - 28  # rls2005 NDRPDR iter env 5
1198         - 29  # rls2005 NDRPDR iter env 5
1199         - 30  # rls2005 NDRPDR iter env 5
1200         - 31  # rls2005 NDRPDR iter env 5
1201         - 32  # rls2005 NDRPDR iter env 5
1202     vpp-performance-changes-3n-dnv-ref-env-old:
1203       csit-vpp-perf-report-iterative-2009-3n-dnv:
1204         - 3   # rls2009 NDRPDR iter env 5
1205         - 6   # rls2009 NDRPDR iter env 5
1206         - 7   # rls2009 NDRPDR iter env 5
1207         - 8   # rls2009 NDRPDR iter env 5
1208         - 10  # rls2009 NDRPDR iter env 5
1209         - 11  # rls2009 NDRPDR iter env 5
1210         - 12  # rls2009 NDRPDR iter env 5
1211         - 14  # rls2009 NDRPDR iter env 5
1212         - 15  # rls2009 NDRPDR iter env 5
1213         - 24  # rls2009 NDRPDR iter env 5
1214     vpp-performance-changes-3n-dnv-ref-env-new:
1215       # TODO: Re-test in new env
1216       csit-vpp-perf-report-iterative-2009-3n-dnv:
1217         - 3   # rls2009 NDRPDR iter env 5
1218         - 6   # rls2009 NDRPDR iter env 5
1219         - 7   # rls2009 NDRPDR iter env 5
1220         - 8   # rls2009 NDRPDR iter env 5
1221         - 10  # rls2009 NDRPDR iter env 5
1222         - 11  # rls2009 NDRPDR iter env 5
1223         - 12  # rls2009 NDRPDR iter env 5
1224         - 14  # rls2009 NDRPDR iter env 5
1225         - 15  # rls2009 NDRPDR iter env 5
1226         - 24  # rls2009 NDRPDR iter env 5
1227     vpp-performance-changes-3n-dnv-cmp:
1228       csit-vpp-perf-report-iterative-2101-3n-dnv:
1229         - 33  # rls2101.rel NDRPDR iter env 6
1230         - 34  # rls2101.rel NDRPDR iter env 6
1231         - 35  # rls2101.rel NDRPDR iter env 6
1232         - 36  # rls2101.rel NDRPDR iter env 6
1233         - 37  # rls2101.rel NDRPDR iter env 6
1234         - 38  # rls2101.rel NDRPDR iter env 6
1235         - 39  # rls2101.rel NDRPDR iter env 6
1236         - 40  # rls2101.rel NDRPDR iter env 6
1237         - 41  # rls2101.rel NDRPDR iter env 6
1238         - 42  # rls2101.rel NDRPDR iter env 6
1239         - 43  # rls2101.rel NDRPDR iter RND env 6
1240         - 44  # rls2101.rel NDRPDR iter RND env 6
1241         - 45  # rls2101.rel NDRPDR iter RND env 6
1242         - 46  # rls2101.rel NDRPDR iter RND env 6
1243         - 47  # rls2101.rel NDRPDR iter RND env 6
1244         - 48  # rls2101.rel NDRPDR iter RND env 6
1245         - 49  # rls2101.rel NDRPDR iter RND env 6
1246         - 50  # rls2101.rel NDRPDR iter RND env 6
1247         - 51  # rls2101.rel NDRPDR iter RND env 6
1248         - 52  # rls2101.rel NDRPDR iter RND env 6
1249
1250     vpp-performance-changes-3n-tsh-h1:
1251       csit-vpp-perf-report-iterative-2009-3n-tsh:
1252         - 8   # rls2005 NDRPDR iter env 5
1253         - 11  # rls2005 NDRPDR iter env 5
1254         - 12  # rls2005 NDRPDR iter env 5
1255         - 24  # rls2005 NDRPDR iter env 5
1256         - 27  # rls2005 NDRPDR iter env 5
1257         - 29  # rls2005 NDRPDR iter env 5
1258         - 31  # rls2005 NDRPDR iter env 5
1259         - 39  # rls2005 NDRPDR iter env 5
1260         - 40  # rls2005 NDRPDR iter env 5
1261         - 42  # rls2005 NDRPDR iter env 5
1262     vpp-performance-changes-3n-tsh-ref-env-old:
1263       csit-vpp-perf-report-iterative-2009-3n-tsh:
1264         - 14  # rls2009 NDRPDR iter env 5
1265         - 20  # rls2009 NDRPDR iter env 5
1266         - 21  # rls2009 NDRPDR iter env 5
1267         - 22  # rls2009 NDRPDR iter env 5
1268         - 23  # rls2009 NDRPDR iter env 5
1269         - 28  # rls2009 NDRPDR iter env 5
1270         - 30  # rls2009 NDRPDR iter env 5
1271         - 33  # rls2009 NDRPDR iter env 5
1272         - 38  # rls2009 NDRPDR iter env 5
1273         - 41  # rls2009 NDRPDR iter env 5
1274     vpp-performance-changes-3n-tsh-ref-env-new:
1275       csit-vpp-perf-report-iterative-2101-3n-tsh:
1276         - 8   # rls2009 NDRPDR iter env 6
1277         - 13  # rls2009 NDRPDR iter env 6
1278         - 14  # rls2009 NDRPDR iter env 6
1279         - 15  # rls2009 NDRPDR iter env 6
1280         - 16  # rls2009 NDRPDR iter env 6
1281         - 17  # rls2009 NDRPDR iter env 6
1282         - 18  # rls2009 NDRPDR iter env 6
1283         - 19  # rls2009 NDRPDR iter env 6
1284         - 21  # rls2009 NDRPDR iter env 6
1285     vpp-performance-changes-3n-tsh-cmp:
1286       csit-vpp-perf-report-iterative-2101-3n-tsh:
1287         - 23  # rls2101.rel NDRPDR iter env 6
1288         - 24  # rls2101.rel NDRPDR iter env 6
1289         - 25  # rls2101.rel NDRPDR iter env 6
1290         - 26  # rls2101.rel NDRPDR iter env 6
1291         - 27  # rls2101.rel NDRPDR iter env 6
1292         - 28  # rls2101.rel NDRPDR iter env 6
1293         - 29  # rls2101.rel NDRPDR iter env 6
1294
1295 #     vpp-performance-changes-2n-tx2-h1:
1296 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1297 #         -
1298 #     vpp-performance-changes-2n-tx2-ref-env-old:
1299 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1300 #         -
1301     vpp-performance-changes-2n-tx2-ref-env-new:
1302       csit-vpp-perf-report-iterative-2101-2n-tx2:
1303         - 6   # rls2009 NDRPDR iter env 6
1304         - 7   # rls2009 NDRPDR iter env 6
1305         - 11  # rls2009 NDRPDR iter env 6
1306         - 12  # rls2009 NDRPDR iter env 6
1307         - 13  # rls2009 NDRPDR iter env 6
1308         - 16  # rls2009 NDRPDR iter env 6
1309         - 17  # rls2009 NDRPDR iter env 6
1310         - 18  # rls2009 NDRPDR iter env 6
1311         - 19  # rls2009 NDRPDR iter env 6
1312         - 20  # rls2009 NDRPDR iter env 6
1313     vpp-performance-changes-2n-tx2-cmp:
1314       csit-vpp-perf-report-iterative-2101-2n-tx2:
1315         - 22  # rls2101.rel NDRPDR iter env 6
1316         - 23  # rls2101.rel NDRPDR iter env 6
1317         - 24  # rls2101.rel NDRPDR iter env 6
1318         - 25  # rls2101.rel NDRPDR iter env 6
1319         - 26  # rls2101.rel NDRPDR iter env 6
1320         - 27  # rls2101.rel NDRPDR iter env 6
1321         - 28  # rls2101.rel NDRPDR iter env 6
1322         - 29  # rls2101.rel NDRPDR iter env 6
1323         - 30  # rls2101.rel NDRPDR iter env 6
1324         - 31  # rls2101.rel NDRPDR iter env 6
1325
1326     vpp-soak-vs-ndr-2n-skx-ref:
1327       csit-vpp-perf-report-iterative-2101-2n-skx:
1328         - 63  # rls2101.rel NDRPDR iter env 6
1329         - 69  # rls2101.rel NDRPDR iter env 6
1330         - 70  # rls2101.rel NDRPDR iter env 6
1331         - 75  # rls2101.rel NDRPDR iter env 6
1332         - 76  # rls2101.rel NDRPDR iter env 6
1333         - 77  # rls2101.rel NDRPDR iter env 6
1334         - 82  # rls2101.rel NDRPDR iter env 6
1335         - 85  # rls2101.rel NDRPDR iter env 6
1336         - 86  # rls2101.rel NDRPDR iter env 6
1337         - 94  # rls2101.rel NDRPDR iter env 6
1338     vpp-soak-vs-ndr-2n-skx-cmp:
1339       csit-vpp-perf-report-iterative-2101-2n-skx:
1340         - 68  # rls2101.rel soak env 6
1341         - 73  # rls2101.rel soak env 6
1342     vpp-soak-vs-ndr-2n-skx:
1343       csit-vpp-perf-report-iterative-2101-2n-skx:
1344         - 63  # rls2101.rel NDRPDR iter env 6
1345         - 69  # rls2101.rel NDRPDR iter env 6
1346         - 70  # rls2101.rel NDRPDR iter env 6
1347         - 75  # rls2101.rel NDRPDR iter env 6
1348         - 76  # rls2101.rel NDRPDR iter env 6
1349         - 77  # rls2101.rel NDRPDR iter env 6
1350         - 82  # rls2101.rel NDRPDR iter env 6
1351         - 85  # rls2101.rel NDRPDR iter env 6
1352         - 86  # rls2101.rel NDRPDR iter env 6
1353         - 94  # rls2101.rel NDRPDR iter env 6
1354         - 68  # rls2101.rel soak env 6
1355         - 73  # rls2101.rel soak env 6
1356
1357     vpp-soak-vs-ndr-2n-clx-ref:
1358       csit-vpp-perf-report-iterative-2101-2n-clx:
1359         - 54  # rls2101.rel NDRPDR iter env 6
1360         - 59  # rls2101.rel NDRPDR iter env 6
1361         - 60  # rls2101.rel NDRPDR iter env 6
1362         - 63  # rls2101.rel NDRPDR iter env 6
1363         - 66  # rls2101.rel NDRPDR iter env 6
1364         - 68  # rls2101.rel NDRPDR iter env 6
1365         - 73  # rls2101.rel NDRPDR iter env 6
1366         - 75  # rls2101.rel NDRPDR iter env 6
1367     vpp-soak-vs-ndr-2n-clx-cmp:
1368       csit-vpp-perf-report-iterative-2101-2n-clx:
1369         - 58  # rls2101.rel soak env 6
1370         - 61  # rls2101.rel soak env 6
1371     vpp-soak-vs-ndr-2n-clx:
1372       csit-vpp-perf-report-iterative-2101-2n-clx:
1373         - 54  # rls2101.rel NDRPDR iter env 6
1374         - 59  # rls2101.rel NDRPDR iter env 6
1375         - 60  # rls2101.rel NDRPDR iter env 6
1376         - 63  # rls2101.rel NDRPDR iter env 6
1377         - 66  # rls2101.rel NDRPDR iter env 6
1378         - 68  # rls2101.rel NDRPDR iter env 6
1379         - 73  # rls2101.rel NDRPDR iter env 6
1380         - 75  # rls2101.rel NDRPDR iter env 6
1381         - 58  # rls2101.rel soak env 6
1382         - 61  # rls2101.rel soak env 6
1383
1384     vpp-performance-changes-3n-hsw-mrr-h1:
1385       csit-vpp-perf-report-iterative-2009-3n-hsw:
1386         - 18  # rls2005 MRR iter env 5
1387     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1388       csit-vpp-perf-report-iterative-2009-3n-hsw:
1389         - 23  # rls2009 MRR iter env 5
1390     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1391       csit-vpp-perf-report-iterative-2101-3n-hsw:
1392         - 17  # rls2009 MRR iter env 6
1393     vpp-performance-changes-3n-hsw-mrr-cmp:
1394       csit-vpp-perf-report-iterative-2101-3n-hsw:
1395         - 63  # rls2101.rel MRR iter env 6
1396
1397     vpp-performance-changes-3n-skx-mrr-h1:
1398       csit-vpp-perf-report-iterative-2009-3n-skx:
1399         - 17  # rls2005 MRR iter env 5
1400     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1401       csit-vpp-perf-report-iterative-2009-3n-skx:
1402         - 24  # rls2009 MRR iter env 5
1403     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1404       csit-vpp-perf-report-iterative-2101-3n-skx:
1405         - 34  # rls2009 MRR iter env 6
1406     vpp-performance-changes-3n-skx-mrr-cmp:
1407       csit-vpp-perf-report-iterative-2101-3n-skx:
1408         - 35  # rls2101.rel MRR iter env 6
1409
1410     vpp-performance-changes-2n-skx-mrr-h1:
1411       csit-vpp-perf-report-iterative-2009-2n-skx:
1412         - 20  # rls2005 MRR iter env 5
1413     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1414       csit-vpp-perf-report-iterative-2009-2n-skx:
1415         - 120 # rls2009 MRR iter env 5
1416     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1417       csit-vpp-perf-report-iterative-2101-2n-skx:
1418         - 21  # rls2009 MRR iter env 6
1419     vpp-performance-changes-2n-skx-mrr-cmp:
1420       csit-vpp-perf-report-iterative-2101-2n-skx:
1421         - 62  # rls2101.rel MRR iter env 6
1422
1423     vpp-performance-changes-2n-clx-mrr-h1:
1424       csit-vpp-perf-report-iterative-2009-2n-clx:
1425         - 77  # rls2005 MRR iter env 5
1426     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1427       csit-vpp-perf-report-iterative-2009-2n-clx:
1428         - 125 # rls2009 MRR iter env 5
1429     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1430       csit-vpp-perf-report-iterative-2101-2n-clx:
1431         - 15  # rls2009 MRR iter env 6
1432     vpp-performance-changes-2n-clx-mrr-cmp:
1433       csit-vpp-perf-report-iterative-2101-2n-clx:
1434         - 53  # rls2101.rel MRR iter env 6
1435
1436     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1437       csit-vpp-perf-report-iterative-2009-2n-zn2:
1438         - 15  # rls2009 MRR iter env 5
1439     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1440       csit-vpp-perf-report-iterative-2101-2n-zn2:
1441         - 8   # rls2009 MRR iter env6
1442     vpp-performance-changes-2n-zn2-mrr-cmp:
1443       csit-vpp-perf-report-iterative-2101-2n-zn2:
1444         - 30  # rls2101.rel MRR iter env 6
1445
1446     vpp-performance-changes-2n-dnv-mrr-h1:
1447       csit-vpp-perf-report-iterative-2009-2n-dnv:
1448         - 23  # rls2005 MRR iter env 5
1449     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1450       csit-vpp-perf-report-iterative-2009-2n-dnv:
1451         - 13  # rls2009 MRR iter env 5
1452     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1453       # TODO: Re-test in new env
1454       csit-vpp-perf-report-iterative-2009-2n-dnv:
1455         - 13  # rls2009 MRR iter env 5
1456     vpp-performance-changes-2n-dnv-mrr-cmp:
1457       csit-vpp-perf-report-iterative-2101-2n-dnv:
1458         - 31  # rls2101.rel MRR iter env 6
1459
1460     vpp-performance-changes-3n-dnv-mrr-h1:
1461       csit-vpp-perf-report-iterative-2009-3n-dnv:
1462         - 19  # rls2005 MRR iter env 5
1463     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1464       csit-vpp-perf-report-iterative-2009-3n-dnv:
1465         - 22  # rls2009 MRR iter env 5
1466     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1467       # TODO: Re-test in new env
1468       csit-vpp-perf-report-iterative-2009-3n-dnv:
1469         - 22  # rls2009 MRR iter env 5
1470     vpp-performance-changes-3n-dnv-mrr-cmp:
1471       csit-vpp-perf-report-iterative-2101-3n-dnv:
1472         - 32  # rls2101.rel MRR iter env 6
1473
1474     vpp-performance-changes-3n-tsh-mrr-h1:
1475       csit-vpp-perf-report-iterative-2009-3n-tsh:
1476         - 13  # rls2005 MRR iter env 5
1477     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1478       csit-vpp-perf-report-iterative-2009-3n-tsh:
1479         - 15  # rls2009 MRR iter env 5
1480     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1481       csit-vpp-perf-report-iterative-2101-3n-tsh:
1482         - 7   # rls2009 MRR iter env 6
1483     vpp-performance-changes-3n-tsh-mrr-cmp:
1484       csit-vpp-perf-report-iterative-2101-3n-tsh:
1485         - 22  # rls2101.rel MRR iter env 6
1486
1487 #     vpp-performance-changes-2n-tx2-mrr-h1:
1488 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1489 #         -
1490 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1491 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1492 #         -
1493     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1494       csit-vpp-perf-report-iterative-2101-2n-tx2:
1495         - 5   # rls2009 MRR iter env 6
1496     vpp-performance-changes-2n-tx2-mrr-cmp:
1497       csit-vpp-perf-report-iterative-2101-2n-tx2:
1498         - 21  # rls2101.rel MRR iter env 6
1499
1500     dpdk-performance-changes-3n-hsw-h1:
1501       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1502         - 25  # NDRPDR iter
1503         - 26  # NDRPDR iter
1504         - 27  # NDRPDR iter
1505         - 28  # NDRPDR iter
1506         - 29  # NDRPDR iter
1507         - 30  # NDRPDR iter
1508         - 31  # NDRPDR iter
1509         - 32  # NDRPDR iter
1510         - 33  # NDRPDR iter
1511         - 34  # NDRPDR iter
1512     dpdk-performance-changes-3n-hsw-ref:
1513       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1514         - 6   # NDRPDR iter env5
1515         - 7   # NDRPDR iter env5
1516         - 8   # NDRPDR iter env5
1517         - 9   # NDRPDR iter env5
1518         - 10  # NDRPDR iter env5
1519         - 11  # NDRPDR iter env5
1520         - 12  # NDRPDR iter env5
1521         - 13  # NDRPDR iter env5
1522         - 14  # NDRPDR iter env5
1523         - 15  # NDRPDR iter env5
1524     dpdk-performance-changes-3n-hsw-cmp:
1525       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1526         - 11  # rls2101 NDRPDR iter env 6
1527         - 12  # rls2101 NDRPDR iter env 6
1528         - 13  # rls2101 NDRPDR iter env 6
1529         - 14  # rls2101 NDRPDR iter env 6
1530         - 16  # rls2101 NDRPDR iter env 6
1531         - 17  # rls2101 NDRPDR iter env 6
1532         - 18  # rls2101 NDRPDR iter env 6
1533         - 19  # rls2101 NDRPDR iter env 6
1534         - 20  # rls2101 NDRPDR iter env 6
1535         - 21  # rls2101 NDRPDR iter env 6
1536
1537     dpdk-performance-changes-3n-skx-h1:
1538       csit-dpdk-perf-report-iterative-2005-3n-skx:
1539         - 28  # NDRPDR iter
1540         - 29  # NDRPDR iter
1541         - 30  # NDRPDR iter
1542         - 31  # NDRPDR iter
1543         - 32  # NDRPDR iter
1544         - 33  # NDRPDR iter
1545         - 34  # NDRPDR iter
1546         - 35  # NDRPDR iter
1547         - 36  # NDRPDR iter
1548         - 37  # NDRPDR iter
1549     dpdk-performance-changes-3n-skx-ref:
1550       csit-dpdk-perf-report-iterative-2009-3n-skx:
1551         - 4   # NDRPDR sel env5
1552         - 5   # NDRPDR sel env5
1553         - 6   # NDRPDR sel env5
1554         - 7   # NDRPDR sel env5
1555         - 8   # NDRPDR sel env5
1556         - 9   # NDRPDR sel env5
1557         - 14  # NDRPDR sel env5
1558         - 11  # NDRPDR sel env5
1559         - 12  # NDRPDR sel env5
1560         - 13  # NDRPDR sel env5
1561     dpdk-performance-changes-3n-skx-cmp:
1562       csit-dpdk-perf-report-iterative-2101-3n-skx:
1563         - 12  # rls2101 NDRPDR iter env 6
1564         - 14  # rls2101 NDRPDR iter env 6
1565         - 15  # rls2101 NDRPDR iter env 6
1566         - 17  # rls2101 NDRPDR iter env 6
1567         - 19  # rls2101 NDRPDR iter env 6
1568         - 20  # rls2101 NDRPDR iter env 6
1569         - 21  # rls2101 NDRPDR iter env 6
1570         - 22  # rls2101 NDRPDR iter env 6
1571         - 25  # rls2101 NDRPDR iter env 6
1572         - 26  # rls2101 NDRPDR iter env 6
1573
1574     dpdk-performance-changes-2n-skx-h1:
1575       csit-dpdk-perf-report-iterative-2005-2n-skx:
1576         - 20  # NDRPDR iter
1577         - 21  # NDRPDR iter
1578         - 22  # NDRPDR iter
1579         - 23  # NDRPDR iter
1580         - 24  # NDRPDR iter
1581         - 25  # NDRPDR iter
1582         - 26  # NDRPDR iter
1583         - 27  # NDRPDR iter
1584         - 28  # NDRPDR iter
1585         - 29  # NDRPDR iter
1586     dpdk-performance-changes-2n-skx-ref:
1587       csit-dpdk-perf-report-iterative-2009-2n-skx:
1588         - 4   # NDRPDR iter env5
1589         - 5   # NDRPDR iter env5
1590         - 6   # NDRPDR iter env5
1591         - 7   # NDRPDR iter env5
1592         - 8   # NDRPDR iter env5
1593         - 9   # NDRPDR iter env5
1594         - 10  # NDRPDR iter env5
1595         - 11  # NDRPDR iter env5
1596         - 12  # NDRPDR iter env5
1597         - 13  # NDRPDR iter env5
1598     dpdk-performance-changes-2n-skx-cmp:
1599       csit-dpdk-perf-report-iterative-2101-2n-skx:
1600         - 11  # rls2101 NDRPDR iter env 6
1601         - 12  # rls2101 NDRPDR iter env 6
1602         - 13  # rls2101 NDRPDR iter env 6
1603         - 14  # rls2101 NDRPDR iter env 6
1604         - 15  # rls2101 NDRPDR iter env 6
1605         - 17  # rls2101 NDRPDR iter env 6
1606         - 18  # rls2101 NDRPDR iter env 6
1607         - 19  # rls2101 NDRPDR iter env 6
1608         - 20  # rls2101 NDRPDR iter env 6
1609         - 21  # rls2101 NDRPDR iter env 6
1610
1611     dpdk-performance-changes-2n-clx-h1:
1612       csit-dpdk-perf-report-iterative-2005-2n-clx:
1613         - 20  # NDRPDR iter
1614         - 21  # NDRPDR iter
1615         - 22  # NDRPDR iter
1616         - 23  # NDRPDR iter
1617         - 24  # NDRPDR iter
1618         - 25  # NDRPDR iter
1619         - 26  # NDRPDR iter
1620         - 27  # NDRPDR iter
1621         - 28  # NDRPDR iter
1622         - 29  # NDRPDR iter
1623     dpdk-performance-changes-2n-clx-ref:
1624       csit-dpdk-perf-report-iterative-2009-2n-clx:
1625         - 4   # NDRPDR iter env5
1626         - 5   # NDRPDR iter env5
1627         - 6   # NDRPDR iter env5
1628         - 7   # NDRPDR iter env5
1629         - 8   # NDRPDR iter env5
1630         - 9   # NDRPDR iter env5
1631         - 10  # NDRPDR iter env5
1632         - 11  # NDRPDR iter env5
1633         - 12  # NDRPDR iter env5
1634         - 13  # NDRPDR iter env5
1635     dpdk-performance-changes-2n-clx-cmp:
1636       csit-dpdk-perf-report-iterative-2101-2n-clx:
1637         - 12  # rls2101 NDRPDR iter env 6
1638         - 13  # rls2101 NDRPDR iter env 6
1639         - 14  # rls2101 NDRPDR iter env 6
1640         - 18  # rls2101 NDRPDR iter env 6
1641         - 22  # rls2101 NDRPDR iter env 6
1642
1643     dpdk-performance-changes-2n-zn2-ref:
1644       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1645         - 16  # NDRPDR iter env5
1646         - 21  # NDRPDR iter env5
1647         - 22  # NDRPDR iter env5
1648         - 23  # NDRPDR iter env5
1649         - 24  # NDRPDR iter env5
1650         - 25  # NDRPDR iter env5
1651         - 29  # NDRPDR iter env5
1652     dpdk-performance-changes-2n-zn2-cmp:
1653       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1654         - 11  # rls2101 NDRPDR iter env 6
1655         - 12  # rls2101 NDRPDR iter env 6
1656         - 13  # rls2101 NDRPDR iter env 6
1657         - 14  # rls2101 NDRPDR iter env 6
1658         - 16  # rls2101 NDRPDR iter env 6
1659         - 17  # rls2101 NDRPDR iter env 6
1660         - 18  # rls2101 NDRPDR iter env 6
1661         - 19  # rls2101 NDRPDR iter env 6
1662         - 20  # rls2101 NDRPDR iter env 6
1663         - 21  # rls2101 NDRPDR iter env 6
1664
1665 #    dpdk-performance-changes-2n-dnv-h1:
1666 #      csit-dpdk-perf-verify-2101-2n-dnv:
1667 #        - 9   # NDRPDR sel
1668 #        - 10  # NDRPDR sel
1669 #        - 11  # NDRPDR sel
1670 #        - 12  # NDRPDR sel
1671 #        - 13  # NDRPDR sel
1672 #        - 14  # NDRPDR sel
1673 #        - 15  # NDRPDR sel
1674 #        - 16  # NDRPDR sel
1675 #        - 17  # NDRPDR sel
1676 #        - 18  # NDRPDR sel
1677 #    dpdk-performance-changes-2n-dnv-ref:
1678 #      # No data
1679 #    dpdk-performance-changes-2n-dnv-cmp:
1680 #      # No data
1681 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1682
1683 #    dpdk-performance-changes-3n-dnv-h1:
1684 #      csit-dpdk-perf-verify-2101-3n-dnv:
1685 #        - 12  # NDRPDR sel
1686 #        - 13  # NDRPDR sel
1687 #        - 14  # NDRPDR sel
1688 #        - 15  # NDRPDR sel
1689 #        - 16  # NDRPDR sel
1690 #        - 17  # NDRPDR sel
1691 #        - 18  # NDRPDR sel
1692 #        - 19  # NDRPDR sel
1693 #        - 20  # NDRPDR sel
1694 #        - 22  # NDRPDR sel
1695 #    dpdk-performance-changes-3n-dnv-ref:
1696 #      # No data
1697 #    dpdk-performance-changes-3n-dnv-cmp:
1698 #      # No data
1699 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1700
1701     dpdk-performance-changes-3n-tsh-h1:
1702       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1703         - 5   # NDRPDR sel
1704     dpdk-performance-changes-3n-tsh-ref:
1705       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1706         - 1   # NDRPDR iter env5
1707         - 2   # NDRPDR iter env5
1708         - 3   # NDRPDR iter env5
1709         - 4   # NDRPDR iter env5
1710         - 5   # NDRPDR iter env5
1711         - 6   # NDRPDR iter env5
1712         - 7   # NDRPDR iter env5
1713         - 9   # NDRPDR iter env5
1714         - 10  # NDRPDR iter env5
1715         - 11  # NDRPDR iter env5
1716     dpdk-performance-changes-3n-tsh-cmp:
1717       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1718         - 11  # rls2101 NDRPDR iter env 6
1719         - 12  # rls2101 NDRPDR iter env 6
1720         - 13  # rls2101 NDRPDR iter env 6
1721         - 14  # rls2101 NDRPDR iter env 6
1722         - 16  # rls2101 NDRPDR iter env 6
1723         - 17  # rls2101 NDRPDR iter env 6
1724         - 18  # rls2101 NDRPDR iter env 6
1725         - 19  # rls2101 NDRPDR iter env 6
1726         - 20  # rls2101 NDRPDR iter env 6
1727         - 21  # rls2101 NDRPDR iter env 6
1728
1729     # Compare testbeds
1730
1731     vpp-compare-testbeds-ref:
1732       csit-vpp-perf-report-iterative-2101-3n-hsw:
1733         - 64  # rls2101.rel NDRPDR iter env 6
1734         - 71  # rls2101.rel NDRPDR iter env 6
1735         - 73  # rls2101.rel NDRPDR iter env 6
1736         - 74  # rls2101.rel NDRPDR iter env 6
1737         - 80  # rls2101.rel NDRPDR iter env 6
1738         - 81  # rls2101.rel NDRPDR iter env 6
1739         - 82  # rls2101.rel NDRPDR iter env 6
1740         - 83  # rls2101.rel NDRPDR iter env 6
1741         - 88  # rls2101.rel NDRPDR iter env 6
1742         - 89  # rls2101.rel NDRPDR iter env 6
1743     vpp-compare-testbeds-cmp:
1744       csit-vpp-perf-report-iterative-2101-3n-skx:
1745         - 36  # rls2101.rel NDRPDR iter env 6
1746         - 37  # rls2101.rel NDRPDR iter env 6
1747         - 38  # rls2101.rel NDRPDR iter env 6
1748         - 39  # rls2101.rel NDRPDR iter env 6
1749         - 40  # rls2101.rel NDRPDR iter env 6
1750         - 41  # rls2101.rel NDRPDR iter env 6
1751         - 42  # rls2101.rel NDRPDR iter env 6
1752         - 47  # rls2101.rel NDRPDR iter env 6
1753         - 48  # rls2101.rel NDRPDR iter env 6
1754
1755     vpp-compare-testbeds-skx-clx-ref:
1756       csit-vpp-perf-report-iterative-2101-2n-skx:
1757         - 63  # rls2101.rel NDRPDR iter env 6
1758         - 69  # rls2101.rel NDRPDR iter env 6
1759         - 70  # rls2101.rel NDRPDR iter env 6
1760         - 75  # rls2101.rel NDRPDR iter env 6
1761         - 76  # rls2101.rel NDRPDR iter env 6
1762         - 77  # rls2101.rel NDRPDR iter env 6
1763         - 82  # rls2101.rel NDRPDR iter env 6
1764         - 85  # rls2101.rel NDRPDR iter env 6
1765         - 86  # rls2101.rel NDRPDR iter env 6
1766         - 94  # rls2101.rel NDRPDR iter env 6
1767         - 89  # rls2101.rel NDRPDR iter RND env 6
1768         - 90  # rls2101.rel NDRPDR iter RND env 6
1769         - 91  # rls2101.rel NDRPDR iter RND env 6
1770         - 92  # rls2101.rel NDRPDR iter RND env 6
1771         - 93  # rls2101.rel NDRPDR iter RND env 6
1772         - 96  # rls2101.rel NDRPDR iter RND env 6
1773         - 98  # rls2101.rel NDRPDR iter RND env 6
1774         - 99  # rls2101.rel NDRPDR iter RND env 6
1775         - 101 # rls2101.rel NDRPDR iter RND env 6
1776         - 102 # rls2101.rel NDRPDR iter RND env 6
1777     vpp-compare-testbeds-skx-clx-cmp:
1778       csit-vpp-perf-report-iterative-2101-2n-clx:
1779         - 54  # rls2101.rel NDRPDR iter env 6
1780         - 59  # rls2101.rel NDRPDR iter env 6
1781         - 60  # rls2101.rel NDRPDR iter env 6
1782         - 63  # rls2101.rel NDRPDR iter env 6
1783         - 66  # rls2101.rel NDRPDR iter env 6
1784         - 68  # rls2101.rel NDRPDR iter env 6
1785         - 73  # rls2101.rel NDRPDR iter env 6
1786         - 75  # rls2101.rel NDRPDR iter env 6
1787         - 87  # rls2101.rel NDRPDR iter RND env 6
1788         - 91  # rls2101.rel NDRPDR iter RND env 6
1789         - 93  # rls2101.rel NDRPDR iter RND env 6
1790         - 94  # rls2101.rel NDRPDR iter RND env 6
1791
1792     vpp-compare-testbeds-hsw-clx-ref:
1793       csit-vpp-perf-report-iterative-2101-3n-hsw:
1794         - 64  # rls2101.rel NDRPDR iter env 6
1795         - 71  # rls2101.rel NDRPDR iter env 6
1796         - 73  # rls2101.rel NDRPDR iter env 6
1797         - 74  # rls2101.rel NDRPDR iter env 6
1798         - 80  # rls2101.rel NDRPDR iter env 6
1799         - 81  # rls2101.rel NDRPDR iter env 6
1800         - 82  # rls2101.rel NDRPDR iter env 6
1801         - 83  # rls2101.rel NDRPDR iter env 6
1802         - 88  # rls2101.rel NDRPDR iter env 6
1803         - 89  # rls2101.rel NDRPDR iter env 6
1804         - 128 # rls2101.rel NDRPDR iter RND env 6
1805         - 129 # rls2101.rel NDRPDR iter RND env 6
1806         - 130 # rls2101.rel NDRPDR iter RND env 6
1807         - 131 # rls2101.rel NDRPDR iter RND env 6
1808         - 132 # rls2101.rel NDRPDR iter RND env 6
1809         - 133 # rls2101.rel NDRPDR iter RND env 6
1810         - 134 # rls2101.rel NDRPDR iter RND env 6
1811         - 135 # rls2101.rel NDRPDR iter RND env 6
1812         - 136 # rls2101.rel NDRPDR iter RND env 6
1813         - 137 # rls2101.rel NDRPDR iter RND env 6
1814     vpp-compare-testbeds-hsw-clx-cmp:
1815       csit-vpp-perf-report-iterative-2101-2n-clx:
1816         - 54  # rls2101.rel NDRPDR iter env 6
1817         - 59  # rls2101.rel NDRPDR iter env 6
1818         - 60  # rls2101.rel NDRPDR iter env 6
1819         - 63  # rls2101.rel NDRPDR iter env 6
1820         - 66  # rls2101.rel NDRPDR iter env 6
1821         - 68  # rls2101.rel NDRPDR iter env 6
1822         - 73  # rls2101.rel NDRPDR iter env 6
1823         - 75  # rls2101.rel NDRPDR iter env 6
1824         - 87  # rls2101.rel NDRPDR iter RND env 6
1825         - 91  # rls2101.rel NDRPDR iter RND env 6
1826         - 93  # rls2101.rel NDRPDR iter RND env 6
1827         - 94  # rls2101.rel NDRPDR iter RND env 6
1828
1829     vpp-compare-testbeds-mrr-ref:
1830       csit-vpp-perf-report-iterative-2101-3n-hsw:
1831         - 63  # rls2101.rel MRR iter env 6
1832     vpp-compare-testbeds-mrr-cmp:
1833       csit-vpp-perf-report-iterative-2101-3n-skx:
1834         - 35  # rls2101.rel MRR iter env 6
1835
1836     vpp-compare-testbeds-mrr-skx-clx-ref:
1837       csit-vpp-perf-report-iterative-2101-2n-skx:
1838         - 62  # rls2101.rel MRR iter env 6
1839     vpp-compare-testbeds-mrr-skx-clx-cmp:
1840       csit-vpp-perf-report-iterative-2101-2n-clx:
1841         - 53  # rls2101.rel MRR iter env 6
1842
1843     vpp-compare-testbeds-mrr-hsw-clx-ref:
1844       csit-vpp-perf-report-iterative-2101-3n-hsw:
1845         - 63  # rls2101.rel MRR iter env 6
1846     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1847       csit-vpp-perf-report-iterative-2101-2n-clx:
1848         - 53  # rls2101.rel MRR iter env 6
1849
1850     dpdk-compare-testbeds-ref:
1851       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1852         - 11  # rls2101 NDRPDR iter env 6
1853         - 12  # rls2101 NDRPDR iter env 6
1854         - 13  # rls2101 NDRPDR iter env 6
1855         - 14  # rls2101 NDRPDR iter env 6
1856         - 16  # rls2101 NDRPDR iter env 6
1857         - 17  # rls2101 NDRPDR iter env 6
1858         - 18  # rls2101 NDRPDR iter env 6
1859         - 19  # rls2101 NDRPDR iter env 6
1860         - 20  # rls2101 NDRPDR iter env 6
1861         - 21  # rls2101 NDRPDR iter env 6
1862     dpdk-compare-testbeds-cmp:
1863       csit-dpdk-perf-report-iterative-2101-3n-skx:
1864         - 12  # rls2101 NDRPDR iter env 6
1865         - 14  # rls2101 NDRPDR iter env 6
1866         - 15  # rls2101 NDRPDR iter env 6
1867         - 17  # rls2101 NDRPDR iter env 6
1868         - 19  # rls2101 NDRPDR iter env 6
1869         - 20  # rls2101 NDRPDR iter env 6
1870         - 21  # rls2101 NDRPDR iter env 6
1871         - 22  # rls2101 NDRPDR iter env 6
1872         - 25  # rls2101 NDRPDR iter env 6
1873         - 26  # rls2101 NDRPDR iter env 6
1874
1875     dpdk-compare-testbeds-skx-clx-ref:
1876       csit-dpdk-perf-report-iterative-2101-2n-skx:
1877         - 11  # rls2101 NDRPDR iter env 6
1878         - 12  # rls2101 NDRPDR iter env 6
1879         - 13  # rls2101 NDRPDR iter env 6
1880         - 14  # rls2101 NDRPDR iter env 6
1881         - 15  # rls2101 NDRPDR iter env 6
1882         - 17  # rls2101 NDRPDR iter env 6
1883         - 18  # rls2101 NDRPDR iter env 6
1884         - 19  # rls2101 NDRPDR iter env 6
1885         - 20  # rls2101 NDRPDR iter env 6
1886         - 21  # rls2101 NDRPDR iter env 6
1887     dpdk-compare-testbeds-skx-clx-cmp:
1888       csit-dpdk-perf-report-iterative-2101-2n-clx:
1889         - 12  # rls2101 NDRPDR iter env 6
1890         - 13  # rls2101 NDRPDR iter env 6
1891         - 14  # rls2101 NDRPDR iter env 6
1892         - 18  # rls2101 NDRPDR iter env 6
1893         - 22  # rls2101 NDRPDR iter env 6
1894
1895     # Compare topologies
1896
1897     vpp-compare-topologies-ref:
1898       csit-vpp-perf-report-iterative-2101-3n-skx:
1899         - 36  # rls2101.rel NDRPDR iter env 6
1900         - 37  # rls2101.rel NDRPDR iter env 6
1901         - 38  # rls2101.rel NDRPDR iter env 6
1902         - 39  # rls2101.rel NDRPDR iter env 6
1903         - 40  # rls2101.rel NDRPDR iter env 6
1904         - 41  # rls2101.rel NDRPDR iter env 6
1905         - 42  # rls2101.rel NDRPDR iter env 6
1906         - 47  # rls2101.rel NDRPDR iter env 6
1907         - 48  # rls2101.rel NDRPDR iter env 6
1908     vpp-compare-topologies-cmp:
1909       csit-vpp-perf-report-iterative-2101-2n-skx:
1910         - 63  # rls2101.rel NDRPDR iter env 6
1911         - 69  # rls2101.rel NDRPDR iter env 6
1912         - 70  # rls2101.rel NDRPDR iter env 6
1913         - 75  # rls2101.rel NDRPDR iter env 6
1914         - 76  # rls2101.rel NDRPDR iter env 6
1915         - 77  # rls2101.rel NDRPDR iter env 6
1916         - 82  # rls2101.rel NDRPDR iter env 6
1917         - 85  # rls2101.rel NDRPDR iter env 6
1918         - 86  # rls2101.rel NDRPDR iter env 6
1919         - 94  # rls2101.rel NDRPDR iter env 6
1920
1921     vpp-compare-topologies-mrr-ref:
1922       csit-vpp-perf-report-iterative-2101-3n-skx:
1923         - 35  # rls2101.rel MRR iter env 6
1924     vpp-compare-topologies-mrr-cmp:
1925       csit-vpp-perf-report-iterative-2101-2n-skx:
1926         - 62  # rls2101.rel MRR iter env 6
1927
1928     dpdk-compare-topologies-ref:
1929       csit-dpdk-perf-report-iterative-2101-3n-skx:
1930         - 12  # rls2101 NDRPDR iter env 6
1931         - 14  # rls2101 NDRPDR iter env 6
1932         - 15  # rls2101 NDRPDR iter env 6
1933         - 17  # rls2101 NDRPDR iter env 6
1934         - 19  # rls2101 NDRPDR iter env 6
1935         - 20  # rls2101 NDRPDR iter env 6
1936         - 21  # rls2101 NDRPDR iter env 6
1937         - 22  # rls2101 NDRPDR iter env 6
1938         - 25  # rls2101 NDRPDR iter env 6
1939         - 26  # rls2101 NDRPDR iter env 6
1940     dpdk-compare-topologies-cmp:
1941       csit-dpdk-perf-report-iterative-2101-2n-skx:
1942         - 11  # rls2101 NDRPDR iter env 6
1943         - 12  # rls2101 NDRPDR iter env 6
1944         - 13  # rls2101 NDRPDR iter env 6
1945         - 14  # rls2101 NDRPDR iter env 6
1946         - 15  # rls2101 NDRPDR iter env 6
1947         - 17  # rls2101 NDRPDR iter env 6
1948         - 18  # rls2101 NDRPDR iter env 6
1949         - 19  # rls2101 NDRPDR iter env 6
1950         - 20  # rls2101 NDRPDR iter env 6
1951         - 21  # rls2101 NDRPDR iter env 6
1952
1953   plot-layouts:
1954
1955     plot-soak-throughput:
1956       titlefont:
1957         size: 16
1958       xaxis:
1959         title: "<b>Test Cases [Index]</b>"
1960         titlefont:
1961           size: 14
1962         autorange: True
1963         fixedrange: False
1964         gridcolor: "rgb(230, 230, 230)"
1965         linecolor: "rgb(220, 220, 220)"
1966         linewidth: 1
1967         showgrid: True
1968         showline: True
1969         showticklabels: True
1970         tickcolor: "rgb(220, 220, 220)"
1971         tickmode: "linear"
1972         tickfont:
1973           size: 14
1974         zeroline: False
1975       yaxis:
1976         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1977         titlefont:
1978           size: 14
1979         gridcolor: "rgb(230, 230, 230)"
1980         hoverformat: ".4r"
1981         tickformat: ".3r"
1982         linecolor: "rgb(220, 220, 220)"
1983         linewidth: 1
1984         showgrid: True
1985         showline: True
1986         showticklabels: True
1987         tickcolor: "rgb(220, 220, 220)"
1988         tickfont:
1989           size: 14
1990         zeroline: False
1991         range: [0,50]
1992       autosize: False
1993       margin:
1994         t: 50
1995         b: 0
1996         l: 80
1997         r: 20
1998       showlegend: True
1999       legend:
2000         orientation: "h"
2001         font:
2002           size: 14
2003       width: 700
2004       height: 900
2005       paper_bgcolor: "#fff"
2006       plot_bgcolor: "#fff"
2007       hoverlabel:
2008         namelength: -1
2009
2010     plot-service-density:
2011       titlefont:
2012         size: 16
2013       xaxis:
2014         side: "top"
2015         autorange: True
2016         fixedrange: False
2017         showgrid: False
2018         showline: False
2019         showticklabels: False
2020         ticks: ""
2021         ticklen: 0
2022         tickwidth: 0
2023         zeroline: False
2024       yaxis:
2025         autorange: "reversed"
2026         showgrid: False
2027         showline: False
2028         showticklabels: False
2029         ticks: ""
2030         ticklen: 0
2031         tickwidth: 0
2032         zeroline: False
2033       showlegend: False
2034       paper_bgcolor: "#fff"
2035       plot_bgcolor: "#fff"
2036       width: 700
2037       height: 700
2038       hoverlabel:
2039         namelength: -1
2040
2041     plot-hoststack:
2042       titlefont:
2043         size: 16
2044       xaxis:
2045         title: "<b>Test Cases [Index]</b>"
2046         titlefont:
2047           size: 14
2048         autorange: True
2049         fixedrange: False
2050         gridcolor: "rgb(230, 230, 230)"
2051         linecolor: "rgb(220, 220, 220)"
2052         linewidth: 1
2053         showgrid: True
2054         showline: True
2055         showticklabels: True
2056         tickcolor: "rgb(220, 220, 220)"
2057         tickmode: "linear"
2058         tickfont:
2059           size: 14
2060         zeroline: False
2061       yaxis:
2062         title: "<b>Bandwidth [Gbps]</b>"
2063         titlefont:
2064           size: 14
2065         gridcolor: "rgb(230, 230, 230)"
2066         hoverformat: ".4s"
2067         linecolor: "rgb(220, 220, 220)"
2068         linewidth: 1
2069         rangemode: "tozero"
2070         showgrid: True
2071         showline: True
2072         showticklabels: True
2073         tickcolor: "rgb(230, 230, 230)"
2074         tickformat: ".3s"
2075         tickfont:
2076           size: 14
2077         zeroline: False
2078       autosize: False
2079       margin:
2080         t: 50
2081         b: 20
2082         l: 80
2083         r: 20
2084       showlegend: True
2085       legend:
2086         orientation: "h"
2087         font:
2088           size: 14
2089       width: 700
2090       height: 800
2091       paper_bgcolor: "#fff"
2092       plot_bgcolor: "#fff"
2093       hoverlabel:
2094         namelength: -1
2095
2096     plot-throughput:
2097       titlefont:
2098         size: 16
2099       xaxis:
2100         title: "<b>Test Cases [Index]</b>"
2101         titlefont:
2102           size: 14
2103         autorange: True
2104         fixedrange: False
2105         gridcolor: "rgb(230, 230, 230)"
2106         linecolor: "rgb(220, 220, 220)"
2107         linewidth: 1
2108         showgrid: True
2109         showline: True
2110         showticklabels: True
2111         tickcolor: "rgb(220, 220, 220)"
2112         tickmode: "linear"
2113         tickfont:
2114           size: 14
2115         zeroline: False
2116       yaxis:
2117         title: "<b>Packet Throughput [Mpps]</b>"
2118         titlefont:
2119           size: 14
2120         gridcolor: "rgb(230, 230, 230)"
2121         hoverformat: ".4r"
2122         tickformat: ".3r"
2123         linecolor: "rgb(220, 220, 220)"
2124         linewidth: 1
2125         showgrid: True
2126         showline: True
2127         showticklabels: True
2128         tickcolor: "rgb(220, 220, 220)"
2129         tickfont:
2130           size: 14
2131         zeroline: False
2132         range: [0,50]
2133       autosize: False
2134       margin:
2135         t: 50
2136         b: 0
2137         l: 80
2138         r: 20
2139       showlegend: True
2140       legend:
2141         orientation: "h"
2142         font:
2143           size: 14
2144       width: 700
2145       height: 900
2146       paper_bgcolor: "#fff"
2147       plot_bgcolor: "#fff"
2148       hoverlabel:
2149         namelength: -1
2150
2151     plot-throughput-gbps:
2152       titlefont:
2153         size: 16
2154       xaxis:
2155         title: "<b>Test Cases [Index]</b>"
2156         titlefont:
2157           size: 14
2158         autorange: True
2159         fixedrange: False
2160         gridcolor: "rgb(230, 230, 230)"
2161         linecolor: "rgb(220, 220, 220)"
2162         linewidth: 1
2163         showgrid: True
2164         showline: True
2165         showticklabels: True
2166         tickcolor: "rgb(220, 220, 220)"
2167         tickmode: "linear"
2168         tickfont:
2169           size: 14
2170         zeroline: False
2171       yaxis:
2172         title: "<b>Packet Throughput [Gbps]</b>"
2173         titlefont:
2174           size: 14
2175         gridcolor: "rgb(230, 230, 230)"
2176         hoverformat: ".4r"
2177         tickformat: ".3r"
2178         linecolor: "rgb(220, 220, 220)"
2179         linewidth: 1
2180         showgrid: True
2181         showline: True
2182         showticklabels: True
2183         tickcolor: "rgb(220, 220, 220)"
2184         tickfont:
2185           size: 14
2186         zeroline: False
2187         range: [0,10]
2188       autosize: False
2189       margin:
2190         t: 50
2191         b: 0
2192         l: 80
2193         r: 20
2194       showlegend: True
2195       legend:
2196         orientation: "h"
2197         font:
2198           size: 14
2199       width: 700
2200       height: 900
2201       paper_bgcolor: "#fff"
2202       plot_bgcolor: "#fff"
2203       hoverlabel:
2204         namelength: -1
2205
2206     plot-cps:
2207       titlefont:
2208         size: 16
2209       xaxis:
2210         title: "<b>Test Cases [Index]</b>"
2211         titlefont:
2212           size: 14
2213         autorange: True
2214         fixedrange: False
2215         gridcolor: "rgb(230, 230, 230)"
2216         linecolor: "rgb(220, 220, 220)"
2217         linewidth: 1
2218         showgrid: True
2219         showline: True
2220         showticklabels: True
2221         tickcolor: "rgb(220, 220, 220)"
2222         tickmode: "linear"
2223         tickfont:
2224           size: 14
2225         zeroline: False
2226       yaxis:
2227         title: "<b>Connection Rate [Mcps]</b>"
2228         titlefont:
2229           size: 14
2230         gridcolor: "rgb(230, 230, 230)"
2231         hoverformat: ".4r"
2232         tickformat: ".3s"
2233         linecolor: "rgb(220, 220, 220)"
2234         linewidth: 1
2235         showgrid: True
2236         showline: True
2237         showticklabels: True
2238         tickcolor: "rgb(220, 220, 220)"
2239         tickfont:
2240           size: 14
2241         zeroline: False
2242         range: [0,10]
2243       autosize: False
2244       margin:
2245         t: 50
2246         b: 0
2247         l: 80
2248         r: 20
2249       showlegend: True
2250       legend:
2251         orientation: "h"
2252         font:
2253           size: 14
2254       width: 700
2255       height: 900
2256       paper_bgcolor: "#fff"
2257       plot_bgcolor: "#fff"
2258       hoverlabel:
2259         namelength: -1
2260
2261     plot-throughput-speedup-analysis:
2262       titlefont:
2263         size: 16
2264       xaxis:
2265         title: "<b>Number of Cores [Qty]</b>"
2266         titlefont:
2267           size: 14
2268         autorange: True
2269         fixedrange: False
2270         gridcolor: "rgb(230, 230, 230)"
2271         linecolor: "rgb(220, 220, 220)"
2272         linewidth: 1
2273         showgrid: True
2274         showline: True
2275         showticklabels: True
2276         tickcolor: "rgb(238, 238, 238)"
2277         tickmode: "linear"
2278         tickfont:
2279           size: 14
2280         zeroline: False
2281       yaxis:
2282         title: "<b>Packet Throughput [Mpps]</b>"
2283         titlefont:
2284           size: 14
2285         type: "linear"
2286         gridcolor: "rgb(230, 230, 230)"
2287         hoverformat: ".4s"
2288         linecolor: "rgb(220, 220, 220)"
2289         linewidth: 1
2290         showgrid: True
2291         showline: True
2292         showticklabels: True
2293         tickcolor: "rgb(220, 220, 220)"
2294         tickformat: ".4s"
2295         tickfont:
2296           size: 14
2297         zeroline: True
2298         rangemode: "tozero"
2299         range: [0,100]
2300       legend:
2301         orientation: "h"
2302         font:
2303           size: 14
2304         xanchor: "left"
2305         yanchor: "top"
2306         x: 0
2307         y: -0.2
2308         bgcolor: "rgba(255, 255, 255, 0)"
2309         bordercolor: "rgba(255, 255, 255, 0)"
2310         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2311       autosize: False
2312       margin:
2313           't': 50
2314           'b': 150
2315           'l': 85
2316           'r': 10
2317       showlegend: True
2318       width: 700
2319       height: 700
2320       paper_bgcolor: "#fff"
2321       plot_bgcolor: "#fff"
2322       hoverlabel:
2323         namelength: -1
2324       annotations: [
2325         {
2326           text: "_ _          __          ...",
2327           align: "left",
2328           showarrow: False,
2329           xref: "paper",
2330           yref: "paper",
2331           xanchor: "left",
2332           yanchor: "top",
2333           x: 0,
2334           y: -0.14,
2335           font: {
2336             family: "Consolas, Courier New",
2337             size: 13
2338           },
2339         },
2340         {
2341           text: "    Perfect     Measured     Limit",
2342           align: "left",
2343           showarrow: False,
2344           xref: "paper",
2345           yref: "paper",
2346           xanchor: "left",
2347           yanchor: "top",
2348           x: 0,
2349           y: -0.15,
2350           font: {
2351             family: "Consolas, Courier New",
2352             size: 13
2353           },
2354         },
2355       ]
2356
2357     plot-throughput-speedup-analysis-gbps:
2358       titlefont:
2359         size: 16
2360       xaxis:
2361         title: "<b>Number of Cores [Qty]</b>"
2362         titlefont:
2363           size: 14
2364         autorange: True
2365         fixedrange: False
2366         gridcolor: "rgb(230, 230, 230)"
2367         linecolor: "rgb(220, 220, 220)"
2368         linewidth: 1
2369         showgrid: True
2370         showline: True
2371         showticklabels: True
2372         tickcolor: "rgb(238, 238, 238)"
2373         tickmode: "linear"
2374         tickfont:
2375           size: 14
2376         zeroline: False
2377       yaxis:
2378         title: "<b>Packet Throughput [Gbps]</b>"
2379         titlefont:
2380           size: 14
2381         type: "linear"
2382         gridcolor: "rgb(230, 230, 230)"
2383         hoverformat: ".4s"
2384         linecolor: "rgb(220, 220, 220)"
2385         linewidth: 1
2386         showgrid: True
2387         showline: True
2388         showticklabels: True
2389         tickcolor: "rgb(220, 220, 220)"
2390         tickformat: ".4s"
2391         tickfont:
2392           size: 14
2393         zeroline: True
2394         rangemode: "tozero"
2395         range: [0,100]
2396       legend:
2397         orientation: "h"
2398         font:
2399           size: 14
2400         xanchor: "left"
2401         yanchor: "top"
2402         x: 0
2403         y: -0.2
2404         bgcolor: "rgba(255, 255, 255, 0)"
2405         bordercolor: "rgba(255, 255, 255, 0)"
2406         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2407       autosize: False
2408       margin:
2409           't': 50
2410           'b': 150
2411           'l': 85
2412           'r': 10
2413       showlegend: True
2414       width: 700
2415       height: 700
2416       paper_bgcolor: "#fff"
2417       plot_bgcolor: "#fff"
2418       hoverlabel:
2419         namelength: -1
2420       annotations: [
2421         {
2422           text: "_ _          __",
2423           align: "left",
2424           showarrow: False,
2425           xref: "paper",
2426           yref: "paper",
2427           xanchor: "left",
2428           yanchor: "top",
2429           x: 0,
2430           y: -0.13,
2431           font: {
2432             family: "Consolas, Courier New",
2433             size: 13
2434           },
2435         },
2436         {
2437           text: "    Perfect     Measured",
2438           align: "left",
2439           showarrow: False,
2440           xref: "paper",
2441           yref: "paper",
2442           xanchor: "left",
2443           yanchor: "top",
2444           x: 0,
2445           y: -0.15,
2446           font: {
2447             family: "Consolas, Courier New",
2448             size: 13
2449           },
2450         },
2451       ]
2452
2453     plot-throughput-speedup-analysis-cps:
2454       titlefont:
2455         size: 16
2456       xaxis:
2457         title: "<b>Number of Cores [Qty]</b>"
2458         titlefont:
2459           size: 14
2460         autorange: True
2461         fixedrange: False
2462         gridcolor: "rgb(230, 230, 230)"
2463         linecolor: "rgb(220, 220, 220)"
2464         linewidth: 1
2465         showgrid: True
2466         showline: True
2467         showticklabels: True
2468         tickcolor: "rgb(238, 238, 238)"
2469         tickmode: "linear"
2470         tickfont:
2471           size: 14
2472         zeroline: False
2473       yaxis:
2474         title: "<b>Connection Rate [Mcps]</b>"
2475         titlefont:
2476           size: 14
2477         type: "linear"
2478         gridcolor: "rgb(230, 230, 230)"
2479         hoverformat: ".4s"
2480         linecolor: "rgb(220, 220, 220)"
2481         linewidth: 1
2482         showgrid: True
2483         showline: True
2484         showticklabels: True
2485         tickcolor: "rgb(220, 220, 220)"
2486         tickformat: ".4s"
2487         tickfont:
2488           size: 14
2489         zeroline: True
2490         rangemode: "tozero"
2491         range: [0,100]
2492       legend:
2493         orientation: "h"
2494         font:
2495           size: 14
2496         xanchor: "left"
2497         yanchor: "top"
2498         x: 0
2499         y: -0.2
2500         bgcolor: "rgba(255, 255, 255, 0)"
2501         bordercolor: "rgba(255, 255, 255, 0)"
2502         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2503       autosize: False
2504       margin:
2505           't': 50
2506           'b': 150
2507           'l': 85
2508           'r': 10
2509       showlegend: True
2510       width: 700
2511       height: 700
2512       paper_bgcolor: "#fff"
2513       plot_bgcolor: "#fff"
2514       hoverlabel:
2515         namelength: -1
2516       annotations: [
2517         {
2518           text: "_ _          __",
2519           align: "left",
2520           showarrow: False,
2521           xref: "paper",
2522           yref: "paper",
2523           xanchor: "left",
2524           yanchor: "top",
2525           x: 0,
2526           y: -0.13,
2527           font: {
2528             family: "Consolas, Courier New",
2529             size: 13
2530           },
2531         },
2532         {
2533           text: "    Perfect     Measured",
2534           align: "left",
2535           showarrow: False,
2536           xref: "paper",
2537           yref: "paper",
2538           xanchor: "left",
2539           yanchor: "top",
2540           x: 0,
2541           y: -0.15,
2542           font: {
2543             family: "Consolas, Courier New",
2544             size: 13
2545           },
2546         },
2547       ]
2548
2549     plot-latency:
2550       titlefont:
2551         size: 16
2552       xaxis:
2553         title: "<b>Direction</b>"
2554         titlefont:
2555           size: 14
2556         autorange: True
2557         fixedrange: False
2558         gridcolor: "rgb(230, 230, 230)"
2559         linecolor: "rgb(220, 220, 220)"
2560         linewidth: 1
2561         showgrid: True
2562         showline: True
2563         showticklabels: False
2564         tickcolor: "rgb(220, 220, 220)"
2565         tickmode: "linear"
2566         tickfont:
2567           size: 14
2568         zeroline: False
2569       yaxis:
2570         title: "<b>Packet Latency [uSec]</b>"
2571         titlefont:
2572           size: 14
2573         type: "linear"
2574         gridcolor: "rgb(230, 230, 230)"
2575         hoverformat: ".4s"
2576         linecolor: "rgb(220, 220, 220)"
2577         linewidth: 1
2578         showgrid: True
2579         showline: True
2580         showticklabels: True
2581         tickcolor: "rgb(220, 220, 220)"
2582         tickformat: ".4s"
2583         tickfont:
2584           size: 14
2585         zeroline: True
2586         rangemode: "tozero"
2587       legend:
2588         orientation: "h"
2589         font:
2590           size: 14
2591         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2592       autosize: False
2593       margin:
2594           't': 50
2595           'b': 150
2596           'l': 80
2597           'r': 10
2598       showlegend: True
2599       width: 700
2600       height: 700
2601       paper_bgcolor: "#fff"
2602       plot_bgcolor: "#fff"
2603       hoverlabel:
2604         namelength: -1
2605
2606     plot-hdrh-latency:
2607       title:
2608         text: ""
2609         xanchor: "center"
2610         x: 0.5
2611         font:
2612           size: 16
2613       width: 700
2614       plot_bgcolor: "white"
2615       annotations:
2616         - font:
2617             size: 14
2618           showarrow: False
2619           text: "<b>Packet Latency [uSec]</b>"
2620           x: 1
2621           xanchor: "right"
2622           xref: "paper"
2623           y: -0.045
2624           yanchor: "top"
2625           yref: "paper"
2626         - font:
2627             size: 14
2628           showarrow: False
2629           text: "<b>Probability [%]</b>"
2630           textangle: 270
2631           x: -0.06
2632           xanchor: "center"
2633           xref: "paper"
2634           y: 0.5
2635           yanchor: "middle"
2636           yref: "paper"
2637         - font:
2638             size: 14
2639           showarrow: False
2640           text: "<b>Direction: E-W</b>"
2641           x: 0.24
2642           xanchor: "center"
2643           xref: "paper"
2644           y: 1.05
2645           yanchor: "bottom"
2646           yref: "paper"
2647         - font:
2648             size: 14
2649           showarrow: False
2650           text: "<b>Direction: W-E</b>"
2651           x: 0.74
2652           xanchor: "center"
2653           xref: "paper"
2654           y: 1.05
2655           yanchor: "bottom"
2656           yref: "paper"
2657
2658     plot-hdrh-latency-percentile-x-log:
2659       title:
2660         text: "<b>Latency by Percentile Distribution</b>"
2661         xanchor: "center"
2662         x: 0.5
2663         font:
2664           size: 18
2665       showlegend: True
2666       legend:
2667         traceorder: "normal"
2668         orientation: "h"
2669         font:
2670           size: 16
2671         xanchor: "left"
2672         yanchor: "top"
2673         x: 0
2674         y: -0.2
2675         bgcolor: "rgba(255, 255, 255, 0)"
2676         bordercolor: "rgba(255, 255, 255, 0)"
2677       xaxis:
2678         type: "log"
2679         title: "<b>Percentile [%]</b>"
2680         titlefont:
2681           size: 14
2682         autorange: False
2683         fixedrange: True
2684         gridcolor: "rgb(230, 230, 230)"
2685         linecolor: "rgb(220, 220, 220)"
2686         linewidth: 1
2687         showgrid: True
2688         showline: True
2689         showticklabels: True
2690         tickcolor: "rgb(220, 220, 220)"
2691         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2692         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2693         tickfont:
2694           size: 14
2695       yaxis:
2696         title: "<b>One-Way Latency per Direction [uSec]</b>"
2697         titlefont:
2698           size: 14
2699         gridcolor: "rgb(230, 230, 230)"
2700         linecolor: "rgb(220, 220, 220)"
2701         linewidth: 1
2702         showgrid: True
2703         showline: True
2704         showticklabels: True
2705         tickcolor: "rgb(220, 220, 220)"
2706         tickfont:
2707           size: 14
2708       autosize: False
2709       width: 700
2710       height: 700
2711       paper_bgcolor: "white"
2712       plot_bgcolor: "white"
2713
2714     plot-hdrh-latency-by-percentile:
2715       title:
2716         text: "<b>Latency by Percentile Distribution</b>"
2717         xanchor: "center"
2718         x: 0.5
2719         font:
2720           size: 18
2721       showlegend: True
2722       legend:
2723         traceorder: "normal"
2724         orientation: "h"
2725         font:
2726           size: 16
2727         xanchor: "left"
2728         yanchor: "top"
2729         x: 0
2730         y: -0.2
2731         bgcolor: "rgba(255, 255, 255, 0)"
2732         bordercolor: "rgba(255, 255, 255, 0)"
2733       xaxis:
2734         type: "linear"
2735         title: "<b>Percentile [%]</b>"
2736         titlefont:
2737           size: 14
2738         autorange: False
2739         fixedrange: False
2740         range: [0, 100]
2741         gridcolor: "rgb(230, 230, 230)"
2742         linecolor: "rgb(220, 220, 220)"
2743         linewidth: 1
2744         showgrid: True
2745         showline: True
2746         showticklabels: True
2747         tickcolor: "rgb(220, 220, 220)"
2748         tickvals: [0, 25, 50, 75, 100]
2749         ticktext: [0, 25, 50, 75, 100]
2750         tickfont:
2751           size: 14
2752       yaxis:
2753         title: "<b>One-Way Latency per Direction [uSec]</b>"
2754         titlefont:
2755           size: 14
2756         gridcolor: "rgb(230, 230, 230)"
2757         linecolor: "rgb(220, 220, 220)"
2758         linewidth: 1
2759         showgrid: True
2760         showline: True
2761         showticklabels: True
2762         tickcolor: "rgb(220, 220, 220)"
2763         tickfont:
2764           size: 14
2765       width: 700
2766       height: 700
2767       paper_bgcolor: "white"
2768       plot_bgcolor: "white"
2769
2770 - type: "static"
2771   src-path: "{DIR[RST]}"
2772   dst-path: "{DIR[WORKING,SRC]}"
2773
2774 - type: "input"
2775   general:
2776     file-name: "output_info.xml.gz"
2777     file-format: ".gz"
2778     arch-file-format:
2779       - ".gz"
2780       - ".zip"
2781     download-path: "{job}/{build}/archives/{filename}"
2782     extract: "output.xml"
2783
2784     zip-file-name: "robot-plugin.zip"
2785     zip-file-format: ".zip"
2786     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2787     zip-extract: "robot-plugin/output.xml"
2788
2789   builds:
2790
2791     csit-vpp-perf-report-iterative-2009-3n-hsw:
2792       - 18  # rls2005 MRR iter env 5
2793       - 9   # rls2005 NDRPDR iter env 5
2794       - 10  # rls2005 NDRPDR iter env 5
2795       - 11  # rls2005 NDRPDR iter env 5
2796       - 12  # rls2005 NDRPDR iter env 5
2797       - 13  # rls2005 NDRPDR iter env 5
2798       - 14  # rls2005 NDRPDR iter env 5
2799       - 15  # rls2005 NDRPDR iter env 5
2800       - 16  # rls2005 NDRPDR iter env 5
2801       - 17  # rls2005 NDRPDR iter env 5
2802       - 19  # rls2005 NDRPDR iter env 5
2803       - 23  # rls2009 MRR iter env 5
2804       - 21  # rls2009 NDRPDR iter env 5
2805       - 22  # rls2009 NDRPDR iter env 5
2806       - 24  # rls2009 NDRPDR iter env 5
2807       - 25  # rls2009 NDRPDR iter env 5
2808       - 26  # rls2009 NDRPDR iter env 5
2809       - 27  # rls2009 NDRPDR iter env 5
2810       - 28  # rls2009 NDRPDR iter env 5
2811       - 29  # rls2009 NDRPDR iter env 5
2812       - 30  # rls2009 NDRPDR iter env 5
2813       - 31  # rls2009 NDRPDR iter env 5
2814     csit-vpp-perf-report-iterative-2101-3n-hsw:
2815       - 17  # rls2009 MRR iter env 6
2816       - 19  # rls2009 NDRPDR iter env 6
2817       - 20  # rls2009 NDRPDR iter env 6
2818       - 21  # rls2009 NDRPDR iter env 6
2819       - 22  # rls2009 NDRPDR iter env 6
2820       - 23  # rls2009 NDRPDR iter env 6
2821       - 24  # rls2009 NDRPDR iter env 6
2822       - 25  # rls2009 NDRPDR iter env 6
2823       - 26  # rls2009 NDRPDR iter env 6
2824       - 27  # rls2009 NDRPDR iter env 6
2825       - 63  # rls2101.rel MRR iter env 6
2826       - 64  # rls2101.rel NDRPDR iter env 6
2827       - 71  # rls2101.rel NDRPDR iter env 6
2828       - 73  # rls2101.rel NDRPDR iter env 6
2829       - 74  # rls2101.rel NDRPDR iter env 6
2830       - 80  # rls2101.rel NDRPDR iter env 6
2831       - 81  # rls2101.rel NDRPDR iter env 6
2832       - 82  # rls2101.rel NDRPDR iter env 6
2833       - 83  # rls2101.rel NDRPDR iter env 6
2834       - 88  # rls2101.rel NDRPDR iter env 6
2835       - 89  # rls2101.rel NDRPDR iter env 6
2836       - 128 # rls2101.rel NDRPDR iter RND env 6
2837       - 129 # rls2101.rel NDRPDR iter RND env 6
2838       - 130 # rls2101.rel NDRPDR iter RND env 6
2839       - 131 # rls2101.rel NDRPDR iter RND env 6
2840       - 132 # rls2101.rel NDRPDR iter RND env 6
2841       - 133 # rls2101.rel NDRPDR iter RND env 6
2842       - 134 # rls2101.rel NDRPDR iter RND env 6
2843       - 135 # rls2101.rel NDRPDR iter RND env 6
2844       - 136 # rls2101.rel NDRPDR iter RND env 6
2845       - 137 # rls2101.rel NDRPDR iter RND env 6
2846       - 65  # rls2101.rel NDRPDR reconf iter env 6
2847       - 68  # rls2101.rel NDRPDR reconf iter env 6
2848       - 77  # rls2101.rel NDRPDR reconf iter env 6
2849       - 84  # rls2101.rel NDRPDR reconf iter env 6
2850       - 90  # rls2101.rel NDRPDR reconf iter env 6
2851       - 96  # rls2101.rel NDRPDR reconf iter env 6
2852       - 101 # rls2101.rel NDRPDR reconf iter env 6
2853       - 104 # rls2101.rel NDRPDR reconf iter env 6
2854       - 105 # rls2101.rel NDRPDR reconf iter env 6
2855       - 106 # rls2101.rel NDRPDR reconf iter env 6
2856       - 107 # rls2101.rel NDRPDR reconf iter env 6
2857       - 108 # rls2101.rel NDRPDR reconf iter env 6
2858       - 110 # rls2101.rel NDRPDR reconf iter env 6
2859       - 111 # rls2101.rel NDRPDR reconf iter env 6
2860       - 112 # rls2101.rel NDRPDR reconf iter env 6
2861       - 113 # rls2101.rel NDRPDR reconf iter env 6
2862       - 114 # rls2101.rel NDRPDR reconf iter env 6
2863       - 115 # rls2101.rel NDRPDR reconf iter env 6
2864       - 116 # rls2101.rel NDRPDR reconf iter env 6
2865       - 117 # rls2101.rel NDRPDR reconf iter env 6
2866       - 69  # rls2101.rel Hoststack iter env 6
2867       - 70  # rls2101.rel Hoststack iter env 6
2868       - 75  # rls2101.rel Hoststack iter env 6
2869       - 76  # rls2101.rel Hoststack iter env 6
2870       - 78  # rls2101.rel Hoststack iter env 6
2871       - 79  # rls2101.rel Hoststack iter env 6
2872       - 85  # rls2101.rel Hoststack iter env 6
2873       - 86  # rls2101.rel Hoststack iter env 6
2874       - 87  # rls2101.rel Hoststack iter env 6
2875       - 91  # rls2101.rel Hoststack iter env 6
2876       - 92  # rls2101.rel Hoststack iter env 6
2877       - 93  # rls2101.rel Hoststack iter env 6
2878       - 94  # rls2101.rel Hoststack iter env 6
2879       - 95  # rls2101.rel Hoststack iter env 6
2880       - 97  # rls2101.rel Hoststack iter env 6
2881       - 98  # rls2101.rel Hoststack iter env 6
2882       - 99  # rls2101.rel Hoststack iter env 6
2883       - 100 # rls2101.rel Hoststack iter env 6
2884       - 102 # rls2101.rel Hoststack iter env 6
2885       - 103 # rls2101.rel Hoststack iter env 6
2886     csit-vpp-perf-report-coverage-2101-3n-hsw:
2887       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
2888       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
2889       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
2890       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
2891       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
2892       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
2893       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
2894       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
2895       - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
2896       - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
2897       - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
2898       - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
2899       - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
2900       - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
2901       - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
2902       - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
2903       - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
2904       - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
2905       - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
2906       - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
2907       - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
2908       - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
2909       - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
2910       - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
2911       - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
2912       - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
2913       - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
2914       - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
2915       - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
2916       - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
2917       - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
2918       - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
2919       - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
2920       - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
2921       - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
2922
2923
2924     csit-vpp-perf-report-iterative-2009-3n-skx:
2925       - 17  # rls2005 MRR iter env 5
2926       - 13  # rls2005 NDRPDR iter env 5
2927       - 18  # rls2005 NDRPDR iter env 5
2928       - 19  # rls2005 NDRPDR iter env 5
2929       - 41  # rls2005 NDRPDR iter env 5
2930       - 43  # rls2005 NDRPDR iter env 5
2931       - 44  # rls2005 NDRPDR iter env 5
2932       - 45  # rls2005 NDRPDR iter env 5
2933       - 46  # rls2005 NDRPDR iter env 5
2934       - 48  # rls2005 NDRPDR iter env 5
2935       - 49  # rls2005 NDRPDR iter env 5
2936       - 24  # rls2009 MRR iter env 5
2937       - 26  # rls2009 NDRPDR iter env 5
2938       - 27  # rls2009 NDRPDR iter env 5
2939       - 28  # rls2009 NDRPDR iter env 5
2940       - 29  # rls2009 NDRPDR iter env 5
2941       - 35  # rls2009 NDRPDR iter env 5
2942       - 36  # rls2009 NDRPDR iter env 5
2943       - 37  # rls2009 NDRPDR iter env 5
2944       - 38  # rls2009 NDRPDR iter env 5
2945       - 39  # rls2009 NDRPDR iter env 5
2946       - 40  # rls2009 NDRPDR iter env 5
2947     csit-vpp-perf-report-iterative-2101-3n-skx:
2948       - 34  # rls2009 MRR iter env 6
2949       - 14  # rls2009 NDRPDR iter env 6
2950       - 15  # rls2009 NDRPDR iter env 6
2951       - 16  # rls2009 NDRPDR iter env 6
2952       - 17  # rls2009 NDRPDR iter env 6
2953       - 18  # rls2009 NDRPDR iter env 6
2954       - 25  # rls2009 NDRPDR iter env 6
2955       - 26  # rls2009 NDRPDR iter env 6
2956       - 27  # rls2009 NDRPDR iter env 6
2957       - 29  # rls2009 NDRPDR iter env 6
2958       - 31  # rls2009 NDRPDR iter env 6
2959       - 35  # rls2101.rel MRR iter env 6
2960       - 36  # rls2101.rel NDRPDR iter env 6
2961       - 37  # rls2101.rel NDRPDR iter env 6
2962       - 38  # rls2101.rel NDRPDR iter env 6
2963       - 39  # rls2101.rel NDRPDR iter env 6
2964       - 40  # rls2101.rel NDRPDR iter env 6
2965       - 41  # rls2101.rel NDRPDR iter env 6
2966       - 42  # rls2101.rel NDRPDR iter env 6
2967       - 47  # rls2101.rel NDRPDR iter env 6
2968       - 48  # rls2101.rel NDRPDR iter env 6
2969     # csit-vpp-perf-report-coverage-2101-3n-skx:
2970
2971
2972     csit-vpp-perf-report-iterative-2009-2n-skx:
2973       - 20  # rls2005 MRR iter env 5
2974       - 13  # rls2005 NDRPDR iter env 5
2975       - 16  # rls2005 NDRPDR iter env 5
2976       - 17  # rls2005 NDRPDR iter env 5
2977       - 18  # rls2005 NDRPDR iter env 5
2978       - 19  # rls2005 NDRPDR iter env 5
2979       - 21  # rls2005 NDRPDR iter env 5
2980       - 22  # rls2005 NDRPDR iter env 5
2981       - 23  # rls2005 NDRPDR iter env 5
2982       - 24  # rls2005 NDRPDR iter env 5
2983       - 25  # rls2005 NDRPDR iter env 5
2984       - 120 # rls2009 MRR iter env 5
2985       - 35  # rls2009 NDRPDR iter env 5
2986       - 36  # rls2009 NDRPDR iter env 5
2987       - 37  # rls2009 NDRPDR iter env 5
2988       - 39  # rls2009 NDRPDR iter env 5
2989       - 40  # rls2009 NDRPDR iter env 5
2990       - 42  # rls2009 NDRPDR iter env 5
2991       - 43  # rls2009 NDRPDR iter env 5
2992       - 44  # rls2009 NDRPDR iter env 5
2993       - 46  # rls2009 NDRPDR iter env 5
2994       - 48  # rls2009 NDRPDR iter env 5
2995       - 110 # rls2009 NDRPDR iter NAT44 env 5
2996       - 111 # rls2009 NDRPDR iter NAT44 env 5
2997       - 112 # rls2009 NDRPDR iter NAT44 env 5
2998       - 113 # rls2009 NDRPDR iter NAT44 env 5
2999       - 114 # rls2009 NDRPDR iter NAT44 env 5
3000       - 115 # rls2009 NDRPDR iter NAT44 env 5
3001       - 116 # rls2009 NDRPDR iter NAT44 env 5
3002       - 118 # rls2009 NDRPDR iter NAT44 env 5
3003       - 119 # rls2009 NDRPDR iter NAT44 env 5
3004       - 121 # rls2009 NDRPDR iter NAT44 env 5
3005     csit-vpp-perf-report-iterative-2101-2n-skx:
3006       - 21  # rls2009 MRR iter env 6
3007       - 22  # rls2009 NDRPDR iter env 6
3008       - 23  # rls2009 NDRPDR iter env 6
3009       - 24  # rls2009 NDRPDR iter env 6
3010       - 25  # rls2009 NDRPDR iter env 6
3011       - 26  # rls2009 NDRPDR iter env 6
3012       - 28  # rls2009 NDRPDR iter env 6
3013       - 39  # rls2009 NDRPDR iter env 6
3014       - 40  # rls2009 NDRPDR iter env 6
3015       - 41  # rls2009 NDRPDR iter env 6
3016       - 44  # rls2009 NDRPDR iter env 6
3017       - 62  # rls2101.rel MRR iter env 6
3018       - 63  # rls2101.rel NDRPDR iter env 6
3019       - 69  # rls2101.rel NDRPDR iter env 6
3020       - 70  # rls2101.rel NDRPDR iter env 6
3021       - 75  # rls2101.rel NDRPDR iter env 6
3022       - 76  # rls2101.rel NDRPDR iter env 6
3023       - 77  # rls2101.rel NDRPDR iter env 6
3024       - 82  # rls2101.rel NDRPDR iter env 6
3025       - 85  # rls2101.rel NDRPDR iter env 6
3026       - 86  # rls2101.rel NDRPDR iter env 6
3027       - 94  # rls2101.rel NDRPDR iter env 6
3028       - 89  # rls2101.rel NDRPDR iter RND env 6
3029       - 90  # rls2101.rel NDRPDR iter RND env 6
3030       - 91  # rls2101.rel NDRPDR iter RND env 6
3031       - 92  # rls2101.rel NDRPDR iter RND env 6
3032       - 93  # rls2101.rel NDRPDR iter RND env 6
3033       - 96  # rls2101.rel NDRPDR iter RND env 6
3034       - 98  # rls2101.rel NDRPDR iter RND env 6
3035       - 99  # rls2101.rel NDRPDR iter RND env 6
3036       - 101 # rls2101.rel NDRPDR iter RND env 6
3037       - 102 # rls2101.rel NDRPDR iter RND env 6
3038       - 65  # rls2101.rel MRR nf-density iter env 6
3039       - 67  # rls2101.rel NDRPDR nf-density iter env 6
3040       - 72  # rls2101.rel NDRPDR nf-density iter env 6
3041       - 79  # rls2101.rel NDRPDR nf-density iter env 6
3042       - 83  # rls2101.rel NDRPDR nf-density iter env 6
3043       - 88  # rls2101.rel NDRPDR nf-density iter env 6
3044       - 97  # rls2101.rel NDRPDR nf-density iter env 6
3045       - 103 # rls2101.rel NDRPDR nf-density iter env 6
3046       - 108 # rls2101.rel NDRPDR nf-density iter env 6
3047       - 109 # rls2101.rel NDRPDR nf-density iter env 6
3048       - 110 # rls2101.rel NDRPDR nf-density iter env 6
3049       - 64  # rls2101.rel NDRPDR reconf iter env 6
3050       - 66  # rls2101.rel NDRPDR reconf iter env 6
3051       - 71  # rls2101.rel NDRPDR reconf iter env 6
3052       - 74  # rls2101.rel NDRPDR reconf iter env 6
3053       - 78  # rls2101.rel NDRPDR reconf iter env 6
3054       - 87  # rls2101.rel NDRPDR reconf iter env 6
3055       - 95  # rls2101.rel NDRPDR reconf iter env 6
3056       - 100 # rls2101.rel NDRPDR reconf iter env 6
3057       - 104 # rls2101.rel NDRPDR reconf iter env 6
3058       - 106 # rls2101.rel NDRPDR reconf iter env 6
3059       - 68  # rls2101.rel soak env 6
3060       - 73  # rls2101.rel soak env 6
3061     csit-vpp-perf-report-coverage-2101-2n-skx:
3062       - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
3063       - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
3064 #       - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
3065       - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
3066       - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
3067       - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
3068       - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
3069       - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
3070       - 9   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
3071       - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
3072 #       - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
3073       - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
3074       - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
3075       - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
3076       - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
3077 #       - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
3078 #       - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
3079 #       - 18  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
3080
3081
3082     csit-vpp-perf-report-iterative-2009-2n-clx:
3083       - 77  # rls2005 MRR iter env 5
3084       - 13  # rls2005 NDRPDR iter env 5
3085       - 15  # rls2005 NDRPDR iter env 5
3086       - 17  # rls2005 NDRPDR iter env 5
3087       - 18  # rls2005 NDRPDR iter env 5
3088       - 19  # rls2005 NDRPDR iter env 5
3089       - 20  # rls2005 NDRPDR iter env 5
3090       - 21  # rls2005 NDRPDR iter env 5
3091       - 22  # rls2005 NDRPDR iter env 5
3092       - 23  # rls2005 NDRPDR iter env 5
3093       - 24  # rls2005 NDRPDR iter env 5
3094       - 125 # rls2009 MRR iter env 5
3095       - 36  # rls2009 NDRPDR iter env 5
3096       - 39  # rls2009 NDRPDR iter env 5
3097       - 40  # rls2009 NDRPDR iter env 5
3098       - 65  # rls2009 NDRPDR iter env 5
3099       - 66  # rls2009 NDRPDR iter env 5
3100       - 79  # rls2009 NDRPDR iter env 5
3101       - 82  # rls2009 NDRPDR iter env 5
3102       - 88  # rls2009 NDRPDR iter env 5
3103       - 89  # rls2009 NDRPDR iter env 5
3104       - 90  # rls2009 NDRPDR iter env 5
3105       - 114 # rls2009 NDRPDR iter NAT44 env 5
3106       - 115 # rls2009 NDRPDR iter NAT44 env 5
3107       - 116 # rls2009 NDRPDR iter NAT44 env 5
3108       - 117 # rls2009 NDRPDR iter NAT44 env 5
3109       - 118 # rls2009 NDRPDR iter NAT44 env 5
3110       - 119 # rls2009 NDRPDR iter NAT44 env 5
3111       - 121 # rls2009 NDRPDR iter NAT44 env 5
3112       - 122 # rls2009 NDRPDR iter NAT44 env 5
3113       - 123 # rls2009 NDRPDR iter NAT44 env 5
3114       - 126 # rls2009 NDRPDR iter NAT44 env 5
3115     csit-vpp-perf-report-iterative-2101-2n-clx:
3116       - 15  # rls2009 MRR iter env 6
3117       - 16  # rls2009 NDRPDR iter env 6
3118       - 17  # rls2009 NDRPDR iter env 6
3119       - 18  # rls2009 NDRPDR iter env 6
3120       - 19  # rls2009 NDRPDR iter env 6
3121       - 20  # rls2009 NDRPDR iter env 6
3122       - 21  # rls2009 NDRPDR iter env 6
3123       - 32  # rls2009 NDRPDR iter env 6
3124       - 33  # rls2009 NDRPDR iter env 6
3125       - 34  # rls2009 NDRPDR iter env 6
3126       - 35  # rls2009 NDRPDR iter env 6
3127       - 53  # rls2101.rel MRR iter env 6
3128       - 54  # rls2101.rel NDRPDR iter env 6
3129       - 59  # rls2101.rel NDRPDR iter env 6
3130       - 60  # rls2101.rel NDRPDR iter env 6
3131       - 63  # rls2101.rel NDRPDR iter env 6
3132       - 66  # rls2101.rel NDRPDR iter env 6
3133       - 68  # rls2101.rel NDRPDR iter env 6
3134       - 73  # rls2101.rel NDRPDR iter env 6
3135       - 75  # rls2101.rel NDRPDR iter env 6
3136       - 87  # rls2101.rel NDRPDR iter RND env 6
3137       - 91  # rls2101.rel NDRPDR iter RND env 6
3138       - 93  # rls2101.rel NDRPDR iter RND env 6
3139       - 94  # rls2101.rel NDRPDR iter RND env 6
3140       - 72  # rls2101.rel MRR nf-density iter env 6
3141       - 57  # rls2101.rel NDRPDR nf-density iter env 6