7b89888cf21d6da5da387257a5bee64fa6c61368
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272         - 50  # rls2101.rel NDRPDR iter env 6
273
274     plot-vpp-hdrh-lat-3n-skx:
275       csit-vpp-perf-report-iterative-2101-3n-skx:
276         - 36  # rls2101.rel NDRPDR iter env 6
277
278 #    plot-vpp-nfv-3n-skx-ndrpdr:
279 #      # No data
280 #      csit-vpp-perf-report-iterative-2101-3n-skx:
281
282 #    plot-vpp-nfv-3n-skx-mrr:
283 #      # No data
284 #      csit-vpp-perf-report-iterative-2101-3n-skx:
285
286     plot-dpdk-throughput-latency-3n-skx:
287       csit-dpdk-perf-report-iterative-2101-3n-skx:
288         - 12  # rls2101 NDRPDR iter env 6
289         - 14  # rls2101 NDRPDR iter env 6
290         - 15  # rls2101 NDRPDR iter env 6
291         - 17  # rls2101 NDRPDR iter env 6
292         - 19  # rls2101 NDRPDR iter env 6
293         - 20  # rls2101 NDRPDR iter env 6
294         - 21  # rls2101 NDRPDR iter env 6
295         - 22  # rls2101 NDRPDR iter env 6
296         - 25  # rls2101 NDRPDR iter env 6
297         - 26  # rls2101 NDRPDR iter env 6
298
299     plot-dpdk-hdrh-lat-3n-skx:
300       csit-dpdk-perf-report-iterative-2101-3n-skx:
301         - 12  # rls2101 NDRPDR iter env 6
302
303     # 2n-skx
304
305     plot-vpp-throughput-lat-tsa-2n-skx:
306       csit-vpp-perf-report-iterative-2101-2n-skx:
307         - 63  # rls2101.rel NDRPDR iter env 6
308         - 69  # rls2101.rel NDRPDR iter env 6
309         - 70  # rls2101.rel NDRPDR iter env 6
310         - 75  # rls2101.rel NDRPDR iter env 6
311         - 76  # rls2101.rel NDRPDR iter env 6
312         - 77  # rls2101.rel NDRPDR iter env 6
313         - 82  # rls2101.rel NDRPDR iter env 6
314         - 85  # rls2101.rel NDRPDR iter env 6
315         - 86  # rls2101.rel NDRPDR iter env 6
316         - 94  # rls2101.rel NDRPDR iter env 6
317         - 89  # rls2101.rel NDRPDR iter RND env 6
318         - 90  # rls2101.rel NDRPDR iter RND env 6
319         - 91  # rls2101.rel NDRPDR iter RND env 6
320         - 92  # rls2101.rel NDRPDR iter RND env 6
321         - 93  # rls2101.rel NDRPDR iter RND env 6
322         - 96  # rls2101.rel NDRPDR iter RND env 6
323         - 98  # rls2101.rel NDRPDR iter RND env 6
324         - 99  # rls2101.rel NDRPDR iter RND env 6
325         - 101 # rls2101.rel NDRPDR iter RND env 6
326         - 102 # rls2101.rel NDRPDR iter RND env 6
327
328     plot-vpp-hdrh-lat-2n-skx:
329       csit-vpp-perf-report-iterative-2101-2n-skx:
330         - 94  # rls2101.rel NDRPDR iter env 6
331
332     plot-vpp-hdrh-lat-2n-skx-rnd:
333       csit-vpp-perf-report-iterative-2101-2n-skx:
334         - 89  # rls2101.rel NDRPDR iter RND env 6
335
336     plot-vpp-soak-2n-skx:
337       csit-vpp-perf-report-iterative-2101-2n-skx:
338         - 68  # rls2101.rel soak env 6
339         - 73  # rls2101.rel soak env 6
340
341     plot-vpp-nfv-2n-skx-ndrpdr:
342       csit-vpp-perf-report-iterative-2101-2n-skx:
343         - 67  # rls2101.rel NDRPDR nf-density iter env 6
344         - 72  # rls2101.rel NDRPDR nf-density iter env 6
345         - 79  # rls2101.rel NDRPDR nf-density iter env 6
346         - 83  # rls2101.rel NDRPDR nf-density iter env 6
347         - 88  # rls2101.rel NDRPDR nf-density iter env 6
348         - 97  # rls2101.rel NDRPDR nf-density iter env 6
349         - 103 # rls2101.rel NDRPDR nf-density iter env 6
350         - 108 # rls2101.rel NDRPDR nf-density iter env 6
351         - 109 # rls2101.rel NDRPDR nf-density iter env 6
352         - 110 # rls2101.rel NDRPDR nf-density iter env 6
353
354     plot-vpp-nfv-2n-skx-mrr:
355       csit-vpp-perf-report-iterative-2101-2n-skx:
356         - 65  # rls2101.rel MRR nf-density iter env 6
357
358     plot-vpp-nfv-reconf-2n-skx:
359       csit-vpp-perf-report-iterative-2101-2n-skx:
360         - 64  # rls2101.rel NDRPDR reconf iter env 6
361         - 66  # rls2101.rel NDRPDR reconf iter env 6
362         - 71  # rls2101.rel NDRPDR reconf iter env 6
363         - 74  # rls2101.rel NDRPDR reconf iter env 6
364         - 78  # rls2101.rel NDRPDR reconf iter env 6
365         - 87  # rls2101.rel NDRPDR reconf iter env 6
366         - 95  # rls2101.rel NDRPDR reconf iter env 6
367         - 100 # rls2101.rel NDRPDR reconf iter env 6
368         - 104 # rls2101.rel NDRPDR reconf iter env 6
369         - 106 # rls2101.rel NDRPDR reconf iter env 6
370
371     plot-dpdk-throughput-latency-2n-skx:
372       csit-dpdk-perf-report-iterative-2101-2n-skx:
373         - 11  # rls2101 NDRPDR iter env 6
374         - 12  # rls2101 NDRPDR iter env 6
375         - 13  # rls2101 NDRPDR iter env 6
376         - 14  # rls2101 NDRPDR iter env 6
377         - 15  # rls2101 NDRPDR iter env 6
378         - 17  # rls2101 NDRPDR iter env 6
379         - 18  # rls2101 NDRPDR iter env 6
380         - 19  # rls2101 NDRPDR iter env 6
381         - 20  # rls2101 NDRPDR iter env 6
382         - 21  # rls2101 NDRPDR iter env 6
383
384     plot-dpdk-hdrh-lat-2n-skx:
385       csit-dpdk-perf-report-iterative-2101-2n-skx:
386         - 11  # rls2101 NDRPDR iter env 6
387
388     # 2n-zn2
389
390     plot-vpp-throughput-lat-tsa-2n-zn2:
391       csit-vpp-perf-report-iterative-2101-2n-zn2:
392         - 31  # rls2101.rel NDRPDR iter env 6
393         - 32  # rls2101.rel NDRPDR iter env 6
394         - 33  # rls2101.rel NDRPDR iter env 6
395         - 34  # rls2101.rel NDRPDR iter env 6
396         - 35  # rls2101.rel NDRPDR iter env 6
397         - 36  # rls2101.rel NDRPDR iter env 6
398         - 37  # rls2101.rel NDRPDR iter env 6
399         - 38  # rls2101.rel NDRPDR iter env 6
400         - 40  # rls2101.rel NDRPDR iter RND env 6
401         - 41  # rls2101.rel NDRPDR iter RND env 6
402         - 42  # rls2101.rel NDRPDR iter RND env 6
403         - 43  # rls2101.rel NDRPDR iter RND env 6
404         - 45  # rls2101.rel NDRPDR iter RND env 6
405         - 48  # rls2101.rel NDRPDR iter RND env 6
406         - 50  # rls2101.rel NDRPDR iter RND env 6
407
408     plot-vpp-hdrh-lat-2n-zn2:
409       csit-vpp-perf-report-iterative-2101-2n-zn2:
410         - 31  # rls2101.rel NDRPDR iter env 6
411
412     plot-vpp-hdrh-lat-2n-zn2-rnd:
413       csit-vpp-perf-report-iterative-2101-2n-zn2:
414         - 40  # rls2101.rel NDRPDR iter RND env 6
415
416     plot-dpdk-throughput-latency-2n-zn2:
417       csit-dpdk-perf-report-iterative-2101-2n-zn2:
418         - 11  # rls2101 NDRPDR iter env 6
419         - 12  # rls2101 NDRPDR iter env 6
420         - 13  # rls2101 NDRPDR iter env 6
421         - 14  # rls2101 NDRPDR iter env 6
422         - 16  # rls2101 NDRPDR iter env 6
423         - 17  # rls2101 NDRPDR iter env 6
424         - 18  # rls2101 NDRPDR iter env 6
425         - 19  # rls2101 NDRPDR iter env 6
426         - 20  # rls2101 NDRPDR iter env 6
427         - 21  # rls2101 NDRPDR iter env 6
428
429     plot-dpdk-hdrh-lat-2n-zn2:
430       csit-dpdk-perf-report-iterative-2101-2n-zn2:
431         - 11  # rls2101 NDRPDR iter env 6
432
433     # 2n-clx
434
435     plot-vpp-throughput-lat-tsa-2n-clx:
436       csit-vpp-perf-report-iterative-2101-2n-clx:
437         - 54  # rls2101.rel NDRPDR iter env 6
438         - 59  # rls2101.rel NDRPDR iter env 6
439         - 60  # rls2101.rel NDRPDR iter env 6
440         - 63  # rls2101.rel NDRPDR iter env 6
441         - 66  # rls2101.rel NDRPDR iter env 6
442         - 68  # rls2101.rel NDRPDR iter env 6
443         - 73  # rls2101.rel NDRPDR iter env 6
444         - 75  # rls2101.rel NDRPDR iter env 6
445         - 86  # rls2101.rel NDRPDR iter env 6
446         - 87  # rls2101.rel NDRPDR iter RND env 6
447         - 91  # rls2101.rel NDRPDR iter RND env 6
448         - 93  # rls2101.rel NDRPDR iter RND env 6
449         - 94  # rls2101.rel NDRPDR iter RND env 6
450         - 100 # rls2101.rel NDRPDR iter RND env 6
451
452     plot-vpp-hdrh-lat-2n-clx:
453       csit-vpp-perf-report-iterative-2101-2n-clx:
454         - 75  # rls2101.rel NDRPDR iter env 6
455
456     plot-vpp-hdrh-lat-2n-clx-rnd:
457       csit-vpp-perf-report-iterative-2101-2n-clx:
458         - 87  # rls2101.rel NDRPDR iter RND env 6
459
460     plot-vpp-nfv-2n-clx-ndrpdr:
461       csit-vpp-perf-report-iterative-2101-2n-clx:
462         - 57  # rls2101.rel NDRPDR nf-density iter env 6
463         - 62  # rls2101.rel NDRPDR nf-density iter env 6
464         - 70  # rls2101.rel NDRPDR nf-density iter env 6
465         - 71  # rls2101.rel NDRPDR nf-density iter env 6
466         - 82  # rls2101.rel NDRPDR nf-density iter env 6
467         - 88  # rls2101.rel NDRPDR nf-density iter env 6
468         - 89  # rls2101.rel NDRPDR nf-density iter env 6
469         - 96  # rls2101.rel NDRPDR nf-density iter env 6
470         - 97  # rls2101.rel NDRPDR nf-density iter env 6
471         - 98  # rls2101.rel NDRPDR nf-density iter env 6
472
473     plot-vpp-nfv-2n-clx-mrr:
474       csit-vpp-perf-report-iterative-2101-2n-clx:
475         - 72  # rls2101.rel MRR nf-density iter env 6
476
477     plot-vpp-nfv-reconf-2n-clx:
478       csit-vpp-perf-report-iterative-2101-2n-clx:
479         - 55  # rls2101.rel NDRPDR reconf iter env 6
480         - 64  # rls2101.rel NDRPDR reconf iter env 6
481         - 76  # rls2101.rel NDRPDR reconf iter env 6
482         - 83  # rls2101.rel NDRPDR reconf iter env 6
483         - 99  # rls2101.rel NDRPDR reconf iter env 6
484         - 102 # rls2101.rel NDRPDR reconf iter env 6
485
486     plot-vpp-soak-2n-clx:
487       csit-vpp-perf-report-iterative-2101-2n-clx:
488         - 58  # rls2101.rel soak env 6
489         - 61  # rls2101.rel soak env 6
490
491     plot-dpdk-throughput-latency-2n-clx:
492       csit-dpdk-perf-report-iterative-2101-2n-clx:
493         - 12  # rls2101 NDRPDR iter env 6
494         - 13  # rls2101 NDRPDR iter env 6
495         - 14  # rls2101 NDRPDR iter env 6
496         - 18  # rls2101 NDRPDR iter env 6
497         - 22  # rls2101 NDRPDR iter env 6
498
499     plot-dpdk-hdrh-lat-2n-clx:
500       csit-dpdk-perf-report-iterative-2101-2n-clx:
501         - 12  # rls2101 NDRPDR iter env 6
502
503     # 3n-tsh
504
505     plot-vpp-throughput-lat-tsa-3n-tsh:
506       csit-vpp-perf-report-iterative-2101-3n-tsh:
507         - 23  # rls2101.rel NDRPDR iter env 6
508         - 24  # rls2101.rel NDRPDR iter env 6
509         - 25  # rls2101.rel NDRPDR iter env 6
510         - 26  # rls2101.rel NDRPDR iter env 6
511         - 27  # rls2101.rel NDRPDR iter env 6
512         - 28  # rls2101.rel NDRPDR iter env 6
513         - 29  # rls2101.rel NDRPDR iter env 6
514
515     plot-vpp-hdrh-lat-3n-tsh:
516       csit-vpp-perf-report-iterative-2101-3n-tsh:
517         - 23  # rls2101.rel NDRPDR iter env 6
518
519     plot-dpdk-throughput-latency-3n-tsh:
520       csit-dpdk-perf-report-iterative-2101-3n-tsh:
521         - 11  # rls2101 NDRPDR iter env 6
522         - 12  # rls2101 NDRPDR iter env 6
523         - 13  # rls2101 NDRPDR iter env 6
524         - 14  # rls2101 NDRPDR iter env 6
525         - 16  # rls2101 NDRPDR iter env 6
526         - 17  # rls2101 NDRPDR iter env 6
527         - 18  # rls2101 NDRPDR iter env 6
528         - 19  # rls2101 NDRPDR iter env 6
529         - 20  # rls2101 NDRPDR iter env 6
530         - 21  # rls2101 NDRPDR iter env 6
531
532     plot-dpdk-hdrh-lat-3n-tsh:
533       csit-dpdk-perf-report-iterative-2101-3n-tsh:
534         - 21  # rls2101 NDRPDR iter env 6
535
536     # 2n-tx2
537
538     plot-vpp-throughput-lat-tsa-2n-tx2:
539       csit-vpp-perf-report-iterative-2101-2n-tx2:
540         - 22  # rls2101.rel NDRPDR iter env 6
541         - 23  # rls2101.rel NDRPDR iter env 6
542         - 24  # rls2101.rel NDRPDR iter env 6
543         - 25  # rls2101.rel NDRPDR iter env 6
544         - 26  # rls2101.rel NDRPDR iter env 6
545         - 27  # rls2101.rel NDRPDR iter env 6
546         - 28  # rls2101.rel NDRPDR iter env 6
547         - 29  # rls2101.rel NDRPDR iter env 6
548         - 30  # rls2101.rel NDRPDR iter env 6
549         - 31  # rls2101.rel NDRPDR iter env 6
550
551     plot-vpp-hdrh-lat-2n-tx2:
552       csit-vpp-perf-report-iterative-2101-2n-tx2:
553         - 29  # rls2101.rel NDRPDR iter env 6
554
555     plot-dpdk-throughput-latency-2n-tx2:
556       csit-dpdk-perf-report-iterative-2101-2n-tx2:
557         - 4   # rls2101 NDRPDR iter env 6
558         - 6   # rls2101 NDRPDR iter env 6
559         - 7   # rls2101 NDRPDR iter env 6
560         - 8   # rls2101 NDRPDR iter env 6
561         - 9   # rls2101 NDRPDR iter env 6
562         - 10  # rls2101 NDRPDR iter env 6
563         - 11  # rls2101 NDRPDR iter env 6
564         - 12  # rls2101 NDRPDR iter env 6
565         - 13  # rls2101 NDRPDR iter env 6
566         - 14  # rls2101 NDRPDR iter env 6
567
568     plot-dpdk-hdrh-lat-2n-tx2:
569       csit-dpdk-perf-report-iterative-2101-2n-tx2:
570         - 4   # rls2101 NDRPDR iter env 6
571
572     # 3n-dnv
573
574     plot-vpp-throughput-lat-tsa-3n-dnv:
575       csit-vpp-perf-report-iterative-2101-3n-dnv:
576         - 33  # rls2101.rel NDRPDR iter env 6
577         - 34  # rls2101.rel NDRPDR iter env 6
578         - 35  # rls2101.rel NDRPDR iter env 6
579         - 36  # rls2101.rel NDRPDR iter env 6
580         - 37  # rls2101.rel NDRPDR iter env 6
581         - 38  # rls2101.rel NDRPDR iter env 6
582         - 39  # rls2101.rel NDRPDR iter env 6
583         - 40  # rls2101.rel NDRPDR iter env 6
584         - 41  # rls2101.rel NDRPDR iter env 6
585         - 42  # rls2101.rel NDRPDR iter env 6
586         - 43  # rls2101.rel NDRPDR iter RND env 6
587         - 44  # rls2101.rel NDRPDR iter RND env 6
588         - 45  # rls2101.rel NDRPDR iter RND env 6
589         - 46  # rls2101.rel NDRPDR iter RND env 6
590         - 47  # rls2101.rel NDRPDR iter RND env 6
591         - 48  # rls2101.rel NDRPDR iter RND env 6
592         - 49  # rls2101.rel NDRPDR iter RND env 6
593         - 50  # rls2101.rel NDRPDR iter RND env 6
594         - 51  # rls2101.rel NDRPDR iter RND env 6
595         - 52  # rls2101.rel NDRPDR iter RND env 6
596
597 #    plot-dpdk-throughput-latency-3n-dnv:
598 #      # No data
599 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
600
601     # 2n-dnv
602
603     plot-vpp-throughput-lat-tsa-2n-dnv:
604       csit-vpp-perf-report-iterative-2101-2n-dnv:
605         - 32  # rls2101.rel NDRPDR iter env 6
606         - 33  # rls2101.rel NDRPDR iter env 6
607         - 34  # rls2101.rel NDRPDR iter env 6
608         - 35  # rls2101.rel NDRPDR iter env 6
609         - 39  # rls2101.rel NDRPDR iter env 6
610         - 41  # rls2101.rel NDRPDR iter env 6
611         - 42  # rls2101.rel NDRPDR iter env 6
612         - 43  # rls2101.rel NDRPDR iter env 6
613         - 44  # rls2101.rel NDRPDR iter env 6
614         - 45  # rls2101.rel NDRPDR iter env 6
615         - 46  # rls2101.rel NDRPDR iter RND env 6
616         - 47  # rls2101.rel NDRPDR iter RND env 6
617         - 48  # rls2101.rel NDRPDR iter RND env 6
618         - 49  # rls2101.rel NDRPDR iter RND env 6
619         - 50  # rls2101.rel NDRPDR iter RND env 6
620         - 51  # rls2101.rel NDRPDR iter RND env 6
621         - 52  # rls2101.rel NDRPDR iter RND env 6
622         - 53  # rls2101.rel NDRPDR iter RND env 6
623         - 54  # rls2101.rel NDRPDR iter RND env 6
624         - 55  # rls2101.rel NDRPDR iter RND env 6
625
626 #    plot-dpdk-throughput-latency-2n-dnv:
627 #      # No data
628 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
629
630     ###########################################################################
631     # Simple tables (only one data set):
632
633     # NIC Comparisons
634
635     vpp-nic-comparison-3n-skx:
636       csit-vpp-perf-report-iterative-2101-3n-skx:
637         - 36  # rls2101.rel NDRPDR iter env 6
638         - 37  # rls2101.rel NDRPDR iter env 6
639         - 38  # rls2101.rel NDRPDR iter env 6
640         - 39  # rls2101.rel NDRPDR iter env 6
641         - 40  # rls2101.rel NDRPDR iter env 6
642         - 41  # rls2101.rel NDRPDR iter env 6
643         - 42  # rls2101.rel NDRPDR iter env 6
644         - 47  # rls2101.rel NDRPDR iter env 6
645         - 48  # rls2101.rel NDRPDR iter env 6
646         - 50  # rls2101.rel NDRPDR iter env 6
647
648     vpp-nic-comparison-2n-skx:
649       csit-vpp-perf-report-iterative-2101-2n-skx:
650         - 63  # rls2101.rel NDRPDR iter env 6
651         - 69  # rls2101.rel NDRPDR iter env 6
652         - 70  # rls2101.rel NDRPDR iter env 6
653         - 75  # rls2101.rel NDRPDR iter env 6
654         - 76  # rls2101.rel NDRPDR iter env 6
655         - 77  # rls2101.rel NDRPDR iter env 6
656         - 82  # rls2101.rel NDRPDR iter env 6
657         - 85  # rls2101.rel NDRPDR iter env 6
658         - 86  # rls2101.rel NDRPDR iter env 6
659         - 94  # rls2101.rel NDRPDR iter env 6
660         - 89  # rls2101.rel NDRPDR iter RND env 6
661         - 90  # rls2101.rel NDRPDR iter RND env 6
662         - 91  # rls2101.rel NDRPDR iter RND env 6
663         - 92  # rls2101.rel NDRPDR iter RND env 6
664         - 93  # rls2101.rel NDRPDR iter RND env 6
665         - 96  # rls2101.rel NDRPDR iter RND env 6
666         - 98  # rls2101.rel NDRPDR iter RND env 6
667         - 99  # rls2101.rel NDRPDR iter RND env 6
668         - 101 # rls2101.rel NDRPDR iter RND env 6
669         - 102 # rls2101.rel NDRPDR iter RND env 6
670
671     vpp-nic-comparison-3n-skx-mrr:
672       csit-vpp-perf-report-iterative-2101-3n-skx:
673         - 35  # rls2101.rel MRR iter env 6
674
675     vpp-nic-comparison-2n-skx-mrr:
676       csit-vpp-perf-report-iterative-2101-2n-skx:
677         - 62  # rls2101.rel MRR iter env 6
678
679     # Results
680
681     vpp-perf-results-3n-hsw:
682       csit-vpp-perf-report-coverage-2101-3n-hsw:
683         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
684         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
685         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
686         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
687         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
688         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
689         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
690         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
691         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
692         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
693         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
694         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
695         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
696         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
697         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
698         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
699         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
700         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
701         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
702         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
703         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
704         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
705         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
706         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
707         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
708         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
709         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
710         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
711         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
712         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
713         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
714         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
715         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
716         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
717         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
718
719     vpp-perf-results-3n-skx:
720       # csit-vpp-perf-report-coverage-2101-3n-skx:
721       csit-vpp-perf-report-iterative-2101-3n-skx:
722         - 36  # rls2101.rel NDRPDR iter env 6
723
724     vpp-perf-results-2n-skx:
725       csit-vpp-perf-report-coverage-2101-2n-skx:
726         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
727         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
728         - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
729         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
730         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
731         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
732         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
733         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
734 #        - 20  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
735         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
736 #        - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
737         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
738         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
739         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
740         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
741         - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
742         - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
743         - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
744
745     vpp-perf-results-2n-zn2:
746       csit-vpp-perf-report-iterative-2101-2n-zn2:
747         - 31  # rls2101.rel NDRPDR iter env 6
748
749     vpp-perf-results-2n-clx:
750       # csit-vpp-perf-report-coverage-2101-2n-clx:
751       csit-vpp-perf-report-iterative-2101-2n-clx:
752         - 75  # rls2101.rel NDRPDR iter env 6
753
754     vpp-perf-results-3n-tsh:
755       csit-vpp-perf-report-iterative-2101-3n-tsh:
756         - 23  # rls2101.rel NDRPDR iter env 6
757
758     vpp-perf-results-2n-tx2:
759       csit-vpp-perf-report-iterative-2101-2n-tx2:
760         - 29  # rls2101.rel NDRPDR iter env 6
761
762     vpp-perf-results-3n-dnv:
763       csit-vpp-perf-report-coverage-2101-3n-dnv:
764         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
765         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
766         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
767         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
768         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
769         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
770         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
771         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
772         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
773
774     vpp-perf-results-2n-dnv:
775       csit-vpp-perf-report-coverage-2101-2n-dnv:
776         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
777         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
778         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
779         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
780         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
781         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
782
783     vpp-mrr-results-3n-hsw:
784       csit-vpp-perf-report-iterative-2101-3n-hsw:
785         - 63  # rls2101.rel MRR iter env 6
786
787     vpp-mrr-results-3n-skx:
788       csit-vpp-perf-report-iterative-2101-3n-skx:
789         - 35  # rls2101.rel MRR iter env 6
790
791     vpp-mrr-results-2n-skx:
792       csit-vpp-perf-report-iterative-2101-2n-skx:
793         - 62  # rls2101.rel MRR iter env 6
794
795     vpp-mrr-results-2n-zn2:
796       csit-vpp-perf-report-iterative-2101-2n-zn2:
797         - 30  # rls2101.rel MRR iter env 6
798
799     vpp-mrr-results-2n-clx:
800       csit-vpp-perf-report-iterative-2101-2n-clx:
801         - 53  # rls2101.rel MRR iter env 6
802
803     vpp-mrr-results-3n-tsh:
804       csit-vpp-perf-report-iterative-2101-3n-tsh:
805         - 22  # rls2101.rel MRR iter env 6
806
807     vpp-mrr-results-2n-tx2:
808       csit-vpp-perf-report-iterative-2101-2n-tx2:
809         - 21  # rls2101.rel MRR iter env 6
810
811     vpp-mrr-results-3n-dnv:
812       csit-vpp-perf-report-iterative-2101-3n-dnv:
813         - 32  # rls2101.rel MRR iter env 6
814
815     vpp-mrr-results-2n-dnv:
816       csit-vpp-perf-report-iterative-2101-2n-dnv:
817         - 31  # rls2101.rel MRR iter env 6
818
819     vpp-device-results-ubuntu:
820       csit-vpp-device-2101-ubuntu1804-1n-skx:
821         - 358  # rls2101.rel VPP DEV env 6
822
823     dpdk-perf-results-3n-hsw:
824       csit-dpdk-perf-report-iterative-2101-3n-hsw:
825         - 11  # rls2101 NDRPDR iter env 6
826
827     dpdk-perf-results-3n-skx:
828       csit-dpdk-perf-report-iterative-2101-3n-skx:
829         - 12  # rls2101 NDRPDR iter env 6
830
831     dpdk-perf-results-2n-skx:
832       csit-dpdk-perf-report-iterative-2101-2n-skx:
833         - 11  # rls2101 NDRPDR iter env 6
834
835     dpdk-perf-results-2n-zn2:
836       csit-dpdk-perf-report-iterative-2101-2n-zn2:
837         - 11  # rls2101 NDRPDR iter env 6
838
839     dpdk-perf-results-2n-clx:
840       csit-dpdk-perf-report-iterative-2101-2n-clx:
841         - 12  # rls2101 NDRPDR iter env 6
842
843 #    dpdk-perf-results-2n-dnv:
844 #      # No data
845 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
846
847 #    dpdk-perf-results-3n-dnv:
848 #      # No data
849 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
850
851     dpdk-perf-results-3n-tsh:
852       csit-dpdk-perf-report-iterative-2101-3n-tsh:
853         - 21  # rls2101 NDRPDR iter env 6
854
855     dpdk-perf-results-2n-tx2:
856       csit-dpdk-perf-report-iterative-2101-2n-tx2:
857         - 4   # rls2101 NDRPDR iter env 6
858
859 ###########################################################################
860     # Tables (more than one data set)
861
862     # Performance changes
863
864     vpp-performance-changes-3n-hsw-h1:
865       csit-vpp-perf-report-iterative-2009-3n-hsw:
866         - 9   # rls2005 NDRPDR iter env 5
867         - 10  # rls2005 NDRPDR iter env 5
868         - 11  # rls2005 NDRPDR iter env 5
869         - 12  # rls2005 NDRPDR iter env 5
870         - 13  # rls2005 NDRPDR iter env 5
871         - 14  # rls2005 NDRPDR iter env 5
872         - 15  # rls2005 NDRPDR iter env 5
873         - 16  # rls2005 NDRPDR iter env 5
874         - 17  # rls2005 NDRPDR iter env 5
875         - 19  # rls2005 NDRPDR iter env 5
876     vpp-performance-changes-3n-hsw-ref-env-old:
877       csit-vpp-perf-report-iterative-2009-3n-hsw:
878         - 21  # rls2009 NDRPDR iter env 5
879         - 22  # rls2009 NDRPDR iter env 5
880         - 24  # rls2009 NDRPDR iter env 5
881         - 25  # rls2009 NDRPDR iter env 5
882         - 26  # rls2009 NDRPDR iter env 5
883         - 27  # rls2009 NDRPDR iter env 5
884         - 28  # rls2009 NDRPDR iter env 5
885         - 29  # rls2009 NDRPDR iter env 5
886         - 30  # rls2009 NDRPDR iter env 5
887         - 31  # rls2009 NDRPDR iter env 5
888     vpp-performance-changes-3n-hsw-ref-env-new:
889       csit-vpp-perf-report-iterative-2101-3n-hsw:
890         - 19  # rls2009 NDRPDR iter env 6
891         - 20  # rls2009 NDRPDR iter env 6
892         - 21  # rls2009 NDRPDR iter env 6
893         - 22  # rls2009 NDRPDR iter env 6
894         - 23  # rls2009 NDRPDR iter env 6
895         - 24  # rls2009 NDRPDR iter env 6
896         - 25  # rls2009 NDRPDR iter env 6
897         - 26  # rls2009 NDRPDR iter env 6
898         - 27  # rls2009 NDRPDR iter env 6
899         - 28  # rls2009 NDRPDR iter env 6
900     vpp-performance-changes-3n-hsw-cmp:
901       csit-vpp-perf-report-iterative-2101-3n-hsw:
902         - 64  # rls2101.rel NDRPDR iter env 6
903         - 71  # rls2101.rel NDRPDR iter env 6
904         - 73  # rls2101.rel NDRPDR iter env 6
905         - 74  # rls2101.rel NDRPDR iter env 6
906         - 80  # rls2101.rel NDRPDR iter env 6
907         - 81  # rls2101.rel NDRPDR iter env 6
908         - 82  # rls2101.rel NDRPDR iter env 6
909         - 83  # rls2101.rel NDRPDR iter env 6
910         - 88  # rls2101.rel NDRPDR iter env 6
911         - 89  # rls2101.rel NDRPDR iter env 6
912         - 128 # rls2101.rel NDRPDR iter RND env 6
913         - 129 # rls2101.rel NDRPDR iter RND env 6
914         - 130 # rls2101.rel NDRPDR iter RND env 6
915         - 131 # rls2101.rel NDRPDR iter RND env 6
916         - 132 # rls2101.rel NDRPDR iter RND env 6
917         - 133 # rls2101.rel NDRPDR iter RND env 6
918         - 134 # rls2101.rel NDRPDR iter RND env 6
919         - 135 # rls2101.rel NDRPDR iter RND env 6
920         - 136 # rls2101.rel NDRPDR iter RND env 6
921         - 137 # rls2101.rel NDRPDR iter RND env 6
922
923     vpp-performance-changes-3n-skx-h1:
924       csit-vpp-perf-report-iterative-2009-3n-skx:
925         - 13  # rls2005 NDRPDR iter env 5
926         - 18  # rls2005 NDRPDR iter env 5
927         - 19  # rls2005 NDRPDR iter env 5
928         - 41  # rls2005 NDRPDR iter env 5
929         - 43  # rls2005 NDRPDR iter env 5
930         - 44  # rls2005 NDRPDR iter env 5
931         - 45  # rls2005 NDRPDR iter env 5
932         - 46  # rls2005 NDRPDR iter env 5
933         - 48  # rls2005 NDRPDR iter env 5
934         - 49  # rls2005 NDRPDR iter env 5
935     vpp-performance-changes-3n-skx-ref-env-old:
936       csit-vpp-perf-report-iterative-2009-3n-skx:
937         - 26  # rls2009 NDRPDR iter env 5
938         - 27  # rls2009 NDRPDR iter env 5
939         - 28  # rls2009 NDRPDR iter env 5
940         - 29  # rls2009 NDRPDR iter env 5
941         - 35  # rls2009 NDRPDR iter env 5
942         - 36  # rls2009 NDRPDR iter env 5
943         - 37  # rls2009 NDRPDR iter env 5
944         - 38  # rls2009 NDRPDR iter env 5
945         - 39  # rls2009 NDRPDR iter env 5
946         - 40  # rls2009 NDRPDR iter env 5
947     vpp-performance-changes-3n-skx-ref-env-new:
948       csit-vpp-perf-report-iterative-2101-3n-skx:
949         - 14  # rls2009 NDRPDR iter env 6
950         - 15  # rls2009 NDRPDR iter env 6
951         - 16  # rls2009 NDRPDR iter env 6
952         - 17  # rls2009 NDRPDR iter env 6
953         - 18  # rls2009 NDRPDR iter env 6
954         - 25  # rls2009 NDRPDR iter env 6
955         - 26  # rls2009 NDRPDR iter env 6
956         - 27  # rls2009 NDRPDR iter env 6
957         - 29  # rls2009 NDRPDR iter env 6
958         - 31  # rls2009 NDRPDR iter env 6
959     vpp-performance-changes-3n-skx-cmp:
960       csit-vpp-perf-report-iterative-2101-3n-skx:
961         - 36  # rls2101.rel NDRPDR iter env 6
962         - 37  # rls2101.rel NDRPDR iter env 6
963         - 38  # rls2101.rel NDRPDR iter env 6
964         - 39  # rls2101.rel NDRPDR iter env 6
965         - 40  # rls2101.rel NDRPDR iter env 6
966         - 41  # rls2101.rel NDRPDR iter env 6
967         - 42  # rls2101.rel NDRPDR iter env 6
968         - 47  # rls2101.rel NDRPDR iter env 6
969         - 48  # rls2101.rel NDRPDR iter env 6
970         - 50  # rls2101.rel NDRPDR iter env 6
971
972     vpp-performance-changes-2n-skx-h1:
973       csit-vpp-perf-report-iterative-2009-2n-skx:
974         - 13  # rls2005 NDRPDR iter env 5
975         - 16  # rls2005 NDRPDR iter env 5
976         - 17  # rls2005 NDRPDR iter env 5
977         - 18  # rls2005 NDRPDR iter env 5
978         - 19  # rls2005 NDRPDR iter env 5
979         - 21  # rls2005 NDRPDR iter env 5
980         - 22  # rls2005 NDRPDR iter env 5
981         - 23  # rls2005 NDRPDR iter env 5
982         - 24  # rls2005 NDRPDR iter env 5
983         - 25  # rls2005 NDRPDR iter env 5
984     vpp-performance-changes-2n-skx-ref-env-old:
985       csit-vpp-perf-report-iterative-2009-2n-skx:
986         - 35  # rls2009 NDRPDR iter env 5
987         - 36  # rls2009 NDRPDR iter env 5
988         - 37  # rls2009 NDRPDR iter env 5
989         - 39  # rls2009 NDRPDR iter env 5
990         - 40  # rls2009 NDRPDR iter env 5
991         - 42  # rls2009 NDRPDR iter env 5
992         - 43  # rls2009 NDRPDR iter env 5
993         - 44  # rls2009 NDRPDR iter env 5
994         - 46  # rls2009 NDRPDR iter env 5
995         - 48  # rls2009 NDRPDR iter env 5
996         - 110 # rls2009 NDRPDR iter NAT44 env 5
997         - 111 # rls2009 NDRPDR iter NAT44 env 5
998         - 112 # rls2009 NDRPDR iter NAT44 env 5
999         - 113 # rls2009 NDRPDR iter NAT44 env 5
1000         - 114 # rls2009 NDRPDR iter NAT44 env 5
1001         - 115 # rls2009 NDRPDR iter NAT44 env 5
1002         - 116 # rls2009 NDRPDR iter NAT44 env 5
1003         - 118 # rls2009 NDRPDR iter NAT44 env 5
1004         - 119 # rls2009 NDRPDR iter NAT44 env 5
1005         - 121 # rls2009 NDRPDR iter NAT44 env 5
1006     vpp-performance-changes-2n-skx-ref-env-new:
1007       csit-vpp-perf-report-iterative-2101-2n-skx:
1008         - 22  # rls2009 NDRPDR iter env 6
1009         - 23  # rls2009 NDRPDR iter env 6
1010         - 24  # rls2009 NDRPDR iter env 6
1011         - 25  # rls2009 NDRPDR iter env 6
1012         - 26  # rls2009 NDRPDR iter env 6
1013         - 28  # rls2009 NDRPDR iter env 6
1014         - 39  # rls2009 NDRPDR iter env 6
1015         - 40  # rls2009 NDRPDR iter env 6
1016         - 41  # rls2009 NDRPDR iter env 6
1017         - 44  # rls2009 NDRPDR iter env 6
1018     vpp-performance-changes-2n-skx-cmp:
1019       csit-vpp-perf-report-iterative-2101-2n-skx:
1020         - 63  # rls2101.rel NDRPDR iter env 6
1021         - 69  # rls2101.rel NDRPDR iter env 6
1022         - 70  # rls2101.rel NDRPDR iter env 6
1023         - 75  # rls2101.rel NDRPDR iter env 6
1024         - 76  # rls2101.rel NDRPDR iter env 6
1025         - 77  # rls2101.rel NDRPDR iter env 6
1026         - 82  # rls2101.rel NDRPDR iter env 6
1027         - 85  # rls2101.rel NDRPDR iter env 6
1028         - 86  # rls2101.rel NDRPDR iter env 6
1029         - 94  # rls2101.rel NDRPDR iter env 6
1030         - 89  # rls2101.rel NDRPDR iter RND env 6
1031         - 90  # rls2101.rel NDRPDR iter RND env 6
1032         - 91  # rls2101.rel NDRPDR iter RND env 6
1033         - 92  # rls2101.rel NDRPDR iter RND env 6
1034         - 93  # rls2101.rel NDRPDR iter RND env 6
1035         - 96  # rls2101.rel NDRPDR iter RND env 6
1036         - 98  # rls2101.rel NDRPDR iter RND env 6
1037         - 99  # rls2101.rel NDRPDR iter RND env 6
1038         - 101 # rls2101.rel NDRPDR iter RND env 6
1039         - 102 # rls2101.rel NDRPDR iter RND env 6
1040
1041     vpp-performance-changes-2n-clx-h1:
1042       csit-vpp-perf-report-iterative-2009-2n-clx:
1043         - 13  # rls2005 NDRPDR iter env 5
1044         - 15  # rls2005 NDRPDR iter env 5
1045         - 17  # rls2005 NDRPDR iter env 5
1046         - 18  # rls2005 NDRPDR iter env 5
1047         - 19  # rls2005 NDRPDR iter env 5
1048         - 20  # rls2005 NDRPDR iter env 5
1049         - 21  # rls2005 NDRPDR iter env 5
1050         - 22  # rls2005 NDRPDR iter env 5
1051         - 23  # rls2005 NDRPDR iter env 5
1052         - 24  # rls2005 NDRPDR iter env 5
1053     vpp-performance-changes-2n-clx-ref-env-old:
1054       csit-vpp-perf-report-iterative-2009-2n-clx:
1055         - 36  # rls2009 NDRPDR iter env 5
1056         - 39  # rls2009 NDRPDR iter env 5
1057         - 40  # rls2009 NDRPDR iter env 5
1058         - 65  # rls2009 NDRPDR iter env 5
1059         - 66  # rls2009 NDRPDR iter env 5
1060         - 79  # rls2009 NDRPDR iter env 5
1061         - 82  # rls2009 NDRPDR iter env 5
1062         - 88  # rls2009 NDRPDR iter env 5
1063         - 89  # rls2009 NDRPDR iter env 5
1064         - 90  # rls2009 NDRPDR iter env 5
1065         - 114 # rls2009 NDRPDR iter NAT44 env 5
1066         - 115 # rls2009 NDRPDR iter NAT44 env 5
1067         - 116 # rls2009 NDRPDR iter NAT44 env 5
1068         - 117 # rls2009 NDRPDR iter NAT44 env 5
1069         - 118 # rls2009 NDRPDR iter NAT44 env 5
1070         - 119 # rls2009 NDRPDR iter NAT44 env 5
1071         - 121 # rls2009 NDRPDR iter NAT44 env 5
1072         - 122 # rls2009 NDRPDR iter NAT44 env 5
1073         - 123 # rls2009 NDRPDR iter NAT44 env 5
1074         - 126 # rls2009 NDRPDR iter NAT44 env 5
1075     vpp-performance-changes-2n-clx-ref-env-new:
1076       csit-vpp-perf-report-iterative-2101-2n-clx:
1077         - 16  # rls2009 NDRPDR iter env 6
1078         - 17  # rls2009 NDRPDR iter env 6
1079         - 18  # rls2009 NDRPDR iter env 6
1080         - 19  # rls2009 NDRPDR iter env 6
1081         - 20  # rls2009 NDRPDR iter env 6
1082         - 21  # rls2009 NDRPDR iter env 6
1083         - 32  # rls2009 NDRPDR iter env 6
1084         - 33  # rls2009 NDRPDR iter env 6
1085         - 34  # rls2009 NDRPDR iter env 6
1086         - 35  # rls2009 NDRPDR iter env 6
1087     vpp-performance-changes-2n-clx-cmp:
1088       csit-vpp-perf-report-iterative-2101-2n-clx:
1089         - 54  # rls2101.rel NDRPDR iter env 6
1090         - 59  # rls2101.rel NDRPDR iter env 6
1091         - 60  # rls2101.rel NDRPDR iter env 6
1092         - 63  # rls2101.rel NDRPDR iter env 6
1093         - 66  # rls2101.rel NDRPDR iter env 6
1094         - 68  # rls2101.rel NDRPDR iter env 6
1095         - 73  # rls2101.rel NDRPDR iter env 6
1096         - 75  # rls2101.rel NDRPDR iter env 6
1097         - 86  # rls2101.rel NDRPDR iter env 6
1098         - 87  # rls2101.rel NDRPDR iter RND env 6
1099         - 91  # rls2101.rel NDRPDR iter RND env 6
1100         - 93  # rls2101.rel NDRPDR iter RND env 6
1101         - 94  # rls2101.rel NDRPDR iter RND env 6
1102         - 100 # rls2101.rel NDRPDR iter RND env 6
1103
1104     vpp-performance-changes-2n-zn2-ref-env-old:
1105       csit-vpp-perf-report-iterative-2009-2n-zn2:
1106         - 17  # rls2009 NDRPDR iter env 5
1107         - 18  # rls2009 NDRPDR iter env 5
1108         - 31  # rls2009 NDRPDR iter env 5
1109         - 33  # rls2009 NDRPDR iter env 5
1110         - 34  # rls2009 NDRPDR iter env 5
1111     vpp-performance-changes-2n-zn2-ref-env-new:
1112       csit-vpp-perf-report-iterative-2101-2n-zn2:
1113         - 9   # rls2009 NDRPDR iter env 6
1114         - 10  # rls2009 NDRPDR iter env 6
1115         - 11  # rls2009 NDRPDR iter env 6
1116         - 12  # rls2009 NDRPDR iter env 6
1117         - 13  # rls2009 NDRPDR iter env 6
1118         - 20  # rls2009 NDRPDR iter env 6
1119         - 21  # rls2009 NDRPDR iter env 6
1120         - 22  # rls2009 NDRPDR iter env 6
1121         - 25  # rls2009 NDRPDR iter env 6
1122         - 26  # rls2009 NDRPDR iter env 6
1123     vpp-performance-changes-2n-zn2-cmp:
1124       csit-vpp-perf-report-iterative-2101-2n-zn2:
1125         - 31  # rls2101.rel NDRPDR iter env 6
1126         - 32  # rls2101.rel NDRPDR iter env 6
1127         - 33  # rls2101.rel NDRPDR iter env 6
1128         - 34  # rls2101.rel NDRPDR iter env 6
1129         - 35  # rls2101.rel NDRPDR iter env 6
1130         - 36  # rls2101.rel NDRPDR iter env 6
1131         - 37  # rls2101.rel NDRPDR iter env 6
1132         - 38  # rls2101.rel NDRPDR iter env 6
1133         - 40  # rls2101.rel NDRPDR iter RND env 6
1134         - 41  # rls2101.rel NDRPDR iter RND env 6
1135         - 42  # rls2101.rel NDRPDR iter RND env 6
1136         - 43  # rls2101.rel NDRPDR iter RND env 6
1137         - 45  # rls2101.rel NDRPDR iter RND env 6
1138         - 48  # rls2101.rel NDRPDR iter RND env 6
1139         - 50  # rls2101.rel NDRPDR iter RND env 6
1140
1141     vpp-performance-changes-2n-dnv-h1:
1142       csit-vpp-perf-report-iterative-2009-2n-dnv:
1143         - 16  # rls2005 NDRPDR iter env 5
1144         - 17  # rls2005 NDRPDR iter env 5
1145         - 18  # rls2005 NDRPDR iter env 5
1146         - 19  # rls2005 NDRPDR iter env 5
1147         - 21  # rls2005 NDRPDR iter env 5
1148         - 24  # rls2005 NDRPDR iter env 5
1149         - 27  # rls2005 NDRPDR iter env 5
1150         - 28  # rls2005 NDRPDR iter env 5
1151         - 29  # rls2005 NDRPDR iter env 5
1152         - 30  # rls2005 NDRPDR iter env 5
1153     vpp-performance-changes-2n-dnv-ref-env-old:
1154       csit-vpp-perf-report-iterative-2009-2n-dnv:
1155         - 3   # rls2009 NDRPDR iter env 5
1156         - 5   # rls2009 NDRPDR iter env 5
1157         - 6   # rls2009 NDRPDR iter env 5
1158         - 7   # rls2009 NDRPDR iter env 5
1159         - 9   # rls2009 NDRPDR iter env 5
1160         - 10  # rls2009 NDRPDR iter env 5
1161         - 11  # rls2009 NDRPDR iter env 5
1162         - 12  # rls2009 NDRPDR iter env 5
1163         - 14  # rls2009 NDRPDR iter env 5
1164         - 15  # rls2009 NDRPDR iter env 5
1165     vpp-performance-changes-2n-dnv-ref-env-new:
1166       # TODO: Re-test in new env
1167       csit-vpp-perf-report-iterative-2009-2n-dnv:
1168         - 3   # rls2009 NDRPDR iter env 5
1169         - 5   # rls2009 NDRPDR iter env 5
1170         - 6   # rls2009 NDRPDR iter env 5
1171         - 7   # rls2009 NDRPDR iter env 5
1172         - 9   # rls2009 NDRPDR iter env 5
1173         - 10  # rls2009 NDRPDR iter env 5
1174         - 11  # rls2009 NDRPDR iter env 5
1175         - 12  # rls2009 NDRPDR iter env 5
1176         - 14  # rls2009 NDRPDR iter env 5
1177         - 15  # rls2009 NDRPDR iter env 5
1178     vpp-performance-changes-2n-dnv-cmp:
1179       csit-vpp-perf-report-iterative-2101-2n-dnv:
1180         - 32  # rls2101.rel NDRPDR iter env 6
1181         - 33  # rls2101.rel NDRPDR iter env 6
1182         - 34  # rls2101.rel NDRPDR iter env 6
1183         - 35  # rls2101.rel NDRPDR iter env 6
1184         - 39  # rls2101.rel NDRPDR iter env 6
1185         - 41  # rls2101.rel NDRPDR iter env 6
1186         - 42  # rls2101.rel NDRPDR iter env 6
1187         - 43  # rls2101.rel NDRPDR iter env 6
1188         - 44  # rls2101.rel NDRPDR iter env 6
1189         - 45  # rls2101.rel NDRPDR iter env 6
1190         - 46  # rls2101.rel NDRPDR iter RND env 6
1191         - 47  # rls2101.rel NDRPDR iter RND env 6
1192         - 48  # rls2101.rel NDRPDR iter RND env 6
1193         - 49  # rls2101.rel NDRPDR iter RND env 6
1194         - 50  # rls2101.rel NDRPDR iter RND env 6
1195         - 51  # rls2101.rel NDRPDR iter RND env 6
1196         - 52  # rls2101.rel NDRPDR iter RND env 6
1197         - 53  # rls2101.rel NDRPDR iter RND env 6
1198         - 54  # rls2101.rel NDRPDR iter RND env 6
1199         - 55  # rls2101.rel NDRPDR iter RND env 6
1200
1201     vpp-performance-changes-3n-dnv-h1:
1202       csit-vpp-perf-report-iterative-2009-3n-dnv:
1203         - 16  # rls2005 NDRPDR iter env 5
1204         - 23  # rls2005 NDRPDR iter env 5
1205         - 25  # rls2005 NDRPDR iter env 5
1206         - 26  # rls2005 NDRPDR iter env 5
1207         - 27  # rls2005 NDRPDR iter env 5
1208         - 28  # rls2005 NDRPDR iter env 5
1209         - 29  # rls2005 NDRPDR iter env 5
1210         - 30  # rls2005 NDRPDR iter env 5
1211         - 31  # rls2005 NDRPDR iter env 5
1212         - 32  # rls2005 NDRPDR iter env 5
1213     vpp-performance-changes-3n-dnv-ref-env-old:
1214       csit-vpp-perf-report-iterative-2009-3n-dnv:
1215         - 3   # rls2009 NDRPDR iter env 5
1216         - 6   # rls2009 NDRPDR iter env 5
1217         - 7   # rls2009 NDRPDR iter env 5
1218         - 8   # rls2009 NDRPDR iter env 5
1219         - 10  # rls2009 NDRPDR iter env 5
1220         - 11  # rls2009 NDRPDR iter env 5
1221         - 12  # rls2009 NDRPDR iter env 5
1222         - 14  # rls2009 NDRPDR iter env 5
1223         - 15  # rls2009 NDRPDR iter env 5
1224         - 24  # rls2009 NDRPDR iter env 5
1225     vpp-performance-changes-3n-dnv-ref-env-new:
1226       # TODO: Re-test in new env
1227       csit-vpp-perf-report-iterative-2009-3n-dnv:
1228         - 3   # rls2009 NDRPDR iter env 5
1229         - 6   # rls2009 NDRPDR iter env 5
1230         - 7   # rls2009 NDRPDR iter env 5
1231         - 8   # rls2009 NDRPDR iter env 5
1232         - 10  # rls2009 NDRPDR iter env 5
1233         - 11  # rls2009 NDRPDR iter env 5
1234         - 12  # rls2009 NDRPDR iter env 5
1235         - 14  # rls2009 NDRPDR iter env 5
1236         - 15  # rls2009 NDRPDR iter env 5
1237         - 24  # rls2009 NDRPDR iter env 5
1238     vpp-performance-changes-3n-dnv-cmp:
1239       csit-vpp-perf-report-iterative-2101-3n-dnv:
1240         - 33  # rls2101.rel NDRPDR iter env 6
1241         - 34  # rls2101.rel NDRPDR iter env 6
1242         - 35  # rls2101.rel NDRPDR iter env 6
1243         - 36  # rls2101.rel NDRPDR iter env 6
1244         - 37  # rls2101.rel NDRPDR iter env 6
1245         - 38  # rls2101.rel NDRPDR iter env 6
1246         - 39  # rls2101.rel NDRPDR iter env 6
1247         - 40  # rls2101.rel NDRPDR iter env 6
1248         - 41  # rls2101.rel NDRPDR iter env 6
1249         - 42  # rls2101.rel NDRPDR iter env 6
1250         - 43  # rls2101.rel NDRPDR iter RND env 6
1251         - 44  # rls2101.rel NDRPDR iter RND env 6
1252         - 45  # rls2101.rel NDRPDR iter RND env 6
1253         - 46  # rls2101.rel NDRPDR iter RND env 6
1254         - 47  # rls2101.rel NDRPDR iter RND env 6
1255         - 48  # rls2101.rel NDRPDR iter RND env 6
1256         - 49  # rls2101.rel NDRPDR iter RND env 6
1257         - 50  # rls2101.rel NDRPDR iter RND env 6
1258         - 51  # rls2101.rel NDRPDR iter RND env 6
1259         - 52  # rls2101.rel NDRPDR iter RND env 6
1260
1261     vpp-performance-changes-3n-tsh-h1:
1262       csit-vpp-perf-report-iterative-2009-3n-tsh:
1263         - 8   # rls2005 NDRPDR iter env 5
1264         - 11  # rls2005 NDRPDR iter env 5
1265         - 12  # rls2005 NDRPDR iter env 5
1266         - 24  # rls2005 NDRPDR iter env 5
1267         - 27  # rls2005 NDRPDR iter env 5
1268         - 29  # rls2005 NDRPDR iter env 5
1269         - 31  # rls2005 NDRPDR iter env 5
1270         - 39  # rls2005 NDRPDR iter env 5
1271         - 40  # rls2005 NDRPDR iter env 5
1272         - 42  # rls2005 NDRPDR iter env 5
1273     vpp-performance-changes-3n-tsh-ref-env-old:
1274       csit-vpp-perf-report-iterative-2009-3n-tsh:
1275         - 14  # rls2009 NDRPDR iter env 5
1276         - 20  # rls2009 NDRPDR iter env 5
1277         - 21  # rls2009 NDRPDR iter env 5
1278         - 22  # rls2009 NDRPDR iter env 5
1279         - 23  # rls2009 NDRPDR iter env 5
1280         - 28  # rls2009 NDRPDR iter env 5
1281         - 30  # rls2009 NDRPDR iter env 5
1282         - 33  # rls2009 NDRPDR iter env 5
1283         - 38  # rls2009 NDRPDR iter env 5
1284         - 41  # rls2009 NDRPDR iter env 5
1285     vpp-performance-changes-3n-tsh-ref-env-new:
1286       csit-vpp-perf-report-iterative-2101-3n-tsh:
1287         - 8   # rls2009 NDRPDR iter env 6
1288         - 13  # rls2009 NDRPDR iter env 6
1289         - 14  # rls2009 NDRPDR iter env 6
1290         - 15  # rls2009 NDRPDR iter env 6
1291         - 16  # rls2009 NDRPDR iter env 6
1292         - 17  # rls2009 NDRPDR iter env 6
1293         - 18  # rls2009 NDRPDR iter env 6
1294         - 19  # rls2009 NDRPDR iter env 6
1295         - 21  # rls2009 NDRPDR iter env 6
1296     vpp-performance-changes-3n-tsh-cmp:
1297       csit-vpp-perf-report-iterative-2101-3n-tsh:
1298         - 23  # rls2101.rel NDRPDR iter env 6
1299         - 24  # rls2101.rel NDRPDR iter env 6
1300         - 25  # rls2101.rel NDRPDR iter env 6
1301         - 26  # rls2101.rel NDRPDR iter env 6
1302         - 27  # rls2101.rel NDRPDR iter env 6
1303         - 28  # rls2101.rel NDRPDR iter env 6
1304         - 29  # rls2101.rel NDRPDR iter env 6
1305
1306 #     vpp-performance-changes-2n-tx2-h1:
1307 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1308 #         -
1309 #     vpp-performance-changes-2n-tx2-ref-env-old:
1310 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1311 #         -
1312     vpp-performance-changes-2n-tx2-ref-env-new:
1313       csit-vpp-perf-report-iterative-2101-2n-tx2:
1314         - 6   # rls2009 NDRPDR iter env 6
1315         - 7   # rls2009 NDRPDR iter env 6
1316         - 11  # rls2009 NDRPDR iter env 6
1317         - 12  # rls2009 NDRPDR iter env 6
1318         - 13  # rls2009 NDRPDR iter env 6
1319         - 16  # rls2009 NDRPDR iter env 6
1320         - 17  # rls2009 NDRPDR iter env 6
1321         - 18  # rls2009 NDRPDR iter env 6
1322         - 19  # rls2009 NDRPDR iter env 6
1323         - 20  # rls2009 NDRPDR iter env 6
1324     vpp-performance-changes-2n-tx2-cmp:
1325       csit-vpp-perf-report-iterative-2101-2n-tx2:
1326         - 22  # rls2101.rel NDRPDR iter env 6
1327         - 23  # rls2101.rel NDRPDR iter env 6
1328         - 24  # rls2101.rel NDRPDR iter env 6
1329         - 25  # rls2101.rel NDRPDR iter env 6
1330         - 26  # rls2101.rel NDRPDR iter env 6
1331         - 27  # rls2101.rel NDRPDR iter env 6
1332         - 28  # rls2101.rel NDRPDR iter env 6
1333         - 29  # rls2101.rel NDRPDR iter env 6
1334         - 30  # rls2101.rel NDRPDR iter env 6
1335         - 31  # rls2101.rel NDRPDR iter env 6
1336
1337     vpp-soak-vs-ndr-2n-skx-ref:
1338       csit-vpp-perf-report-iterative-2101-2n-skx:
1339         - 63  # rls2101.rel NDRPDR iter env 6
1340         - 69  # rls2101.rel NDRPDR iter env 6
1341         - 70  # rls2101.rel NDRPDR iter env 6
1342         - 75  # rls2101.rel NDRPDR iter env 6
1343         - 76  # rls2101.rel NDRPDR iter env 6
1344         - 77  # rls2101.rel NDRPDR iter env 6
1345         - 82  # rls2101.rel NDRPDR iter env 6
1346         - 85  # rls2101.rel NDRPDR iter env 6
1347         - 86  # rls2101.rel NDRPDR iter env 6
1348         - 94  # rls2101.rel NDRPDR iter env 6
1349     vpp-soak-vs-ndr-2n-skx-cmp:
1350       csit-vpp-perf-report-iterative-2101-2n-skx:
1351         - 68  # rls2101.rel soak env 6
1352         - 73  # rls2101.rel soak env 6
1353     vpp-soak-vs-ndr-2n-skx:
1354       csit-vpp-perf-report-iterative-2101-2n-skx:
1355         - 63  # rls2101.rel NDRPDR iter env 6
1356         - 69  # rls2101.rel NDRPDR iter env 6
1357         - 70  # rls2101.rel NDRPDR iter env 6
1358         - 75  # rls2101.rel NDRPDR iter env 6
1359         - 76  # rls2101.rel NDRPDR iter env 6
1360         - 77  # rls2101.rel NDRPDR iter env 6
1361         - 82  # rls2101.rel NDRPDR iter env 6
1362         - 85  # rls2101.rel NDRPDR iter env 6
1363         - 86  # rls2101.rel NDRPDR iter env 6
1364         - 94  # rls2101.rel NDRPDR iter env 6
1365         - 68  # rls2101.rel soak env 6
1366         - 73  # rls2101.rel soak env 6
1367
1368     vpp-soak-vs-ndr-2n-clx-ref:
1369       csit-vpp-perf-report-iterative-2101-2n-clx:
1370         - 54  # rls2101.rel NDRPDR iter env 6
1371         - 59  # rls2101.rel NDRPDR iter env 6
1372         - 60  # rls2101.rel NDRPDR iter env 6
1373         - 63  # rls2101.rel NDRPDR iter env 6
1374         - 66  # rls2101.rel NDRPDR iter env 6
1375         - 68  # rls2101.rel NDRPDR iter env 6
1376         - 73  # rls2101.rel NDRPDR iter env 6
1377         - 75  # rls2101.rel NDRPDR iter env 6
1378         - 86  # rls2101.rel NDRPDR iter env 6
1379     vpp-soak-vs-ndr-2n-clx-cmp:
1380       csit-vpp-perf-report-iterative-2101-2n-clx:
1381         - 58  # rls2101.rel soak env 6
1382         - 61  # rls2101.rel soak env 6
1383     vpp-soak-vs-ndr-2n-clx:
1384       csit-vpp-perf-report-iterative-2101-2n-clx:
1385         - 54  # rls2101.rel NDRPDR iter env 6
1386         - 59  # rls2101.rel NDRPDR iter env 6
1387         - 60  # rls2101.rel NDRPDR iter env 6
1388         - 63  # rls2101.rel NDRPDR iter env 6
1389         - 66  # rls2101.rel NDRPDR iter env 6
1390         - 68  # rls2101.rel NDRPDR iter env 6
1391         - 73  # rls2101.rel NDRPDR iter env 6
1392         - 75  # rls2101.rel NDRPDR iter env 6
1393         - 86  # rls2101.rel NDRPDR iter env 6
1394         - 58  # rls2101.rel soak env 6
1395         - 61  # rls2101.rel soak env 6
1396
1397     vpp-performance-changes-3n-hsw-mrr-h1:
1398       csit-vpp-perf-report-iterative-2009-3n-hsw:
1399         - 18  # rls2005 MRR iter env 5
1400     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1401       csit-vpp-perf-report-iterative-2009-3n-hsw:
1402         - 23  # rls2009 MRR iter env 5
1403     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1404       csit-vpp-perf-report-iterative-2101-3n-hsw:
1405         - 17  # rls2009 MRR iter env 6
1406     vpp-performance-changes-3n-hsw-mrr-cmp:
1407       csit-vpp-perf-report-iterative-2101-3n-hsw:
1408         - 63  # rls2101.rel MRR iter env 6
1409
1410     vpp-performance-changes-3n-skx-mrr-h1:
1411       csit-vpp-perf-report-iterative-2009-3n-skx:
1412         - 17  # rls2005 MRR iter env 5
1413     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1414       csit-vpp-perf-report-iterative-2009-3n-skx:
1415         - 24  # rls2009 MRR iter env 5
1416     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1417       csit-vpp-perf-report-iterative-2101-3n-skx:
1418         - 34  # rls2009 MRR iter env 6
1419     vpp-performance-changes-3n-skx-mrr-cmp:
1420       csit-vpp-perf-report-iterative-2101-3n-skx:
1421         - 35  # rls2101.rel MRR iter env 6
1422
1423     vpp-performance-changes-2n-skx-mrr-h1:
1424       csit-vpp-perf-report-iterative-2009-2n-skx:
1425         - 20  # rls2005 MRR iter env 5
1426     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1427       csit-vpp-perf-report-iterative-2009-2n-skx:
1428         - 120 # rls2009 MRR iter env 5
1429     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1430       csit-vpp-perf-report-iterative-2101-2n-skx:
1431         - 21  # rls2009 MRR iter env 6
1432     vpp-performance-changes-2n-skx-mrr-cmp:
1433       csit-vpp-perf-report-iterative-2101-2n-skx:
1434         - 62  # rls2101.rel MRR iter env 6
1435
1436     vpp-performance-changes-2n-clx-mrr-h1:
1437       csit-vpp-perf-report-iterative-2009-2n-clx:
1438         - 77  # rls2005 MRR iter env 5
1439     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1440       csit-vpp-perf-report-iterative-2009-2n-clx:
1441         - 125 # rls2009 MRR iter env 5
1442     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1443       csit-vpp-perf-report-iterative-2101-2n-clx:
1444         - 15  # rls2009 MRR iter env 6
1445     vpp-performance-changes-2n-clx-mrr-cmp:
1446       csit-vpp-perf-report-iterative-2101-2n-clx:
1447         - 53  # rls2101.rel MRR iter env 6
1448
1449     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1450       csit-vpp-perf-report-iterative-2009-2n-zn2:
1451         - 15  # rls2009 MRR iter env 5
1452     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1453       csit-vpp-perf-report-iterative-2101-2n-zn2:
1454         - 8   # rls2009 MRR iter env6
1455     vpp-performance-changes-2n-zn2-mrr-cmp:
1456       csit-vpp-perf-report-iterative-2101-2n-zn2:
1457         - 30  # rls2101.rel MRR iter env 6
1458
1459     vpp-performance-changes-2n-dnv-mrr-h1:
1460       csit-vpp-perf-report-iterative-2009-2n-dnv:
1461         - 23  # rls2005 MRR iter env 5
1462     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1463       csit-vpp-perf-report-iterative-2009-2n-dnv:
1464         - 13  # rls2009 MRR iter env 5
1465     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1466       # TODO: Re-test in new env
1467       csit-vpp-perf-report-iterative-2009-2n-dnv:
1468         - 13  # rls2009 MRR iter env 5
1469     vpp-performance-changes-2n-dnv-mrr-cmp:
1470       csit-vpp-perf-report-iterative-2101-2n-dnv:
1471         - 31  # rls2101.rel MRR iter env 6
1472
1473     vpp-performance-changes-3n-dnv-mrr-h1:
1474       csit-vpp-perf-report-iterative-2009-3n-dnv:
1475         - 19  # rls2005 MRR iter env 5
1476     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1477       csit-vpp-perf-report-iterative-2009-3n-dnv:
1478         - 22  # rls2009 MRR iter env 5
1479     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1480       # TODO: Re-test in new env
1481       csit-vpp-perf-report-iterative-2009-3n-dnv:
1482         - 22  # rls2009 MRR iter env 5
1483     vpp-performance-changes-3n-dnv-mrr-cmp:
1484       csit-vpp-perf-report-iterative-2101-3n-dnv:
1485         - 32  # rls2101.rel MRR iter env 6
1486
1487     vpp-performance-changes-3n-tsh-mrr-h1:
1488       csit-vpp-perf-report-iterative-2009-3n-tsh:
1489         - 13  # rls2005 MRR iter env 5
1490     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1491       csit-vpp-perf-report-iterative-2009-3n-tsh:
1492         - 15  # rls2009 MRR iter env 5
1493     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1494       csit-vpp-perf-report-iterative-2101-3n-tsh:
1495         - 7   # rls2009 MRR iter env 6
1496     vpp-performance-changes-3n-tsh-mrr-cmp:
1497       csit-vpp-perf-report-iterative-2101-3n-tsh:
1498         - 22  # rls2101.rel MRR iter env 6
1499
1500 #     vpp-performance-changes-2n-tx2-mrr-h1:
1501 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1502 #         -
1503 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1504 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1505 #         -
1506     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1507       csit-vpp-perf-report-iterative-2101-2n-tx2:
1508         - 5   # rls2009 MRR iter env 6
1509     vpp-performance-changes-2n-tx2-mrr-cmp:
1510       csit-vpp-perf-report-iterative-2101-2n-tx2:
1511         - 21  # rls2101.rel MRR iter env 6
1512
1513     dpdk-performance-changes-3n-hsw-h1:
1514       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1515         - 25  # NDRPDR iter
1516         - 26  # NDRPDR iter
1517         - 27  # NDRPDR iter
1518         - 28  # NDRPDR iter
1519         - 29  # NDRPDR iter
1520         - 30  # NDRPDR iter
1521         - 31  # NDRPDR iter
1522         - 32  # NDRPDR iter
1523         - 33  # NDRPDR iter
1524         - 34  # NDRPDR iter
1525     dpdk-performance-changes-3n-hsw-ref:
1526       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1527         - 6   # NDRPDR iter env5
1528         - 7   # NDRPDR iter env5
1529         - 8   # NDRPDR iter env5
1530         - 9   # NDRPDR iter env5
1531         - 10  # NDRPDR iter env5
1532         - 11  # NDRPDR iter env5
1533         - 12  # NDRPDR iter env5
1534         - 13  # NDRPDR iter env5
1535         - 14  # NDRPDR iter env5
1536         - 15  # NDRPDR iter env5
1537     dpdk-performance-changes-3n-hsw-cmp:
1538       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1539         - 11  # rls2101 NDRPDR iter env 6
1540         - 12  # rls2101 NDRPDR iter env 6
1541         - 13  # rls2101 NDRPDR iter env 6
1542         - 14  # rls2101 NDRPDR iter env 6
1543         - 16  # rls2101 NDRPDR iter env 6
1544         - 17  # rls2101 NDRPDR iter env 6
1545         - 18  # rls2101 NDRPDR iter env 6
1546         - 19  # rls2101 NDRPDR iter env 6
1547         - 20  # rls2101 NDRPDR iter env 6
1548         - 21  # rls2101 NDRPDR iter env 6
1549
1550     dpdk-performance-changes-3n-skx-h1:
1551       csit-dpdk-perf-report-iterative-2005-3n-skx:
1552         - 28  # NDRPDR iter
1553         - 29  # NDRPDR iter
1554         - 30  # NDRPDR iter
1555         - 31  # NDRPDR iter
1556         - 32  # NDRPDR iter
1557         - 33  # NDRPDR iter
1558         - 34  # NDRPDR iter
1559         - 35  # NDRPDR iter
1560         - 36  # NDRPDR iter
1561         - 37  # NDRPDR iter
1562     dpdk-performance-changes-3n-skx-ref:
1563       csit-dpdk-perf-report-iterative-2009-3n-skx:
1564         - 4   # NDRPDR sel env5
1565         - 5   # NDRPDR sel env5
1566         - 6   # NDRPDR sel env5
1567         - 7   # NDRPDR sel env5
1568         - 8   # NDRPDR sel env5
1569         - 9   # NDRPDR sel env5
1570         - 14  # NDRPDR sel env5
1571         - 11  # NDRPDR sel env5
1572         - 12  # NDRPDR sel env5
1573         - 13  # NDRPDR sel env5
1574     dpdk-performance-changes-3n-skx-cmp:
1575       csit-dpdk-perf-report-iterative-2101-3n-skx:
1576         - 12  # rls2101 NDRPDR iter env 6
1577         - 14  # rls2101 NDRPDR iter env 6
1578         - 15  # rls2101 NDRPDR iter env 6
1579         - 17  # rls2101 NDRPDR iter env 6
1580         - 19  # rls2101 NDRPDR iter env 6
1581         - 20  # rls2101 NDRPDR iter env 6
1582         - 21  # rls2101 NDRPDR iter env 6
1583         - 22  # rls2101 NDRPDR iter env 6
1584         - 25  # rls2101 NDRPDR iter env 6
1585         - 26  # rls2101 NDRPDR iter env 6
1586
1587     dpdk-performance-changes-2n-skx-h1:
1588       csit-dpdk-perf-report-iterative-2005-2n-skx:
1589         - 20  # NDRPDR iter
1590         - 21  # NDRPDR iter
1591         - 22  # NDRPDR iter
1592         - 23  # NDRPDR iter
1593         - 24  # NDRPDR iter
1594         - 25  # NDRPDR iter
1595         - 26  # NDRPDR iter
1596         - 27  # NDRPDR iter
1597         - 28  # NDRPDR iter
1598         - 29  # NDRPDR iter
1599     dpdk-performance-changes-2n-skx-ref:
1600       csit-dpdk-perf-report-iterative-2009-2n-skx:
1601         - 4   # NDRPDR iter env5
1602         - 5   # NDRPDR iter env5
1603         - 6   # NDRPDR iter env5
1604         - 7   # NDRPDR iter env5
1605         - 8   # NDRPDR iter env5
1606         - 9   # NDRPDR iter env5
1607         - 10  # NDRPDR iter env5
1608         - 11  # NDRPDR iter env5
1609         - 12  # NDRPDR iter env5
1610         - 13  # NDRPDR iter env5
1611     dpdk-performance-changes-2n-skx-cmp:
1612       csit-dpdk-perf-report-iterative-2101-2n-skx:
1613         - 11  # rls2101 NDRPDR iter env 6
1614         - 12  # rls2101 NDRPDR iter env 6
1615         - 13  # rls2101 NDRPDR iter env 6
1616         - 14  # rls2101 NDRPDR iter env 6
1617         - 15  # rls2101 NDRPDR iter env 6
1618         - 17  # rls2101 NDRPDR iter env 6
1619         - 18  # rls2101 NDRPDR iter env 6
1620         - 19  # rls2101 NDRPDR iter env 6
1621         - 20  # rls2101 NDRPDR iter env 6
1622         - 21  # rls2101 NDRPDR iter env 6
1623
1624     dpdk-performance-changes-2n-clx-h1:
1625       csit-dpdk-perf-report-iterative-2005-2n-clx:
1626         - 20  # NDRPDR iter
1627         - 21  # NDRPDR iter
1628         - 22  # NDRPDR iter
1629         - 23  # NDRPDR iter
1630         - 24  # NDRPDR iter
1631         - 25  # NDRPDR iter
1632         - 26  # NDRPDR iter
1633         - 27  # NDRPDR iter
1634         - 28  # NDRPDR iter
1635         - 29  # NDRPDR iter
1636     dpdk-performance-changes-2n-clx-ref:
1637       csit-dpdk-perf-report-iterative-2009-2n-clx:
1638         - 4   # NDRPDR iter env5
1639         - 5   # NDRPDR iter env5
1640         - 6   # NDRPDR iter env5
1641         - 7   # NDRPDR iter env5
1642         - 8   # NDRPDR iter env5
1643         - 9   # NDRPDR iter env5
1644         - 10  # NDRPDR iter env5
1645         - 11  # NDRPDR iter env5
1646         - 12  # NDRPDR iter env5
1647         - 13  # NDRPDR iter env5
1648     dpdk-performance-changes-2n-clx-cmp:
1649       csit-dpdk-perf-report-iterative-2101-2n-clx:
1650         - 12  # rls2101 NDRPDR iter env 6
1651         - 13  # rls2101 NDRPDR iter env 6
1652         - 14  # rls2101 NDRPDR iter env 6
1653         - 18  # rls2101 NDRPDR iter env 6
1654         - 22  # rls2101 NDRPDR iter env 6
1655
1656     dpdk-performance-changes-2n-zn2-ref:
1657       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1658         - 16  # NDRPDR iter env5
1659         - 21  # NDRPDR iter env5
1660         - 22  # NDRPDR iter env5
1661         - 23  # NDRPDR iter env5
1662         - 24  # NDRPDR iter env5
1663         - 25  # NDRPDR iter env5
1664         - 29  # NDRPDR iter env5
1665     dpdk-performance-changes-2n-zn2-cmp:
1666       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1667         - 11  # rls2101 NDRPDR iter env 6
1668         - 12  # rls2101 NDRPDR iter env 6
1669         - 13  # rls2101 NDRPDR iter env 6
1670         - 14  # rls2101 NDRPDR iter env 6
1671         - 16  # rls2101 NDRPDR iter env 6
1672         - 17  # rls2101 NDRPDR iter env 6
1673         - 18  # rls2101 NDRPDR iter env 6
1674         - 19  # rls2101 NDRPDR iter env 6
1675         - 20  # rls2101 NDRPDR iter env 6
1676         - 21  # rls2101 NDRPDR iter env 6
1677
1678 #    dpdk-performance-changes-2n-dnv-h1:
1679 #      csit-dpdk-perf-verify-2101-2n-dnv:
1680 #        - 9   # NDRPDR sel
1681 #        - 10  # NDRPDR sel
1682 #        - 11  # NDRPDR sel
1683 #        - 12  # NDRPDR sel
1684 #        - 13  # NDRPDR sel
1685 #        - 14  # NDRPDR sel
1686 #        - 15  # NDRPDR sel
1687 #        - 16  # NDRPDR sel
1688 #        - 17  # NDRPDR sel
1689 #        - 18  # NDRPDR sel
1690 #    dpdk-performance-changes-2n-dnv-ref:
1691 #      # No data
1692 #    dpdk-performance-changes-2n-dnv-cmp:
1693 #      # No data
1694 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1695
1696 #    dpdk-performance-changes-3n-dnv-h1:
1697 #      csit-dpdk-perf-verify-2101-3n-dnv:
1698 #        - 12  # NDRPDR sel
1699 #        - 13  # NDRPDR sel
1700 #        - 14  # NDRPDR sel
1701 #        - 15  # NDRPDR sel
1702 #        - 16  # NDRPDR sel
1703 #        - 17  # NDRPDR sel
1704 #        - 18  # NDRPDR sel
1705 #        - 19  # NDRPDR sel
1706 #        - 20  # NDRPDR sel
1707 #        - 22  # NDRPDR sel
1708 #    dpdk-performance-changes-3n-dnv-ref:
1709 #      # No data
1710 #    dpdk-performance-changes-3n-dnv-cmp:
1711 #      # No data
1712 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1713
1714     dpdk-performance-changes-3n-tsh-h1:
1715       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1716         - 5   # NDRPDR sel
1717     dpdk-performance-changes-3n-tsh-ref:
1718       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1719         - 1   # NDRPDR iter env5
1720         - 2   # NDRPDR iter env5
1721         - 3   # NDRPDR iter env5
1722         - 4   # NDRPDR iter env5
1723         - 5   # NDRPDR iter env5
1724         - 6   # NDRPDR iter env5
1725         - 7   # NDRPDR iter env5
1726         - 9   # NDRPDR iter env5
1727         - 10  # NDRPDR iter env5
1728         - 11  # NDRPDR iter env5
1729     dpdk-performance-changes-3n-tsh-cmp:
1730       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1731         - 11  # rls2101 NDRPDR iter env 6
1732         - 12  # rls2101 NDRPDR iter env 6
1733         - 13  # rls2101 NDRPDR iter env 6
1734         - 14  # rls2101 NDRPDR iter env 6
1735         - 16  # rls2101 NDRPDR iter env 6
1736         - 17  # rls2101 NDRPDR iter env 6
1737         - 18  # rls2101 NDRPDR iter env 6
1738         - 19  # rls2101 NDRPDR iter env 6
1739         - 20  # rls2101 NDRPDR iter env 6
1740         - 21  # rls2101 NDRPDR iter env 6
1741
1742     # Compare testbeds
1743
1744     vpp-compare-testbeds-ref:
1745       csit-vpp-perf-report-iterative-2101-3n-hsw:
1746         - 64  # rls2101.rel NDRPDR iter env 6
1747         - 71  # rls2101.rel NDRPDR iter env 6
1748         - 73  # rls2101.rel NDRPDR iter env 6
1749         - 74  # rls2101.rel NDRPDR iter env 6
1750         - 80  # rls2101.rel NDRPDR iter env 6
1751         - 81  # rls2101.rel NDRPDR iter env 6
1752         - 82  # rls2101.rel NDRPDR iter env 6
1753         - 83  # rls2101.rel NDRPDR iter env 6
1754         - 88  # rls2101.rel NDRPDR iter env 6
1755         - 89  # rls2101.rel NDRPDR iter env 6
1756     vpp-compare-testbeds-cmp:
1757       csit-vpp-perf-report-iterative-2101-3n-skx:
1758         - 36  # rls2101.rel NDRPDR iter env 6
1759         - 37  # rls2101.rel NDRPDR iter env 6
1760         - 38  # rls2101.rel NDRPDR iter env 6
1761         - 39  # rls2101.rel NDRPDR iter env 6
1762         - 40  # rls2101.rel NDRPDR iter env 6
1763         - 41  # rls2101.rel NDRPDR iter env 6
1764         - 42  # rls2101.rel NDRPDR iter env 6
1765         - 47  # rls2101.rel NDRPDR iter env 6
1766         - 48  # rls2101.rel NDRPDR iter env 6
1767         - 50  # rls2101.rel NDRPDR iter env 6
1768
1769     vpp-compare-testbeds-skx-clx-ref:
1770       csit-vpp-perf-report-iterative-2101-2n-skx:
1771         - 63  # rls2101.rel NDRPDR iter env 6
1772         - 69  # rls2101.rel NDRPDR iter env 6
1773         - 70  # rls2101.rel NDRPDR iter env 6
1774         - 75  # rls2101.rel NDRPDR iter env 6
1775         - 76  # rls2101.rel NDRPDR iter env 6
1776         - 77  # rls2101.rel NDRPDR iter env 6
1777         - 82  # rls2101.rel NDRPDR iter env 6
1778         - 85  # rls2101.rel NDRPDR iter env 6
1779         - 86  # rls2101.rel NDRPDR iter env 6
1780         - 94  # rls2101.rel NDRPDR iter env 6
1781         - 89  # rls2101.rel NDRPDR iter RND env 6
1782         - 90  # rls2101.rel NDRPDR iter RND env 6
1783         - 91  # rls2101.rel NDRPDR iter RND env 6
1784         - 92  # rls2101.rel NDRPDR iter RND env 6
1785         - 93  # rls2101.rel NDRPDR iter RND env 6
1786         - 96  # rls2101.rel NDRPDR iter RND env 6
1787         - 98  # rls2101.rel NDRPDR iter RND env 6
1788         - 99  # rls2101.rel NDRPDR iter RND env 6
1789         - 101 # rls2101.rel NDRPDR iter RND env 6
1790         - 102 # rls2101.rel NDRPDR iter RND env 6
1791     vpp-compare-testbeds-skx-clx-cmp:
1792       csit-vpp-perf-report-iterative-2101-2n-clx:
1793         - 54  # rls2101.rel NDRPDR iter env 6
1794         - 59  # rls2101.rel NDRPDR iter env 6
1795         - 60  # rls2101.rel NDRPDR iter env 6
1796         - 63  # rls2101.rel NDRPDR iter env 6
1797         - 66  # rls2101.rel NDRPDR iter env 6
1798         - 68  # rls2101.rel NDRPDR iter env 6
1799         - 73  # rls2101.rel NDRPDR iter env 6
1800         - 75  # rls2101.rel NDRPDR iter env 6
1801         - 86  # rls2101.rel NDRPDR iter env 6
1802         - 87  # rls2101.rel NDRPDR iter RND env 6
1803         - 91  # rls2101.rel NDRPDR iter RND env 6
1804         - 93  # rls2101.rel NDRPDR iter RND env 6
1805         - 94  # rls2101.rel NDRPDR iter RND env 6
1806         - 100 # rls2101.rel NDRPDR iter RND env 6
1807
1808     vpp-compare-testbeds-hsw-clx-ref:
1809       csit-vpp-perf-report-iterative-2101-3n-hsw:
1810         - 64  # rls2101.rel NDRPDR iter env 6
1811         - 71  # rls2101.rel NDRPDR iter env 6
1812         - 73  # rls2101.rel NDRPDR iter env 6
1813         - 74  # rls2101.rel NDRPDR iter env 6
1814         - 80  # rls2101.rel NDRPDR iter env 6
1815         - 81  # rls2101.rel NDRPDR iter env 6
1816         - 82  # rls2101.rel NDRPDR iter env 6
1817         - 83  # rls2101.rel NDRPDR iter env 6
1818         - 88  # rls2101.rel NDRPDR iter env 6
1819         - 89  # rls2101.rel NDRPDR iter env 6
1820         - 128 # rls2101.rel NDRPDR iter RND env 6
1821         - 129 # rls2101.rel NDRPDR iter RND env 6
1822         - 130 # rls2101.rel NDRPDR iter RND env 6
1823         - 131 # rls2101.rel NDRPDR iter RND env 6
1824         - 132 # rls2101.rel NDRPDR iter RND env 6
1825         - 133 # rls2101.rel NDRPDR iter RND env 6
1826         - 134 # rls2101.rel NDRPDR iter RND env 6
1827         - 135 # rls2101.rel NDRPDR iter RND env 6
1828         - 136 # rls2101.rel NDRPDR iter RND env 6
1829         - 137 # rls2101.rel NDRPDR iter RND env 6
1830     vpp-compare-testbeds-hsw-clx-cmp:
1831       csit-vpp-perf-report-iterative-2101-2n-clx:
1832         - 54  # rls2101.rel NDRPDR iter env 6
1833         - 59  # rls2101.rel NDRPDR iter env 6
1834         - 60  # rls2101.rel NDRPDR iter env 6
1835         - 63  # rls2101.rel NDRPDR iter env 6
1836         - 66  # rls2101.rel NDRPDR iter env 6
1837         - 68  # rls2101.rel NDRPDR iter env 6
1838         - 73  # rls2101.rel NDRPDR iter env 6
1839         - 75  # rls2101.rel NDRPDR iter env 6
1840         - 87  # rls2101.rel NDRPDR iter RND env 6
1841         - 91  # rls2101.rel NDRPDR iter RND env 6
1842         - 93  # rls2101.rel NDRPDR iter RND env 6
1843         - 94  # rls2101.rel NDRPDR iter RND env 6
1844
1845     vpp-compare-testbeds-mrr-ref:
1846       csit-vpp-perf-report-iterative-2101-3n-hsw:
1847         - 63  # rls2101.rel MRR iter env 6
1848     vpp-compare-testbeds-mrr-cmp:
1849       csit-vpp-perf-report-iterative-2101-3n-skx:
1850         - 35  # rls2101.rel MRR iter env 6
1851
1852     vpp-compare-testbeds-mrr-skx-clx-ref:
1853       csit-vpp-perf-report-iterative-2101-2n-skx:
1854         - 62  # rls2101.rel MRR iter env 6
1855     vpp-compare-testbeds-mrr-skx-clx-cmp:
1856       csit-vpp-perf-report-iterative-2101-2n-clx:
1857         - 53  # rls2101.rel MRR iter env 6
1858
1859     vpp-compare-testbeds-mrr-hsw-clx-ref:
1860       csit-vpp-perf-report-iterative-2101-3n-hsw:
1861         - 63  # rls2101.rel MRR iter env 6
1862     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1863       csit-vpp-perf-report-iterative-2101-2n-clx:
1864         - 53  # rls2101.rel MRR iter env 6
1865
1866     dpdk-compare-testbeds-ref:
1867       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1868         - 11  # rls2101 NDRPDR iter env 6
1869         - 12  # rls2101 NDRPDR iter env 6
1870         - 13  # rls2101 NDRPDR iter env 6
1871         - 14  # rls2101 NDRPDR iter env 6
1872         - 16  # rls2101 NDRPDR iter env 6
1873         - 17  # rls2101 NDRPDR iter env 6
1874         - 18  # rls2101 NDRPDR iter env 6
1875         - 19  # rls2101 NDRPDR iter env 6
1876         - 20  # rls2101 NDRPDR iter env 6
1877         - 21  # rls2101 NDRPDR iter env 6
1878     dpdk-compare-testbeds-cmp:
1879       csit-dpdk-perf-report-iterative-2101-3n-skx:
1880         - 12  # rls2101 NDRPDR iter env 6
1881         - 14  # rls2101 NDRPDR iter env 6
1882         - 15  # rls2101 NDRPDR iter env 6
1883         - 17  # rls2101 NDRPDR iter env 6
1884         - 19  # rls2101 NDRPDR iter env 6
1885         - 20  # rls2101 NDRPDR iter env 6
1886         - 21  # rls2101 NDRPDR iter env 6
1887         - 22  # rls2101 NDRPDR iter env 6
1888         - 25  # rls2101 NDRPDR iter env 6
1889         - 26  # rls2101 NDRPDR iter env 6
1890
1891     dpdk-compare-testbeds-skx-clx-ref:
1892       csit-dpdk-perf-report-iterative-2101-2n-skx:
1893         - 11  # rls2101 NDRPDR iter env 6
1894         - 12  # rls2101 NDRPDR iter env 6
1895         - 13  # rls2101 NDRPDR iter env 6
1896         - 14  # rls2101 NDRPDR iter env 6
1897         - 15  # rls2101 NDRPDR iter env 6
1898         - 17  # rls2101 NDRPDR iter env 6
1899         - 18  # rls2101 NDRPDR iter env 6
1900         - 19  # rls2101 NDRPDR iter env 6
1901         - 20  # rls2101 NDRPDR iter env 6
1902         - 21  # rls2101 NDRPDR iter env 6
1903     dpdk-compare-testbeds-skx-clx-cmp:
1904       csit-dpdk-perf-report-iterative-2101-2n-clx:
1905         - 12  # rls2101 NDRPDR iter env 6
1906         - 13  # rls2101 NDRPDR iter env 6
1907         - 14  # rls2101 NDRPDR iter env 6
1908         - 18  # rls2101 NDRPDR iter env 6
1909         - 22  # rls2101 NDRPDR iter env 6
1910
1911     # Compare topologies
1912
1913     vpp-compare-topologies-ref:
1914       csit-vpp-perf-report-iterative-2101-3n-skx:
1915         - 36  # rls2101.rel NDRPDR iter env 6
1916         - 37  # rls2101.rel NDRPDR iter env 6
1917         - 38  # rls2101.rel NDRPDR iter env 6
1918         - 39  # rls2101.rel NDRPDR iter env 6
1919         - 40  # rls2101.rel NDRPDR iter env 6
1920         - 41  # rls2101.rel NDRPDR iter env 6
1921         - 42  # rls2101.rel NDRPDR iter env 6
1922         - 47  # rls2101.rel NDRPDR iter env 6
1923         - 48  # rls2101.rel NDRPDR iter env 6
1924         - 50  # rls2101.rel NDRPDR iter env 6
1925     vpp-compare-topologies-cmp:
1926       csit-vpp-perf-report-iterative-2101-2n-skx:
1927         - 63  # rls2101.rel NDRPDR iter env 6
1928         - 69  # rls2101.rel NDRPDR iter env 6
1929         - 70  # rls2101.rel NDRPDR iter env 6
1930         - 75  # rls2101.rel NDRPDR iter env 6
1931         - 76  # rls2101.rel NDRPDR iter env 6
1932         - 77  # rls2101.rel NDRPDR iter env 6
1933         - 82  # rls2101.rel NDRPDR iter env 6
1934         - 85  # rls2101.rel NDRPDR iter env 6
1935         - 86  # rls2101.rel NDRPDR iter env 6
1936         - 94  # rls2101.rel NDRPDR iter env 6
1937
1938     vpp-compare-topologies-mrr-ref:
1939       csit-vpp-perf-report-iterative-2101-3n-skx:
1940         - 35  # rls2101.rel MRR iter env 6
1941     vpp-compare-topologies-mrr-cmp:
1942       csit-vpp-perf-report-iterative-2101-2n-skx:
1943         - 62  # rls2101.rel MRR iter env 6
1944
1945     dpdk-compare-topologies-ref:
1946       csit-dpdk-perf-report-iterative-2101-3n-skx:
1947         - 12  # rls2101 NDRPDR iter env 6
1948         - 14  # rls2101 NDRPDR iter env 6
1949         - 15  # rls2101 NDRPDR iter env 6
1950         - 17  # rls2101 NDRPDR iter env 6
1951         - 19  # rls2101 NDRPDR iter env 6
1952         - 20  # rls2101 NDRPDR iter env 6
1953         - 21  # rls2101 NDRPDR iter env 6
1954         - 22  # rls2101 NDRPDR iter env 6
1955         - 25  # rls2101 NDRPDR iter env 6
1956         - 26  # rls2101 NDRPDR iter env 6
1957     dpdk-compare-topologies-cmp:
1958       csit-dpdk-perf-report-iterative-2101-2n-skx:
1959         - 11  # rls2101 NDRPDR iter env 6
1960         - 12  # rls2101 NDRPDR iter env 6
1961         - 13  # rls2101 NDRPDR iter env 6
1962         - 14  # rls2101 NDRPDR iter env 6
1963         - 15  # rls2101 NDRPDR iter env 6
1964         - 17  # rls2101 NDRPDR iter env 6
1965         - 18  # rls2101 NDRPDR iter env 6
1966         - 19  # rls2101 NDRPDR iter env 6
1967         - 20  # rls2101 NDRPDR iter env 6
1968         - 21  # rls2101 NDRPDR iter env 6
1969
1970   plot-layouts:
1971
1972     plot-soak-throughput:
1973       titlefont:
1974         size: 16
1975       xaxis:
1976         title: "<b>Test Cases [Index]</b>"
1977         titlefont:
1978           size: 14
1979         autorange: True
1980         fixedrange: False
1981         gridcolor: "rgb(230, 230, 230)"
1982         linecolor: "rgb(220, 220, 220)"
1983         linewidth: 1
1984         showgrid: True
1985         showline: True
1986         showticklabels: True
1987         tickcolor: "rgb(220, 220, 220)"
1988         tickmode: "linear"
1989         tickfont:
1990           size: 14
1991         zeroline: False
1992       yaxis:
1993         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1994         titlefont:
1995           size: 14
1996         gridcolor: "rgb(230, 230, 230)"
1997         hoverformat: ".4r"
1998         tickformat: ".3r"
1999         linecolor: "rgb(220, 220, 220)"
2000         linewidth: 1
2001         showgrid: True
2002         showline: True
2003         showticklabels: True
2004         tickcolor: "rgb(220, 220, 220)"
2005         tickfont:
2006           size: 14
2007         zeroline: False
2008         range: [0,50]
2009       autosize: False
2010       margin:
2011         t: 50
2012         b: 0
2013         l: 80
2014         r: 20
2015       showlegend: True
2016       legend:
2017         orientation: "h"
2018         font:
2019           size: 14
2020       width: 700
2021       height: 900
2022       paper_bgcolor: "#fff"
2023       plot_bgcolor: "#fff"
2024       hoverlabel:
2025         namelength: -1
2026
2027     plot-service-density:
2028       titlefont:
2029         size: 16
2030       xaxis:
2031         side: "top"
2032         autorange: True
2033         fixedrange: False
2034         showgrid: False
2035         showline: False
2036         showticklabels: False
2037         ticks: ""
2038         ticklen: 0
2039         tickwidth: 0
2040         zeroline: False
2041       yaxis:
2042         autorange: "reversed"
2043         showgrid: False
2044         showline: False
2045         showticklabels: False
2046         ticks: ""
2047         ticklen: 0
2048         tickwidth: 0
2049         zeroline: False
2050       showlegend: False
2051       paper_bgcolor: "#fff"
2052       plot_bgcolor: "#fff"
2053       width: 700
2054       height: 700
2055       hoverlabel:
2056         namelength: -1
2057
2058     plot-hoststack:
2059       titlefont:
2060         size: 16
2061       xaxis:
2062         title: "<b>Test Cases [Index]</b>"
2063         titlefont:
2064           size: 14
2065         autorange: True
2066         fixedrange: False
2067         gridcolor: "rgb(230, 230, 230)"
2068         linecolor: "rgb(220, 220, 220)"
2069         linewidth: 1
2070         showgrid: True
2071         showline: True
2072         showticklabels: True
2073         tickcolor: "rgb(220, 220, 220)"
2074         tickmode: "linear"
2075         tickfont:
2076           size: 14
2077         zeroline: False
2078       yaxis:
2079         title: "<b>Bandwidth [Gbps]</b>"
2080         titlefont:
2081           size: 14
2082         gridcolor: "rgb(230, 230, 230)"
2083         hoverformat: ".4s"
2084         linecolor: "rgb(220, 220, 220)"
2085         linewidth: 1
2086         rangemode: "tozero"
2087         showgrid: True
2088         showline: True
2089         showticklabels: True
2090         tickcolor: "rgb(230, 230, 230)"
2091         tickformat: ".3s"
2092         tickfont:
2093           size: 14
2094         zeroline: False
2095       autosize: False
2096       margin:
2097         t: 50
2098         b: 20
2099         l: 80
2100         r: 20
2101       showlegend: True
2102       legend:
2103         orientation: "h"
2104         font:
2105           size: 14
2106       width: 700
2107       height: 800
2108       paper_bgcolor: "#fff"
2109       plot_bgcolor: "#fff"
2110       hoverlabel:
2111         namelength: -1
2112
2113     plot-throughput:
2114       titlefont:
2115         size: 16
2116       xaxis:
2117         title: "<b>Test Cases [Index]</b>"
2118         titlefont:
2119           size: 14
2120         autorange: True
2121         fixedrange: False
2122         gridcolor: "rgb(230, 230, 230)"
2123         linecolor: "rgb(220, 220, 220)"
2124         linewidth: 1
2125         showgrid: True
2126         showline: True
2127         showticklabels: True
2128         tickcolor: "rgb(220, 220, 220)"
2129         tickmode: "linear"
2130         tickfont:
2131           size: 14
2132         zeroline: False
2133       yaxis:
2134         title: "<b>Packet Throughput [Mpps]</b>"
2135         titlefont:
2136           size: 14
2137         gridcolor: "rgb(230, 230, 230)"
2138         hoverformat: ".4r"
2139         tickformat: ".3r"
2140         linecolor: "rgb(220, 220, 220)"
2141         linewidth: 1
2142         showgrid: True
2143         showline: True
2144         showticklabels: True
2145         tickcolor: "rgb(220, 220, 220)"
2146         tickfont:
2147           size: 14
2148         zeroline: False
2149         range: [0,50]
2150       autosize: False
2151       margin:
2152         t: 50
2153         b: 0
2154         l: 80
2155         r: 20
2156       showlegend: True
2157       legend:
2158         orientation: "h"
2159         font:
2160           size: 14
2161       width: 700
2162       height: 900
2163       paper_bgcolor: "#fff"
2164       plot_bgcolor: "#fff"
2165       hoverlabel:
2166         namelength: -1
2167
2168     plot-throughput-gbps:
2169       titlefont:
2170         size: 16
2171       xaxis:
2172         title: "<b>Test Cases [Index]</b>"
2173         titlefont:
2174           size: 14
2175         autorange: True
2176         fixedrange: False
2177         gridcolor: "rgb(230, 230, 230)"
2178         linecolor: "rgb(220, 220, 220)"
2179         linewidth: 1
2180         showgrid: True
2181         showline: True
2182         showticklabels: True
2183         tickcolor: "rgb(220, 220, 220)"
2184         tickmode: "linear"
2185         tickfont:
2186           size: 14
2187         zeroline: False
2188       yaxis:
2189         title: "<b>Packet Throughput [Gbps]</b>"
2190         titlefont:
2191           size: 14
2192         gridcolor: "rgb(230, 230, 230)"
2193         hoverformat: ".4r"
2194         tickformat: ".3r"
2195         linecolor: "rgb(220, 220, 220)"
2196         linewidth: 1
2197         showgrid: True
2198         showline: True
2199         showticklabels: True
2200         tickcolor: "rgb(220, 220, 220)"
2201         tickfont:
2202           size: 14
2203         zeroline: False
2204         range: [0,10]
2205       autosize: False
2206       margin:
2207         t: 50
2208         b: 0
2209         l: 80
2210         r: 20
2211       showlegend: True
2212       legend:
2213         orientation: "h"
2214         font:
2215           size: 14
2216       width: 700
2217       height: 900
2218       paper_bgcolor: "#fff"
2219       plot_bgcolor: "#fff"
2220       hoverlabel:
2221         namelength: -1
2222
2223     plot-cps:
2224       titlefont:
2225         size: 16
2226       xaxis:
2227         title: "<b>Test Cases [Index]</b>"
2228         titlefont:
2229           size: 14
2230         autorange: True
2231         fixedrange: False
2232         gridcolor: "rgb(230, 230, 230)"
2233         linecolor: "rgb(220, 220, 220)"
2234         linewidth: 1
2235         showgrid: True
2236         showline: True
2237         showticklabels: True
2238         tickcolor: "rgb(220, 220, 220)"
2239         tickmode: "linear"
2240         tickfont:
2241           size: 14
2242         zeroline: False
2243       yaxis:
2244         title: "<b>Connection Rate [Mcps]</b>"
2245         titlefont:
2246           size: 14
2247         gridcolor: "rgb(230, 230, 230)"
2248         hoverformat: ".4r"
2249         tickformat: ".3s"
2250         linecolor: "rgb(220, 220, 220)"
2251         linewidth: 1
2252         showgrid: True
2253         showline: True
2254         showticklabels: True
2255         tickcolor: "rgb(220, 220, 220)"
2256         tickfont:
2257           size: 14
2258         zeroline: False
2259         range: [0,10]
2260       autosize: False
2261       margin:
2262         t: 50
2263         b: 0
2264         l: 80
2265         r: 20
2266       showlegend: True
2267       legend:
2268         orientation: "h"
2269         font:
2270           size: 14
2271       width: 700
2272       height: 900
2273       paper_bgcolor: "#fff"
2274       plot_bgcolor: "#fff"
2275       hoverlabel:
2276         namelength: -1
2277
2278     plot-throughput-speedup-analysis:
2279       titlefont:
2280         size: 16
2281       xaxis:
2282         title: "<b>Number of Cores [Qty]</b>"
2283         titlefont:
2284           size: 14
2285         autorange: True
2286         fixedrange: False
2287         gridcolor: "rgb(230, 230, 230)"
2288         linecolor: "rgb(220, 220, 220)"
2289         linewidth: 1
2290         showgrid: True
2291         showline: True
2292         showticklabels: True
2293         tickcolor: "rgb(238, 238, 238)"
2294         tickmode: "linear"
2295         tickfont:
2296           size: 14
2297         zeroline: False
2298       yaxis:
2299         title: "<b>Packet Throughput [Mpps]</b>"
2300         titlefont:
2301           size: 14
2302         type: "linear"
2303         gridcolor: "rgb(230, 230, 230)"
2304         hoverformat: ".4s"
2305         linecolor: "rgb(220, 220, 220)"
2306         linewidth: 1
2307         showgrid: True
2308         showline: True
2309         showticklabels: True
2310         tickcolor: "rgb(220, 220, 220)"
2311         tickformat: ".4s"
2312         tickfont:
2313           size: 14
2314         zeroline: True
2315         rangemode: "tozero"
2316         range: [0,100]
2317       legend:
2318         orientation: "h"
2319         font:
2320           size: 14
2321         xanchor: "left"
2322         yanchor: "top"
2323         x: 0
2324         y: -0.2
2325         bgcolor: "rgba(255, 255, 255, 0)"
2326         bordercolor: "rgba(255, 255, 255, 0)"
2327         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2328       autosize: False
2329       margin:
2330           't': 50
2331           'b': 150
2332           'l': 85
2333           'r': 10
2334       showlegend: True
2335       width: 700
2336       height: 700
2337       paper_bgcolor: "#fff"
2338       plot_bgcolor: "#fff"
2339       hoverlabel:
2340         namelength: -1
2341       annotations: [
2342         {
2343           text: "_ _          __          ...",
2344           align: "left",
2345           showarrow: False,
2346           xref: "paper",
2347           yref: "paper",
2348           xanchor: "left",
2349           yanchor: "top",
2350           x: 0,
2351           y: -0.14,
2352           font: {
2353             family: "Consolas, Courier New",
2354             size: 13
2355           },
2356         },
2357         {
2358           text: "    Perfect     Measured     Limit",
2359           align: "left",
2360           showarrow: False,
2361           xref: "paper",
2362           yref: "paper",
2363           xanchor: "left",
2364           yanchor: "top",
2365           x: 0,
2366           y: -0.15,
2367           font: {
2368             family: "Consolas, Courier New",
2369             size: 13
2370           },
2371         },
2372       ]
2373
2374     plot-throughput-speedup-analysis-gbps:
2375       titlefont:
2376         size: 16
2377       xaxis:
2378         title: "<b>Number of Cores [Qty]</b>"
2379         titlefont:
2380           size: 14
2381         autorange: True
2382         fixedrange: False
2383         gridcolor: "rgb(230, 230, 230)"
2384         linecolor: "rgb(220, 220, 220)"
2385         linewidth: 1
2386         showgrid: True
2387         showline: True
2388         showticklabels: True
2389         tickcolor: "rgb(238, 238, 238)"
2390         tickmode: "linear"
2391         tickfont:
2392           size: 14
2393         zeroline: False
2394       yaxis:
2395         title: "<b>Packet Throughput [Gbps]</b>"
2396         titlefont:
2397           size: 14
2398         type: "linear"
2399         gridcolor: "rgb(230, 230, 230)"
2400         hoverformat: ".4s"
2401         linecolor: "rgb(220, 220, 220)"
2402         linewidth: 1
2403         showgrid: True
2404         showline: True
2405         showticklabels: True
2406         tickcolor: "rgb(220, 220, 220)"
2407         tickformat: ".4s"
2408         tickfont:
2409           size: 14
2410         zeroline: True
2411         rangemode: "tozero"
2412         range: [0,100]
2413       legend:
2414         orientation: "h"
2415         font:
2416           size: 14
2417         xanchor: "left"
2418         yanchor: "top"
2419         x: 0
2420         y: -0.2
2421         bgcolor: "rgba(255, 255, 255, 0)"
2422         bordercolor: "rgba(255, 255, 255, 0)"
2423         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2424       autosize: False
2425       margin:
2426           't': 50
2427           'b': 150
2428           'l': 85
2429           'r': 10
2430       showlegend: True
2431       width: 700
2432       height: 700
2433       paper_bgcolor: "#fff"
2434       plot_bgcolor: "#fff"
2435       hoverlabel:
2436         namelength: -1
2437       annotations: [
2438         {
2439           text: "_ _          __",
2440           align: "left",
2441           showarrow: False,
2442           xref: "paper",
2443           yref: "paper",
2444           xanchor: "left",
2445           yanchor: "top",
2446           x: 0,
2447           y: -0.13,
2448           font: {
2449             family: "Consolas, Courier New",
2450             size: 13
2451           },
2452         },
2453         {
2454           text: "    Perfect     Measured",
2455           align: "left",
2456           showarrow: False,
2457           xref: "paper",
2458           yref: "paper",
2459           xanchor: "left",
2460           yanchor: "top",
2461           x: 0,
2462           y: -0.15,
2463           font: {
2464             family: "Consolas, Courier New",
2465             size: 13
2466           },
2467         },
2468       ]
2469
2470     plot-throughput-speedup-analysis-cps:
2471       titlefont:
2472         size: 16
2473       xaxis:
2474         title: "<b>Number of Cores [Qty]</b>"
2475         titlefont:
2476           size: 14
2477         autorange: True
2478         fixedrange: False
2479         gridcolor: "rgb(230, 230, 230)"
2480         linecolor: "rgb(220, 220, 220)"
2481         linewidth: 1
2482         showgrid: True
2483         showline: True
2484         showticklabels: True
2485         tickcolor: "rgb(238, 238, 238)"
2486         tickmode: "linear"
2487         tickfont:
2488           size: 14
2489         zeroline: False
2490       yaxis:
2491         title: "<b>Connection Rate [Mcps]</b>"
2492         titlefont:
2493           size: 14
2494         type: "linear"
2495         gridcolor: "rgb(230, 230, 230)"
2496         hoverformat: ".4s"
2497         linecolor: "rgb(220, 220, 220)"
2498         linewidth: 1
2499         showgrid: True
2500         showline: True
2501         showticklabels: True
2502         tickcolor: "rgb(220, 220, 220)"
2503         tickformat: ".4s"
2504         tickfont:
2505           size: 14
2506         zeroline: True
2507         rangemode: "tozero"
2508         range: [0,100]
2509       legend:
2510         orientation: "h"
2511         font:
2512           size: 14
2513         xanchor: "left"
2514         yanchor: "top"
2515         x: 0
2516         y: -0.2
2517         bgcolor: "rgba(255, 255, 255, 0)"
2518         bordercolor: "rgba(255, 255, 255, 0)"
2519         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2520       autosize: False
2521       margin:
2522           't': 50
2523           'b': 150
2524           'l': 85
2525           'r': 10
2526       showlegend: True
2527       width: 700
2528       height: 700
2529       paper_bgcolor: "#fff"
2530       plot_bgcolor: "#fff"
2531       hoverlabel:
2532         namelength: -1
2533       annotations: [
2534         {
2535           text: "_ _          __",
2536           align: "left",
2537           showarrow: False,
2538           xref: "paper",
2539           yref: "paper",
2540           xanchor: "left",
2541           yanchor: "top",
2542           x: 0,
2543           y: -0.13,
2544           font: {
2545             family: "Consolas, Courier New",
2546             size: 13
2547           },
2548         },
2549         {
2550           text: "    Perfect     Measured",
2551           align: "left",
2552           showarrow: False,
2553           xref: "paper",
2554           yref: "paper",
2555           xanchor: "left",
2556           yanchor: "top",
2557           x: 0,
2558           y: -0.15,
2559           font: {
2560             family: "Consolas, Courier New",
2561             size: 13
2562           },
2563         },
2564       ]
2565
2566     plot-latency:
2567       titlefont:
2568         size: 16
2569       xaxis:
2570         title: "<b>Direction</b>"
2571         titlefont:
2572           size: 14
2573         autorange: True
2574         fixedrange: False
2575         gridcolor: "rgb(230, 230, 230)"
2576         linecolor: "rgb(220, 220, 220)"
2577         linewidth: 1
2578         showgrid: True
2579         showline: True
2580         showticklabels: False
2581         tickcolor: "rgb(220, 220, 220)"
2582         tickmode: "linear"
2583         tickfont:
2584           size: 14
2585         zeroline: False
2586       yaxis:
2587         title: "<b>Packet Latency [uSec]</b>"
2588         titlefont:
2589           size: 14
2590         type: "linear"
2591         gridcolor: "rgb(230, 230, 230)"
2592         hoverformat: ".4s"
2593         linecolor: "rgb(220, 220, 220)"
2594         linewidth: 1
2595         showgrid: True
2596         showline: True
2597         showticklabels: True
2598         tickcolor: "rgb(220, 220, 220)"
2599         tickformat: ".4s"
2600         tickfont:
2601           size: 14
2602         zeroline: True
2603         rangemode: "tozero"
2604       legend:
2605         orientation: "h"
2606         font:
2607           size: 14
2608         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2609       autosize: False
2610       margin:
2611           't': 50
2612           'b': 150
2613           'l': 80
2614           'r': 10
2615       showlegend: True
2616       width: 700
2617       height: 700
2618       paper_bgcolor: "#fff"
2619       plot_bgcolor: "#fff"
2620       hoverlabel:
2621         namelength: -1
2622
2623     plot-hdrh-latency:
2624       title:
2625         text: ""
2626         xanchor: "center"
2627         x: 0.5
2628         font:
2629           size: 16
2630       width: 700
2631       plot_bgcolor: "white"
2632       annotations:
2633         - font:
2634             size: 14
2635           showarrow: False
2636           text: "<b>Packet Latency [uSec]</b>"
2637           x: 1
2638           xanchor: "right"
2639           xref: "paper"
2640           y: -0.045
2641           yanchor: "top"
2642           yref: "paper"
2643         - font:
2644             size: 14
2645           showarrow: False
2646           text: "<b>Probability [%]</b>"
2647           textangle: 270
2648           x: -0.06
2649           xanchor: "center"
2650           xref: "paper"
2651           y: 0.5
2652           yanchor: "middle"
2653           yref: "paper"
2654         - font:
2655             size: 14
2656           showarrow: False
2657           text: "<b>Direction: E-W</b>"
2658           x: 0.24
2659           xanchor: "center"
2660           xref: "paper"
2661           y: 1.05
2662           yanchor: "bottom"
2663           yref: "paper"
2664         - font:
2665             size: 14
2666           showarrow: False
2667           text: "<b>Direction: W-E</b>"
2668           x: 0.74
2669           xanchor: "center"
2670           xref: "paper"
2671           y: 1.05
2672           yanchor: "bottom"
2673           yref: "paper"
2674
2675     plot-hdrh-latency-percentile-x-log:
2676       title:
2677         text: "<b>Latency by Percentile Distribution</b>"
2678         xanchor: "center"
2679         x: 0.5
2680         font:
2681           size: 18
2682       showlegend: True
2683       legend:
2684         traceorder: "normal"
2685         orientation: "h"
2686         font:
2687           size: 16
2688         xanchor: "left"
2689         yanchor: "top"
2690         x: 0
2691         y: -0.2
2692         bgcolor: "rgba(255, 255, 255, 0)"
2693         bordercolor: "rgba(255, 255, 255, 0)"
2694       xaxis:
2695         type: "log"
2696         title: "<b>Percentile [%]</b>"
2697         titlefont:
2698           size: 14
2699         autorange: False
2700         fixedrange: True
2701         gridcolor: "rgb(230, 230, 230)"
2702         linecolor: "rgb(220, 220, 220)"
2703         linewidth: 1
2704         showgrid: True
2705         showline: True
2706         showticklabels: True
2707         tickcolor: "rgb(220, 220, 220)"
2708         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2709         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2710         tickfont:
2711           size: 14
2712       yaxis:
2713         title: "<b>One-Way Latency per Direction [uSec]</b>"
2714         titlefont:
2715           size: 14
2716         gridcolor: "rgb(230, 230, 230)"
2717         linecolor: "rgb(220, 220, 220)"
2718         linewidth: 1
2719         showgrid: True
2720         showline: True
2721         showticklabels: True
2722         tickcolor: "rgb(220, 220, 220)"
2723         tickfont:
2724           size: 14
2725       autosize: False
2726       width: 700
2727       height: 700
2728       paper_bgcolor: "white"
2729       plot_bgcolor: "white"
2730
2731     plot-hdrh-latency-by-percentile:
2732       title:
2733         text: "<b>Latency by Percentile Distribution</b>"
2734         xanchor: "center"
2735         x: 0.5
2736         font:
2737           size: 18
2738       showlegend: True
2739       legend:
2740         traceorder: "normal"
2741         orientation: "h"
2742         font:
2743           size: 16
2744         xanchor: "left"
2745         yanchor: "top"
2746         x: 0
2747         y: -0.2
2748         bgcolor: "rgba(255, 255, 255, 0)"
2749         bordercolor: "rgba(255, 255, 255, 0)"
2750       xaxis:
2751         type: "linear"
2752         title: "<b>Percentile [%]</b>"
2753         titlefont:
2754           size: 14
2755         autorange: False
2756         fixedrange: False
2757         range: [0, 100]
2758         gridcolor: "rgb(230, 230, 230)"
2759         linecolor: "rgb(220, 220, 220)"
2760         linewidth: 1
2761         showgrid: True
2762         showline: True
2763         showticklabels: True
2764         tickcolor: "rgb(220, 220, 220)"
2765         tickvals: [0, 25, 50, 75, 100]
2766         ticktext: [0, 25, 50, 75, 100]
2767         tickfont:
2768           size: 14
2769       yaxis:
2770         title: "<b>One-Way Latency per Direction [uSec]</b>"
2771         titlefont:
2772           size: 14
2773         gridcolor: "rgb(230, 230, 230)"
2774         linecolor: "rgb(220, 220, 220)"
2775         linewidth: 1
2776         showgrid: True
2777         showline: True
2778         showticklabels: True
2779         tickcolor: "rgb(220, 220, 220)"
2780         tickfont:
2781           size: 14
2782       width: 700
2783       height: 700
2784       paper_bgcolor: "white"
2785       plot_bgcolor: "white"
2786
2787 - type: "static"
2788   src-path: "{DIR[RST]}"
2789   dst-path: "{DIR[WORKING,SRC]}"
2790
2791 - type: "input"
2792   general:
2793     file-name: "output_info.xml.gz"
2794     file-format: ".gz"
2795     arch-file-format:
2796       - ".gz"
2797       - ".zip"
2798     download-path: "{job}/{build}/archives/{filename}"
2799     extract: "output.xml"
2800
2801     zip-file-name: "robot-plugin.zip"
2802     zip-file-format: ".zip"
2803     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2804     zip-extract: "robot-plugin/output.xml"
2805
2806   builds:
2807
2808     csit-vpp-perf-report-iterative-2009-3n-hsw:
2809       - 18  # rls2005 MRR iter env 5
2810       - 9   # rls2005 NDRPDR iter env 5
2811       - 10  # rls2005 NDRPDR iter env 5
2812       - 11  # rls2005 NDRPDR iter env 5
2813       - 12  # rls2005 NDRPDR iter env 5
2814       - 13  # rls2005 NDRPDR iter env 5
2815       - 14  # rls2005 NDRPDR iter env 5
2816       - 15  # rls2005 NDRPDR iter env 5
2817       - 16  # rls2005 NDRPDR iter env 5
2818       - 17  # rls2005 NDRPDR iter env 5
2819       - 19  # rls2005 NDRPDR iter env 5
2820       - 23  # rls2009 MRR iter env 5
2821       - 21  # rls2009 NDRPDR iter env 5
2822       - 22  # rls2009 NDRPDR iter env 5
2823       - 24  # rls2009 NDRPDR iter env 5
2824       - 25  # rls2009 NDRPDR iter env 5
2825       - 26  # rls2009 NDRPDR iter env 5
2826       - 27  # rls2009 NDRPDR iter env 5
2827       - 28  # rls2009 NDRPDR iter env 5
2828       - 29  # rls2009 NDRPDR iter env 5
2829       - 30  # rls2009 NDRPDR iter env 5
2830       - 31  # rls2009 NDRPDR iter env 5
2831     csit-vpp-perf-report-iterative-2101-3n-hsw:
2832       - 17  # rls2009 MRR iter env 6
2833       - 19  # rls2009 NDRPDR iter env 6
2834       - 20  # rls2009 NDRPDR iter env 6
2835       - 21  # rls2009 NDRPDR iter env 6
2836       - 22  # rls2009 NDRPDR iter env 6
2837       - 23  # rls2009 NDRPDR iter env 6
2838       - 24  # rls2009 NDRPDR iter env 6
2839       - 25  # rls2009 NDRPDR iter env 6
2840       - 26  # rls2009 NDRPDR iter env 6
2841       - 27  # rls2009 NDRPDR iter env 6
2842       - 63  # rls2101.rel MRR iter env 6
2843       - 64  # rls2101.rel NDRPDR iter env 6
2844       - 71  # rls2101.rel NDRPDR iter env 6
2845       - 73  # rls2101.rel NDRPDR iter env 6
2846       - 74  # rls2101.rel NDRPDR iter env 6
2847       - 80  # rls2101.rel NDRPDR iter env 6
2848       - 81  # rls2101.rel NDRPDR iter env 6
2849       - 82  # rls2101.rel NDRPDR iter env 6
2850       - 83  # rls2101.rel NDRPDR iter env 6
2851       - 88  # rls2101.rel NDRPDR iter env 6
2852       - 89  # rls2101.rel NDRPDR iter env 6
2853       - 128 # rls2101.rel NDRPDR iter RND env 6
2854       - 129 # rls2101.rel NDRPDR iter RND env 6
2855       - 130 # rls2101.rel NDRPDR iter RND env 6
2856       - 131 # rls2101.rel NDRPDR iter RND env 6
2857       - 132 # rls2101.rel NDRPDR iter RND env 6
2858       - 133 # rls2101.rel NDRPDR iter RND env 6
2859       - 134 # rls2101.rel NDRPDR iter RND env 6
2860       - 135 # rls2101.rel NDRPDR iter RND env 6
2861       - 136 # rls2101.rel NDRPDR iter RND env 6
2862       - 137 # rls2101.rel NDRPDR iter RND env 6
2863       - 65  # rls2101.rel NDRPDR reconf iter env 6
2864       - 68  # rls2101.rel NDRPDR reconf iter env 6
2865       - 77  # rls2101.rel NDRPDR reconf iter env 6
2866       - 84  # rls2101.rel NDRPDR reconf iter env 6
2867       - 90  # rls2101.rel NDRPDR reconf iter env 6
2868       - 96  # rls2101.rel NDRPDR reconf iter env 6
2869       - 101 # rls2101.rel NDRPDR reconf iter env 6
2870       - 104 # rls2101.rel NDRPDR reconf iter env 6
2871       - 105 # rls2101.rel NDRPDR reconf iter env 6
2872       - 106 # rls2101.rel NDRPDR reconf iter env 6
2873       - 107 # rls2101.rel NDRPDR reconf iter env 6
2874       - 108 # rls2101.rel NDRPDR reconf iter env 6
2875       - 110 # rls2101.rel NDRPDR reconf iter env 6
2876       - 111 # rls2101.rel NDRPDR reconf iter env 6
2877       - 112 # rls2101.rel NDRPDR reconf iter env 6
2878       - 113 # rls2101.rel NDRPDR reconf iter env 6
2879       - 114 # rls2101.rel NDRPDR reconf iter env 6
2880       - 115 # rls2101.rel NDRPDR reconf iter env 6
2881       - 116 # rls2101.rel NDRPDR reconf iter env 6
2882       - 117 # rls2101.rel NDRPDR reconf iter env 6
2883       - 69  # rls2101.rel Hoststack iter env 6
2884       - 70  # rls2101.rel Hoststack iter env 6
2885       - 75  # rls2101.rel Hoststack iter env 6
2886       - 76  # rls2101.rel Hoststack iter env 6
2887       - 78  # rls2101.rel Hoststack iter env 6
2888       - 79  # rls2101.rel Hoststack iter env 6
2889       - 85  # rls2101.rel Hoststack iter env 6
2890       - 86  # rls2101.rel Hoststack iter env 6
2891       - 87  # rls2101.rel Hoststack iter env 6
2892       - 91  # rls2101.rel Hoststack iter env 6
2893       - 92  # rls2101.rel Hoststack iter env 6
2894       - 93  # rls2101.rel Hoststack iter env 6
2895       - 94  # rls2101.rel Hoststack iter env 6
2896       - 95  # rls2101.rel Hoststack iter env 6
2897       - 97  # rls2101.rel Hoststack iter env 6
2898       - 98  # rls2101.rel Hoststack iter env 6
2899       - 99  # rls2101.rel Hoststack iter env 6
2900       - 100 # rls2101.rel Hoststack iter env 6
2901       - 102 # rls2101.rel Hoststack iter env 6
2902       - 103 # rls2101.rel Hoststack iter env 6
2903     csit-vpp-perf-report-coverage-2101-3n-hsw:
2904       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
2905       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
2906       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
2907       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
2908       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
2909       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
2910       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
2911       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
2912       - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
2913       - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
2914       - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
2915       - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
2916       - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
2917       - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
2918       - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
2919       - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
2920       - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
2921       - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
2922       - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
2923       - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
2924       - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
2925       - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
2926       - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
2927       - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
2928       - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
2929       - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
2930       - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
2931       - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
2932       - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
2933       - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
2934       - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
2935       - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
2936       - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
2937       - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
2938       - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
2939
2940
2941     csit-vpp-perf-report-iterative-2009-3n-skx:
2942       - 17  # rls2005 MRR iter env 5
2943       - 13  # rls2005 NDRPDR iter env 5
2944       - 18  # rls2005 NDRPDR iter env 5
2945       - 19  # rls2005 NDRPDR iter env 5
2946       - 41  # rls2005 NDRPDR iter env 5
2947       - 43  # rls2005 NDRPDR iter env 5
2948       - 44  # rls2005 NDRPDR iter env 5
2949       - 45  # rls2005 NDRPDR iter env 5
2950       - 46  # rls2005 NDRPDR iter env 5
2951       - 48  # rls2005 NDRPDR iter env 5
2952       - 49  # rls2005 NDRPDR iter env 5
2953       - 24  # rls2009 MRR iter env 5
2954       - 26  # rls2009 NDRPDR iter env 5
2955       - 27  # rls2009 NDRPDR iter env 5
2956       - 28  # rls2009 NDRPDR iter env 5
2957       - 29  # rls2009 NDRPDR iter env 5
2958       - 35  # rls2009 NDRPDR iter env 5
2959       - 36  # rls2009 NDRPDR iter env 5
2960       - 37  # rls2009 NDRPDR iter env 5
2961       - 38  # rls2009 NDRPDR iter env 5
2962       - 39  # rls2009 NDRPDR iter env 5
2963       - 40  # rls2009 NDRPDR iter env 5
2964     csit-vpp-perf-report-iterative-2101-3n-skx:
2965       - 34  # rls2009 MRR iter env 6
2966       - 14  # rls2009 NDRPDR iter env 6
2967       - 15  # rls2009 NDRPDR iter env 6
2968       - 16  # rls2009 NDRPDR iter env 6
2969       - 17  # rls2009 NDRPDR iter env 6
2970       - 18  # rls2009 NDRPDR iter env 6
2971       - 25  # rls2009 NDRPDR iter env 6
2972       - 26  # rls2009 NDRPDR iter env 6
2973       - 27  # rls2009 NDRPDR iter env 6
2974       - 29  # rls2009 NDRPDR iter env 6
2975       - 31  # rls2009 NDRPDR iter env 6
2976       - 35  # rls2101.rel MRR iter env 6
2977       - 36  # rls2101.rel NDRPDR iter env 6
2978       - 37  # rls2101.rel NDRPDR iter env 6
2979       - 38  # rls2101.rel NDRPDR iter env 6
2980       - 39  # rls2101.rel NDRPDR iter env 6
2981       - 40  # rls2101.rel NDRPDR iter env 6
2982       - 41  # rls2101.rel NDRPDR iter env 6
2983       - 42  # rls2101.rel NDRPDR iter env 6
2984       - 47  # rls2101.rel NDRPDR iter env 6
2985       - 48  # rls2101.rel NDRPDR iter env 6
2986       - 50  # rls2101.rel NDRPDR iter env 6
2987     # csit-vpp-perf-report-coverage-2101-3n-skx:
2988
2989
2990     csit-vpp-perf-report-iterative-2009-2n-skx:
2991       - 20  # rls2005 MRR iter env 5
2992       - 13  # rls2005 NDRPDR iter env 5
2993       - 16  # rls2005 NDRPDR iter env 5
2994       - 17  # rls2005 NDRPDR iter env 5
2995       - 18  # rls2005 NDRPDR iter env 5
2996       - 19  # rls2005 NDRPDR iter env 5
2997       - 21  # rls2005 NDRPDR iter env 5
2998       - 22  # rls2005 NDRPDR iter env 5
2999       - 23  # rls2005 NDRPDR iter env 5
3000       - 24  # rls2005 NDRPDR iter env 5
3001       - 25  # rls2005 NDRPDR iter env 5
3002       - 120 # rls2009 MRR iter env 5
3003       - 35  # rls2009 NDRPDR iter env 5
3004       - 36  # rls2009 NDRPDR iter env 5
3005       - 37  # rls2009 NDRPDR iter env 5
3006       - 39  # rls2009 NDRPDR iter env 5
3007       - 40  # rls2009 NDRPDR iter env 5
3008       - 42  # rls2009 NDRPDR iter env 5
3009       - 43  # rls2009 NDRPDR iter env 5
3010       - 44  # rls2009 NDRPDR iter env 5
3011       - 46  # rls2009 NDRPDR iter env 5
3012       - 48  # rls2009 NDRPDR iter env 5
3013       - 110 # rls2009 NDRPDR iter NAT44 env 5
3014       - 111 # rls2009 NDRPDR iter NAT44 env 5
3015       - 112 # rls2009 NDRPDR iter NAT44 env 5
3016       - 113 # rls2009 NDRPDR iter NAT44 env 5
3017       - 114 # rls2009 NDRPDR iter NAT44 env 5
3018       - 115 # rls2009 NDRPDR iter NAT44 env 5
3019       - 116 # rls2009 NDRPDR iter NAT44 env 5
3020       - 118 # rls2009 NDRPDR iter NAT44 env 5
3021       - 119 # rls2009 NDRPDR iter NAT44 env 5
3022       - 121 # rls2009 NDRPDR iter NAT44 env 5
3023     csit-vpp-perf-report-iterative-2101-2n-skx:
3024       - 21  # rls2009 MRR iter env 6
3025       - 22  # rls2009 NDRPDR iter env 6
3026       - 23  # rls2009 NDRPDR iter env 6
3027       - 24  # rls2009 NDRPDR iter env 6
3028       - 25  # rls2009 NDRPDR iter env 6
3029       - 26  # rls2009 NDRPDR iter env 6
3030       - 28  # rls2009 NDRPDR iter env 6
3031       - 39  # rls2009 NDRPDR iter env 6
3032       - 40  # rls2009 NDRPDR iter env 6
3033       - 41  # rls2009 NDRPDR iter env 6
3034       - 44  # rls2009 NDRPDR iter env 6
3035       - 62  # rls2101.rel MRR iter env 6
3036       - 63  # rls2101.rel NDRPDR iter env 6
3037       - 69  # rls2101.rel NDRPDR iter env 6
3038       - 70  # rls2101.rel NDRPDR iter env 6
3039       - 75  # rls2101.rel NDRPDR iter env 6
3040       - 76  # rls2101.rel NDRPDR iter env 6
3041       - 77  # rls2101.rel NDRPDR iter env 6
3042       - 82  # rls2101.rel NDRPDR iter env 6
3043       - 85  # rls2101.rel NDRPDR iter env 6
3044       - 86  # rls2101.rel NDRPDR iter env 6
3045       - 94  # rls2101.rel NDRPDR iter env 6
3046       - 89  # rls2101.rel NDRPDR iter RND env 6
3047       - 90  # rls2101.rel NDRPDR iter RND env 6
3048       - 91  # rls2101.rel NDRPDR iter RND env 6
3049       - 92  # rls2101.rel NDRPDR iter RND env 6
3050       - 93  # rls2101.rel NDRPDR iter RND env 6
3051       - 96  # rls2101.rel NDRPDR iter RND env 6
3052       - 98  # rls2101.rel NDRPDR iter RND env 6
3053       - 99  # rls2101.rel NDRPDR iter RND env 6
3054       - 101 # rls2101.rel NDRPDR iter RND env 6
3055       - 102 # rls2101.rel NDRPDR iter RND env 6
3056       - 65  # rls2101.rel MRR nf-density iter env 6
3057       - 67  # rls2101.rel NDRPDR nf-density iter env 6
3058       - 72  # rls2101.rel NDRPDR nf-density iter env 6
3059       - 79  # rls2101.rel NDRPDR nf-density iter env 6
3060       - 83  # rls2101.rel NDRPDR nf-density iter env 6
3061       - 88  # rls2101.rel NDRPDR nf-density iter env 6
3062       - 97  # rls2101.rel NDRPDR nf-density iter env 6
3063       - 103 # rls2101.rel NDRPDR nf-density iter env 6
3064       - 108 # rls2101.rel NDRPDR nf-density iter env 6
3065       - 109 # rls2101.rel NDRPDR nf-density iter env 6
3066       - 110 # rls2101.rel NDRPDR nf-density iter env 6
3067       - 64  # rls2101.rel NDRPDR reconf iter env 6
3068       - 66  # rls2101.rel NDRPDR reconf iter env 6
3069       - 71  # rls2101.rel NDRPDR reconf iter env 6
3070       - 74  # rls2101.rel NDRPDR reconf iter env 6
3071       - 78  # rls2101.rel NDRPDR reconf iter env 6
3072       - 87  # rls2101.rel NDRPDR reconf iter env 6
3073       - 95  # rls2101.rel NDRPDR reconf iter env 6
3074       - 100 # rls2101.rel NDRPDR reconf iter env 6
3075       - 104 # rls2101.rel NDRPDR reconf iter env 6
3076       - 106 # rls2101.rel NDRPDR reconf iter env 6
3077       - 68  # rls2101.rel soak env 6
3078       - 73  # rls2101.rel soak env 6
3079     csit-vpp-perf-report-coverage-2101-2n-skx:
3080       - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
3081       - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
3082       - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
3083       - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
3084       - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
3085       - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
3086       - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
3087       - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
3088 #      - 20  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
3089       - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
3090 #       - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
3091       - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
3092       - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
3093       - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
3094       - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
3095       - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
3096       - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
3097       - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
3098
3099
3100     csit-vpp-perf-report-iterative-2009-2n-clx:
3101       - 77  # rls2005 MRR iter env 5
3102       - 13  # rls2005 NDRPDR iter env 5
3103       - 15  # rls2005 NDRPDR iter env 5
3104       - 17  # rls2005 NDRPDR iter env 5
3105       - 18  # rls2005 NDRPDR iter env 5
3106       - 19  # rls2005 NDRPDR iter env 5
3107       - 20  # rls2005 NDRPDR iter env 5
3108       - 21  # rls2005 NDRPDR iter env 5
3109       - 22  # rls2005 NDRPDR iter env 5
3110       - 23  # rls2005 NDRPDR iter env 5
3111       - 24  # rls2005 NDRPDR iter env 5
3112       - 125 # rls2009 MRR iter env 5
3113       - 36  # rls2009 NDRPDR iter env 5
3114       - 39  # rls2009 NDRPDR iter env 5
3115       - 40  # rls2009 NDRPDR iter env 5
3116       - 65  # rls2009 NDRPDR iter env 5
3117       - 66  # rls2009 NDRPDR iter env 5
3118       - 79  # rls2009 NDRPDR iter env 5
3119       - 82  # rls2009 NDRPDR iter env 5
3120       - 88  # rls2009 NDRPDR iter env 5
3121       - 89  # rls2009 NDRPDR iter env 5
3122       - 90  # rls2009 NDRPDR iter env 5
3123       - 114 # rls2009 NDRPDR iter NAT44 env 5
3124       - 115 # rls2009 NDRPDR iter NAT44 env 5
3125       - 116 # rls2009 NDRPDR iter NAT44 env 5
3126       - 117 # rls2009 NDRPDR iter NAT44 env 5
3127       - 118 # rls2009 NDRPDR iter NAT44 env 5
3128       - 119 # rls2009 NDRPDR iter NAT44 env 5
3129       - 121 # rls2009 NDRPDR iter NAT44 env 5
3130       - 122 # rls2009 NDRPDR iter NAT44 env 5
3131       - 123 # rls2009 NDRPDR iter NAT44 env 5
3132       - 126 # rls2009 NDRPDR iter NAT44 env 5
3133     csit-vpp-perf-report-iterative-2101-2n-clx:
3134       - 15  # rls2009 MRR iter env 6
3135       - 16  # rls2009 NDRPDR iter env 6
3136       - 17  # rls2009 NDRPDR iter env 6
3137       - 18  # rls2009 NDRPDR iter env 6
3138       - 19  # rls2009 NDRPDR iter env 6
3139       - 20  # rls2009 NDRPDR iter env 6
3140       - 21  # rls2009 NDRPDR iter env 6
3141       - 32  # rls2009 NDRPDR iter env 6
3142       - 33  # rls2009 NDRPDR iter env 6
3143       - 34  # rls2009 NDRPDR iter env 6
3144       - 35  # rls2009 NDRPDR iter env 6
3145       - 53  # rls2101.rel MRR iter env 6
3146       - 54  # rls2101.rel NDRPDR iter env 6
3147       - 59  # rls2101.rel NDRPDR iter env 6
3148       - 60  # rls2101.rel NDRPDR iter env 6
3149       - 63  # rls2101.rel NDRPDR iter env 6
3150       - 66  # rls2101.rel NDRPDR iter env 6
3151       - 68  # rls2101.rel NDRPDR iter env 6
3152       - 73  # rls2101.rel NDRPDR iter env 6
3153       - 75  # rls2101.rel NDRPDR iter env 6
3154       - 86  # rls2101.rel NDRPDR iter env 6
3155       - 87  # rls2101.rel NDRPDR iter RND env 6
3156       - 91  # rls2101.rel NDRPDR iter RND env 6
3157       - 93  # rls2101.rel NDRPDR iter RND env 6
3158       - 94  # rls2101.rel NDRPDR iter RND env 6
3159       - 100 # rls2101.rel NDRPDR iter RND env 6
3160       - 72  # rls2101.rel MRR nf-density iter env 6
3161       - 57  # rls2101.rel NDRPDR nf-density iter env 6
3162       - 62  # rls2101.rel NDRPDR nf-density iter env 6
3163       - 70  # rls2101.rel NDRPDR nf-density iter env 6
3164       - 71  # rls2101.rel NDRPDR nf-density iter env 6
3165       - 82  # rls2101.rel NDRPDR nf-density iter env 6
3166       - 88  # rls2101.rel NDRPDR nf-density iter env 6
3167       - 89  # rls2101.rel NDRPDR nf-density iter env 6
3168       - 96  # rls2101.rel NDRPDR nf-density iter env 6
3169       - 97  # rls2101.rel NDRPDR nf-density iter env 6
3170       - 98  # rls2101.rel NDRPDR nf-density iter env 6
3171       - 55  # rls2101.rel NDRPDR reconf iter env 6
3172       - 64  # rls2101.rel NDRPDR reconf iter env 6
3173       - 76  # rls2101.rel NDRPDR reconf iter env 6
3174       - 83  # rls2101.rel NDRPDR reconf iter env 6
3175       - 99  # rls2101.rel NDRPDR reconf iter env 6
3176       - 102 # rls2101.rel NDRPDR reconf iter env 6
3177       - 58  # rls2101.rel soak env 6
3178       - 61  # rls2101.rel soak env 6
3179     # csit-vpp-perf-report-coverage-2101-2n-clx:
3180
3181
3182     csit-vpp-perf-report-iterative-2009-2n-zn2:
3183       - 15  # rls2009 MRR iter env 5
3184       - 17  # rls2009 NDRPDR iter env 5
3185       - 18  # rls2009 NDRPDR iter env 5
3186       - 31  # rls2009 NDRPDR iter env 5
3187       - 33  # rls2009 NDRPDR iter env 5
3188       - 34  # rls2009 NDRPDR iter env 5
3189     csit-vpp-perf-report-iterative-2101-2n-zn2:
3190       - 8   # rls2009 MRR iter env6
3191       - 9   # rls2009 NDRPDR iter env 6
3192       - 10  # rls2009 NDRPDR iter env 6
3193       - 11  # rls2009 NDRPDR iter env 6
3194       - 12  # rls2009 NDRPDR iter env 6
3195       - 13  # rls2009 NDRPDR iter env 6
3196       - 20  # rls2009 NDRPDR iter env 6
3197       - 21  # rls2009 NDRPDR iter env 6
3198       - 22  # rls2009 NDRPDR iter env 6
3199       - 25  # rls2009 NDRPDR iter env 6
3200       - 26  # rls2009 NDRPDR iter env 6
3201       - 30  # rls2101.rel MRR iter env 6
3202       - 31  # rls2101.rel NDRPDR iter env 6
3203       - 32  # rls2101.rel NDRPDR iter env 6
3204       - 33  # rls2101.rel NDRPDR iter env 6
3205       - 34  # rls2101.rel NDRPDR iter env 6
3206       - 35  # rls2101.rel NDRPDR iter env 6
3207       - 36  # rls2101.rel NDRPDR iter env 6
3208       - 37  # rls2101.rel NDRPDR iter env 6
3209       - 38  # rls2101.rel NDRPDR iter env 6
3210       - 40  # rls2101.rel NDRPDR iter RND env 6
3211       - 41  # rls2101.rel NDRPDR iter RND env 6
3212       - 42  # rls2101.rel NDRPDR iter RND env 6
3213       - 43  # rls2101.rel NDRPDR iter RND env 6
3214       - 45  # rls2101.rel NDRPDR iter RND env 6
3215       - 48  # rls2101.rel NDRPDR iter RND env 6
3216       - 50  # rls2101.rel NDRPDR iter RND env 6
3217
3218     csit-vpp-perf-report-iterative-2009-3n-tsh:
3219       - 8   # rls2005 NDRPDR iter env 5
3220       - 11  # rls2005 NDRPDR iter env 5
3221       - 12  # rls2005 NDRPDR iter env 5
3222       - 24  # rls2005 NDRPDR iter env 5
3223       - 27  # rls2005 NDRPDR iter env 5
3224       - 29  # rls2005 NDRPDR iter env 5
3225       - 31  # rls2005 NDRPDR iter env 5
3226       - 39  # rls2005 NDRPDR iter env 5
3227       - 40  # rls2005 NDRPDR iter env 5
3228       - 42  # rls2005 NDRPDR iter env 5
3229       - 13  # rls2005 MRR iter env 5
3230       - 14  # rls2009 NDRPDR iter env 5
3231       - 20  # rls2009 NDRPDR iter env 5
3232       - 21  # rls2009 NDRPDR iter env 5
3233       - 22  # rls2009 NDRPDR iter env 5
3234       - 23  # rls2009 NDRPDR iter env 5
3235       - 28  # rls2009 NDRPDR iter env 5
3236       - 30  # rls2009 NDRPDR iter env 5
3237       - 33  # rls2009 NDRPDR iter env 5
3238       - 38  # rls2009 NDRPDR iter env 5
3239       - 41  # rls2009 NDRPDR iter env 5
3240       - 15  # rls2009 MRR iter env 5
3241     csit-vpp-perf-report-iterative-2101-3n-tsh:
3242       - 7   # rls2009 MRR iter env 6
3243       - 8   # rls2009 NDRPDR iter env 6
3244       - 13  # rls2009 NDRPDR iter env 6
3245       - 14  # rls2009 NDRPDR iter env 6
3246       - 15  # rls2009 NDRPDR iter env 6
3247       - 16  # rls2009 NDRPDR iter env 6
3248       - 17  # rls2009 NDRPDR iter env 6
3249       - 18  # rls2009 NDRPDR iter env 6
3250       - 19  # rls2009 NDRPDR iter env 6
3251       - 21  # rls2009 NDRPDR iter env 6
3252       - 22  # rls2101.rel MRR iter env 6
3253       - 23  # rls2101.rel NDRPDR iter env 6
3254       - 24  # rls2101.rel NDRPDR iter env 6
3255       - 25  # rls2101.rel NDRPDR iter env 6
3256       - 26  # rls2101.rel NDRPDR iter env 6
3257       - 27  # rls2101.rel NDRPDR iter env 6
3258       - 28  # rls2101.rel NDRPDR iter env 6
3259       - 29  # rls2101.rel NDRPDR iter env 6
3260
3261     csit-vpp-perf-report-iterative-2101-2n-tx2:
3262       - 5   # rls2009 MRR iter env 6
3263       - 6   # rls2009 NDRPDR iter env 6
3264       - 7   # rls2009 NDRPDR iter env 6
3265       - 11  # rls2009 NDRPDR iter env 6
3266       - 12  # rls2009 NDRPDR iter env 6
3267       - 13  # rls2009 NDRPDR iter env 6
3268       - 16  # rls2009 NDRPDR iter env 6
3269       - 17  # rls2009 NDRPDR iter env 6
3270       - 18  # rls2009 NDRPDR iter env 6
3271       - 19  # rls2009 NDRPDR iter env 6
3272       - 20  # rls2009 NDRPDR iter env 6
3273       - 21  # rls2101.rel MRR iter env 6
3274       - 22  # rls2101.rel NDRPDR iter env 6
3275       - 23  # rls2101.rel NDRPDR iter env 6
3276       - 24  # rls2101.rel NDRPDR iter env 6
3277       - 25  # rls2101.rel NDRPDR iter env 6
3278       - 26  # rls2101.rel NDRPDR iter env 6
3279       - 27  # rls2101.rel NDRPDR iter env 6
3280       - 28  # rls2101.rel NDRPDR iter env 6
3281       - 29  # rls2101.rel NDRPDR iter env 6
3282       - 30  # rls2101.rel NDRPDR iter env 6
3283       - 31  # rls2101.rel NDRPDR iter env 6
3284
3285
3286     csit-vpp-perf-report-iterative-2009-3n-dnv:
3287       - 16  # rls2005 NDRPDR iter env 5
3288       - 23  # rls2005 NDRPDR iter env 5
3289       - 25  # rls2005 NDRPDR iter env 5
3290       - 26  # rls2005 NDRPDR iter env 5
3291       - 27  # rls2005 NDRPDR iter env 5
3292       - 28  # rls2005 NDRPDR iter env 5
3293       - 29  # rls2005 NDRPDR iter env 5
3294       - 30  # rls2005 NDRPDR iter env 5
3295       - 31  # rls2005 NDRPDR iter env 5
3296       - 32  # rls2005 NDRPDR iter env 5
3297       - 19  # rls2005 MRR iter env 5
3298       - 3   # rls2009 NDRPDR iter env 5
3299       - 6   # rls2009 NDRPDR iter env 5
3300       - 7   # rls2009 NDRPDR iter env 5
3301       - 8   # rls2009 NDRPDR iter env 5
3302       - 10  # rls2009 NDRPDR iter env 5
3303       - 11  # rls2009 NDRPDR iter env 5
3304       - 12  # rls2009 NDRPDR iter env 5
3305       - 14  # rls2009 NDRPDR iter env 5
3306       - 15  # rls2009 NDRPDR iter env 5
3307       - 24  # rls2009 NDRPDR iter env 5
3308       - 22  # rls2009 MRR iter env 5
3309     csit-vpp-perf-report-iterative-2101-3n-dnv:
3310       - 32  # rls2101.rel MRR iter env 6
3311       - 33  # rls2101.rel NDRPDR iter env 6
3312       - 34  # rls2101.rel NDRPDR iter env 6
3313       - 35  # rls2101.rel NDRPDR iter env 6
3314       - 36  # rls2101.rel NDRPDR iter env 6
3315       - 37  # rls2101.rel NDRPDR iter env 6
3316       - 38  # rls2101.rel NDRPDR iter env 6
3317       - 39  # rls2101.rel NDRPDR iter env 6
3318       - 40  # rls2101.rel NDRPDR iter env 6
3319       - 41  # rls2101.rel NDRPDR iter env 6
3320       - 42  # rls2101.rel NDRPDR iter env 6
3321       - 43  # rls2101.rel NDRPDR iter RND env 6
3322       - 44  # rls2101.rel NDRPDR iter RND env 6
3323       - 45  # rls2101.rel NDRPDR iter RND env 6
3324       - 46  # rls2101.rel NDRPDR iter RND env 6
3325       - 47  # rls2101.rel NDRPDR iter RND env 6
3326       - 48  # rls2101.rel NDRPDR iter RND env 6
3327       - 49  # rls2101.rel NDRPDR iter RND env 6
3328       - 50  # rls2101.rel NDRPDR iter RND env 6
3329       - 51  # rls2101.rel NDRPDR iter RND env 6
3330       - 52  # rls2101.rel NDRPDR iter RND env 6
3331     csit-vpp-perf-report-coverage-2101-3n-dnv:
3332       - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
3333       - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
3334       - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
3335       - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
3336       - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
3337       - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
3338       - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
3339       - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
3340       - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
3341
3342     csit-vpp-perf-report-iterative-2009-2n-dnv:
3343       - 16  # rls2005 NDRPDR iter env 5
3344       - 17  # rls2005 NDRPDR iter env 5
3345       - 18  # rls2005 NDRPDR iter env 5
3346       - 19  # rls2005 NDRPDR iter env 5
3347       - 21  # rls2005 NDRPDR iter env 5
3348       - 24  # rls2005 NDRPDR iter env 5
3349       - 27  # rls2005 NDRPDR iter env 5
3350       - 28  # rls2005 NDRPDR iter env 5
3351       - 29  # rls2005 NDRPDR iter env 5
3352       - 30  # rls2005 NDRPDR iter env 5
3353       - 23  # rls2005 MRR iter env 5
3354       - 3   # rls2009 NDRPDR iter env 5
3355       - 5   # rls2009 NDRPDR iter env 5
3356       - 6   # rls2009 NDRPDR iter env 5
3357       - 7   # rls2009 NDRPDR iter env 5
3358       - 9   # rls2009 NDRPDR iter env 5
3359       - 10  # rls2009 NDRPDR iter env 5
3360       - 11  # rls2009 NDRPDR iter env 5
3361       - 12  # rls2009 NDRPDR iter env 5
3362       - 14  # rls2009 NDRPDR iter env 5
3363       - 15  # rls2009 NDRPDR iter env 5
3364       - 13  # rls2009 MRR iter env 5
3365     csit-vpp-perf-report-iterative-2101-2n-dnv:
3366       - 31  # rls2101.rel MRR iter env 6
3367       - 32  # rls2101.rel NDRPDR iter env 6
3368       - 33  # rls2101.rel NDRPDR iter env 6
3369       - 34  # rls2101.rel NDRPDR iter env 6
3370       - 35  # rls2101.rel NDRPDR iter env 6
3371       - 39  # rls2101.rel NDRPDR iter env 6
3372       - 41  # rls2101.rel NDRPDR iter env 6
3373       - 42  # rls2101.rel NDRPDR iter env 6
3374       - 43  # rls2101.rel NDRPDR iter env 6
3375       - 44  # rls2101.rel NDRPDR iter env 6
3376       - 45  # rls2101.rel NDRPDR iter env 6
3377       - 46  # rls2101.rel NDRPDR iter RND env 6
3378       - 47  # rls2101.rel NDRPDR iter RND env 6
3379       - 48  # rls2101.rel NDRPDR iter RND env 6
3380       - 49  # rls2101.rel NDRPDR iter RND env 6
3381       - 50  # rls2101.rel NDRPDR iter RND env 6
3382       - 51  # rls2101.rel NDRPDR iter RND env 6
3383       - 52  # rls2101.rel NDRPDR iter RND env 6
3384       - 53  # rls2101.rel NDRPDR iter RND env 6
3385       - 54  # rls2101.rel NDRPDR iter RND env 6
3386       - 55  # rls2101.rel NDRPDR iter RND env 6
3387     csit-vpp-perf-report-coverage-2101-2n-dnv:
3388       - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
3389       - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
3390       - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
3391       - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
3392       - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
3393       - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
3394
3395     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3396       - 25  # NDRPDR iter
3397       - 26  # NDRPDR iter
3398       - 27  # NDRPDR iter
3399       - 28  # NDRPDR iter
3400       - 29  # NDRPDR iter
3401       - 30  # NDRPDR iter
3402       - 31  # NDRPDR iter
3403       - 32  # NDRPDR iter
3404       - 33  # NDRPDR iter
3405       - 34  # NDRPDR iter
3406     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3407       - 6   # NDRPDR iter env5
3408       - 7   # NDRPDR iter env5
3409       - 8   # NDRPDR iter env5
3410       - 9   # NDRPDR iter env5
3411       - 10  # NDRPDR iter env5
3412       - 11  # NDRPDR iter env5
3413       - 12  # NDRPDR iter env5
3414       - 13  # NDRPDR iter env5
3415       - 14  # NDRPDR iter env5
3416       - 15  # NDRPDR iter env5
3417     csit-dpdk-perf-report-iterative-2101-3n-hsw:
3418       - 11  # rls2101 NDRPDR iter env 6
3419       - 12  # rls2101 NDRPDR iter env 6
3420       - 13  # rls2101 NDRPDR iter env 6
3421       - 14  # rls2101 NDRPDR iter env 6
3422       - 16  # rls2101 NDRPDR iter env 6
3423       - 17  # rls2101 NDRPDR iter env 6
3424       - 18  # rls2101 NDRPDR iter env 6
3425       - 19  # rls2101 NDRPDR iter env 6
3426       - 20  # rls2101 NDRPDR iter env 6
3427       - 21  # rls2101 NDRPDR iter env 6
3428
3429     csit-dpdk-perf-report-iterative-2005-3n-skx:
3430       - 28  # NDRPDR iter
3431       - 29  # NDRPDR iter
3432       - 30  # NDRPDR iter
3433       - 31  # NDRPDR iter
3434       - 32  # NDRPDR iter
3435       - 33  # NDRPDR iter
3436       - 34  # NDRPDR iter
3437       - 35  # NDRPDR iter
3438       - 36  # NDRPDR iter
3439       - 37  # NDRPDR iter
3440     csit-dpdk-perf-report-iterative-2009-3n-skx:
3441       - 4   # NDRPDR sel env5
3442       - 5   # NDRPDR sel env5
3443       - 6   # NDRPDR sel env5
3444       - 7   # NDRPDR sel env5
3445       - 8   # NDRPDR sel env5
3446       - 9   # NDRPDR sel env5
3447       - 14  # NDRPDR sel env5
3448       - 11  # NDRPDR sel env5
3449       - 12  # NDRPDR sel env5
3450       - 13  # NDRPDR sel env5
3451     csit-dpdk-perf-report-iterative-2101-3n-skx:
3452       - 12  # rls2101 NDRPDR iter env 6
3453       - 14  # rls2101 NDRPDR iter env 6
3454       - 15  # rls2101 NDRPDR iter env 6
3455       - 17  # rls2101 NDRPDR iter env 6
3456       - 19  # rls2101 NDRPDR iter env 6
3457       - 20  # rls2101 NDRPDR iter env 6
3458       - 21  # rls2101 NDRPDR iter env 6
3459       - 22  # rls2101 NDRPDR iter env 6
3460       - 25  # rls2101 NDRPDR iter env 6
3461       - 26  # rls2101 NDRPDR iter env 6
3462
3463     csit-dpdk-perf-report-iterative-2005-2n-skx:
3464       - 20  # NDRPDR iter
3465       - 21  # NDRPDR iter
3466       - 22  # NDRPDR iter
3467       - 23  # NDRPDR iter
3468       - 24  # NDRPDR iter
3469       - 25  # NDRPDR iter
3470       - 26  # NDRPDR iter
3471       - 27  # NDRPDR iter
3472       - 28  # NDRPDR iter
3473       - 29  # NDRPDR iter
3474     csit-dpdk-perf-report-iterative-2009-2n-skx:
3475       - 4   # NDRPDR iter env5
3476       - 5   # NDRPDR iter env5
3477       - 6   # NDRPDR iter env5
3478       - 7   # NDRPDR iter env5
3479       - 8   # NDRPDR iter env5
3480       - 9   # NDRPDR iter env5
3481       - 10  # NDRPDR iter env5
3482       - 11  # NDRPDR iter env5
3483       - 12  # NDRPDR iter env5
3484       - 13  # NDRPDR iter env5
3485     csit-dpdk-perf-report-iterative-2101-2n-skx:
3486       - 11  # rls2101 NDRPDR iter env 6
3487       - 12  # rls2101 NDRPDR iter env 6
3488       - 13  # rls2101 NDRPDR iter env 6
3489       - 14  # rls2101 NDRPDR iter env 6
3490       - 15  # rls2101 NDRPDR iter env 6
3491       - 17  # rls2101 NDRPDR iter env 6
3492       - 18  # rls2101 NDRPDR iter env 6
3493       - 19  # rls2101 NDRPDR iter env 6
3494       - 20  # rls2101 NDRPDR iter env 6
3495       - 21  # rls2101 NDRPDR iter env 6
3496
3497     csit-dpdk-perf-report-iterative-2005-2n-clx:
3498       - 20  # NDRPDR iter
3499       - 21  # NDRPDR iter
3500       - 22  # NDRPDR iter
3501       - 23  # NDRPDR iter
3502       - 24  # NDRPDR iter
3503       - 25  # NDRPDR iter
3504       - 26  # NDRPDR iter
3505       - 27  # NDRPDR iter
3506       - 28  # NDRPDR iter
3507       - 29  # NDRPDR iter
3508     csit-dpdk-perf-report-iterative-2009-2n-clx:
3509       - 4   # NDRPDR iter env5
3510       - 5   # NDRPDR iter env5
3511       - 6   # NDRPDR iter env5
3512       - 7   # NDRPDR iter env5
3513       - 8   # NDRPDR iter env5
3514       - 9   # NDRPDR iter env5
3515       - 10  # NDRPDR iter env5
3516       - 11  # NDRPDR iter env5
3517       - 12  # NDRPDR iter env5
3518       - 13  # NDRPDR iter env5
3519     csit-dpdk-perf-report-iterative-2101-2n-clx:
3520       - 12  # rls2101 NDRPDR iter env 6
3521       - 13  # rls2101 NDRPDR iter env 6
3522       - 14  # rls2101 NDRPDR iter env 6
3523       - 15  # rls2101 NDRPDR iter env 6
3524       - 17  # rls2101 NDRPDR iter env 6
3525       - 18  # rls2101 NDRPDR iter env 6
3526       - 19  # rls2101 NDRPDR iter env 6
3527       - 20  # rls2101 NDRPDR iter env 6
3528       - 21  # rls2101 NDRPDR iter env 6
3529       - 22  # rls2101 NDRPDR iter env 6
3530
3531     csit-dpdk-perf-report-iterative-2009-2n-zn2:
3532       - 16  # NDRPDR iter env5
3533       - 21  # NDRPDR iter env5
3534       - 22  # NDRPDR iter env5
3535       - 23  # NDRPDR iter env5
3536       - 24  # NDRPDR iter env5
3537       - 25  # NDRPDR iter env5
3538       - 29  # NDRPDR iter env5
3539     csit-dpdk-perf-report-iterative-2101-2n-zn2:
3540       - 11  # rls2101 NDRPDR iter env 6
3541       - 12  # rls2101 NDRPDR iter env 6
3542       - 13  # rls2101 NDRPDR iter env 6
3543       - 14  # rls2101 NDRPDR iter env 6
3544       - 16  # rls2101 NDRPDR iter env 6
3545       - 17  # rls2101 NDRPDR iter env 6
3546       - 18  # rls2101 NDRPDR iter env 6
3547       - 19  # rls2101 NDRPDR iter env 6
3548       - 20  # rls2101 NDRPDR iter env 6
3549       - 21  # rls2101 NDRPDR iter env 6
3550
3551 #    csit-dpdk-perf-report-iterative-2005-2n-dnv:
3552 #      # No data
3553 #    # csit-dpdk-perf-report-iterative-2009-2n-dnv:
3554 #      # No data
3555
3556 #    csit-dpdk-perf-report-iterative-2005-3n-dnv:
3557 #      # No data
3558 #    # csit-dpdk-perf-report-iterative-2009-3n-dnv:
3559 #      # No data
3560
3561     csit-dpdk-perf-report-iterative-2005-3n-tsh:
3562       - 5   # NDRPDR sel
3563     csit-dpdk-perf-report-iterative-2009-3n-tsh:
3564       - 1   # NDRPDR iter env5
3565       - 2   # NDRPDR iter env5
3566       - 3   # NDRPDR iter env5
3567       - 4   # NDRPDR iter env5
3568       - 5   # NDRPDR iter env5
3569       - 6   # NDRPDR iter env5
3570       - 7   # NDRPDR iter env5
3571       - 9   # NDRPDR iter env5
3572       - 10  # NDRPDR iter env5
3573       - 11  # NDRPDR iter env5
3574     csit-dpdk-perf-report-iterative-2101-3n-tsh:
3575       - 11  # rls2101 NDRPDR iter env 6
3576       - 12  # rls2101 NDRPDR iter env 6
3577       - 13  # rls2101 NDRPDR iter env 6
3578       - 14  # rls2101 NDRPDR iter env 6
3579       - 16  # rls2101 NDRPDR iter env 6
3580       - 17  # rls2101 NDRPDR iter env 6
3581       - 18  # rls2101 NDRPDR iter env 6
3582       - 19  # rls2101 NDRPDR iter env 6
3583       - 20  # rls2101 NDRPDR iter env 6
3584       - 21  # rls2101 NDRPDR iter env 6
3585
3586     csit-dpdk-perf-report-iterative-2101-2n-tx2:
3587       - 4   # rls2101 NDRPDR iter env 6
3588       - 6   # rls2101 NDRPDR iter env 6
3589       - 7   # rls2101 NDRPDR iter env 6
3590       - 8   # rls2101 NDRPDR iter env 6
3591       - 9   # rls2101 NDRPDR iter env 6
3592       - 10  # rls2101 NDRPDR iter env 6
3593       - 11  # rls2101 NDRPDR iter env 6
3594       - 12  # rls2101 NDRPDR iter env 6
3595       - 13  # rls2101 NDRPDR iter env 6
3596       - 14  # rls2101 NDRPDR iter env 6
3597
3598     csit-vpp-device-2101-ubuntu1804-1n-skx:
3599       - 358  # rls2101.rel VPP DEV env 6
3600
3601 - type: "output"
3602   output: "report"
3603   format:
3604     html:
3605     - full
3606 #     pdf:
3607 #     - minimal
3608
3609 ################################################################################
3610 ###                               T A B L E S                                ###
3611 ################################################################################
3612
3613 # VPP Soak vs NDR - 2n-skx
3614 - type: "table"
3615   title: "VPP Soak vs&