ce971c44ae01e309cd569e5912400fee0f261f29
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272
273     plot-vpp-hdrh-lat-3n-skx:
274       csit-vpp-perf-report-iterative-2101-3n-skx:
275         - 36  # rls2101.rel NDRPDR iter env 6
276
277 #    plot-vpp-nfv-3n-skx-ndrpdr:
278 #      # No data
279 #      csit-vpp-perf-report-iterative-2101-3n-skx:
280
281 #    plot-vpp-nfv-3n-skx-mrr:
282 #      # No data
283 #      csit-vpp-perf-report-iterative-2101-3n-skx:
284
285     plot-dpdk-throughput-latency-3n-skx:
286       csit-dpdk-perf-report-iterative-2101-3n-skx:
287         - 12  # rls2101 NDRPDR iter env 6
288         - 14  # rls2101 NDRPDR iter env 6
289         - 15  # rls2101 NDRPDR iter env 6
290         - 17  # rls2101 NDRPDR iter env 6
291         - 19  # rls2101 NDRPDR iter env 6
292         - 20  # rls2101 NDRPDR iter env 6
293         - 21  # rls2101 NDRPDR iter env 6
294         - 22  # rls2101 NDRPDR iter env 6
295         - 25  # rls2101 NDRPDR iter env 6
296         - 26  # rls2101 NDRPDR iter env 6
297
298     plot-dpdk-hdrh-lat-3n-skx:
299       csit-dpdk-perf-report-iterative-2101-3n-skx:
300         - 12  # rls2101 NDRPDR iter env 6
301
302     # 2n-skx
303
304     plot-vpp-throughput-lat-tsa-2n-skx:
305       csit-vpp-perf-report-iterative-2101-2n-skx:
306         - 63  # rls2101.rel NDRPDR iter env 6
307         - 69  # rls2101.rel NDRPDR iter env 6
308         - 70  # rls2101.rel NDRPDR iter env 6
309         - 75  # rls2101.rel NDRPDR iter env 6
310         - 76  # rls2101.rel NDRPDR iter env 6
311         - 77  # rls2101.rel NDRPDR iter env 6
312         - 82  # rls2101.rel NDRPDR iter env 6
313         - 85  # rls2101.rel NDRPDR iter env 6
314         - 86  # rls2101.rel NDRPDR iter env 6
315         - 94  # rls2101.rel NDRPDR iter env 6
316         - 89  # rls2101.rel NDRPDR iter RND env 6
317         - 90  # rls2101.rel NDRPDR iter RND env 6
318         - 91  # rls2101.rel NDRPDR iter RND env 6
319         - 92  # rls2101.rel NDRPDR iter RND env 6
320         - 93  # rls2101.rel NDRPDR iter RND env 6
321         - 96  # rls2101.rel NDRPDR iter RND env 6
322         - 98  # rls2101.rel NDRPDR iter RND env 6
323         - 99  # rls2101.rel NDRPDR iter RND env 6
324         - 101 # rls2101.rel NDRPDR iter RND env 6
325         - 102 # rls2101.rel NDRPDR iter RND env 6
326
327     plot-vpp-hdrh-lat-2n-skx:
328       csit-vpp-perf-report-iterative-2101-2n-skx:
329         - 94  # rls2101.rel NDRPDR iter env 6
330
331     plot-vpp-hdrh-lat-2n-skx-rnd:
332       csit-vpp-perf-report-iterative-2101-2n-skx:
333         - 89  # rls2101.rel NDRPDR iter RND env 6
334
335     plot-vpp-soak-2n-skx:
336       csit-vpp-perf-report-iterative-2101-2n-skx:
337         - 68  # rls2101.rel soak env 6
338         - 73  # rls2101.rel soak env 6
339
340     plot-vpp-nfv-2n-skx-ndrpdr:
341       csit-vpp-perf-report-iterative-2101-2n-skx:
342         - 67  # rls2101.rel NDRPDR nf-density iter env 6
343         - 72  # rls2101.rel NDRPDR nf-density iter env 6
344         - 79  # rls2101.rel NDRPDR nf-density iter env 6
345         - 83  # rls2101.rel NDRPDR nf-density iter env 6
346         - 88  # rls2101.rel NDRPDR nf-density iter env 6
347         - 97  # rls2101.rel NDRPDR nf-density iter env 6
348         - 103 # rls2101.rel NDRPDR nf-density iter env 6
349         - 108 # rls2101.rel NDRPDR nf-density iter env 6
350         - 109 # rls2101.rel NDRPDR nf-density iter env 6
351         - 110 # rls2101.rel NDRPDR nf-density iter env 6
352
353     plot-vpp-nfv-2n-skx-mrr:
354       csit-vpp-perf-report-iterative-2101-2n-skx:
355         - 65  # rls2101.rel MRR nf-density iter env 6
356
357     plot-vpp-nfv-reconf-2n-skx:
358       csit-vpp-perf-report-iterative-2101-2n-skx:
359         - 64  # rls2101.rel NDRPDR reconf iter env 6
360         - 66  # rls2101.rel NDRPDR reconf iter env 6
361         - 71  # rls2101.rel NDRPDR reconf iter env 6
362         - 74  # rls2101.rel NDRPDR reconf iter env 6
363         - 78  # rls2101.rel NDRPDR reconf iter env 6
364         - 87  # rls2101.rel NDRPDR reconf iter env 6
365         - 95  # rls2101.rel NDRPDR reconf iter env 6
366         - 100 # rls2101.rel NDRPDR reconf iter env 6
367         - 104 # rls2101.rel NDRPDR reconf iter env 6
368         - 106 # rls2101.rel NDRPDR reconf iter env 6
369
370     plot-dpdk-throughput-latency-2n-skx:
371       csit-dpdk-perf-report-iterative-2101-2n-skx:
372         - 11  # rls2101 NDRPDR iter env 6
373         - 12  # rls2101 NDRPDR iter env 6
374         - 13  # rls2101 NDRPDR iter env 6
375         - 14  # rls2101 NDRPDR iter env 6
376         - 15  # rls2101 NDRPDR iter env 6
377         - 17  # rls2101 NDRPDR iter env 6
378         - 18  # rls2101 NDRPDR iter env 6
379         - 19  # rls2101 NDRPDR iter env 6
380         - 20  # rls2101 NDRPDR iter env 6
381         - 21  # rls2101 NDRPDR iter env 6
382
383     plot-dpdk-hdrh-lat-2n-skx:
384       csit-dpdk-perf-report-iterative-2101-2n-skx:
385         - 11  # rls2101 NDRPDR iter env 6
386
387     # 2n-zn2
388
389     plot-vpp-throughput-lat-tsa-2n-zn2:
390       csit-vpp-perf-report-iterative-2101-2n-zn2:
391         - 31  # rls2101.rel NDRPDR iter env 6
392         - 32  # rls2101.rel NDRPDR iter env 6
393         - 33  # rls2101.rel NDRPDR iter env 6
394         - 34  # rls2101.rel NDRPDR iter env 6
395         - 35  # rls2101.rel NDRPDR iter env 6
396         - 36  # rls2101.rel NDRPDR iter env 6
397         - 37  # rls2101.rel NDRPDR iter env 6
398         - 38  # rls2101.rel NDRPDR iter env 6
399         - 40  # rls2101.rel NDRPDR iter RND env 6
400         - 41  # rls2101.rel NDRPDR iter RND env 6
401         - 42  # rls2101.rel NDRPDR iter RND env 6
402         - 43  # rls2101.rel NDRPDR iter RND env 6
403         - 45  # rls2101.rel NDRPDR iter RND env 6
404         - 48  # rls2101.rel NDRPDR iter RND env 6
405         - 50  # rls2101.rel NDRPDR iter RND env 6
406
407     plot-vpp-hdrh-lat-2n-zn2:
408       csit-vpp-perf-report-iterative-2101-2n-zn2:
409         - 31  # rls2101.rel NDRPDR iter env 6
410
411     plot-vpp-hdrh-lat-2n-zn2-rnd:
412       csit-vpp-perf-report-iterative-2101-2n-zn2:
413         - 40  # rls2101.rel NDRPDR iter RND env 6
414
415     plot-dpdk-throughput-latency-2n-zn2:
416       csit-dpdk-perf-report-iterative-2101-2n-zn2:
417         - 11  # rls2101 NDRPDR iter env 6
418         - 12  # rls2101 NDRPDR iter env 6
419         - 13  # rls2101 NDRPDR iter env 6
420         - 14  # rls2101 NDRPDR iter env 6
421         - 16  # rls2101 NDRPDR iter env 6
422         - 17  # rls2101 NDRPDR iter env 6
423         - 18  # rls2101 NDRPDR iter env 6
424         - 19  # rls2101 NDRPDR iter env 6
425         - 20  # rls2101 NDRPDR iter env 6
426         - 21  # rls2101 NDRPDR iter env 6
427
428     plot-dpdk-hdrh-lat-2n-zn2:
429       csit-dpdk-perf-report-iterative-2101-2n-zn2:
430         - 11  # rls2101 NDRPDR iter env 6
431
432     # 2n-clx
433
434     plot-vpp-throughput-lat-tsa-2n-clx:
435       csit-vpp-perf-report-iterative-2101-2n-clx:
436         - 54  # rls2101.rel NDRPDR iter env 6
437         - 59  # rls2101.rel NDRPDR iter env 6
438         - 60  # rls2101.rel NDRPDR iter env 6
439         - 63  # rls2101.rel NDRPDR iter env 6
440         - 66  # rls2101.rel NDRPDR iter env 6
441         - 68  # rls2101.rel NDRPDR iter env 6
442         - 73  # rls2101.rel NDRPDR iter env 6
443         - 75  # rls2101.rel NDRPDR iter env 6
444         - 87  # rls2101.rel NDRPDR iter RND env 6
445         - 91  # rls2101.rel NDRPDR iter RND env 6
446         - 93  # rls2101.rel NDRPDR iter RND env 6
447         - 94  # rls2101.rel NDRPDR iter RND env 6
448
449     plot-vpp-hdrh-lat-2n-clx:
450       csit-vpp-perf-report-iterative-2101-2n-clx:
451         - 75  # rls2101.rel NDRPDR iter env 6
452
453     plot-vpp-hdrh-lat-2n-clx-rnd:
454       csit-vpp-perf-report-iterative-2101-2n-clx:
455         - 87  # rls2101.rel NDRPDR iter RND env 6
456
457     plot-vpp-nfv-2n-clx-ndrpdr:
458       csit-vpp-perf-report-iterative-2101-2n-clx:
459         - 57  # rls2101.rel NDRPDR nf-density iter env 6
460         - 62  # rls2101.rel NDRPDR nf-density iter env 6
461         - 70  # rls2101.rel NDRPDR nf-density iter env 6
462         - 71  # rls2101.rel NDRPDR nf-density iter env 6
463         - 82  # rls2101.rel NDRPDR nf-density iter env 6
464         - 88  # rls2101.rel NDRPDR nf-density iter env 6
465         - 89  # rls2101.rel NDRPDR nf-density iter env 6
466         - 96  # rls2101.rel NDRPDR nf-density iter env 6
467         - 97  # rls2101.rel NDRPDR nf-density iter env 6
468
469     plot-vpp-nfv-2n-clx-mrr:
470       csit-vpp-perf-report-iterative-2101-2n-clx:
471         - 72  # rls2101.rel MRR nf-density iter env 6
472
473     plot-vpp-nfv-reconf-2n-clx:
474       csit-vpp-perf-report-iterative-2101-2n-clx:
475         - 55  # rls2101.rel NDRPDR reconf iter env 6
476         - 64  # rls2101.rel NDRPDR reconf iter env 6
477         - 76  # rls2101.rel NDRPDR reconf iter env 6
478         - 83  # rls2101.rel NDRPDR reconf iter env 6
479
480     plot-vpp-soak-2n-clx:
481       csit-vpp-perf-report-iterative-2101-2n-clx:
482         - 58  # rls2101.rel soak env 6
483         - 61  # rls2101.rel soak env 6
484
485     plot-dpdk-throughput-latency-2n-clx:
486       csit-dpdk-perf-report-iterative-2101-2n-clx:
487         - 12  # rls2101 NDRPDR iter env 6
488         - 13  # rls2101 NDRPDR iter env 6
489         - 14  # rls2101 NDRPDR iter env 6
490         - 18  # rls2101 NDRPDR iter env 6
491         - 22  # rls2101 NDRPDR iter env 6
492
493     plot-dpdk-hdrh-lat-2n-clx:
494       csit-dpdk-perf-report-iterative-2101-2n-clx:
495         - 12  # rls2101 NDRPDR iter env 6
496
497     # 3n-tsh
498
499     plot-vpp-throughput-lat-tsa-3n-tsh:
500       csit-vpp-perf-report-iterative-2101-3n-tsh:
501         - 23  # rls2101.rel NDRPDR iter env 6
502         - 24  # rls2101.rel NDRPDR iter env 6
503         - 25  # rls2101.rel NDRPDR iter env 6
504         - 26  # rls2101.rel NDRPDR iter env 6
505         - 27  # rls2101.rel NDRPDR iter env 6
506         - 28  # rls2101.rel NDRPDR iter env 6
507         - 29  # rls2101.rel NDRPDR iter env 6
508
509     plot-vpp-hdrh-lat-3n-tsh:
510       csit-vpp-perf-report-iterative-2101-3n-tsh:
511         - 23  # rls2101.rel NDRPDR iter env 6
512
513     plot-dpdk-throughput-latency-3n-tsh:
514       csit-dpdk-perf-report-iterative-2101-3n-tsh:
515         - 11  # rls2101 NDRPDR iter env 6
516         - 12  # rls2101 NDRPDR iter env 6
517         - 13  # rls2101 NDRPDR iter env 6
518         - 14  # rls2101 NDRPDR iter env 6
519         - 16  # rls2101 NDRPDR iter env 6
520         - 17  # rls2101 NDRPDR iter env 6
521         - 18  # rls2101 NDRPDR iter env 6
522         - 19  # rls2101 NDRPDR iter env 6
523         - 20  # rls2101 NDRPDR iter env 6
524         - 21  # rls2101 NDRPDR iter env 6
525
526     plot-dpdk-hdrh-lat-3n-tsh:
527       csit-dpdk-perf-report-iterative-2101-3n-tsh:
528         - 21  # rls2101 NDRPDR iter env 6
529
530     # 2n-tx2
531
532     plot-vpp-throughput-lat-tsa-2n-tx2:
533       csit-vpp-perf-report-iterative-2101-2n-tx2:
534         - 22  # rls2101.rel NDRPDR iter env 6
535         - 23  # rls2101.rel NDRPDR iter env 6
536         - 24  # rls2101.rel NDRPDR iter env 6
537         - 25  # rls2101.rel NDRPDR iter env 6
538         - 26  # rls2101.rel NDRPDR iter env 6
539         - 27  # rls2101.rel NDRPDR iter env 6
540         - 28  # rls2101.rel NDRPDR iter env 6
541         - 29  # rls2101.rel NDRPDR iter env 6
542         - 30  # rls2101.rel NDRPDR iter env 6
543         - 31  # rls2101.rel NDRPDR iter env 6
544
545     plot-vpp-hdrh-lat-2n-tx2:
546       csit-vpp-perf-report-iterative-2101-2n-tx2:
547         - 29  # rls2101.rel NDRPDR iter env 6
548
549     plot-dpdk-throughput-latency-2n-tx2:
550       csit-dpdk-perf-report-iterative-2101-2n-tx2:
551         - 4   # rls2101 NDRPDR iter env 6
552         - 6   # rls2101 NDRPDR iter env 6
553         - 7   # rls2101 NDRPDR iter env 6
554         - 8   # rls2101 NDRPDR iter env 6
555         - 9   # rls2101 NDRPDR iter env 6
556         - 10  # rls2101 NDRPDR iter env 6
557         - 11  # rls2101 NDRPDR iter env 6
558         - 12  # rls2101 NDRPDR iter env 6
559         - 13  # rls2101 NDRPDR iter env 6
560         - 14  # rls2101 NDRPDR iter env 6
561
562     plot-dpdk-hdrh-lat-2n-tx2:
563       csit-dpdk-perf-report-iterative-2101-2n-tx2:
564         - 4   # rls2101 NDRPDR iter env 6
565
566     # 3n-dnv
567
568     plot-vpp-throughput-lat-tsa-3n-dnv:
569       csit-vpp-perf-report-iterative-2101-3n-dnv:
570         - 33  # rls2101.rel NDRPDR iter env 6
571         - 34  # rls2101.rel NDRPDR iter env 6
572         - 35  # rls2101.rel NDRPDR iter env 6
573         - 36  # rls2101.rel NDRPDR iter env 6
574         - 37  # rls2101.rel NDRPDR iter env 6
575         - 38  # rls2101.rel NDRPDR iter env 6
576         - 39  # rls2101.rel NDRPDR iter env 6
577         - 40  # rls2101.rel NDRPDR iter env 6
578         - 41  # rls2101.rel NDRPDR iter env 6
579         - 42  # rls2101.rel NDRPDR iter env 6
580         - 43  # rls2101.rel NDRPDR iter RND env 6
581         - 44  # rls2101.rel NDRPDR iter RND env 6
582         - 45  # rls2101.rel NDRPDR iter RND env 6
583         - 46  # rls2101.rel NDRPDR iter RND env 6
584         - 47  # rls2101.rel NDRPDR iter RND env 6
585         - 48  # rls2101.rel NDRPDR iter RND env 6
586         - 49  # rls2101.rel NDRPDR iter RND env 6
587         - 50  # rls2101.rel NDRPDR iter RND env 6
588         - 51  # rls2101.rel NDRPDR iter RND env 6
589         - 52  # rls2101.rel NDRPDR iter RND env 6
590
591 #    plot-dpdk-throughput-latency-3n-dnv:
592 #      # No data
593 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
594
595     # 2n-dnv
596
597     plot-vpp-throughput-lat-tsa-2n-dnv:
598       csit-vpp-perf-report-iterative-2101-2n-dnv:
599         - 32  # rls2101.rel NDRPDR iter env 6
600         - 33  # rls2101.rel NDRPDR iter env 6
601         - 34  # rls2101.rel NDRPDR iter env 6
602         - 35  # rls2101.rel NDRPDR iter env 6
603         - 39  # rls2101.rel NDRPDR iter env 6
604         - 41  # rls2101.rel NDRPDR iter env 6
605         - 42  # rls2101.rel NDRPDR iter env 6
606         - 43  # rls2101.rel NDRPDR iter env 6
607         - 44  # rls2101.rel NDRPDR iter env 6
608         - 45  # rls2101.rel NDRPDR iter env 6
609         - 46  # rls2101.rel NDRPDR iter RND env 6
610         - 47  # rls2101.rel NDRPDR iter RND env 6
611         - 48  # rls2101.rel NDRPDR iter RND env 6
612         - 49  # rls2101.rel NDRPDR iter RND env 6
613         - 50  # rls2101.rel NDRPDR iter RND env 6
614         - 51  # rls2101.rel NDRPDR iter RND env 6
615         - 52  # rls2101.rel NDRPDR iter RND env 6
616         - 53  # rls2101.rel NDRPDR iter RND env 6
617         - 54  # rls2101.rel NDRPDR iter RND env 6
618         - 55  # rls2101.rel NDRPDR iter RND env 6
619
620 #    plot-dpdk-throughput-latency-2n-dnv:
621 #      # No data
622 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
623
624     ###########################################################################
625     # Simple tables (only one data set):
626
627     # NIC Comparisons
628
629     vpp-nic-comparison-3n-skx:
630       csit-vpp-perf-report-iterative-2101-3n-skx:
631         - 36  # rls2101.rel NDRPDR iter env 6
632         - 37  # rls2101.rel NDRPDR iter env 6
633         - 38  # rls2101.rel NDRPDR iter env 6
634         - 39  # rls2101.rel NDRPDR iter env 6
635         - 40  # rls2101.rel NDRPDR iter env 6
636         - 41  # rls2101.rel NDRPDR iter env 6
637         - 42  # rls2101.rel NDRPDR iter env 6
638         - 47  # rls2101.rel NDRPDR iter env 6
639         - 48  # rls2101.rel NDRPDR iter env 6
640
641     vpp-nic-comparison-2n-skx:
642       csit-vpp-perf-report-iterative-2101-2n-skx:
643         - 63  # rls2101.rel NDRPDR iter env 6
644         - 69  # rls2101.rel NDRPDR iter env 6
645         - 70  # rls2101.rel NDRPDR iter env 6
646         - 75  # rls2101.rel NDRPDR iter env 6
647         - 76  # rls2101.rel NDRPDR iter env 6
648         - 77  # rls2101.rel NDRPDR iter env 6
649         - 82  # rls2101.rel NDRPDR iter env 6
650         - 85  # rls2101.rel NDRPDR iter env 6
651         - 86  # rls2101.rel NDRPDR iter env 6
652         - 94  # rls2101.rel NDRPDR iter env 6
653         - 89  # rls2101.rel NDRPDR iter RND env 6
654         - 90  # rls2101.rel NDRPDR iter RND env 6
655         - 91  # rls2101.rel NDRPDR iter RND env 6
656         - 92  # rls2101.rel NDRPDR iter RND env 6
657         - 93  # rls2101.rel NDRPDR iter RND env 6
658         - 96  # rls2101.rel NDRPDR iter RND env 6
659         - 98  # rls2101.rel NDRPDR iter RND env 6
660         - 99  # rls2101.rel NDRPDR iter RND env 6
661         - 101 # rls2101.rel NDRPDR iter RND env 6
662         - 102 # rls2101.rel NDRPDR iter RND env 6
663
664     vpp-nic-comparison-3n-skx-mrr:
665       csit-vpp-perf-report-iterative-2101-3n-skx:
666         - 35  # rls2101.rel MRR iter env 6
667
668     vpp-nic-comparison-2n-skx-mrr:
669       csit-vpp-perf-report-iterative-2101-2n-skx:
670         - 62  # rls2101.rel MRR iter env 6
671
672     # Results
673
674     vpp-perf-results-3n-hsw:
675       csit-vpp-perf-report-coverage-2101-3n-hsw:
676         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
677         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
678         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
679         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
680         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
681         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
682         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
683         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
684         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
685         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
686         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
687         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
688         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
689         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
690         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
691         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
692         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
693         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
694         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
695         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
696         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
697         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
698         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
699         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
700         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
701         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
702         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
703         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
704         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
705         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
706         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
707         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
708         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
709         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
710         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
711
712     vpp-perf-results-3n-skx:
713       # csit-vpp-perf-report-coverage-2101-3n-skx:
714       csit-vpp-perf-report-iterative-2101-3n-skx:
715         - 36  # rls2101.rel NDRPDR iter env 6
716
717     vpp-perf-results-2n-skx:
718       csit-vpp-perf-report-coverage-2101-2n-skx:
719         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
720         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
721         - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
722         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
723         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
724         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
725         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
726         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
727         - 9   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
728         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
729 #        - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
730         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
731         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
732         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
733         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
734 #        - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
735 #        - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
736 #        - 18  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
737
738     vpp-perf-results-2n-zn2:
739       csit-vpp-perf-report-iterative-2101-2n-zn2:
740         - 31  # rls2101.rel NDRPDR iter env 6
741
742     vpp-perf-results-2n-clx:
743       # csit-vpp-perf-report-coverage-2101-2n-clx:
744       csit-vpp-perf-report-iterative-2101-2n-clx:
745         - 75  # rls2101.rel NDRPDR iter env 6
746
747     vpp-perf-results-3n-tsh:
748       csit-vpp-perf-report-iterative-2101-3n-tsh:
749         - 23  # rls2101.rel NDRPDR iter env 6
750
751     vpp-perf-results-2n-tx2:
752       csit-vpp-perf-report-iterative-2101-2n-tx2:
753         - 29  # rls2101.rel NDRPDR iter env 6
754
755     vpp-perf-results-3n-dnv:
756       csit-vpp-perf-report-coverage-2101-3n-dnv:
757         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
758         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
759         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
760         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
761         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
762         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
763         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
764         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
765         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
766
767     vpp-perf-results-2n-dnv:
768       csit-vpp-perf-report-coverage-2101-2n-dnv:
769         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
770         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
771         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
772         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
773         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
774         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
775
776     vpp-mrr-results-3n-hsw:
777       csit-vpp-perf-report-iterative-2101-3n-hsw:
778         - 63  # rls2101.rel MRR iter env 6
779
780     vpp-mrr-results-3n-skx:
781       csit-vpp-perf-report-iterative-2101-3n-skx:
782         - 35  # rls2101.rel MRR iter env 6
783
784     vpp-mrr-results-2n-skx:
785       csit-vpp-perf-report-iterative-2101-2n-skx:
786         - 62  # rls2101.rel MRR iter env 6
787
788     vpp-mrr-results-2n-zn2:
789       csit-vpp-perf-report-iterative-2101-2n-zn2:
790         - 30  # rls2101.rel MRR iter env 6
791
792     vpp-mrr-results-2n-clx:
793       csit-vpp-perf-report-iterative-2101-2n-clx:
794         - 53  # rls2101.rel MRR iter env 6
795
796     vpp-mrr-results-3n-tsh:
797       csit-vpp-perf-report-iterative-2101-3n-tsh:
798         - 22  # rls2101.rel MRR iter env 6
799
800     vpp-mrr-results-2n-tx2:
801       csit-vpp-perf-report-iterative-2101-2n-tx2:
802         - 21  # rls2101.rel MRR iter env 6
803
804     vpp-mrr-results-3n-dnv:
805       csit-vpp-perf-report-iterative-2101-3n-dnv:
806         - 32  # rls2101.rel MRR iter env 6
807
808     vpp-mrr-results-2n-dnv:
809       csit-vpp-perf-report-iterative-2101-2n-dnv:
810         - 31  # rls2101.rel MRR iter env 6
811
812     vpp-device-results-ubuntu:
813       csit-vpp-device-2101-ubuntu1804-1n-skx:
814         - 358  # rls2101.rel VPP DEV env 6
815
816     dpdk-perf-results-3n-hsw:
817       csit-dpdk-perf-report-iterative-2101-3n-hsw:
818         - 11  # rls2101 NDRPDR iter env 6
819
820     dpdk-perf-results-3n-skx:
821       csit-dpdk-perf-report-iterative-2101-3n-skx:
822         - 12  # rls2101 NDRPDR iter env 6
823
824     dpdk-perf-results-2n-skx:
825       csit-dpdk-perf-report-iterative-2101-2n-skx:
826         - 11  # rls2101 NDRPDR iter env 6
827
828     dpdk-perf-results-2n-zn2:
829       csit-dpdk-perf-report-iterative-2101-2n-zn2:
830         - 11  # rls2101 NDRPDR iter env 6
831
832     dpdk-perf-results-2n-clx:
833       csit-dpdk-perf-report-iterative-2101-2n-clx:
834         - 12  # rls2101 NDRPDR iter env 6
835
836 #    dpdk-perf-results-2n-dnv:
837 #      # No data
838 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
839
840 #    dpdk-perf-results-3n-dnv:
841 #      # No data
842 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
843
844     dpdk-perf-results-3n-tsh:
845       csit-dpdk-perf-report-iterative-2101-3n-tsh:
846         - 21  # rls2101 NDRPDR iter env 6
847
848     dpdk-perf-results-2n-tx2:
849       csit-dpdk-perf-report-iterative-2101-2n-tx2:
850         - 4   # rls2101 NDRPDR iter env 6
851
852 ###########################################################################
853     # Tables (more than one data set)
854
855     # Performance changes
856
857     vpp-performance-changes-3n-hsw-h1:
858       csit-vpp-perf-report-iterative-2009-3n-hsw:
859         - 9   # rls2005 NDRPDR iter env 5
860         - 10  # rls2005 NDRPDR iter env 5
861         - 11  # rls2005 NDRPDR iter env 5
862         - 12  # rls2005 NDRPDR iter env 5
863         - 13  # rls2005 NDRPDR iter env 5
864         - 14  # rls2005 NDRPDR iter env 5
865         - 15  # rls2005 NDRPDR iter env 5
866         - 16  # rls2005 NDRPDR iter env 5
867         - 17  # rls2005 NDRPDR iter env 5
868         - 19  # rls2005 NDRPDR iter env 5
869     vpp-performance-changes-3n-hsw-ref-env-old:
870       csit-vpp-perf-report-iterative-2009-3n-hsw:
871         - 21  # rls2009 NDRPDR iter env 5
872         - 22  # rls2009 NDRPDR iter env 5
873         - 24  # rls2009 NDRPDR iter env 5
874         - 25  # rls2009 NDRPDR iter env 5
875         - 26  # rls2009 NDRPDR iter env 5
876         - 27  # rls2009 NDRPDR iter env 5
877         - 28  # rls2009 NDRPDR iter env 5
878         - 29  # rls2009 NDRPDR iter env 5
879         - 30  # rls2009 NDRPDR iter env 5
880         - 31  # rls2009 NDRPDR iter env 5
881     vpp-performance-changes-3n-hsw-ref-env-new:
882       csit-vpp-perf-report-iterative-2101-3n-hsw:
883         - 19  # rls2009 NDRPDR iter env 6
884         - 20  # rls2009 NDRPDR iter env 6
885         - 21  # rls2009 NDRPDR iter env 6
886         - 22  # rls2009 NDRPDR iter env 6
887         - 23  # rls2009 NDRPDR iter env 6
888         - 24  # rls2009 NDRPDR iter env 6
889         - 25  # rls2009 NDRPDR iter env 6
890         - 26  # rls2009 NDRPDR iter env 6
891         - 27  # rls2009 NDRPDR iter env 6
892         - 28  # rls2009 NDRPDR iter env 6
893     vpp-performance-changes-3n-hsw-cmp:
894       csit-vpp-perf-report-iterative-2101-3n-hsw:
895         - 64  # rls2101.rel NDRPDR iter env 6
896         - 71  # rls2101.rel NDRPDR iter env 6
897         - 73  # rls2101.rel NDRPDR iter env 6
898         - 74  # rls2101.rel NDRPDR iter env 6
899         - 80  # rls2101.rel NDRPDR iter env 6
900         - 81  # rls2101.rel NDRPDR iter env 6
901         - 82  # rls2101.rel NDRPDR iter env 6
902         - 83  # rls2101.rel NDRPDR iter env 6
903         - 88  # rls2101.rel NDRPDR iter env 6
904         - 89  # rls2101.rel NDRPDR iter env 6
905         - 128 # rls2101.rel NDRPDR iter RND env 6
906         - 129 # rls2101.rel NDRPDR iter RND env 6
907         - 130 # rls2101.rel NDRPDR iter RND env 6
908         - 131 # rls2101.rel NDRPDR iter RND env 6
909         - 132 # rls2101.rel NDRPDR iter RND env 6
910         - 133 # rls2101.rel NDRPDR iter RND env 6
911         - 134 # rls2101.rel NDRPDR iter RND env 6
912         - 135 # rls2101.rel NDRPDR iter RND env 6
913         - 136 # rls2101.rel NDRPDR iter RND env 6
914         - 137 # rls2101.rel NDRPDR iter RND env 6
915
916     vpp-performance-changes-3n-skx-h1:
917       csit-vpp-perf-report-iterative-2009-3n-skx:
918         - 13  # rls2005 NDRPDR iter env 5
919         - 18  # rls2005 NDRPDR iter env 5
920         - 19  # rls2005 NDRPDR iter env 5
921         - 41  # rls2005 NDRPDR iter env 5
922         - 43  # rls2005 NDRPDR iter env 5
923         - 44  # rls2005 NDRPDR iter env 5
924         - 45  # rls2005 NDRPDR iter env 5
925         - 46  # rls2005 NDRPDR iter env 5
926         - 48  # rls2005 NDRPDR iter env 5
927         - 49  # rls2005 NDRPDR iter env 5
928     vpp-performance-changes-3n-skx-ref-env-old:
929       csit-vpp-perf-report-iterative-2009-3n-skx:
930         - 26  # rls2009 NDRPDR iter env 5
931         - 27  # rls2009 NDRPDR iter env 5
932         - 28  # rls2009 NDRPDR iter env 5
933         - 29  # rls2009 NDRPDR iter env 5
934         - 35  # rls2009 NDRPDR iter env 5
935         - 36  # rls2009 NDRPDR iter env 5
936         - 37  # rls2009 NDRPDR iter env 5
937         - 38  # rls2009 NDRPDR iter env 5
938         - 39  # rls2009 NDRPDR iter env 5
939         - 40  # rls2009 NDRPDR iter env 5
940     vpp-performance-changes-3n-skx-ref-env-new:
941       csit-vpp-perf-report-iterative-2101-3n-skx:
942         - 14  # rls2009 NDRPDR iter env 6
943         - 15  # rls2009 NDRPDR iter env 6
944         - 16  # rls2009 NDRPDR iter env 6
945         - 17  # rls2009 NDRPDR iter env 6
946         - 18  # rls2009 NDRPDR iter env 6
947         - 25  # rls2009 NDRPDR iter env 6
948         - 26  # rls2009 NDRPDR iter env 6
949         - 27  # rls2009 NDRPDR iter env 6
950         - 29  # rls2009 NDRPDR iter env 6
951         - 31  # rls2009 NDRPDR iter env 6
952     vpp-performance-changes-3n-skx-cmp:
953       csit-vpp-perf-report-iterative-2101-3n-skx:
954         - 36  # rls2101.rel NDRPDR iter env 6
955         - 37  # rls2101.rel NDRPDR iter env 6
956         - 38  # rls2101.rel NDRPDR iter env 6
957         - 39  # rls2101.rel NDRPDR iter env 6
958         - 40  # rls2101.rel NDRPDR iter env 6
959         - 41  # rls2101.rel NDRPDR iter env 6
960         - 42  # rls2101.rel NDRPDR iter env 6
961         - 47  # rls2101.rel NDRPDR iter env 6
962         - 48  # rls2101.rel NDRPDR iter env 6
963
964     vpp-performance-changes-2n-skx-h1:
965       csit-vpp-perf-report-iterative-2009-2n-skx:
966         - 13  # rls2005 NDRPDR iter env 5
967         - 16  # rls2005 NDRPDR iter env 5
968         - 17  # rls2005 NDRPDR iter env 5
969         - 18  # rls2005 NDRPDR iter env 5
970         - 19  # rls2005 NDRPDR iter env 5
971         - 21  # rls2005 NDRPDR iter env 5
972         - 22  # rls2005 NDRPDR iter env 5
973         - 23  # rls2005 NDRPDR iter env 5
974         - 24  # rls2005 NDRPDR iter env 5
975         - 25  # rls2005 NDRPDR iter env 5
976     vpp-performance-changes-2n-skx-ref-env-old:
977       csit-vpp-perf-report-iterative-2009-2n-skx:
978         - 35  # rls2009 NDRPDR iter env 5
979         - 36  # rls2009 NDRPDR iter env 5
980         - 37  # rls2009 NDRPDR iter env 5
981         - 39  # rls2009 NDRPDR iter env 5
982         - 40  # rls2009 NDRPDR iter env 5
983         - 42  # rls2009 NDRPDR iter env 5
984         - 43  # rls2009 NDRPDR iter env 5
985         - 44  # rls2009 NDRPDR iter env 5
986         - 46  # rls2009 NDRPDR iter env 5
987         - 48  # rls2009 NDRPDR iter env 5
988         - 110 # rls2009 NDRPDR iter NAT44 env 5
989         - 111 # rls2009 NDRPDR iter NAT44 env 5
990         - 112 # rls2009 NDRPDR iter NAT44 env 5
991         - 113 # rls2009 NDRPDR iter NAT44 env 5
992         - 114 # rls2009 NDRPDR iter NAT44 env 5
993         - 115 # rls2009 NDRPDR iter NAT44 env 5
994         - 116 # rls2009 NDRPDR iter NAT44 env 5
995         - 118 # rls2009 NDRPDR iter NAT44 env 5
996         - 119 # rls2009 NDRPDR iter NAT44 env 5
997         - 121 # rls2009 NDRPDR iter NAT44 env 5
998     vpp-performance-changes-2n-skx-ref-env-new:
999       csit-vpp-perf-report-iterative-2101-2n-skx:
1000         - 22  # rls2009 NDRPDR iter env 6
1001         - 23  # rls2009 NDRPDR iter env 6
1002         - 24  # rls2009 NDRPDR iter env 6
1003         - 25  # rls2009 NDRPDR iter env 6
1004         - 26  # rls2009 NDRPDR iter env 6
1005         - 28  # rls2009 NDRPDR iter env 6
1006         - 39  # rls2009 NDRPDR iter env 6
1007         - 40  # rls2009 NDRPDR iter env 6
1008         - 41  # rls2009 NDRPDR iter env 6
1009         - 44  # rls2009 NDRPDR iter env 6
1010     vpp-performance-changes-2n-skx-cmp:
1011       csit-vpp-perf-report-iterative-2101-2n-skx:
1012         - 63  # rls2101.rel NDRPDR iter env 6
1013         - 69  # rls2101.rel NDRPDR iter env 6
1014         - 70  # rls2101.rel NDRPDR iter env 6
1015         - 75  # rls2101.rel NDRPDR iter env 6
1016         - 76  # rls2101.rel NDRPDR iter env 6
1017         - 77  # rls2101.rel NDRPDR iter env 6
1018         - 82  # rls2101.rel NDRPDR iter env 6
1019         - 85  # rls2101.rel NDRPDR iter env 6
1020         - 86  # rls2101.rel NDRPDR iter env 6
1021         - 94  # rls2101.rel NDRPDR iter env 6
1022         - 89  # rls2101.rel NDRPDR iter RND env 6
1023         - 90  # rls2101.rel NDRPDR iter RND env 6
1024         - 91  # rls2101.rel NDRPDR iter RND env 6
1025         - 92  # rls2101.rel NDRPDR iter RND env 6
1026         - 93  # rls2101.rel NDRPDR iter RND env 6
1027         - 96  # rls2101.rel NDRPDR iter RND env 6
1028         - 98  # rls2101.rel NDRPDR iter RND env 6
1029         - 99  # rls2101.rel NDRPDR iter RND env 6
1030         - 101 # rls2101.rel NDRPDR iter RND env 6
1031         - 102 # rls2101.rel NDRPDR iter RND env 6
1032
1033     vpp-performance-changes-2n-clx-h1:
1034       csit-vpp-perf-report-iterative-2009-2n-clx:
1035         - 13  # rls2005 NDRPDR iter env 5
1036         - 15  # rls2005 NDRPDR iter env 5
1037         - 17  # rls2005 NDRPDR iter env 5
1038         - 18  # rls2005 NDRPDR iter env 5
1039         - 19  # rls2005 NDRPDR iter env 5
1040         - 20  # rls2005 NDRPDR iter env 5
1041         - 21  # rls2005 NDRPDR iter env 5
1042         - 22  # rls2005 NDRPDR iter env 5
1043         - 23  # rls2005 NDRPDR iter env 5
1044         - 24  # rls2005 NDRPDR iter env 5
1045     vpp-performance-changes-2n-clx-ref-env-old:
1046       csit-vpp-perf-report-iterative-2009-2n-clx:
1047         - 36  # rls2009 NDRPDR iter env 5
1048         - 39  # rls2009 NDRPDR iter env 5
1049         - 40  # rls2009 NDRPDR iter env 5
1050         - 65  # rls2009 NDRPDR iter env 5
1051         - 66  # rls2009 NDRPDR iter env 5
1052         - 79  # rls2009 NDRPDR iter env 5
1053         - 82  # rls2009 NDRPDR iter env 5
1054         - 88  # rls2009 NDRPDR iter env 5
1055         - 89  # rls2009 NDRPDR iter env 5
1056         - 90  # rls2009 NDRPDR iter env 5
1057         - 114 # rls2009 NDRPDR iter NAT44 env 5
1058         - 115 # rls2009 NDRPDR iter NAT44 env 5
1059         - 116 # rls2009 NDRPDR iter NAT44 env 5
1060         - 117 # rls2009 NDRPDR iter NAT44 env 5
1061         - 118 # rls2009 NDRPDR iter NAT44 env 5
1062         - 119 # rls2009 NDRPDR iter NAT44 env 5
1063         - 121 # rls2009 NDRPDR iter NAT44 env 5
1064         - 122 # rls2009 NDRPDR iter NAT44 env 5
1065         - 123 # rls2009 NDRPDR iter NAT44 env 5
1066         - 126 # rls2009 NDRPDR iter NAT44 env 5
1067     vpp-performance-changes-2n-clx-ref-env-new:
1068       csit-vpp-perf-report-iterative-2101-2n-clx:
1069         - 16  # rls2009 NDRPDR iter env 6
1070         - 17  # rls2009 NDRPDR iter env 6
1071         - 18  # rls2009 NDRPDR iter env 6
1072         - 19  # rls2009 NDRPDR iter env 6
1073         - 20  # rls2009 NDRPDR iter env 6
1074         - 21  # rls2009 NDRPDR iter env 6
1075         - 32  # rls2009 NDRPDR iter env 6
1076         - 33  # rls2009 NDRPDR iter env 6
1077         - 34  # rls2009 NDRPDR iter env 6
1078         - 35  # rls2009 NDRPDR iter env 6
1079     vpp-performance-changes-2n-clx-cmp:
1080       csit-vpp-perf-report-iterative-2101-2n-clx:
1081         - 54  # rls2101.rel NDRPDR iter env 6
1082         - 59  # rls2101.rel NDRPDR iter env 6
1083         - 60  # rls2101.rel NDRPDR iter env 6
1084         - 63  # rls2101.rel NDRPDR iter env 6
1085         - 66  # rls2101.rel NDRPDR iter env 6
1086         - 68  # rls2101.rel NDRPDR iter env 6
1087         - 73  # rls2101.rel NDRPDR iter env 6
1088         - 75  # rls2101.rel NDRPDR iter env 6
1089         - 87  # rls2101.rel NDRPDR iter RND env 6
1090         - 91  # rls2101.rel NDRPDR iter RND env 6
1091         - 93  # rls2101.rel NDRPDR iter RND env 6
1092         - 94  # rls2101.rel NDRPDR iter RND env 6
1093
1094     vpp-performance-changes-2n-zn2-ref-env-old:
1095       csit-vpp-perf-report-iterative-2009-2n-zn2:
1096         - 17  # rls2009 NDRPDR iter env 5
1097         - 18  # rls2009 NDRPDR iter env 5
1098         - 31  # rls2009 NDRPDR iter env 5
1099         - 33  # rls2009 NDRPDR iter env 5
1100         - 34  # rls2009 NDRPDR iter env 5
1101     vpp-performance-changes-2n-zn2-ref-env-new:
1102       csit-vpp-perf-report-iterative-2101-2n-zn2:
1103         - 9   # rls2009 NDRPDR iter env 6
1104         - 10  # rls2009 NDRPDR iter env 6
1105         - 11  # rls2009 NDRPDR iter env 6
1106         - 12  # rls2009 NDRPDR iter env 6
1107         - 13  # rls2009 NDRPDR iter env 6
1108         - 20  # rls2009 NDRPDR iter env 6
1109         - 21  # rls2009 NDRPDR iter env 6
1110         - 22  # rls2009 NDRPDR iter env 6
1111         - 25  # rls2009 NDRPDR iter env 6
1112         - 26  # rls2009 NDRPDR iter env 6
1113     vpp-performance-changes-2n-zn2-cmp:
1114       csit-vpp-perf-report-iterative-2101-2n-zn2:
1115         - 31  # rls2101.rel NDRPDR iter env 6
1116         - 32  # rls2101.rel NDRPDR iter env 6
1117         - 33  # rls2101.rel NDRPDR iter env 6
1118         - 34  # rls2101.rel NDRPDR iter env 6
1119         - 35  # rls2101.rel NDRPDR iter env 6
1120         - 36  # rls2101.rel NDRPDR iter env 6
1121         - 37  # rls2101.rel NDRPDR iter env 6
1122         - 38  # rls2101.rel NDRPDR iter env 6
1123         - 40  # rls2101.rel NDRPDR iter RND env 6
1124         - 41  # rls2101.rel NDRPDR iter RND env 6
1125         - 42  # rls2101.rel NDRPDR iter RND env 6
1126         - 43  # rls2101.rel NDRPDR iter RND env 6
1127         - 45  # rls2101.rel NDRPDR iter RND env 6
1128         - 48  # rls2101.rel NDRPDR iter RND env 6
1129         - 50  # rls2101.rel NDRPDR iter RND env 6
1130
1131     vpp-performance-changes-2n-dnv-h1:
1132       csit-vpp-perf-report-iterative-2009-2n-dnv:
1133         - 16  # rls2005 NDRPDR iter env 5
1134         - 17  # rls2005 NDRPDR iter env 5
1135         - 18  # rls2005 NDRPDR iter env 5
1136         - 19  # rls2005 NDRPDR iter env 5
1137         - 21  # rls2005 NDRPDR iter env 5
1138         - 24  # rls2005 NDRPDR iter env 5
1139         - 27  # rls2005 NDRPDR iter env 5
1140         - 28  # rls2005 NDRPDR iter env 5
1141         - 29  # rls2005 NDRPDR iter env 5
1142         - 30  # rls2005 NDRPDR iter env 5
1143     vpp-performance-changes-2n-dnv-ref-env-old:
1144       csit-vpp-perf-report-iterative-2009-2n-dnv:
1145         - 3   # rls2009 NDRPDR iter env 5
1146         - 5   # rls2009 NDRPDR iter env 5
1147         - 6   # rls2009 NDRPDR iter env 5
1148         - 7   # rls2009 NDRPDR iter env 5
1149         - 9   # rls2009 NDRPDR iter env 5
1150         - 10  # rls2009 NDRPDR iter env 5
1151         - 11  # rls2009 NDRPDR iter env 5
1152         - 12  # rls2009 NDRPDR iter env 5
1153         - 14  # rls2009 NDRPDR iter env 5
1154         - 15  # rls2009 NDRPDR iter env 5
1155     vpp-performance-changes-2n-dnv-ref-env-new:
1156       # TODO: Re-test in new env
1157       csit-vpp-perf-report-iterative-2009-2n-dnv:
1158         - 3   # rls2009 NDRPDR iter env 5
1159         - 5   # rls2009 NDRPDR iter env 5
1160         - 6   # rls2009 NDRPDR iter env 5
1161         - 7   # rls2009 NDRPDR iter env 5
1162         - 9   # rls2009 NDRPDR iter env 5
1163         - 10  # rls2009 NDRPDR iter env 5
1164         - 11  # rls2009 NDRPDR iter env 5
1165         - 12  # rls2009 NDRPDR iter env 5
1166         - 14  # rls2009 NDRPDR iter env 5
1167         - 15  # rls2009 NDRPDR iter env 5
1168     vpp-performance-changes-2n-dnv-cmp:
1169       csit-vpp-perf-report-iterative-2101-2n-dnv:
1170         - 32  # rls2101.rel NDRPDR iter env 6
1171         - 33  # rls2101.rel NDRPDR iter env 6
1172         - 34  # rls2101.rel NDRPDR iter env 6
1173         - 35  # rls2101.rel NDRPDR iter env 6
1174         - 39  # rls2101.rel NDRPDR iter env 6
1175         - 41  # rls2101.rel NDRPDR iter env 6
1176         - 42  # rls2101.rel NDRPDR iter env 6
1177         - 43  # rls2101.rel NDRPDR iter env 6
1178         - 44  # rls2101.rel NDRPDR iter env 6
1179         - 45  # rls2101.rel NDRPDR iter env 6
1180         - 46  # rls2101.rel NDRPDR iter RND env 6
1181         - 47  # rls2101.rel NDRPDR iter RND env 6
1182         - 48  # rls2101.rel NDRPDR iter RND env 6
1183         - 49  # rls2101.rel NDRPDR iter RND env 6
1184         - 50  # rls2101.rel NDRPDR iter RND env 6
1185         - 51  # rls2101.rel NDRPDR iter RND env 6
1186         - 52  # rls2101.rel NDRPDR iter RND env 6
1187         - 53  # rls2101.rel NDRPDR iter RND env 6
1188         - 54  # rls2101.rel NDRPDR iter RND env 6
1189         - 55  # rls2101.rel NDRPDR iter RND env 6
1190
1191     vpp-performance-changes-3n-dnv-h1:
1192       csit-vpp-perf-report-iterative-2009-3n-dnv:
1193         - 16  # rls2005 NDRPDR iter env 5
1194         - 23  # rls2005 NDRPDR iter env 5
1195         - 25  # rls2005 NDRPDR iter env 5
1196         - 26  # rls2005 NDRPDR iter env 5
1197         - 27  # rls2005 NDRPDR iter env 5
1198         - 28  # rls2005 NDRPDR iter env 5
1199         - 29  # rls2005 NDRPDR iter env 5
1200         - 30  # rls2005 NDRPDR iter env 5
1201         - 31  # rls2005 NDRPDR iter env 5
1202         - 32  # rls2005 NDRPDR iter env 5
1203     vpp-performance-changes-3n-dnv-ref-env-old:
1204       csit-vpp-perf-report-iterative-2009-3n-dnv:
1205         - 3   # rls2009 NDRPDR iter env 5
1206         - 6   # rls2009 NDRPDR iter env 5
1207         - 7   # rls2009 NDRPDR iter env 5
1208         - 8   # rls2009 NDRPDR iter env 5
1209         - 10  # rls2009 NDRPDR iter env 5
1210         - 11  # rls2009 NDRPDR iter env 5
1211         - 12  # rls2009 NDRPDR iter env 5
1212         - 14  # rls2009 NDRPDR iter env 5
1213         - 15  # rls2009 NDRPDR iter env 5
1214         - 24  # rls2009 NDRPDR iter env 5
1215     vpp-performance-changes-3n-dnv-ref-env-new:
1216       # TODO: Re-test in new env
1217       csit-vpp-perf-report-iterative-2009-3n-dnv:
1218         - 3   # rls2009 NDRPDR iter env 5
1219         - 6   # rls2009 NDRPDR iter env 5
1220         - 7   # rls2009 NDRPDR iter env 5
1221         - 8   # rls2009 NDRPDR iter env 5
1222         - 10  # rls2009 NDRPDR iter env 5
1223         - 11  # rls2009 NDRPDR iter env 5
1224         - 12  # rls2009 NDRPDR iter env 5
1225         - 14  # rls2009 NDRPDR iter env 5
1226         - 15  # rls2009 NDRPDR iter env 5
1227         - 24  # rls2009 NDRPDR iter env 5
1228     vpp-performance-changes-3n-dnv-cmp:
1229       csit-vpp-perf-report-iterative-2101-3n-dnv:
1230         - 33  # rls2101.rel NDRPDR iter env 6
1231         - 34  # rls2101.rel NDRPDR iter env 6
1232         - 35  # rls2101.rel NDRPDR iter env 6
1233         - 36  # rls2101.rel NDRPDR iter env 6
1234         - 37  # rls2101.rel NDRPDR iter env 6
1235         - 38  # rls2101.rel NDRPDR iter env 6
1236         - 39  # rls2101.rel NDRPDR iter env 6
1237         - 40  # rls2101.rel NDRPDR iter env 6
1238         - 41  # rls2101.rel NDRPDR iter env 6
1239         - 42  # rls2101.rel NDRPDR iter env 6
1240         - 43  # rls2101.rel NDRPDR iter RND env 6
1241         - 44  # rls2101.rel NDRPDR iter RND env 6
1242         - 45  # rls2101.rel NDRPDR iter RND env 6
1243         - 46  # rls2101.rel NDRPDR iter RND env 6
1244         - 47  # rls2101.rel NDRPDR iter RND env 6
1245         - 48  # rls2101.rel NDRPDR iter RND env 6
1246         - 49  # rls2101.rel NDRPDR iter RND env 6
1247         - 50  # rls2101.rel NDRPDR iter RND env 6
1248         - 51  # rls2101.rel NDRPDR iter RND env 6
1249         - 52  # rls2101.rel NDRPDR iter RND env 6
1250
1251     vpp-performance-changes-3n-tsh-h1:
1252       csit-vpp-perf-report-iterative-2009-3n-tsh:
1253         - 8   # rls2005 NDRPDR iter env 5
1254         - 11  # rls2005 NDRPDR iter env 5
1255         - 12  # rls2005 NDRPDR iter env 5
1256         - 24  # rls2005 NDRPDR iter env 5
1257         - 27  # rls2005 NDRPDR iter env 5
1258         - 29  # rls2005 NDRPDR iter env 5
1259         - 31  # rls2005 NDRPDR iter env 5
1260         - 39  # rls2005 NDRPDR iter env 5
1261         - 40  # rls2005 NDRPDR iter env 5
1262         - 42  # rls2005 NDRPDR iter env 5
1263     vpp-performance-changes-3n-tsh-ref-env-old:
1264       csit-vpp-perf-report-iterative-2009-3n-tsh:
1265         - 14  # rls2009 NDRPDR iter env 5
1266         - 20  # rls2009 NDRPDR iter env 5
1267         - 21  # rls2009 NDRPDR iter env 5
1268         - 22  # rls2009 NDRPDR iter env 5
1269         - 23  # rls2009 NDRPDR iter env 5
1270         - 28  # rls2009 NDRPDR iter env 5
1271         - 30  # rls2009 NDRPDR iter env 5
1272         - 33  # rls2009 NDRPDR iter env 5
1273         - 38  # rls2009 NDRPDR iter env 5
1274         - 41  # rls2009 NDRPDR iter env 5
1275     vpp-performance-changes-3n-tsh-ref-env-new:
1276       csit-vpp-perf-report-iterative-2101-3n-tsh:
1277         - 8   # rls2009 NDRPDR iter env 6
1278         - 13  # rls2009 NDRPDR iter env 6
1279         - 14  # rls2009 NDRPDR iter env 6
1280         - 15  # rls2009 NDRPDR iter env 6
1281         - 16  # rls2009 NDRPDR iter env 6
1282         - 17  # rls2009 NDRPDR iter env 6
1283         - 18  # rls2009 NDRPDR iter env 6
1284         - 19  # rls2009 NDRPDR iter env 6
1285         - 21  # rls2009 NDRPDR iter env 6
1286     vpp-performance-changes-3n-tsh-cmp:
1287       csit-vpp-perf-report-iterative-2101-3n-tsh:
1288         - 23  # rls2101.rel NDRPDR iter env 6
1289         - 24  # rls2101.rel NDRPDR iter env 6
1290         - 25  # rls2101.rel NDRPDR iter env 6
1291         - 26  # rls2101.rel NDRPDR iter env 6
1292         - 27  # rls2101.rel NDRPDR iter env 6
1293         - 28  # rls2101.rel NDRPDR iter env 6
1294         - 29  # rls2101.rel NDRPDR iter env 6
1295
1296 #     vpp-performance-changes-2n-tx2-h1:
1297 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1298 #         -
1299 #     vpp-performance-changes-2n-tx2-ref-env-old:
1300 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1301 #         -
1302     vpp-performance-changes-2n-tx2-ref-env-new:
1303       csit-vpp-perf-report-iterative-2101-2n-tx2:
1304         - 6   # rls2009 NDRPDR iter env 6
1305         - 7   # rls2009 NDRPDR iter env 6
1306         - 11  # rls2009 NDRPDR iter env 6
1307         - 12  # rls2009 NDRPDR iter env 6
1308         - 13  # rls2009 NDRPDR iter env 6
1309         - 16  # rls2009 NDRPDR iter env 6
1310         - 17  # rls2009 NDRPDR iter env 6
1311         - 18  # rls2009 NDRPDR iter env 6
1312         - 19  # rls2009 NDRPDR iter env 6
1313         - 20  # rls2009 NDRPDR iter env 6
1314     vpp-performance-changes-2n-tx2-cmp:
1315       csit-vpp-perf-report-iterative-2101-2n-tx2:
1316         - 22  # rls2101.rel NDRPDR iter env 6
1317         - 23  # rls2101.rel NDRPDR iter env 6
1318         - 24  # rls2101.rel NDRPDR iter env 6
1319         - 25  # rls2101.rel NDRPDR iter env 6
1320         - 26  # rls2101.rel NDRPDR iter env 6
1321         - 27  # rls2101.rel NDRPDR iter env 6
1322         - 28  # rls2101.rel NDRPDR iter env 6
1323         - 29  # rls2101.rel NDRPDR iter env 6
1324         - 30  # rls2101.rel NDRPDR iter env 6
1325         - 31  # rls2101.rel NDRPDR iter env 6
1326
1327     vpp-soak-vs-ndr-2n-skx-ref:
1328       csit-vpp-perf-report-iterative-2101-2n-skx:
1329         - 63  # rls2101.rel NDRPDR iter env 6
1330         - 69  # rls2101.rel NDRPDR iter env 6
1331         - 70  # rls2101.rel NDRPDR iter env 6
1332         - 75  # rls2101.rel NDRPDR iter env 6
1333         - 76  # rls2101.rel NDRPDR iter env 6
1334         - 77  # rls2101.rel NDRPDR iter env 6
1335         - 82  # rls2101.rel NDRPDR iter env 6
1336         - 85  # rls2101.rel NDRPDR iter env 6
1337         - 86  # rls2101.rel NDRPDR iter env 6
1338         - 94  # rls2101.rel NDRPDR iter env 6
1339     vpp-soak-vs-ndr-2n-skx-cmp:
1340       csit-vpp-perf-report-iterative-2101-2n-skx:
1341         - 68  # rls2101.rel soak env 6
1342         - 73  # rls2101.rel soak env 6
1343     vpp-soak-vs-ndr-2n-skx:
1344       csit-vpp-perf-report-iterative-2101-2n-skx:
1345         - 63  # rls2101.rel NDRPDR iter env 6
1346         - 69  # rls2101.rel NDRPDR iter env 6
1347         - 70  # rls2101.rel NDRPDR iter env 6
1348         - 75  # rls2101.rel NDRPDR iter env 6
1349         - 76  # rls2101.rel NDRPDR iter env 6
1350         - 77  # rls2101.rel NDRPDR iter env 6
1351         - 82  # rls2101.rel NDRPDR iter env 6
1352         - 85  # rls2101.rel NDRPDR iter env 6
1353         - 86  # rls2101.rel NDRPDR iter env 6
1354         - 94  # rls2101.rel NDRPDR iter env 6
1355         - 68  # rls2101.rel soak env 6
1356         - 73  # rls2101.rel soak env 6
1357
1358     vpp-soak-vs-ndr-2n-clx-ref:
1359       csit-vpp-perf-report-iterative-2101-2n-clx:
1360         - 54  # rls2101.rel NDRPDR iter env 6
1361         - 59  # rls2101.rel NDRPDR iter env 6
1362         - 60  # rls2101.rel NDRPDR iter env 6
1363         - 63  # rls2101.rel NDRPDR iter env 6
1364         - 66  # rls2101.rel NDRPDR iter env 6
1365         - 68  # rls2101.rel NDRPDR iter env 6
1366         - 73  # rls2101.rel NDRPDR iter env 6
1367         - 75  # rls2101.rel NDRPDR iter env 6
1368     vpp-soak-vs-ndr-2n-clx-cmp:
1369       csit-vpp-perf-report-iterative-2101-2n-clx:
1370         - 58  # rls2101.rel soak env 6
1371         - 61  # rls2101.rel soak env 6
1372     vpp-soak-vs-ndr-2n-clx:
1373       csit-vpp-perf-report-iterative-2101-2n-clx:
1374         - 54  # rls2101.rel NDRPDR iter env 6
1375         - 59  # rls2101.rel NDRPDR iter env 6
1376         - 60  # rls2101.rel NDRPDR iter env 6
1377         - 63  # rls2101.rel NDRPDR iter env 6
1378         - 66  # rls2101.rel NDRPDR iter env 6
1379         - 68  # rls2101.rel NDRPDR iter env 6
1380         - 73  # rls2101.rel NDRPDR iter env 6
1381         - 75  # rls2101.rel NDRPDR iter env 6
1382         - 58  # rls2101.rel soak env 6
1383         - 61  # rls2101.rel soak env 6
1384
1385     vpp-performance-changes-3n-hsw-mrr-h1:
1386       csit-vpp-perf-report-iterative-2009-3n-hsw:
1387         - 18  # rls2005 MRR iter env 5
1388     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1389       csit-vpp-perf-report-iterative-2009-3n-hsw:
1390         - 23  # rls2009 MRR iter env 5
1391     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1392       csit-vpp-perf-report-iterative-2101-3n-hsw:
1393         - 17  # rls2009 MRR iter env 6
1394     vpp-performance-changes-3n-hsw-mrr-cmp:
1395       csit-vpp-perf-report-iterative-2101-3n-hsw:
1396         - 63  # rls2101.rel MRR iter env 6
1397
1398     vpp-performance-changes-3n-skx-mrr-h1:
1399       csit-vpp-perf-report-iterative-2009-3n-skx:
1400         - 17  # rls2005 MRR iter env 5
1401     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1402       csit-vpp-perf-report-iterative-2009-3n-skx:
1403         - 24  # rls2009 MRR iter env 5
1404     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1405       csit-vpp-perf-report-iterative-2101-3n-skx:
1406         - 34  # rls2009 MRR iter env 6
1407     vpp-performance-changes-3n-skx-mrr-cmp:
1408       csit-vpp-perf-report-iterative-2101-3n-skx:
1409         - 35  # rls2101.rel MRR iter env 6
1410
1411     vpp-performance-changes-2n-skx-mrr-h1:
1412       csit-vpp-perf-report-iterative-2009-2n-skx:
1413         - 20  # rls2005 MRR iter env 5
1414     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1415       csit-vpp-perf-report-iterative-2009-2n-skx:
1416         - 120 # rls2009 MRR iter env 5
1417     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1418       csit-vpp-perf-report-iterative-2101-2n-skx:
1419         - 21  # rls2009 MRR iter env 6
1420     vpp-performance-changes-2n-skx-mrr-cmp:
1421       csit-vpp-perf-report-iterative-2101-2n-skx:
1422         - 62  # rls2101.rel MRR iter env 6
1423
1424     vpp-performance-changes-2n-clx-mrr-h1:
1425       csit-vpp-perf-report-iterative-2009-2n-clx:
1426         - 77  # rls2005 MRR iter env 5
1427     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1428       csit-vpp-perf-report-iterative-2009-2n-clx:
1429         - 125 # rls2009 MRR iter env 5
1430     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1431       csit-vpp-perf-report-iterative-2101-2n-clx:
1432         - 15  # rls2009 MRR iter env 6
1433     vpp-performance-changes-2n-clx-mrr-cmp:
1434       csit-vpp-perf-report-iterative-2101-2n-clx:
1435         - 53  # rls2101.rel MRR iter env 6
1436
1437     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1438       csit-vpp-perf-report-iterative-2009-2n-zn2:
1439         - 15  # rls2009 MRR iter env 5
1440     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1441       csit-vpp-perf-report-iterative-2101-2n-zn2:
1442         - 8   # rls2009 MRR iter env6
1443     vpp-performance-changes-2n-zn2-mrr-cmp:
1444       csit-vpp-perf-report-iterative-2101-2n-zn2:
1445         - 30  # rls2101.rel MRR iter env 6
1446
1447     vpp-performance-changes-2n-dnv-mrr-h1:
1448       csit-vpp-perf-report-iterative-2009-2n-dnv:
1449         - 23  # rls2005 MRR iter env 5
1450     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1451       csit-vpp-perf-report-iterative-2009-2n-dnv:
1452         - 13  # rls2009 MRR iter env 5
1453     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1454       # TODO: Re-test in new env
1455       csit-vpp-perf-report-iterative-2009-2n-dnv:
1456         - 13  # rls2009 MRR iter env 5
1457     vpp-performance-changes-2n-dnv-mrr-cmp:
1458       csit-vpp-perf-report-iterative-2101-2n-dnv:
1459         - 31  # rls2101.rel MRR iter env 6
1460
1461     vpp-performance-changes-3n-dnv-mrr-h1:
1462       csit-vpp-perf-report-iterative-2009-3n-dnv:
1463         - 19  # rls2005 MRR iter env 5
1464     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1465       csit-vpp-perf-report-iterative-2009-3n-dnv:
1466         - 22  # rls2009 MRR iter env 5
1467     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1468       # TODO: Re-test in new env
1469       csit-vpp-perf-report-iterative-2009-3n-dnv:
1470         - 22  # rls2009 MRR iter env 5
1471     vpp-performance-changes-3n-dnv-mrr-cmp:
1472       csit-vpp-perf-report-iterative-2101-3n-dnv:
1473         - 32  # rls2101.rel MRR iter env 6
1474
1475     vpp-performance-changes-3n-tsh-mrr-h1:
1476       csit-vpp-perf-report-iterative-2009-3n-tsh:
1477         - 13  # rls2005 MRR iter env 5
1478     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1479       csit-vpp-perf-report-iterative-2009-3n-tsh:
1480         - 15  # rls2009 MRR iter env 5
1481     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1482       csit-vpp-perf-report-iterative-2101-3n-tsh:
1483         - 7   # rls2009 MRR iter env 6
1484     vpp-performance-changes-3n-tsh-mrr-cmp:
1485       csit-vpp-perf-report-iterative-2101-3n-tsh:
1486         - 22  # rls2101.rel MRR iter env 6
1487
1488 #     vpp-performance-changes-2n-tx2-mrr-h1:
1489 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1490 #         -
1491 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1492 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1493 #         -
1494     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1495       csit-vpp-perf-report-iterative-2101-2n-tx2:
1496         - 5   # rls2009 MRR iter env 6
1497     vpp-performance-changes-2n-tx2-mrr-cmp:
1498       csit-vpp-perf-report-iterative-2101-2n-tx2:
1499         - 21  # rls2101.rel MRR iter env 6
1500
1501     dpdk-performance-changes-3n-hsw-h1:
1502       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1503         - 25  # NDRPDR iter
1504         - 26  # NDRPDR iter
1505         - 27  # NDRPDR iter
1506         - 28  # NDRPDR iter
1507         - 29  # NDRPDR iter
1508         - 30  # NDRPDR iter
1509         - 31  # NDRPDR iter
1510         - 32  # NDRPDR iter
1511         - 33  # NDRPDR iter
1512         - 34  # NDRPDR iter
1513     dpdk-performance-changes-3n-hsw-ref:
1514       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1515         - 6   # NDRPDR iter env5
1516         - 7   # NDRPDR iter env5
1517         - 8   # NDRPDR iter env5
1518         - 9   # NDRPDR iter env5
1519         - 10  # NDRPDR iter env5
1520         - 11  # NDRPDR iter env5
1521         - 12  # NDRPDR iter env5
1522         - 13  # NDRPDR iter env5
1523         - 14  # NDRPDR iter env5
1524         - 15  # NDRPDR iter env5
1525     dpdk-performance-changes-3n-hsw-cmp:
1526       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1527         - 11  # rls2101 NDRPDR iter env 6
1528         - 12  # rls2101 NDRPDR iter env 6
1529         - 13  # rls2101 NDRPDR iter env 6
1530         - 14  # rls2101 NDRPDR iter env 6
1531         - 16  # rls2101 NDRPDR iter env 6
1532         - 17  # rls2101 NDRPDR iter env 6
1533         - 18  # rls2101 NDRPDR iter env 6
1534         - 19  # rls2101 NDRPDR iter env 6
1535         - 20  # rls2101 NDRPDR iter env 6
1536         - 21  # rls2101 NDRPDR iter env 6
1537
1538     dpdk-performance-changes-3n-skx-h1:
1539       csit-dpdk-perf-report-iterative-2005-3n-skx:
1540         - 28  # NDRPDR iter
1541         - 29  # NDRPDR iter
1542         - 30  # NDRPDR iter
1543         - 31  # NDRPDR iter
1544         - 32  # NDRPDR iter
1545         - 33  # NDRPDR iter
1546         - 34  # NDRPDR iter
1547         - 35  # NDRPDR iter
1548         - 36  # NDRPDR iter
1549         - 37  # NDRPDR iter
1550     dpdk-performance-changes-3n-skx-ref:
1551       csit-dpdk-perf-report-iterative-2009-3n-skx:
1552         - 4   # NDRPDR sel env5
1553         - 5   # NDRPDR sel env5
1554         - 6   # NDRPDR sel env5
1555         - 7   # NDRPDR sel env5
1556         - 8   # NDRPDR sel env5
1557         - 9   # NDRPDR sel env5
1558         - 14  # NDRPDR sel env5
1559         - 11  # NDRPDR sel env5
1560         - 12  # NDRPDR sel env5
1561         - 13  # NDRPDR sel env5
1562     dpdk-performance-changes-3n-skx-cmp:
1563       csit-dpdk-perf-report-iterative-2101-3n-skx:
1564         - 12  # rls2101 NDRPDR iter env 6
1565         - 14  # rls2101 NDRPDR iter env 6
1566         - 15  # rls2101 NDRPDR iter env 6
1567         - 17  # rls2101 NDRPDR iter env 6
1568         - 19  # rls2101 NDRPDR iter env 6
1569         - 20  # rls2101 NDRPDR iter env 6
1570         - 21  # rls2101 NDRPDR iter env 6
1571         - 22  # rls2101 NDRPDR iter env 6
1572         - 25  # rls2101 NDRPDR iter env 6
1573         - 26  # rls2101 NDRPDR iter env 6
1574
1575     dpdk-performance-changes-2n-skx-h1:
1576       csit-dpdk-perf-report-iterative-2005-2n-skx:
1577         - 20  # NDRPDR iter
1578         - 21  # NDRPDR iter
1579         - 22  # NDRPDR iter
1580         - 23  # NDRPDR iter
1581         - 24  # NDRPDR iter
1582         - 25  # NDRPDR iter
1583         - 26  # NDRPDR iter
1584         - 27  # NDRPDR iter
1585         - 28  # NDRPDR iter
1586         - 29  # NDRPDR iter
1587     dpdk-performance-changes-2n-skx-ref:
1588       csit-dpdk-perf-report-iterative-2009-2n-skx:
1589         - 4   # NDRPDR iter env5
1590         - 5   # NDRPDR iter env5
1591         - 6   # NDRPDR iter env5
1592         - 7   # NDRPDR iter env5
1593         - 8   # NDRPDR iter env5
1594         - 9   # NDRPDR iter env5
1595         - 10  # NDRPDR iter env5
1596         - 11  # NDRPDR iter env5
1597         - 12  # NDRPDR iter env5
1598         - 13  # NDRPDR iter env5
1599     dpdk-performance-changes-2n-skx-cmp:
1600       csit-dpdk-perf-report-iterative-2101-2n-skx:
1601         - 11  # rls2101 NDRPDR iter env 6
1602         - 12  # rls2101 NDRPDR iter env 6
1603         - 13  # rls2101 NDRPDR iter env 6
1604         - 14  # rls2101 NDRPDR iter env 6
1605         - 15  # rls2101 NDRPDR iter env 6
1606         - 17  # rls2101 NDRPDR iter env 6
1607         - 18  # rls2101 NDRPDR iter env 6
1608         - 19  # rls2101 NDRPDR iter env 6
1609         - 20  # rls2101 NDRPDR iter env 6
1610         - 21  # rls2101 NDRPDR iter env 6
1611
1612     dpdk-performance-changes-2n-clx-h1:
1613       csit-dpdk-perf-report-iterative-2005-2n-clx:
1614         - 20  # NDRPDR iter
1615         - 21  # NDRPDR iter
1616         - 22  # NDRPDR iter
1617         - 23  # NDRPDR iter
1618         - 24  # NDRPDR iter
1619         - 25  # NDRPDR iter
1620         - 26  # NDRPDR iter
1621         - 27  # NDRPDR iter
1622         - 28  # NDRPDR iter
1623         - 29  # NDRPDR iter
1624     dpdk-performance-changes-2n-clx-ref:
1625       csit-dpdk-perf-report-iterative-2009-2n-clx:
1626         - 4   # NDRPDR iter env5
1627         - 5   # NDRPDR iter env5
1628         - 6   # NDRPDR iter env5
1629         - 7   # NDRPDR iter env5
1630         - 8   # NDRPDR iter env5
1631         - 9   # NDRPDR iter env5
1632         - 10  # NDRPDR iter env5
1633         - 11  # NDRPDR iter env5
1634         - 12  # NDRPDR iter env5
1635         - 13  # NDRPDR iter env5
1636     dpdk-performance-changes-2n-clx-cmp:
1637       csit-dpdk-perf-report-iterative-2101-2n-clx:
1638         - 12  # rls2101 NDRPDR iter env 6
1639         - 13  # rls2101 NDRPDR iter env 6
1640         - 14  # rls2101 NDRPDR iter env 6
1641         - 18  # rls2101 NDRPDR iter env 6
1642         - 22  # rls2101 NDRPDR iter env 6
1643
1644     dpdk-performance-changes-2n-zn2-ref:
1645       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1646         - 16  # NDRPDR iter env5
1647         - 21  # NDRPDR iter env5
1648         - 22  # NDRPDR iter env5
1649         - 23  # NDRPDR iter env5
1650         - 24  # NDRPDR iter env5
1651         - 25  # NDRPDR iter env5
1652         - 29  # NDRPDR iter env5
1653     dpdk-performance-changes-2n-zn2-cmp:
1654       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1655         - 11  # rls2101 NDRPDR iter env 6
1656         - 12  # rls2101 NDRPDR iter env 6
1657         - 13  # rls2101 NDRPDR iter env 6
1658         - 14  # rls2101 NDRPDR iter env 6
1659         - 16  # rls2101 NDRPDR iter env 6
1660         - 17  # rls2101 NDRPDR iter env 6
1661         - 18  # rls2101 NDRPDR iter env 6
1662         - 19  # rls2101 NDRPDR iter env 6
1663         - 20  # rls2101 NDRPDR iter env 6
1664         - 21  # rls2101 NDRPDR iter env 6
1665
1666 #    dpdk-performance-changes-2n-dnv-h1:
1667 #      csit-dpdk-perf-verify-2101-2n-dnv:
1668 #        - 9   # NDRPDR sel
1669 #        - 10  # NDRPDR sel
1670 #        - 11  # NDRPDR sel
1671 #        - 12  # NDRPDR sel
1672 #        - 13  # NDRPDR sel
1673 #        - 14  # NDRPDR sel
1674 #        - 15  # NDRPDR sel
1675 #        - 16  # NDRPDR sel
1676 #        - 17  # NDRPDR sel
1677 #        - 18  # NDRPDR sel
1678 #    dpdk-performance-changes-2n-dnv-ref:
1679 #      # No data
1680 #    dpdk-performance-changes-2n-dnv-cmp:
1681 #      # No data
1682 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1683
1684 #    dpdk-performance-changes-3n-dnv-h1:
1685 #      csit-dpdk-perf-verify-2101-3n-dnv:
1686 #        - 12  # NDRPDR sel
1687 #        - 13  # NDRPDR sel
1688 #        - 14  # NDRPDR sel
1689 #        - 15  # NDRPDR sel
1690 #        - 16  # NDRPDR sel
1691 #        - 17  # NDRPDR sel
1692 #        - 18  # NDRPDR sel
1693 #        - 19  # NDRPDR sel
1694 #        - 20  # NDRPDR sel
1695 #        - 22  # NDRPDR sel
1696 #    dpdk-performance-changes-3n-dnv-ref:
1697 #      # No data
1698 #    dpdk-performance-changes-3n-dnv-cmp:
1699 #      # No data
1700 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1701
1702     dpdk-performance-changes-3n-tsh-h1:
1703       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1704         - 5   # NDRPDR sel
1705     dpdk-performance-changes-3n-tsh-ref:
1706       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1707         - 1   # NDRPDR iter env5
1708         - 2   # NDRPDR iter env5
1709         - 3   # NDRPDR iter env5
1710         - 4   # NDRPDR iter env5
1711         - 5   # NDRPDR iter env5
1712         - 6   # NDRPDR iter env5
1713         - 7   # NDRPDR iter env5
1714         - 9   # NDRPDR iter env5
1715         - 10  # NDRPDR iter env5
1716         - 11  # NDRPDR iter env5
1717     dpdk-performance-changes-3n-tsh-cmp:
1718       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1719         - 11  # rls2101 NDRPDR iter env 6
1720         - 12  # rls2101 NDRPDR iter env 6
1721         - 13  # rls2101 NDRPDR iter env 6
1722         - 14  # rls2101 NDRPDR iter env 6
1723         - 16  # rls2101 NDRPDR iter env 6
1724         - 17  # rls2101 NDRPDR iter env 6
1725         - 18  # rls2101 NDRPDR iter env 6
1726         - 19  # rls2101 NDRPDR iter env 6
1727         - 20  # rls2101 NDRPDR iter env 6
1728         - 21  # rls2101 NDRPDR iter env 6
1729
1730     # Compare testbeds
1731
1732     vpp-compare-testbeds-ref:
1733       csit-vpp-perf-report-iterative-2101-3n-hsw:
1734         - 64  # rls2101.rel NDRPDR iter env 6
1735         - 71  # rls2101.rel NDRPDR iter env 6
1736         - 73  # rls2101.rel NDRPDR iter env 6
1737         - 74  # rls2101.rel NDRPDR iter env 6
1738         - 80  # rls2101.rel NDRPDR iter env 6
1739         - 81  # rls2101.rel NDRPDR iter env 6
1740         - 82  # rls2101.rel NDRPDR iter env 6
1741         - 83  # rls2101.rel NDRPDR iter env 6
1742         - 88  # rls2101.rel NDRPDR iter env 6
1743         - 89  # rls2101.rel NDRPDR iter env 6
1744     vpp-compare-testbeds-cmp:
1745       csit-vpp-perf-report-iterative-2101-3n-skx:
1746         - 36  # rls2101.rel NDRPDR iter env 6
1747         - 37  # rls2101.rel NDRPDR iter env 6
1748         - 38  # rls2101.rel NDRPDR iter env 6
1749         - 39  # rls2101.rel NDRPDR iter env 6
1750         - 40  # rls2101.rel NDRPDR iter env 6
1751         - 41  # rls2101.rel NDRPDR iter env 6
1752         - 42  # rls2101.rel NDRPDR iter env 6
1753         - 47  # rls2101.rel NDRPDR iter env 6
1754         - 48  # rls2101.rel NDRPDR iter env 6
1755
1756     vpp-compare-testbeds-skx-clx-ref:
1757       csit-vpp-perf-report-iterative-2101-2n-skx:
1758         - 63  # rls2101.rel NDRPDR iter env 6
1759         - 69  # rls2101.rel NDRPDR iter env 6
1760         - 70  # rls2101.rel NDRPDR iter env 6
1761         - 75  # rls2101.rel NDRPDR iter env 6
1762         - 76  # rls2101.rel NDRPDR iter env 6
1763         - 77  # rls2101.rel NDRPDR iter env 6
1764         - 82  # rls2101.rel NDRPDR iter env 6
1765         - 85  # rls2101.rel NDRPDR iter env 6
1766         - 86  # rls2101.rel NDRPDR iter env 6
1767         - 94  # rls2101.rel NDRPDR iter env 6
1768         - 89  # rls2101.rel NDRPDR iter RND env 6
1769         - 90  # rls2101.rel NDRPDR iter RND env 6
1770         - 91  # rls2101.rel NDRPDR iter RND env 6
1771         - 92  # rls2101.rel NDRPDR iter RND env 6
1772         - 93  # rls2101.rel NDRPDR iter RND env 6
1773         - 96  # rls2101.rel NDRPDR iter RND env 6
1774         - 98  # rls2101.rel NDRPDR iter RND env 6
1775         - 99  # rls2101.rel NDRPDR iter RND env 6
1776         - 101 # rls2101.rel NDRPDR iter RND env 6
1777         - 102 # rls2101.rel NDRPDR iter RND env 6
1778     vpp-compare-testbeds-skx-clx-cmp:
1779       csit-vpp-perf-report-iterative-2101-2n-clx:
1780         - 54  # rls2101.rel NDRPDR iter env 6
1781         - 59  # rls2101.rel NDRPDR iter env 6
1782         - 60  # rls2101.rel NDRPDR iter env 6
1783         - 63  # rls2101.rel NDRPDR iter env 6
1784         - 66  # rls2101.rel NDRPDR iter env 6
1785         - 68  # rls2101.rel NDRPDR iter env 6
1786         - 73  # rls2101.rel NDRPDR iter env 6
1787         - 75  # rls2101.rel NDRPDR iter env 6
1788         - 87  # rls2101.rel NDRPDR iter RND env 6
1789         - 91  # rls2101.rel NDRPDR iter RND env 6
1790         - 93  # rls2101.rel NDRPDR iter RND env 6
1791         - 94  # rls2101.rel NDRPDR iter RND env 6
1792
1793     vpp-compare-testbeds-hsw-clx-ref:
1794       csit-vpp-perf-report-iterative-2101-3n-hsw:
1795         - 64  # rls2101.rel NDRPDR iter env 6
1796         - 71  # rls2101.rel NDRPDR iter env 6
1797         - 73  # rls2101.rel NDRPDR iter env 6
1798         - 74  # rls2101.rel NDRPDR iter env 6
1799         - 80  # rls2101.rel NDRPDR iter env 6
1800         - 81  # rls2101.rel NDRPDR iter env 6
1801         - 82  # rls2101.rel NDRPDR iter env 6
1802         - 83  # rls2101.rel NDRPDR iter env 6
1803         - 88  # rls2101.rel NDRPDR iter env 6
1804         - 89  # rls2101.rel NDRPDR iter env 6
1805         - 128 # rls2101.rel NDRPDR iter RND env 6
1806         - 129 # rls2101.rel NDRPDR iter RND env 6
1807         - 130 # rls2101.rel NDRPDR iter RND env 6
1808         - 131 # rls2101.rel NDRPDR iter RND env 6
1809         - 132 # rls2101.rel NDRPDR iter RND env 6
1810         - 133 # rls2101.rel NDRPDR iter RND env 6
1811         - 134 # rls2101.rel NDRPDR iter RND env 6
1812         - 135 # rls2101.rel NDRPDR iter RND env 6
1813         - 136 # rls2101.rel NDRPDR iter RND env 6
1814         - 137 # rls2101.rel NDRPDR iter RND env 6
1815     vpp-compare-testbeds-hsw-clx-cmp:
1816       csit-vpp-perf-report-iterative-2101-2n-clx:
1817         - 54  # rls2101.rel NDRPDR iter env 6
1818         - 59  # rls2101.rel NDRPDR iter env 6
1819         - 60  # rls2101.rel NDRPDR iter env 6
1820         - 63  # rls2101.rel NDRPDR iter env 6
1821         - 66  # rls2101.rel NDRPDR iter env 6
1822         - 68  # rls2101.rel NDRPDR iter env 6
1823         - 73  # rls2101.rel NDRPDR iter env 6
1824         - 75  # rls2101.rel NDRPDR iter env 6
1825         - 87  # rls2101.rel NDRPDR iter RND env 6
1826         - 91  # rls2101.rel NDRPDR iter RND env 6
1827         - 93  # rls2101.rel NDRPDR iter RND env 6
1828         - 94  # rls2101.rel NDRPDR iter RND env 6
1829
1830     vpp-compare-testbeds-mrr-ref:
1831       csit-vpp-perf-report-iterative-2101-3n-hsw:
1832         - 63  # rls2101.rel MRR iter env 6
1833     vpp-compare-testbeds-mrr-cmp:
1834       csit-vpp-perf-report-iterative-2101-3n-skx:
1835         - 35  # rls2101.rel MRR iter env 6
1836
1837     vpp-compare-testbeds-mrr-skx-clx-ref:
1838       csit-vpp-perf-report-iterative-2101-2n-skx:
1839         - 62  # rls2101.rel MRR iter env 6
1840     vpp-compare-testbeds-mrr-skx-clx-cmp:
1841       csit-vpp-perf-report-iterative-2101-2n-clx:
1842         - 53  # rls2101.rel MRR iter env 6
1843
1844     vpp-compare-testbeds-mrr-hsw-clx-ref:
1845       csit-vpp-perf-report-iterative-2101-3n-hsw:
1846         - 63  # rls2101.rel MRR iter env 6
1847     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1848       csit-vpp-perf-report-iterative-2101-2n-clx:
1849         - 53  # rls2101.rel MRR iter env 6
1850
1851     dpdk-compare-testbeds-ref:
1852       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1853         - 11  # rls2101 NDRPDR iter env 6
1854         - 12  # rls2101 NDRPDR iter env 6
1855         - 13  # rls2101 NDRPDR iter env 6
1856         - 14  # rls2101 NDRPDR iter env 6
1857         - 16  # rls2101 NDRPDR iter env 6
1858         - 17  # rls2101 NDRPDR iter env 6
1859         - 18  # rls2101 NDRPDR iter env 6
1860         - 19  # rls2101 NDRPDR iter env 6
1861         - 20  # rls2101 NDRPDR iter env 6
1862         - 21  # rls2101 NDRPDR iter env 6
1863     dpdk-compare-testbeds-cmp:
1864       csit-dpdk-perf-report-iterative-2101-3n-skx:
1865         - 12  # rls2101 NDRPDR iter env 6
1866         - 14  # rls2101 NDRPDR iter env 6
1867         - 15  # rls2101 NDRPDR iter env 6
1868         - 17  # rls2101 NDRPDR iter env 6
1869         - 19  # rls2101 NDRPDR iter env 6
1870         - 20  # rls2101 NDRPDR iter env 6
1871         - 21  # rls2101 NDRPDR iter env 6
1872         - 22  # rls2101 NDRPDR iter env 6
1873         - 25  # rls2101 NDRPDR iter env 6
1874         - 26  # rls2101 NDRPDR iter env 6
1875
1876     dpdk-compare-testbeds-skx-clx-ref:
1877       csit-dpdk-perf-report-iterative-2101-2n-skx:
1878         - 11  # rls2101 NDRPDR iter env 6
1879         - 12  # rls2101 NDRPDR iter env 6
1880         - 13  # rls2101 NDRPDR iter env 6
1881         - 14  # rls2101 NDRPDR iter env 6
1882         - 15  # rls2101 NDRPDR iter env 6
1883         - 17  # rls2101 NDRPDR iter env 6
1884         - 18  # rls2101 NDRPDR iter env 6
1885         - 19  # rls2101 NDRPDR iter env 6
1886         - 20  # rls2101 NDRPDR iter env 6
1887         - 21  # rls2101 NDRPDR iter env 6
1888     dpdk-compare-testbeds-skx-clx-cmp:
1889       csit-dpdk-perf-report-iterative-2101-2n-clx:
1890         - 12  # rls2101 NDRPDR iter env 6
1891         - 13  # rls2101 NDRPDR iter env 6
1892         - 14  # rls2101 NDRPDR iter env 6
1893         - 18  # rls2101 NDRPDR iter env 6
1894         - 22  # rls2101 NDRPDR iter env 6
1895
1896     # Compare topologies
1897
1898     vpp-compare-topologies-ref:
1899       csit-vpp-perf-report-iterative-2101-3n-skx:
1900         - 36  # rls2101.rel NDRPDR iter env 6
1901         - 37  # rls2101.rel NDRPDR iter env 6
1902         - 38  # rls2101.rel NDRPDR iter env 6
1903         - 39  # rls2101.rel NDRPDR iter env 6
1904         - 40  # rls2101.rel NDRPDR iter env 6
1905         - 41  # rls2101.rel NDRPDR iter env 6
1906         - 42  # rls2101.rel NDRPDR iter env 6
1907         - 47  # rls2101.rel NDRPDR iter env 6
1908         - 48  # rls2101.rel NDRPDR iter env 6
1909     vpp-compare-topologies-cmp:
1910       csit-vpp-perf-report-iterative-2101-2n-skx:
1911         - 63  # rls2101.rel NDRPDR iter env 6
1912         - 69  # rls2101.rel NDRPDR iter env 6
1913         - 70  # rls2101.rel NDRPDR iter env 6
1914         - 75  # rls2101.rel NDRPDR iter env 6
1915         - 76  # rls2101.rel NDRPDR iter env 6
1916         - 77  # rls2101.rel NDRPDR iter env 6
1917         - 82  # rls2101.rel NDRPDR iter env 6
1918         - 85  # rls2101.rel NDRPDR iter env 6
1919         - 86  # rls2101.rel NDRPDR iter env 6
1920         - 94  # rls2101.rel NDRPDR iter env 6
1921
1922     vpp-compare-topologies-mrr-ref:
1923       csit-vpp-perf-report-iterative-2101-3n-skx:
1924         - 35  # rls2101.rel MRR iter env 6
1925     vpp-compare-topologies-mrr-cmp:
1926       csit-vpp-perf-report-iterative-2101-2n-skx:
1927         - 62  # rls2101.rel MRR iter env 6
1928
1929     dpdk-compare-topologies-ref:
1930       csit-dpdk-perf-report-iterative-2101-3n-skx:
1931         - 12  # rls2101 NDRPDR iter env 6
1932         - 14  # rls2101 NDRPDR iter env 6
1933         - 15  # rls2101 NDRPDR iter env 6
1934         - 17  # rls2101 NDRPDR iter env 6
1935         - 19  # rls2101 NDRPDR iter env 6
1936         - 20  # rls2101 NDRPDR iter env 6
1937         - 21  # rls2101 NDRPDR iter env 6
1938         - 22  # rls2101 NDRPDR iter env 6
1939         - 25  # rls2101 NDRPDR iter env 6
1940         - 26  # rls2101 NDRPDR iter env 6
1941     dpdk-compare-topologies-cmp:
1942       csit-dpdk-perf-report-iterative-2101-2n-skx:
1943         - 11  # rls2101 NDRPDR iter env 6
1944         - 12  # rls2101 NDRPDR iter env 6
1945         - 13  # rls2101 NDRPDR iter env 6
1946         - 14  # rls2101 NDRPDR iter env 6
1947         - 15  # rls2101 NDRPDR iter env 6
1948         - 17  # rls2101 NDRPDR iter env 6
1949         - 18  # rls2101 NDRPDR iter env 6
1950         - 19  # rls2101 NDRPDR iter env 6
1951         - 20  # rls2101 NDRPDR iter env 6
1952         - 21  # rls2101 NDRPDR iter env 6
1953
1954   plot-layouts:
1955
1956     plot-soak-throughput:
1957       titlefont:
1958         size: 16
1959       xaxis:
1960         title: "<b>Test Cases [Index]</b>"
1961         titlefont:
1962           size: 14
1963         autorange: True
1964         fixedrange: False
1965         gridcolor: "rgb(230, 230, 230)"
1966         linecolor: "rgb(220, 220, 220)"
1967         linewidth: 1
1968         showgrid: True
1969         showline: True
1970         showticklabels: True
1971         tickcolor: "rgb(220, 220, 220)"
1972         tickmode: "linear"
1973         tickfont:
1974           size: 14
1975         zeroline: False
1976       yaxis:
1977         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1978         titlefont:
1979           size: 14
1980         gridcolor: "rgb(230, 230, 230)"
1981         hoverformat: ".4r"
1982         tickformat: ".3r"
1983         linecolor: "rgb(220, 220, 220)"
1984         linewidth: 1
1985         showgrid: True
1986         showline: True
1987         showticklabels: True
1988         tickcolor: "rgb(220, 220, 220)"
1989         tickfont:
1990           size: 14
1991         zeroline: False
1992         range: [0,50]
1993       autosize: False
1994       margin:
1995         t: 50
1996         b: 0
1997         l: 80
1998         r: 20
1999       showlegend: True
2000       legend:
2001         orientation: "h"
2002         font:
2003           size: 14
2004       width: 700
2005       height: 900
2006       paper_bgcolor: "#fff"
2007       plot_bgcolor: "#fff"
2008       hoverlabel:
2009         namelength: -1
2010
2011     plot-service-density:
2012       titlefont:
2013         size: 16
2014       xaxis:
2015         side: "top"
2016         autorange: True
2017         fixedrange: False
2018         showgrid: False
2019         showline: False
2020         showticklabels: False
2021         ticks: ""
2022         ticklen: 0
2023         tickwidth: 0
2024         zeroline: False
2025       yaxis:
2026         autorange: "reversed"
2027         showgrid: False
2028         showline: False
2029         showticklabels: False
2030         ticks: ""
2031         ticklen: 0
2032         tickwidth: 0
2033         zeroline: False
2034       showlegend: False
2035       paper_bgcolor: "#fff"
2036       plot_bgcolor: "#fff"
2037       width: 700
2038       height: 700
2039       hoverlabel:
2040         namelength: -1
2041
2042     plot-hoststack:
2043       titlefont:
2044         size: 16
2045       xaxis:
2046         title: "<b>Test Cases [Index]</b>"
2047         titlefont:
2048           size: 14
2049         autorange: True
2050         fixedrange: False
2051         gridcolor: "rgb(230, 230, 230)"
2052         linecolor: "rgb(220, 220, 220)"
2053         linewidth: 1
2054         showgrid: True
2055         showline: True
2056         showticklabels: True
2057         tickcolor: "rgb(220, 220, 220)"
2058         tickmode: "linear"
2059         tickfont:
2060           size: 14
2061         zeroline: False
2062       yaxis:
2063         title: "<b>Bandwidth [Gbps]</b>"
2064         titlefont:
2065           size: 14
2066         gridcolor: "rgb(230, 230, 230)"
2067         hoverformat: ".4s"
2068         linecolor: "rgb(220, 220, 220)"
2069         linewidth: 1
2070         rangemode: "tozero"
2071         showgrid: True
2072         showline: True
2073         showticklabels: True
2074         tickcolor: "rgb(230, 230, 230)"
2075         tickformat: ".3s"
2076         tickfont:
2077           size: 14
2078         zeroline: False
2079       autosize: False
2080       margin:
2081         t: 50
2082         b: 20
2083         l: 80
2084         r: 20
2085       showlegend: True
2086       legend:
2087         orientation: "h"
2088         font:
2089           size: 14
2090       width: 700
2091       height: 800
2092       paper_bgcolor: "#fff"
2093       plot_bgcolor: "#fff"
2094       hoverlabel:
2095         namelength: -1
2096
2097     plot-throughput:
2098       titlefont:
2099         size: 16
2100       xaxis:
2101         title: "<b>Test Cases [Index]</b>"
2102         titlefont:
2103           size: 14
2104         autorange: True
2105         fixedrange: False
2106         gridcolor: "rgb(230, 230, 230)"
2107         linecolor: "rgb(220, 220, 220)"
2108         linewidth: 1
2109         showgrid: True
2110         showline: True
2111         showticklabels: True
2112         tickcolor: "rgb(220, 220, 220)"
2113         tickmode: "linear"
2114         tickfont:
2115           size: 14
2116         zeroline: False
2117       yaxis:
2118         title: "<b>Packet Throughput [Mpps]</b>"
2119         titlefont:
2120           size: 14
2121         gridcolor: "rgb(230, 230, 230)"
2122         hoverformat: ".4r"
2123         tickformat: ".3r"
2124         linecolor: "rgb(220, 220, 220)"
2125         linewidth: 1
2126         showgrid: True
2127         showline: True
2128         showticklabels: True
2129         tickcolor: "rgb(220, 220, 220)"
2130         tickfont:
2131           size: 14
2132         zeroline: False
2133         range: [0,50]
2134       autosize: False
2135       margin:
2136         t: 50
2137         b: 0
2138         l: 80
2139         r: 20
2140       showlegend: True
2141       legend:
2142         orientation: "h"
2143         font:
2144           size: 14
2145       width: 700
2146       height: 900
2147       paper_bgcolor: "#fff"
2148       plot_bgcolor: "#fff"
2149       hoverlabel:
2150         namelength: -1
2151
2152     plot-throughput-gbps:
2153       titlefont:
2154         size: 16
2155       xaxis:
2156         title: "<b>Test Cases [Index]</b>"
2157         titlefont:
2158           size: 14
2159         autorange: True
2160         fixedrange: False
2161         gridcolor: "rgb(230, 230, 230)"
2162         linecolor: "rgb(220, 220, 220)"
2163         linewidth: 1
2164         showgrid: True
2165         showline: True
2166         showticklabels: True
2167         tickcolor: "rgb(220, 220, 220)"
2168         tickmode: "linear"
2169         tickfont:
2170           size: 14
2171         zeroline: False
2172       yaxis:
2173         title: "<b>Packet Throughput [Gbps]</b>"
2174         titlefont:
2175           size: 14
2176         gridcolor: "rgb(230, 230, 230)"
2177         hoverformat: ".4r"
2178         tickformat: ".3r"
2179         linecolor: "rgb(220, 220, 220)"
2180         linewidth: 1
2181         showgrid: True
2182         showline: True
2183         showticklabels: True
2184         tickcolor: "rgb(220, 220, 220)"
2185         tickfont:
2186           size: 14
2187         zeroline: False
2188         range: [0,10]
2189       autosize: False
2190       margin:
2191         t: 50
2192         b: 0
2193         l: 80
2194         r: 20
2195       showlegend: True
2196       legend:
2197         orientation: "h"
2198         font:
2199           size: 14
2200       width: 700
2201       height: 900
2202       paper_bgcolor: "#fff"
2203       plot_bgcolor: "#fff"
2204       hoverlabel:
2205         namelength: -1
2206
2207     plot-cps:
2208       titlefont:
2209         size: 16
2210       xaxis:
2211         title: "<b>Test Cases [Index]</b>"
2212         titlefont:
2213           size: 14
2214         autorange: True
2215         fixedrange: False
2216         gridcolor: "rgb(230, 230, 230)"
2217         linecolor: "rgb(220, 220, 220)"
2218         linewidth: 1
2219         showgrid: True
2220         showline: True
2221         showticklabels: True
2222         tickcolor: "rgb(220, 220, 220)"
2223         tickmode: "linear"
2224         tickfont:
2225           size: 14
2226         zeroline: False
2227       yaxis:
2228         title: "<b>Connection Rate [Mcps]</b>"
2229         titlefont:
2230           size: 14
2231         gridcolor: "rgb(230, 230, 230)"
2232         hoverformat: ".4r"
2233         tickformat: ".3s"
2234         linecolor: "rgb(220, 220, 220)"
2235         linewidth: 1
2236         showgrid: True
2237         showline: True
2238         showticklabels: True
2239         tickcolor: "rgb(220, 220, 220)"
2240         tickfont:
2241           size: 14
2242         zeroline: False
2243         range: [0,10]
2244       autosize: False
2245       margin:
2246         t: 50
2247         b: 0
2248         l: 80
2249         r: 20
2250       showlegend: True
2251       legend:
2252         orientation: "h"
2253         font:
2254           size: 14
2255       width: 700
2256       height: 900
2257       paper_bgcolor: "#fff"
2258       plot_bgcolor: "#fff"
2259       hoverlabel:
2260         namelength: -1
2261
2262     plot-throughput-speedup-analysis:
2263       titlefont:
2264         size: 16
2265       xaxis:
2266         title: "<b>Number of Cores [Qty]</b>"
2267         titlefont:
2268           size: 14
2269         autorange: True
2270         fixedrange: False
2271         gridcolor: "rgb(230, 230, 230)"
2272         linecolor: "rgb(220, 220, 220)"
2273         linewidth: 1
2274         showgrid: True
2275         showline: True
2276         showticklabels: True
2277         tickcolor: "rgb(238, 238, 238)"
2278         tickmode: "linear"
2279         tickfont:
2280           size: 14
2281         zeroline: False
2282       yaxis:
2283         title: "<b>Packet Throughput [Mpps]</b>"
2284         titlefont:
2285           size: 14
2286         type: "linear"
2287         gridcolor: "rgb(230, 230, 230)"
2288         hoverformat: ".4s"
2289         linecolor: "rgb(220, 220, 220)"
2290         linewidth: 1
2291         showgrid: True
2292         showline: True
2293         showticklabels: True
2294         tickcolor: "rgb(220, 220, 220)"
2295         tickformat: ".4s"
2296         tickfont:
2297           size: 14
2298         zeroline: True
2299         rangemode: "tozero"
2300         range: [0,100]
2301       legend:
2302         orientation: "h"
2303         font:
2304           size: 14
2305         xanchor: "left"
2306         yanchor: "top"
2307         x: 0
2308         y: -0.2
2309         bgcolor: "rgba(255, 255, 255, 0)"
2310         bordercolor: "rgba(255, 255, 255, 0)"
2311         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2312       autosize: False
2313       margin:
2314           't': 50
2315           'b': 150
2316           'l': 85
2317           'r': 10
2318       showlegend: True
2319       width: 700
2320       height: 700
2321       paper_bgcolor: "#fff"
2322       plot_bgcolor: "#fff"
2323       hoverlabel:
2324         namelength: -1
2325       annotations: [
2326         {
2327           text: "_ _          __          ...",
2328           align: "left",
2329           showarrow: False,
2330           xref: "paper",
2331           yref: "paper",
2332           xanchor: "left",
2333           yanchor: "top",
2334           x: 0,
2335           y: -0.14,
2336           font: {
2337             family: "Consolas, Courier New",
2338             size: 13
2339           },
2340         },
2341         {
2342           text: "    Perfect     Measured     Limit",
2343           align: "left",
2344           showarrow: False,
2345           xref: "paper",
2346           yref: "paper",
2347           xanchor: "left",
2348           yanchor: "top",
2349           x: 0,
2350           y: -0.15,
2351           font: {
2352             family: "Consolas, Courier New",
2353             size: 13
2354           },
2355         },
2356       ]
2357
2358     plot-throughput-speedup-analysis-gbps:
2359       titlefont:
2360         size: 16
2361       xaxis:
2362         title: "<b>Number of Cores [Qty]</b>"
2363         titlefont:
2364           size: 14
2365         autorange: True
2366         fixedrange: False
2367         gridcolor: "rgb(230, 230, 230)"
2368         linecolor: "rgb(220, 220, 220)"
2369         linewidth: 1
2370         showgrid: True
2371         showline: True
2372         showticklabels: True
2373         tickcolor: "rgb(238, 238, 238)"
2374         tickmode: "linear"
2375         tickfont:
2376           size: 14
2377         zeroline: False
2378       yaxis:
2379         title: "<b>Packet Throughput [Gbps]</b>"
2380         titlefont:
2381           size: 14
2382         type: "linear"
2383         gridcolor: "rgb(230, 230, 230)"
2384         hoverformat: ".4s"
2385         linecolor: "rgb(220, 220, 220)"
2386         linewidth: 1
2387         showgrid: True
2388         showline: True
2389         showticklabels: True
2390         tickcolor: "rgb(220, 220, 220)"
2391         tickformat: ".4s"
2392         tickfont:
2393           size: 14
2394         zeroline: True
2395         rangemode: "tozero"
2396         range: [0,100]
2397       legend:
2398         orientation: "h"
2399         font:
2400           size: 14
2401         xanchor: "left"
2402         yanchor: "top"
2403         x: 0
2404         y: -0.2
2405         bgcolor: "rgba(255, 255, 255, 0)"
2406         bordercolor: "rgba(255, 255, 255, 0)"
2407         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2408       autosize: False
2409       margin:
2410           't': 50
2411           'b': 150
2412           'l': 85
2413           'r': 10
2414       showlegend: True
2415       width: 700
2416       height: 700
2417       paper_bgcolor: "#fff"
2418       plot_bgcolor: "#fff"
2419       hoverlabel:
2420         namelength: -1
2421       annotations: [
2422         {
2423           text: "_ _          __",
2424           align: "left",
2425           showarrow: False,
2426           xref: "paper",
2427           yref: "paper",
2428           xanchor: "left",
2429           yanchor: "top",
2430           x: 0,
2431           y: -0.13,
2432           font: {
2433             family: "Consolas, Courier New",
2434             size: 13
2435           },
2436         },
2437         {
2438           text: "    Perfect     Measured",
2439           align: "left",
2440           showarrow: False,
2441           xref: "paper",
2442           yref: "paper",
2443           xanchor: "left",
2444           yanchor: "top",
2445           x: 0,
2446           y: -0.15,
2447           font: {
2448             family: "Consolas, Courier New",
2449             size: 13
2450           },
2451         },
2452       ]
2453
2454     plot-throughput-speedup-analysis-cps:
2455       titlefont:
2456         size: 16
2457       xaxis:
2458         title: "<b>Number of Cores [Qty]</b>"
2459         titlefont:
2460           size: 14
2461         autorange: True
2462         fixedrange: False
2463         gridcolor: "rgb(230, 230, 230)"
2464         linecolor: "rgb(220, 220, 220)"
2465         linewidth: 1
2466         showgrid: True
2467         showline: True
2468         showticklabels: True
2469         tickcolor: "rgb(238, 238, 238)"
2470         tickmode: "linear"
2471         tickfont:
2472           size: 14
2473         zeroline: False
2474       yaxis:
2475         title: "<b>Connection Rate [Mcps]</b>"
2476         titlefont:
2477           size: 14
2478         type: "linear"
2479         gridcolor: "rgb(230, 230, 230)"
2480         hoverformat: ".4s"
2481         linecolor: "rgb(220, 220, 220)"
2482         linewidth: 1
2483         showgrid: True
2484         showline: True
2485         showticklabels: True
2486         tickcolor: "rgb(220, 220, 220)"
2487         tickformat: ".4s"
2488         tickfont:
2489           size: 14
2490         zeroline: True
2491         rangemode: "tozero"
2492         range: [0,100]
2493       legend:
2494         orientation: "h"
2495         font:
2496           size: 14
2497         xanchor: "left"
2498         yanchor: "top"
2499         x: 0
2500         y: -0.2
2501         bgcolor: "rgba(255, 255, 255, 0)"
2502         bordercolor: "rgba(255, 255, 255, 0)"
2503         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2504       autosize: False
2505       margin:
2506           't': 50
2507           'b': 150
2508           'l': 85
2509           'r': 10
2510       showlegend: True
2511       width: 700
2512       height: 700
2513       paper_bgcolor: "#fff"
2514       plot_bgcolor: "#fff"
2515       hoverlabel:
2516         namelength: -1
2517       annotations: [
2518         {
2519           text: "_ _          __",
2520           align: "left",
2521           showarrow: False,
2522           xref: "paper",
2523           yref: "paper",
2524           xanchor: "left",
2525           yanchor: "top",
2526           x: 0,
2527           y: -0.13,
2528           font: {
2529             family: "Consolas, Courier New",
2530             size: 13
2531           },
2532         },
2533         {
2534           text: "    Perfect     Measured",
2535           align: "left",
2536           showarrow: False,
2537           xref: "paper",
2538           yref: "paper",
2539           xanchor: "left",
2540           yanchor: "top",
2541           x: 0,
2542           y: -0.15,
2543           font: {
2544             family: "Consolas, Courier New",
2545             size: 13
2546           },
2547         },
2548       ]
2549
2550     plot-latency:
2551       titlefont:
2552         size: 16
2553       xaxis:
2554         title: "<b>Direction</b>"
2555         titlefont:
2556           size: 14
2557         autorange: True
2558         fixedrange: False
2559         gridcolor: "rgb(230, 230, 230)"
2560         linecolor: "rgb(220, 220, 220)"
2561         linewidth: 1
2562         showgrid: True
2563         showline: True
2564         showticklabels: False
2565         tickcolor: "rgb(220, 220, 220)"
2566         tickmode: "linear"
2567         tickfont:
2568           size: 14
2569         zeroline: False
2570       yaxis:
2571         title: "<b>Packet Latency [uSec]</b>"
2572         titlefont:
2573           size: 14
2574         type: "linear"
2575         gridcolor: "rgb(230, 230, 230)"
2576         hoverformat: ".4s"
2577         linecolor: "rgb(220, 220, 220)"
2578         linewidth: 1
2579         showgrid: True
2580         showline: True
2581         showticklabels: True
2582         tickcolor: "rgb(220, 220, 220)"
2583         tickformat: ".4s"
2584         tickfont:
2585           size: 14
2586         zeroline: True
2587         rangemode: "tozero"
2588       legend:
2589         orientation: "h"
2590         font:
2591           size: 14
2592         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2593       autosize: False
2594       margin:
2595           't': 50
2596           'b': 150
2597           'l': 80
2598           'r': 10
2599       showlegend: True
2600       width: 700
2601       height: 700
2602       paper_bgcolor: "#fff"
2603       plot_bgcolor: "#fff"
2604       hoverlabel:
2605         namelength: -1
2606
2607     plot-hdrh-latency:
2608       title:
2609         text: ""
2610         xanchor: "center"
2611         x: 0.5
2612         font:
2613           size: 16
2614       width: 700
2615       plot_bgcolor: "white"
2616       annotations:
2617         - font:
2618             size: 14
2619           showarrow: False
2620           text: "<b>Packet Latency [uSec]</b>"
2621           x: 1
2622           xanchor: "right"
2623           xref: "paper"
2624           y: -0.045
2625           yanchor: "top"
2626           yref: "paper"
2627         - font:
2628             size: 14
2629           showarrow: False
2630           text: "<b>Probability [%]</b>"
2631           textangle: 270
2632           x: -0.06
2633           xanchor: "center"
2634           xref: "paper"
2635           y: 0.5
2636           yanchor: "middle"
2637           yref: "paper"
2638         - font:
2639             size: 14
2640           showarrow: False
2641           text: "<b>Direction: E-W</b>"
2642           x: 0.24
2643           xanchor: "center"
2644           xref: "paper"
2645           y: 1.05
2646           yanchor: "bottom"
2647           yref: "paper"
2648         - font:
2649             size: 14
2650           showarrow: False
2651           text: "<b>Direction: W-E</b>"
2652           x: 0.74
2653           xanchor: "center"
2654           xref: "paper"
2655           y: 1.05
2656           yanchor: "bottom"
2657           yref: "paper"
2658
2659     plot-hdrh-latency-percentile-x-log:
2660       title:
2661         text: "<b>Latency by Percentile Distribution</b>"
2662         xanchor: "center"
2663         x: 0.5
2664         font:
2665           size: 18
2666       showlegend: True
2667       legend:
2668         traceorder: "normal"
2669         orientation: "h"
2670         font:
2671           size: 16
2672         xanchor: "left"
2673         yanchor: "top"
2674         x: 0
2675         y: -0.2
2676         bgcolor: "rgba(255, 255, 255, 0)"
2677         bordercolor: "rgba(255, 255, 255, 0)"
2678       xaxis:
2679         type: "log"
2680         title: "<b>Percentile [%]</b>"
2681         titlefont:
2682           size: 14
2683         autorange: False
2684         fixedrange: True
2685         gridcolor: "rgb(230, 230, 230)"
2686         linecolor: "rgb(220, 220, 220)"
2687         linewidth: 1
2688         showgrid: True
2689         showline: True
2690         showticklabels: True
2691         tickcolor: "rgb(220, 220, 220)"
2692         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2693         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2694         tickfont:
2695           size: 14
2696       yaxis:
2697         title: "<b>One-Way Latency per Direction [uSec]</b>"
2698         titlefont:
2699           size: 14
2700         gridcolor: "rgb(230, 230, 230)"
2701         linecolor: "rgb(220, 220, 220)"
2702         linewidth: 1
2703         showgrid: True
2704         showline: True
2705         showticklabels: True
2706         tickcolor: "rgb(220, 220, 220)"
2707         tickfont:
2708           size: 14
2709       autosize: False
2710       width: 700
2711       height: 700
2712       paper_bgcolor: "white"
2713       plot_bgcolor: "white"
2714
2715     plot-hdrh-latency-by-percentile:
2716       title:
2717         text: "<b>Latency by Percentile Distribution</b>"
2718         xanchor: "center"
2719         x: 0.5
2720         font:
2721           size: 18
2722       showlegend: True
2723       legend:
2724         traceorder: "normal"
2725         orientation: "h"
2726         font:
2727           size: 16
2728         xanchor: "left"
2729         yanchor: "top"
2730         x: 0
2731         y: -0.2
2732         bgcolor: "rgba(255, 255, 255, 0)"
2733         bordercolor: "rgba(255, 255, 255, 0)"
2734       xaxis:
2735         type: "linear"
2736         title: "<b>Percentile [%]</b>"
2737         titlefont:
2738           size: 14
2739         autorange: False
2740         fixedrange: False
2741         range: [0, 100]
2742         gridcolor: "rgb(230, 230, 230)"
2743         linecolor: "rgb(220, 220, 220)"
2744         linewidth: 1
2745         showgrid: True
2746         showline: True
2747         showticklabels: True
2748         tickcolor: "rgb(220, 220, 220)"
2749         tickvals: [0, 25, 50, 75, 100]
2750         ticktext: [0, 25, 50, 75, 100]
2751         tickfont:
2752           size: 14
2753       yaxis:
2754         title: "<b>One-Way Latency per Direction [uSec]</b>"
2755         titlefont:
2756           size: 14
2757         gridcolor: "rgb(230, 230, 230)"
2758         linecolor: "rgb(220, 220, 220)"
2759         linewidth: 1
2760         showgrid: True
2761         showline: True
2762         showticklabels: True
2763         tickcolor: "rgb(220, 220, 220)"
2764         tickfont:
2765           size: 14
2766       width: 700
2767       height: 700
2768       paper_bgcolor: "white"
2769       plot_bgcolor: "white"
2770
2771 - type: "static"
2772   src-path: "{DIR[RST]}"
2773   dst-path: "{DIR[WORKING,SRC]}"
2774
2775 - type: "input"
2776   general:
2777     file-name: "output_info.xml.gz"
2778     file-format: ".gz"
2779     arch-file-format:
2780       - ".gz"
2781       - ".zip"
2782     download-path: "{job}/{build}/archives/{filename}"
2783     extract: "output.xml"
2784
2785     zip-file-name: "robot-plugin.zip"
2786     zip-file-format: ".zip"
2787     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2788     zip-extract: "robot-plugin/output.xml"
2789
2790   builds:
2791
2792     csit-vpp-perf-report-iterative-2009-3n-hsw:
2793       - 18  # rls2005 MRR iter env 5
2794       - 9   # rls2005 NDRPDR iter env 5
2795       - 10  # rls2005 NDRPDR iter env 5
2796       - 11  # rls2005 NDRPDR iter env 5
2797       - 12  # rls2005 NDRPDR iter env 5
2798       - 13  # rls2005 NDRPDR iter env 5
2799       - 14  # rls2005 NDRPDR iter env 5
2800       - 15  # rls2005 NDRPDR iter env 5
2801       - 16  # rls2005 NDRPDR iter env 5
2802       - 17  # rls2005 NDRPDR iter env 5
2803       - 19  # rls2005 NDRPDR iter env 5
2804       - 23  # rls2009 MRR iter env 5
2805       - 21  # rls2009 NDRPDR iter env 5
2806       - 22  # rls2009 NDRPDR iter env 5
2807       - 24  # rls2009 NDRPDR iter env 5
2808       - 25  # rls2009 NDRPDR iter env 5
2809       - 26  # rls2009 NDRPDR iter env 5
2810       - 27  # rls2009 NDRPDR iter env 5
2811       - 28  # rls2009 NDRPDR iter env 5
2812       - 29  # rls2009 NDRPDR iter env 5
2813       - 30  # rls2009 NDRPDR iter env 5
2814       - 31  # rls2009 NDRPDR iter env 5
2815     csit-vpp-perf-report-iterative-2101-3n-hsw:
2816       - 17  # rls2009 MRR iter env 6
2817       - 19  # rls2009 NDRPDR iter env 6
2818       - 20  # rls2009 NDRPDR iter env 6
2819       - 21  # rls2009 NDRPDR iter env 6
2820       - 22  # rls2009 NDRPDR iter env 6
2821       - 23  # rls2009 NDRPDR iter env 6
2822       - 24  # rls2009 NDRPDR iter env 6
2823       - 25  # rls2009 NDRPDR iter env 6
2824       - 26  # rls2009 NDRPDR iter env 6
2825       - 27  # rls2009 NDRPDR iter env 6
2826       - 63  # rls2101.rel MRR iter env 6
2827       - 64  # rls2101.rel NDRPDR iter env 6
2828       - 71  # rls2101.rel NDRPDR iter env 6
2829       - 73  # rls2101.rel NDRPDR iter env 6
2830       - 74  # rls2101.rel NDRPDR iter env 6
2831       - 80  # rls2101.rel NDRPDR iter env 6
2832       - 81  # rls2101.rel NDRPDR iter env 6
2833       - 82  # rls2101.rel NDRPDR iter env 6
2834       - 83  # rls2101.rel NDRPDR iter env 6
2835       - 88  # rls2101.rel NDRPDR iter env 6
2836       - 89  # rls2101.rel NDRPDR iter env 6
2837       - 128 # rls2101.rel NDRPDR iter RND env 6
2838       - 129 # rls2101.rel NDRPDR iter RND env 6
2839       - 130 # rls2101.rel NDRPDR iter RND env 6
2840       - 131 # rls2101.rel NDRPDR iter RND env 6
2841       - 132 # rls2101.rel NDRPDR iter RND env 6
2842       - 133 # rls2101.rel NDRPDR iter RND env 6
2843       - 134 # rls2101.rel NDRPDR iter RND env 6
2844       - 135 # rls2101.rel NDRPDR iter RND env 6
2845       - 136 # rls2101.rel NDRPDR iter RND env 6
2846       - 137 # rls2101.rel NDRPDR iter RND env 6
2847       - 65  # rls2101.rel NDRPDR reconf iter env 6
2848       - 68  # rls2101.rel NDRPDR reconf iter env 6
2849       - 77  # rls2101.rel NDRPDR reconf iter env 6
2850       - 84  # rls2101.rel NDRPDR reconf iter env 6
2851       - 90  # rls2101.rel NDRPDR reconf iter env 6
2852       - 96  # rls2101.rel NDRPDR reconf iter env 6
2853       - 101 # rls2101.rel NDRPDR reconf iter env 6
2854       - 104 # rls2101.rel NDRPDR reconf iter env 6
2855       - 105 # rls2101.rel NDRPDR reconf iter env 6
2856       - 106 # rls2101.rel NDRPDR reconf iter env 6
2857       - 107 # rls2101.rel NDRPDR reconf iter env 6
2858       - 108 # rls2101.rel NDRPDR reconf iter env 6
2859       - 110 # rls2101.rel NDRPDR reconf iter env 6
2860       - 111 # rls2101.rel NDRPDR reconf iter env 6
2861       - 112 # rls2101.rel NDRPDR reconf iter env 6
2862       - 113 # rls2101.rel NDRPDR reconf iter env 6
2863       - 114 # rls2101.rel NDRPDR reconf iter env 6
2864       - 115 # rls2101.rel NDRPDR reconf iter env 6
2865       - 116 # rls2101.rel NDRPDR reconf iter env 6
2866       - 117 # rls2101.rel NDRPDR reconf iter env 6
2867       - 69  # rls2101.rel Hoststack iter env 6
2868       - 70  # rls2101.rel Hoststack iter env 6
2869       - 75  # rls2101.rel Hoststack iter env 6
2870       - 76  # rls2101.rel Hoststack iter env 6
2871       - 78  # rls2101.rel Hoststack iter env 6
2872       - 79  # rls2101.rel Hoststack iter env 6
2873       - 85  # rls2101.rel Hoststack iter env 6
2874       - 86  # rls2101.rel Hoststack iter env 6
2875       - 87  # rls2101.rel Hoststack iter env 6
2876       - 91  # rls2101.rel Hoststack iter env 6
2877       - 92  # rls2101.rel Hoststack iter env 6
2878       - 93  # rls2101.rel Hoststack iter env 6
2879       - 94  # rls2101.rel Hoststack iter env 6
2880       - 95  # rls2101.rel Hoststack iter env 6
2881       - 97  # rls2101.rel Hoststack iter env 6
2882       - 98  # rls2101.rel Hoststack iter env 6
2883       - 99  # rls2101.rel Hoststack iter env 6
2884       - 100 # rls2101.rel Hoststack iter env 6
2885       - 102 # rls2101.rel Hoststack iter env 6
2886       - 103 # rls2101.rel Hoststack iter env 6
2887     csit-vpp-perf-report-coverage-2101-3n-hsw:
2888       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
2889       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
2890       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
2891       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
2892       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
2893       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
2894       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
2895       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
2896       - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
2897       - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
2898       - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
2899       - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
2900       - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
2901       - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
2902       - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
2903       - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
2904       - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
2905       - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
2906       - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
2907       - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
2908       - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
2909       - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
2910       - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
2911       - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
2912       - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
2913       - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
2914       - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
2915       - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
2916       - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
2917       - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
2918       - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
2919       - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
2920       - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
2921       - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
2922       - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
2923
2924
2925     csit-vpp-perf-report-iterative-2009-3n-skx:
2926       - 17  # rls2005 MRR iter env 5
2927       - 13  # rls2005 NDRPDR iter env 5
2928       - 18  # rls2005 NDRPDR iter env 5
2929       - 19  # rls2005 NDRPDR iter env 5
2930       - 41  # rls2005 NDRPDR iter env 5
2931       - 43  # rls2005 NDRPDR iter env 5
2932       - 44  # rls2005 NDRPDR iter env 5
2933       - 45  # rls2005 NDRPDR iter env 5
2934       - 46  # rls2005 NDRPDR iter env 5
2935       - 48  # rls2005 NDRPDR iter env 5
2936       - 49  # rls2005 NDRPDR iter env 5
2937       - 24  # rls2009 MRR iter env 5
2938       - 26  # rls2009 NDRPDR iter env 5
2939       - 27  # rls2009 NDRPDR iter env 5
2940       - 28  # rls2009 NDRPDR iter env 5
2941       - 29  # rls2009 NDRPDR iter env 5
2942       - 35  # rls2009 NDRPDR iter env 5
2943       - 36  # rls2009 NDRPDR iter env 5
2944       - 37  # rls2009 NDRPDR iter env 5
2945       - 38  # rls2009 NDRPDR iter env 5
2946       - 39  # rls2009 NDRPDR iter env 5
2947       - 40  # rls2009 NDRPDR iter env 5
2948     csit-vpp-perf-report-iterative-2101-3n-skx:
2949       - 34  # rls2009 MRR iter env 6
2950       - 14  # rls2009 NDRPDR iter env 6
2951       - 15  # rls2009 NDRPDR iter env 6
2952       - 16  # rls2009 NDRPDR iter env 6
2953       - 17  # rls2009 NDRPDR iter env 6
2954       - 18  # rls2009 NDRPDR iter env 6
2955       - 25  # rls2009 NDRPDR iter env 6
2956       - 26  # rls2009 NDRPDR iter env 6
2957       - 27  # rls2009 NDRPDR iter env 6
2958       - 29  # rls2009 NDRPDR iter env 6
2959       - 31  # rls2009 NDRPDR iter env 6
2960       - 35  # rls2101.rel MRR iter env 6
2961       - 36  # rls2101.rel NDRPDR iter env 6
2962       - 37  # rls2101.rel NDRPDR iter env 6
2963       - 38  # rls2101.rel NDRPDR iter env 6
2964       - 39  # rls2101.rel NDRPDR iter env 6
2965       - 40  # rls2101.rel NDRPDR iter env 6
2966       - 41  # rls2101.rel NDRPDR iter env 6
2967       - 42  # rls2101.rel NDRPDR iter env 6
2968       - 47  # rls2101.rel NDRPDR iter env 6
2969       - 48  # rls2101.rel NDRPDR iter env 6
2970     # csit-vpp-perf-report-coverage-2101-3n-skx:
2971
2972
2973     csit-vpp-perf-report-iterative-2009-2n-skx:
2974       - 20  # rls2005 MRR iter env 5
2975       - 13  # rls2005 NDRPDR iter env 5
2976       - 16  # rls2005 NDRPDR iter env 5
2977       - 17  # rls2005 NDRPDR iter env 5
2978       - 18  # rls2005 NDRPDR iter env 5
2979       - 19  # rls2005 NDRPDR iter env 5
2980       - 21  # rls2005 NDRPDR iter env 5
2981       - 22  # rls2005 NDRPDR iter env 5
2982       - 23  # rls2005 NDRPDR iter env 5
2983       - 24  # rls2005 NDRPDR iter env 5
2984       - 25  # rls2005 NDRPDR iter env 5
2985       - 120 # rls2009 MRR iter env 5
2986       - 35  # rls2009 NDRPDR iter env 5
2987       - 36  # rls2009 NDRPDR iter env 5
2988       - 37  # rls2009 NDRPDR iter env 5
2989       - 39  # rls2009 NDRPDR iter env 5
2990       - 40  # rls2009 NDRPDR iter env 5
2991       - 42  # rls2009 NDRPDR iter env 5
2992       - 43  # rls2009 NDRPDR iter env 5
2993       - 44  # rls2009 NDRPDR iter env 5
2994       - 46  # rls2009 NDRPDR iter env 5
2995       - 48  # rls2009 NDRPDR iter env 5
2996       - 110 # rls2009 NDRPDR iter NAT44 env 5
2997       - 111 # rls2009 NDRPDR iter NAT44 env 5
2998       - 112 # rls2009 NDRPDR iter NAT44 env 5
2999       - 113 # rls2009 NDRPDR iter NAT44 env 5
3000       - 114 # rls2009 NDRPDR iter NAT44 env 5
3001       - 115 # rls2009 NDRPDR iter NAT44 env 5
3002       - 116 # rls2009 NDRPDR iter NAT44 env 5
3003       - 118 # rls2009 NDRPDR iter NAT44 env 5
3004       - 119 # rls2009 NDRPDR iter NAT44 env 5
3005       - 121 # rls2009 NDRPDR iter NAT44 env 5
3006     csit-vpp-perf-report-iterative-2101-2n-skx:
3007       - 21  # rls2009 MRR iter env 6
3008       - 22  # rls2009 NDRPDR iter env 6
3009       - 23  # rls2009 NDRPDR iter env 6
3010       - 24  # rls2009 NDRPDR iter env 6
3011       - 25  # rls2009 NDRPDR iter env 6
3012       - 26  # rls2009 NDRPDR iter env 6
3013       - 28  # rls2009 NDRPDR iter env 6
3014       - 39  # rls2009 NDRPDR iter env 6
3015       - 40  # rls2009 NDRPDR iter env 6
3016       - 41  # rls2009 NDRPDR iter env 6
3017       - 44  # rls2009 NDRPDR iter env 6
3018       - 62  # rls2101.rel MRR iter env 6
3019       - 63  # rls2101.rel NDRPDR iter env 6
3020       - 69  # rls2101.rel NDRPDR iter env 6
3021       - 70  # rls2101.rel NDRPDR iter env 6
3022       - 75  # rls2101.rel NDRPDR iter env 6
3023       - 76  # rls2101.rel NDRPDR iter env 6
3024       - 77  # rls2101.rel NDRPDR iter env 6
3025       - 82  # rls2101.rel NDRPDR iter env 6
3026       - 85  # rls2101.rel NDRPDR iter env 6
3027       - 86  # rls2101.rel NDRPDR iter env 6
3028       - 94  # rls2101.rel NDRPDR iter env 6
3029       - 89  # rls2101.rel NDRPDR iter RND env 6
3030       - 90  # rls2101.rel NDRPDR iter RND env 6
3031       - 91  # rls2101.rel NDRPDR iter RND env 6
3032       - 92  # rls2101.rel NDRPDR iter RND env 6
3033       - 93  # rls2101.rel NDRPDR iter RND env 6
3034       - 96  # rls2101.rel NDRPDR iter RND env 6
3035       - 98  # rls2101.rel NDRPDR iter RND env 6
3036       - 99  # rls2101.rel NDRPDR iter RND env 6
3037       - 101 # rls2101.rel NDRPDR iter RND env 6
3038       - 102 # rls2101.rel NDRPDR iter RND env 6
3039       - 65  # rls2101.rel MRR nf-density iter env 6
3040       - 67  # rls2101.rel NDRPDR nf-density iter env 6
3041       - 72  # rls2101.rel NDRPDR nf-density iter env 6
3042       - 79  # rls2101.rel NDRPDR nf-density iter env 6
3043       - 83  # rls2101.rel NDRPDR nf-density iter env 6
3044       - 88  # rls2101.rel NDRPDR nf-density iter env 6
3045       - 97  # rls2101.rel NDRPDR nf-density iter env 6
3046       - 103 # rls2101.rel NDRPDR nf-density iter env 6
3047       - 108 # rls2101.rel NDRPDR nf-density iter env 6
3048       - 109 # rls2101.rel NDRPDR nf-density iter env 6
3049       - 110 # rls2101.rel NDRPDR nf-density iter env 6
3050       - 64  # rls2101.rel NDRPDR reconf iter env 6
3051       - 66  # rls2101.rel NDRPDR reconf iter env 6
3052       - 71  # rls2101.rel NDRPDR reconf iter env 6
3053       - 74  # rls2101.rel NDRPDR reconf iter env 6
3054       - 78  # rls2101.rel NDRPDR reconf iter env 6
3055       - 87  # rls2101.rel NDRPDR reconf iter env 6
3056       - 95  # rls2101.rel NDRPDR reconf iter env 6
3057       - 100 # rls2101.rel NDRPDR reconf iter env 6
3058       - 104 # rls2101.rel NDRPDR reconf iter env 6
3059       - 106 # rls2101.rel NDRPDR reconf iter env 6
3060       - 68  # rls2101.rel soak env 6
3061       - 73  # rls2101.rel soak env 6
3062     csit-vpp-perf-report-coverage-2101-2n-skx:
3063       - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
3064       - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
3065       - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
3066       - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
3067       - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
3068       - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
3069       - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
3070       - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
3071       - 9   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
3072       - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
3073 #       - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
3074       - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
3075       - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
3076       - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
3077       - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
3078 #       - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
3079 #       - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
3080 #       - 18  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
3081
3082
3083     csit-vpp-perf-report-iterative-2009-2n-clx:
3084       - 77  # rls2005 MRR iter env 5
3085       - 13  # rls2005 NDRPDR iter env 5
3086       - 15  # rls2005 NDRPDR iter env 5
3087       - 17  # rls2005 NDRPDR iter env 5
3088       - 18  # rls2005 NDRPDR iter env 5
3089       - 19  # rls2005 NDRPDR iter env 5
3090       - 20  # rls2005 NDRPDR iter env 5
3091       - 21  # rls2005 NDRPDR iter env 5
3092       - 22  # rls2005 NDRPDR iter env 5
3093       - 23  # rls2005 NDRPDR iter env 5
3094       - 24  # rls2005 NDRPDR iter env 5
3095       - 125 # rls2009 MRR iter env 5
3096       - 36  # rls2009 NDRPDR iter env 5
3097       - 39  # rls2009 NDRPDR iter env 5
3098       - 40  # rls2009 NDRPDR iter env 5
3099       - 65  # rls2009 NDRPDR iter env 5
3100       - 66  # rls2009 NDRPDR iter env 5
3101       - 79  # rls2009 NDRPDR iter env 5
3102       - 82  # rls2009 NDRPDR iter env 5
3103       - 88  # rls2009 NDRPDR iter env 5
3104       - 89  # rls2009 NDRPDR iter env 5
3105       - 90  # rls2009 NDRPDR iter env 5
3106       - 114 # rls2009 NDRPDR iter NAT44 env 5
3107       - 115 # rls2009 NDRPDR iter NAT44 env 5
3108       - 116 # rls2009 NDRPDR iter NAT44 env 5
3109       - 117 # rls2009 NDRPDR iter NAT44 env 5
3110       - 118 # rls2009 NDRPDR iter NAT44 env 5
3111       - 119 # rls2009 NDRPDR iter NAT44 env 5
3112       - 121 # rls2009 NDRPDR iter NAT44 env 5
3113       - 122 # rls2009 NDRPDR iter NAT44 env 5
3114       - 123 # rls2009 NDRPDR iter NAT44 env 5
3115       - 126 # rls2009 NDRPDR iter NAT44 env 5
3116     csit-vpp-perf-report-iterative-2101-2n-clx:
3117       - 15  # rls2009 MRR iter env 6
3118       - 16  # rls2009 NDRPDR iter env 6
3119       - 17  # rls2009 NDRPDR iter env 6
3120       - 18  # rls2009 NDRPDR iter env 6
3121       - 19  # rls2009 NDRPDR iter env 6
3122       - 20  # rls2009 NDRPDR iter env 6
3123       - 21  # rls2009 NDRPDR iter env 6
3124       - 32  # rls2009 NDRPDR iter env 6
3125       - 33  # rls2009 NDRPDR iter env 6
3126       - 34  # rls2009 NDRPDR iter env 6
3127       - 35  # rls2009 NDRPDR iter env 6
3128       - 53  # rls2101.rel MRR iter env 6
3129       - 54  # rls2101.rel NDRPDR iter env 6
3130       - 59  # rls2101.rel NDRPDR iter env 6
3131       - 60  # rls2101.rel NDRPDR iter env 6
3132       - 63  # rls2101.rel NDRPDR iter env 6
3133       - 66  # rls2101.rel NDRPDR iter env 6
3134       - 68  # rls2101.rel NDRPDR iter env 6
3135       - 73  # rls2101.rel NDRPDR iter env 6
3136       - 75  # rls2101.rel NDRPDR iter env 6
3137       - 87  # rls2101.rel NDRPDR iter RND env 6
3138       - 91  # rls2101.rel NDRPDR iter RND env 6
3139       - 93  # rls2101.rel NDRPDR iter RND env 6
3140       - 94  # rls2101.rel NDRPDR iter RND env 6
3141       - 72  # rls2101.rel MRR nf-density iter env 6
3142       - 57  # rls2101.rel NDRPDR nf-density iter env 6
3143       - 62  # rls2101.rel NDRPDR nf-density iter env 6
3144       - 70  # rls2101.rel NDRPDR nf-density iter env 6
3145       - 71  # rls2101.rel NDRPDR nf-density iter env 6
3146       - 82  # rls2101.rel NDRPDR nf-density iter env 6
3147       - 88  # rls2101.rel NDRPDR nf-density iter env 6
3148       - 89  # rls2101.rel NDRPDR nf-density iter env 6
3149       - 96  # rls2101.rel NDRPDR nf-density iter env 6
3150       - 97  # rls2101.rel NDRPDR nf-density iter env 6
3151       - 55  # rls2101.rel NDRPDR reconf iter env 6
3152       - 64  # rls2101.rel NDRPDR reconf iter env 6
3153       - 76  # rls2101.rel NDRPDR reconf iter env 6
3154       - 83  # rls2101.rel NDRPDR reconf iter env 6
3155       - 58  # rls2101.rel soak env 6
3156       - 61  # rls2101.rel soak env 6
3157     # csit-vpp-perf-report-coverage-2101-2n-clx:
3158
3159
3160     csit-vpp-perf-report-iterative-2009-2n-zn2:
3161       - 15  # rls2009 MRR iter env 5
3162       - 17  # rls2009 NDRPDR iter env 5
3163       - 18  # rls2009 NDRPDR iter env 5
3164       - 31  # rls2009 NDRPDR iter env 5
3165       - 33  # rls2009 NDRPDR iter env 5
3166       - 34  # rls2009 NDRPDR iter env 5
3167     csit-vpp-perf-report-iterative-2101-2n-zn2:
3168       - 8   # rls2009 MRR iter env6
3169       - 9   # rls2009 NDRPDR iter env 6
3170       - 10  # rls2009 NDRPDR iter env 6
3171       - 11  # rls2009 NDRPDR iter env 6
3172       - 12  # rls2009 NDRPDR iter env 6
3173       - 13  # rls2009 NDRPDR iter env 6
3174       - 20  # rls2009 NDRPDR iter env 6
3175       - 21  # rls2009 NDRPDR iter env 6
3176       - 22  # rls2009 NDRPDR iter env 6
3177       - 25  # rls2009 NDRPDR iter env 6
3178       - 26  # rls2009 NDRPDR iter env 6
3179       - 30  # rls2101.rel MRR iter env 6
3180       - 31  # rls2101.rel NDRPDR iter env 6
3181       - 32  # rls2101.rel NDRPDR iter env 6
3182       - 33  # rls2101.rel NDRPDR iter env 6
3183       - 34  # rls2101.rel NDRPDR iter env 6
3184       - 35  # rls2101.rel NDRPDR iter env 6
3185       - 36  # rls2101.rel NDRPDR iter env 6
3186       - 37  # rls2101.rel NDRPDR iter env 6
3187       - 38  # rls2101.rel NDRPDR iter env 6
3188       - 40  # rls2101.rel NDRPDR iter RND env 6
3189       - 41  # rls2101.rel NDRPDR iter RND env 6
3190       - 42  # rls2101.rel NDRPDR iter RND env 6
3191       - 43  # rls2101.rel NDRPDR iter RND env 6
3192       - 45  # rls2101.rel NDRPDR iter RND env 6
3193       - 48  # rls2101.rel NDRPDR iter RND env 6
3194       - 50  # rls2101.rel NDRPDR iter RND env 6
3195
3196     csit-vpp-perf-report-iterative-2009-3n-tsh:
3197       - 8   # rls2005 NDRPDR iter env 5
3198       - 11  # rls2005 NDRPDR iter env 5
3199       - 12  # rls2005 NDRPDR iter env 5
3200       - 24  # rls2005 NDRPDR iter env 5
3201       - 27  # rls2005 NDRPDR iter env 5
3202       - 29  # rls2005 NDRPDR iter env 5
3203       - 31  # rls2005 NDRPDR iter env 5
3204       - 39  # rls2005 NDRPDR iter env 5
3205       - 40  # rls2005 NDRPDR iter env 5
3206       - 42  # rls2005 NDRPDR iter env 5
3207       - 13  # rls2005 MRR iter env 5
3208       - 14  # rls2009 NDRPDR iter env 5
3209       - 20  # rls2009 NDRPDR iter env 5
3210       - 21  # rls2009 NDRPDR iter env 5
3211       - 22  # rls2009 NDRPDR iter env 5
3212       - 23  # rls2009 NDRPDR iter env 5
3213       - 28  # rls2009 NDRPDR iter env 5
3214       - 30  # rls2009 NDRPDR iter env 5
3215       - 33  # rls2009 NDRPDR iter env 5
3216       - 38  # rls2009 NDRPDR iter env 5
3217       - 41  # rls2009 NDRPDR iter env 5
3218       - 15  # rls2009 MRR iter env 5
3219     csit-vpp-perf-report-iterative-2101-3n-tsh:
3220       - 7   # rls2009 MRR iter env 6
3221       - 8   # rls2009 NDRPDR iter env 6
3222       - 13  # rls2009 NDRPDR iter env 6
3223       - 14  # rls2009 NDRPDR iter env 6
3224       - 15  # rls2009 NDRPDR iter env 6
3225       - 16  # rls2009 NDRPDR iter env 6
3226       - 17  # rls2009 NDRPDR iter env 6
3227       - 18  # rls2009 NDRPDR iter env 6
3228       - 19  # rls2009 NDRPDR iter env 6
3229       - 21  # rls2009 NDRPDR iter env 6
3230       - 22  # rls2101.rel MRR iter env 6
3231       - 23  # rls2101.rel NDRPDR iter env 6
3232       - 24  # rls2101.rel NDRPDR iter env 6
3233       - 25  # rls2101.rel NDRPDR iter env 6
3234       - 26  # rls2101.rel NDRPDR iter env 6
3235       - 27  # rls2101.rel NDRPDR iter env 6
3236       - 28  # rls2101.rel NDRPDR iter env 6
3237       - 29  # rls2101.rel NDRPDR iter env 6
3238
3239     csit-vpp-perf-report-iterative-2101-2n-tx2:
3240       - 5   # rls2009 MRR iter env 6
3241       - 6   # rls2009 NDRPDR iter env 6
3242       - 7   # rls2009 NDRPDR iter env 6
3243       - 11  # rls2009 NDRPDR iter env 6
3244       - 12  # rls2009 NDRPDR iter env 6
3245       - 13  # rls2009 NDRPDR iter env 6
3246       - 16  # rls2009 NDRPDR iter env 6
3247       - 17  # rls2009 NDRPDR iter env 6
3248       - 18  # rls2009 NDRPDR iter env 6
3249       - 19  # rls2009 NDRPDR iter env 6
3250       - 20  # rls2009 NDRPDR iter env 6
3251       - 21  # rls2101.rel MRR iter env 6
3252       - 22  # rls2101.rel NDRPDR iter env 6
3253       - 23  # rls2101.rel NDRPDR iter env 6
3254       - 24  # rls2101.rel NDRPDR iter env 6
3255       - 25  # rls2101.rel NDRPDR iter env 6
3256       - 26  # rls2101.rel NDRPDR iter env 6
3257       - 27  # rls2101.rel NDRPDR iter env 6
3258       - 28  # rls2101.rel NDRPDR iter env 6
3259       - 29  # rls2101.rel NDRPDR iter env 6
3260       - 30  # rls2101.rel NDRPDR iter env 6
3261       - 31  # rls2101.rel NDRPDR iter env 6
3262
3263
3264     csit-vpp-perf-report-iterative-2009-3n-dnv:
3265       - 16  # rls2005 NDRPDR iter env 5
3266       - 23  # rls2005 NDRPDR iter env 5
3267       - 25  # rls2005 NDRPDR iter env 5
3268       - 26  # rls2005 NDRPDR iter env 5
3269       - 27  # rls2005 NDRPDR iter env 5
3270       - 28  # rls2005 NDRPDR iter env 5
3271       - 29  # rls2005 NDRPDR iter env 5
3272       - 30  # rls2005 NDRPDR iter env 5
3273       - 31  # rls2005 NDRPDR iter env 5
3274       - 32  # rls2005 NDRPDR iter env 5
3275       - 19  # rls2005 MRR iter env 5
3276       - 3   # rls2009 NDRPDR iter env 5
3277       - 6   # rls2009 NDRPDR iter env 5
3278       - 7   # rls2009 NDRPDR iter env 5
3279       - 8   # rls2009 NDRPDR iter env 5
3280       - 10  # rls2009 NDRPDR iter env 5
3281       - 11  # rls2009 NDRPDR iter env 5
3282       - 12  # rls2009 NDRPDR iter env 5
3283       - 14  # rls2009 NDRPDR iter env 5
3284       - 15  # rls2009 NDRPDR iter env 5
3285       - 24  # rls2009 NDRPDR iter env 5
3286       - 22  # rls2009 MRR iter env 5
3287     csit-vpp-perf-report-iterative-2101-3n-dnv:
3288       - 32  # rls2101.rel MRR iter env 6
3289       - 33  # rls2101.rel NDRPDR iter env 6
3290       - 34  # rls2101.rel NDRPDR iter env 6
3291       - 35  # rls2101.rel NDRPDR iter env 6
3292       - 36  # rls2101.rel NDRPDR iter env 6
3293       - 37  # rls2101.rel NDRPDR iter env 6
3294       - 38  # rls2101.rel NDRPDR iter env 6
3295       - 39  # rls2101.rel NDRPDR iter env 6
3296       - 40  # rls2101.rel NDRPDR iter env 6
3297       - 41  # rls2101.rel NDRPDR iter env 6
3298       - 42  # rls2101.rel NDRPDR iter env 6
3299       - 43  # rls2101.rel NDRPDR iter RND env 6
3300       - 44  # rls2101.rel NDRPDR iter RND env 6
3301       - 45  # rls2101.rel NDRPDR iter RND env 6
3302       - 46  # rls2101.rel NDRPDR iter RND env 6
3303       - 47  # rls2101.rel NDRPDR iter RND env 6
3304       - 48  # rls2101.rel NDRPDR iter RND env 6
3305       - 49  # rls2101.rel NDRPDR iter RND env 6
3306       - 50  # rls2101.rel NDRPDR iter RND env 6
3307       - 51  # rls2101.rel NDRPDR iter RND env 6
3308       - 52  # rls2101.rel NDRPDR iter RND env 6
3309     csit-vpp-perf-report-coverage-2101-3n-dnv:
3310       - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
3311       - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
3312       - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
3313       - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
3314       - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
3315       - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
3316       - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
3317       - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
3318       - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
3319
3320     csit-vpp-perf-report-iterative-2009-2n-dnv:
3321       - 16  # rls2005 NDRPDR iter env 5
3322       - 17  # rls2005 NDRPDR iter env 5
3323       - 18  # rls2005 NDRPDR iter env 5
3324       - 19  # rls2005 NDRPDR iter env 5
3325       - 21  # rls2005 NDRPDR iter env 5
3326       - 24  # rls2005 NDRPDR iter env 5
3327       - 27  # rls2005 NDRPDR iter env 5
3328       - 28  # rls2005 NDRPDR iter env 5
3329       - 29  # rls2005 NDRPDR iter env 5
3330       - 30  # rls2005 NDRPDR iter env 5
3331       - 23  # rls2005 MRR iter env 5
3332       - 3   # rls2009 NDRPDR iter env 5
3333       - 5   # rls2009 NDRPDR iter env 5
3334       - 6   # rls2009 NDRPDR iter env 5
3335       - 7   # rls2009 NDRPDR iter env 5
3336       - 9   # rls2009 NDRPDR iter env 5
3337       - 10  # rls2009 NDRPDR iter env 5
3338       - 11  # rls2009 NDRPDR iter env 5
3339       - 12  # rls2009 NDRPDR iter env 5
3340       - 14  # rls2009 NDRPDR iter env 5
3341       - 15  # rls2009 NDRPDR iter env 5
3342       - 13  # rls2009 MRR iter env 5
3343     csit-vpp-perf-report-iterative-2101-2n-dnv:
3344       - 31  # rls2101.rel MRR iter env 6
3345       - 32  # rls2101.rel NDRPDR iter env 6
3346       - 33  # rls2101.rel NDRPDR iter env 6
3347       - 34  # rls2101.rel NDRPDR iter env 6
3348       - 35  # rls2101.rel NDRPDR iter env 6
3349       - 39  # rls2101.rel NDRPDR iter env 6
3350       - 41  # rls2101.rel NDRPDR iter env 6
3351       - 42  # rls2101.rel NDRPDR iter env 6
3352       - 43  # rls2101.rel NDRPDR iter env 6
3353       - 44  # rls2101.rel NDRPDR iter env 6
3354       - 45  # rls2101.rel NDRPDR iter env 6
3355       - 46  # rls2101.rel NDRPDR iter RND env 6
3356       - 47  # rls2101.rel NDRPDR iter RND env 6
3357       - 48  # rls2101.rel NDRPDR iter RND env 6
3358       - 49  # rls2101.rel NDRPDR iter RND env 6
3359       - 50  # rls2101.rel NDRPDR iter RND env 6
3360       - 51  # rls2101.rel NDRPDR iter RND env 6
3361       - 52  # rls2101.rel NDRPDR iter RND env 6
3362       - 53  # rls2101.rel NDRPDR iter RND env 6
3363       - 54  # rls2101.rel NDRPDR iter RND env 6
3364       - 55  # rls2101.rel NDRPDR iter RND env 6
3365     csit-vpp-perf-report-coverage-2101-2n-dnv:
3366       - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
3367       - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
3368       - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
3369       - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
3370       - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
3371       - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
3372
3373     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3374       - 25  # NDRPDR iter
3375       - 26  # NDRPDR iter
3376       - 27  # NDRPDR iter
3377       - 28  # NDRPDR iter
3378       - 29  # NDRPDR iter
3379       - 30  # NDRPDR iter
3380       - 31  # NDRPDR iter
3381       - 32  # NDRPDR iter
3382       - 33  # NDRPDR iter
3383       - 34  # NDRPDR iter
3384     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3385       - 6   # NDRPDR iter env5
3386       - 7   # NDRPDR iter env5
3387       - 8   # NDRPDR iter env5
3388       - 9   # NDRPDR iter env5
3389       - 10  # NDRPDR iter env5
3390       - 11  # NDRPDR iter env5
3391       - 12  # NDRPDR iter env5
3392       - 13  # NDRPDR iter env5
3393       - 14  # NDRPDR iter env5
3394       - 15  # NDRPDR iter env5
3395     csit-dpdk-perf-report-iterative-2101-3n-hsw:
3396       - 11  # rls2101 NDRPDR iter env 6
3397       - 12  # rls2101 NDRPDR iter env 6
3398       - 13  # rls2101 NDRPDR iter env 6
3399       - 14  # rls2101 NDRPDR iter env 6
3400       - 16  # rls2101 NDRPDR iter env 6
3401       - 17  # rls2101 NDRPDR iter env 6
3402       - 18  # rls2101 NDRPDR iter env 6
3403       - 19  # rls2101 NDRPDR iter env 6
3404       - 20  # rls2101 NDRPDR iter env 6
3405       - 21  # rls2101 NDRPDR iter env 6
3406
3407     csit-dpdk-perf-report-iterative-2005-3n-skx:
3408       - 28  # NDRPDR iter
3409       - 29  # NDRPDR iter
3410       - 30  # NDRPDR iter
3411       - 31  # NDRPDR iter
3412       - 32  # NDRPDR iter
3413       - 33  # NDRPDR iter
3414       - 34  # NDRPDR iter
3415       - 35  # NDRPDR iter
3416       - 36  # NDRPDR iter
3417       - 37  # NDRPDR iter
3418     csit-dpdk-perf-report-iterative-2009-3n-skx:
3419       - 4   # NDRPDR sel env5
3420       - 5   # NDRPDR sel env5
3421       - 6   # NDRPDR sel env5
3422       - 7   # NDRPDR sel env5
3423       - 8   # NDRPDR sel env5
3424       - 9   # NDRPDR sel env5
3425       - 14  # NDRPDR sel env5
3426       - 11  # NDRPDR sel env5
3427       - 12  # NDRPDR sel env5
3428       - 13  # NDRPDR sel env5
3429     csit-dpdk-perf-report-iterative-2101-3n-skx:
3430       - 12  # rls2101 NDRPDR iter env 6
3431       - 14  # rls2101 NDRPDR iter env 6
3432       - 15  # rls2101 NDRPDR iter env 6
3433       - 17  # rls2101 NDRPDR iter env 6
3434       - 19  # rls2101 NDRPDR iter env 6
3435       - 20  # rls2101 NDRPDR iter env 6
3436       - 21  # rls2101 NDRPDR iter env 6
3437       - 22  # rls2101 NDRPDR iter env 6
3438       - 25  # rls2101 NDRPDR iter env 6
3439       - 26  # rls2101 NDRPDR iter env 6
3440
3441     csit-dpdk-perf-report-iterative-2005-2n-skx:
3442       - 20  # NDRPDR iter
3443       - 21  # NDRPDR iter
3444       - 22  # NDRPDR iter
3445       - 23  # NDRPDR iter
3446       - 24  # NDRPDR iter
3447       - 25  # NDRPDR iter
3448       - 26  # NDRPDR iter
3449       - 27  # NDRPDR iter
3450       - 28  # NDRPDR iter
3451       - 29  # NDRPDR iter
3452     csit-dpdk-perf-report-iterative-2009-2n-skx:
3453       - 4   # NDRPDR iter env5
3454       - 5   # NDRPDR iter env5
3455       - 6   # NDRPDR iter env5
3456       - 7   # NDRPDR iter env5
3457       - 8   # NDRPDR iter env5
3458       - 9   # NDRPDR iter env5
3459       - 10  # NDRPDR iter env5
3460       - 11  # NDRPDR iter env5
3461       - 12  # NDRPDR iter env5
3462       - 13  # NDRPDR iter env5
3463     csit-dpdk-perf-report-iterative-2101-2n-skx:
3464       - 11  # rls2101 NDRPDR iter env 6
3465       - 12  # rls2101 NDRPDR iter env 6
3466       - 13  # rls2101 NDRPDR iter env 6
3467       - 14  # rls2101 NDRPDR iter env 6
3468       - 15  # rls2101 NDRPDR iter env 6
3469       - 17  # rls2101 NDRPDR iter env 6
3470       - 18  # rls2101 NDRPDR iter env 6
3471       - 19  # rls2101 NDRPDR iter env 6
3472       - 20  # rls2101 NDRPDR iter env 6
3473       - 21  # rls2101 NDRPDR iter env 6
3474
3475     csit-dpdk-perf-report-iterative-2005-2n-clx:
3476       - 20  # NDRPDR iter
3477       - 21  # NDRPDR iter
3478       - 22  # NDRPDR iter
3479       - 23  # NDRPDR iter
3480       - 24  # NDRPDR iter
3481       - 25  # NDRPDR iter
3482       - 26  # NDRPDR iter
3483       - 27  # NDRPDR iter
3484       - 28  # NDRPDR iter
3485       - 29  # NDRPDR iter
3486     csit-dpdk-perf-report-iterative-2009-2n-clx:
3487       - 4   # NDRPDR iter env5
3488       - 5   # NDRPDR iter env5
3489       - 6   # NDRPDR iter env5
3490       - 7   # NDRPDR iter env5
3491       - 8   # NDRPDR iter env5
3492       - 9   # NDRPDR iter env5
3493       - 10  # NDRPDR iter env5
3494       - 11  # NDRPDR iter env5
3495       - 12  # NDRPDR iter env5
3496       - 13  # NDRPDR iter env5
3497     csit-dpdk-perf-report-iterative-2101-2n-clx:
3498       - 12  # rls2101 NDRPDR iter env 6
3499       - 13  # rls2101 NDRPDR iter env 6
3500       - 14  # rls2101 NDRPDR iter env 6
3501       - 15  # rls2101 NDRPDR iter env 6
3502       - 17  # rls2101 NDRPDR iter env 6
3503       - 18  # rls2101 NDRPDR iter env 6
3504       - 19  # rls2101 NDRPDR iter env 6
3505       - 20  # rls2101 NDRPDR iter env 6
3506       - 21  # rls2101 NDRPDR iter env 6
3507       - 22  # rls2101 NDRPDR iter env 6
3508
3509     csit-dpdk-perf-report-iterative-2009-2n-zn2:
3510       - 16  # NDRPDR iter env5
3511       - 21  # NDRPDR iter env5
3512       - 22  # NDRPDR iter env5
3513       - 23  # NDRPDR iter env5
3514       - 24  # NDRPDR iter env5
3515       - 25  # NDRPDR iter env5
3516       - 29  # NDRPDR iter env5
3517     csit-dpdk-perf-report-iterative-2101-2n-zn2:
3518       - 11  # rls2101 NDRPDR iter env 6
3519       - 12  # rls2101 NDRPDR iter env 6
3520       - 13  # rls2101 NDRPDR iter env 6
3521       - 14  # rls2101 NDRPDR iter env 6
3522       - 16  # rls2101 NDRPDR iter env 6
3523       - 17  # rls2101 NDRPDR iter env 6
3524       - 18  # rls2101 NDRPDR iter env 6
3525       - 19  # rls2101 NDRPDR iter env 6
3526       - 20  # rls2101 NDRPDR iter env 6
3527       - 21  # rls2101 NDRPDR iter env 6
3528
3529 #    csit-dpdk-perf-report-iterative-2005-2n-dnv:
3530 #      # No data
3531 #    # csit-dpdk-perf-report-iterative-2009-2n-dnv:
3532 #      # No data
3533
3534 #    csit-dpdk-perf-report-iterative-2005-3n-dnv:
3535 #      # No data
3536 #    # csit-dpdk-perf-report-iterative-2009-3n-dnv:
3537 #      # No data
3538
3539     csit-dpdk-perf-report-iterative-2005-3n-tsh:
3540       - 5   # NDRPDR sel
3541     csit-dpdk-perf-report-iterative-2009-3n-tsh:
3542       - 1   # NDRPDR iter env5
3543       - 2   # NDRPDR iter env5
3544       - 3   # NDRPDR iter env5
3545       - 4   # NDRPDR iter env5
3546       - 5   # NDRPDR iter env5
3547       - 6   # NDRPDR iter env5
3548       - 7   # NDRPDR iter env5
3549       - 9   # NDRPDR iter env5
3550       - 10  # NDRPDR iter env5
3551       - 11  # NDRPDR iter env5
3552     csit-dpdk-perf-report-iterative-2101-3n-tsh:
3553       - 11  # rls2101 NDRPDR iter env 6
3554       - 12  # rls2101 NDRPDR iter env 6
3555       - 13  # rls2101 NDRPDR iter env 6
3556       - 14  # rls2101 NDRPDR iter env 6
3557       - 16  # rls2101 NDRPDR iter env 6
3558       - 17  # rls2101 NDRPDR iter env 6
3559       - 18  # rls2101 NDRPDR iter env 6
3560       - 19  # rls2101 NDRPDR iter env 6
3561       - 20  # rls2101 NDRPDR iter env 6
3562       - 21  # rls2101 NDRPDR iter env 6
3563
3564     csit-dpdk-perf-report-iterative-2101-2n-tx2:
3565       - 4   # rls2101 NDRPDR iter env 6
3566       - 6   # rls2101 NDRPDR iter env 6
3567       - 7   # rls2101 NDRPDR iter env 6
3568       - 8   # rls2101 NDRPDR iter env 6
3569       - 9   # rls2101 NDRPDR iter env 6
3570       - 10  # rls2101 NDRPDR iter env 6
3571       - 11  # rls2101 NDRPDR iter env 6
3572       - 12  # rls2101 NDRPDR iter env 6
3573       - 13  # rls2101 NDRPDR iter env 6
3574       - 14  # rls2101 NDRPDR iter env 6
3575
3576     csit-vpp-device-2101-ubuntu1804-1n-skx:
3577       - 358  # rls2101.rel VPP DEV env 6
3578
3579 - type: "output"
3580   output: "report"
3581   format:
3582     html:
3583     - full
3584 #     pdf:
3585 #     - minimal
3586
3587 ################################################################################
3588 ###                               T A B L E S                                ###
3589 ################################################################################
3590
3591 # VPP Soak vs NDR - 2n-skx
3592 - type: "table"
3593   title: "VPP Soak vs NDR 2n-skx"
3594   algorithm: "table_soak_vs_ndr"
3595   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
3596   reference:
3597     title: "NDR"
3598     data: "vpp-soak-vs-ndr-2n-skx-ref"
3599   compare:
3600     title: "Soak"
3601     data: "vpp-soak-vs-ndr-2n-skx-cmp"
3602   data: "vpp-soak-vs-ndr-2n-skx"
3603   include-tests: "NDR"
3604   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3605   parameters:
3606     - "throughput"
3607     - "name"
3608     - "parent"
3609
3610 # VPP Soak vs NDR - 2n-clx
3611 - type: "table"
3612   title: "VPP Soak vs NDR 2n-clx"
3613   algorithm: "table_soak_vs_ndr"
3614   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
3615   reference:
3616     title: "NDR"
3617     data: "vpp-soak-vs-ndr-2n-clx-ref"
3618   compare:
3619     title: "Soak"
3620     data: "vpp-soak-vs-ndr-2n-clx-cmp"
3621   data: "vpp-soak-vs-ndr-2n-clx"