Report: Latency graphs
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271
272     plot-vpp-hdrh-lat-3n-skx:
273       csit-vpp-perf-report-iterative-2101-3n-skx:
274         - 36  # rls2101.rel NDRPDR iter env 6
275
276 #    plot-vpp-nfv-3n-skx-ndrpdr:
277 #      # No data
278 #      csit-vpp-perf-report-iterative-2101-3n-skx:
279
280 #    plot-vpp-nfv-3n-skx-mrr:
281 #      # No data
282 #      csit-vpp-perf-report-iterative-2101-3n-skx:
283
284     plot-dpdk-throughput-latency-3n-skx:
285       csit-dpdk-perf-report-iterative-2101-3n-skx:
286         - 12  # rls2101 NDRPDR iter env 6
287         - 14  # rls2101 NDRPDR iter env 6
288         - 15  # rls2101 NDRPDR iter env 6
289         - 17  # rls2101 NDRPDR iter env 6
290         - 19  # rls2101 NDRPDR iter env 6
291         - 20  # rls2101 NDRPDR iter env 6
292         - 21  # rls2101 NDRPDR iter env 6
293         - 22  # rls2101 NDRPDR iter env 6
294         - 25  # rls2101 NDRPDR iter env 6
295         - 26  # rls2101 NDRPDR iter env 6
296
297     plot-dpdk-hdrh-lat-3n-skx:
298       csit-dpdk-perf-report-iterative-2101-3n-skx:
299         - 12  # rls2101 NDRPDR iter env 6
300
301     # 2n-skx
302
303     plot-vpp-throughput-lat-tsa-2n-skx:
304       csit-vpp-perf-report-iterative-2101-2n-skx:
305         - 63  # rls2101.rel NDRPDR iter env 6
306         - 69  # rls2101.rel NDRPDR iter env 6
307         - 70  # rls2101.rel NDRPDR iter env 6
308         - 75  # rls2101.rel NDRPDR iter env 6
309         - 76  # rls2101.rel NDRPDR iter env 6
310         - 77  # rls2101.rel NDRPDR iter env 6
311         - 82  # rls2101.rel NDRPDR iter env 6
312         - 89  # rls2101.rel NDRPDR iter RND env 6
313         - 90  # rls2101.rel NDRPDR iter RND env 6
314         - 91  # rls2101.rel NDRPDR iter RND env 6
315         - 92  # rls2101.rel NDRPDR iter RND env 6
316         - 93  # rls2101.rel NDRPDR iter RND env 6
317         - 98  # rls2101.rel NDRPDR iter RND env 6
318         - 99  # rls2101.rel NDRPDR iter RND env 6
319         - 101 # rls2101.rel NDRPDR iter RND env 6
320         - 102 # rls2101.rel NDRPDR iter RND env 6
321
322     plot-vpp-hdrh-lat-2n-skx:
323       csit-vpp-perf-report-iterative-2101-2n-skx:
324         - 63  # rls2101.rel NDRPDR iter env 6
325
326     plot-vpp-hdrh-lat-2n-skx-rnd:
327       csit-vpp-perf-report-iterative-2101-2n-skx:
328         - 89  # rls2101.rel NDRPDR iter RND env 6
329
330     plot-vpp-soak-2n-skx:
331       csit-vpp-perf-report-iterative-2101-2n-skx:
332         - 68  # rls2101.rel soak env 6
333         - 73  # rls2101.rel soak env 6
334
335     plot-vpp-nfv-2n-skx-ndrpdr:
336       csit-vpp-perf-report-iterative-2101-2n-skx:
337         - 67  # rls2101.rel NDRPDR nf-density iter env 6
338         - 72  # rls2101.rel NDRPDR nf-density iter env 6
339         - 79  # rls2101.rel NDRPDR nf-density iter env 6
340         - 83  # rls2101.rel NDRPDR nf-density iter env 6
341         - 88  # rls2101.rel NDRPDR nf-density iter env 6
342         - 97  # rls2101.rel NDRPDR nf-density iter env 6
343
344     plot-vpp-nfv-2n-skx-mrr:
345       csit-vpp-perf-report-iterative-2101-2n-skx:
346         - 65  # rls2101.rel MRR nf-density iter env 6
347
348     plot-vpp-nfv-reconf-2n-skx:
349       csit-vpp-perf-report-iterative-2101-2n-skx:
350         - 64  # rls2101.rel NDRPDR reconf iter env 6
351         - 66  # rls2101.rel NDRPDR reconf iter env 6
352         - 71  # rls2101.rel NDRPDR reconf iter env 6
353         - 74  # rls2101.rel NDRPDR reconf iter env 6
354         - 78  # rls2101.rel NDRPDR reconf iter env 6
355         - 87  # rls2101.rel NDRPDR reconf iter env 6
356         - 95  # rls2101.rel NDRPDR reconf iter env 6
357         - 100 # rls2101.rel NDRPDR reconf iter env 6
358
359     plot-dpdk-throughput-latency-2n-skx:
360       csit-dpdk-perf-report-iterative-2101-2n-skx:
361         - 11  # rls2101 NDRPDR iter env 6
362         - 12  # rls2101 NDRPDR iter env 6
363         - 13  # rls2101 NDRPDR iter env 6
364         - 14  # rls2101 NDRPDR iter env 6
365         - 15  # rls2101 NDRPDR iter env 6
366         - 17  # rls2101 NDRPDR iter env 6
367         - 18  # rls2101 NDRPDR iter env 6
368         - 19  # rls2101 NDRPDR iter env 6
369         - 20  # rls2101 NDRPDR iter env 6
370         - 21  # rls2101 NDRPDR iter env 6
371
372     plot-dpdk-hdrh-lat-2n-skx:
373       csit-dpdk-perf-report-iterative-2101-2n-skx:
374         - 11  # rls2101 NDRPDR iter env 6
375
376     # 2n-zn2
377
378     plot-vpp-throughput-lat-tsa-2n-zn2:
379       csit-vpp-perf-report-iterative-2101-2n-zn2:
380         - 31  # rls2101.rel NDRPDR iter env 6
381         - 32  # rls2101.rel NDRPDR iter env 6
382         - 33  # rls2101.rel NDRPDR iter env 6
383         - 34  # rls2101.rel NDRPDR iter env 6
384         - 35  # rls2101.rel NDRPDR iter env 6
385         - 37  # rls2101.rel NDRPDR iter env 6
386         - 40  # rls2101.rel NDRPDR iter RND env 6
387         - 41  # rls2101.rel NDRPDR iter RND env 6
388         - 42  # rls2101.rel NDRPDR iter RND env 6
389         - 43  # rls2101.rel NDRPDR iter RND env 6
390
391     plot-vpp-hdrh-lat-2n-zn2:
392       csit-vpp-perf-report-iterative-2101-2n-zn2:
393         - 31  # rls2101.rel NDRPDR iter env 6
394
395     plot-vpp-hdrh-lat-2n-zn2-rnd:
396       csit-vpp-perf-report-iterative-2101-2n-zn2:
397         - 40  # rls2101.rel NDRPDR iter RND env 6
398
399     plot-dpdk-throughput-latency-2n-zn2:
400       csit-dpdk-perf-report-iterative-2101-2n-zn2:
401         - 11  # rls2101 NDRPDR iter env 6
402         - 12  # rls2101 NDRPDR iter env 6
403         - 13  # rls2101 NDRPDR iter env 6
404         - 14  # rls2101 NDRPDR iter env 6
405         - 16  # rls2101 NDRPDR iter env 6
406         - 17  # rls2101 NDRPDR iter env 6
407         - 18  # rls2101 NDRPDR iter env 6
408         - 19  # rls2101 NDRPDR iter env 6
409         - 20  # rls2101 NDRPDR iter env 6
410         - 21  # rls2101 NDRPDR iter env 6
411
412     plot-dpdk-hdrh-lat-2n-zn2:
413       csit-dpdk-perf-report-iterative-2101-2n-zn2:
414         - 11  # rls2101 NDRPDR iter env 6
415
416     # 2n-clx
417
418     plot-vpp-throughput-lat-tsa-2n-clx:
419       csit-vpp-perf-report-iterative-2101-2n-clx:
420         - 54  # rls2101.rel NDRPDR iter env 6
421         - 59  # rls2101.rel NDRPDR iter env 6
422         - 60  # rls2101.rel NDRPDR iter env 6
423         - 63  # rls2101.rel NDRPDR iter env 6
424         - 66  # rls2101.rel NDRPDR iter env 6
425         - 68  # rls2101.rel NDRPDR iter env 6
426
427     plot-vpp-hdrh-lat-2n-clx:
428       csit-vpp-perf-report-iterative-2101-2n-clx:
429         - 59  # rls2101.rel NDRPDR iter env 6
430
431 #     plot-vpp-hdrh-lat-2n-clx-rnd:
432 #       csit-vpp-perf-report-iterative-2101-2n-clx:
433 #         -
434
435     plot-vpp-nfv-2n-clx-ndrpdr:
436       csit-vpp-perf-report-iterative-2101-2n-clx:
437         - 57  # rls2101.rel NDRPDR nf-density iter env 6
438         - 62  # rls2101.rel NDRPDR nf-density iter env 6
439         - 70  # rls2101.rel NDRPDR nf-density iter env 6
440         - 71  # rls2101.rel NDRPDR nf-density iter env 6
441
442     plot-vpp-nfv-2n-clx-mrr:
443       csit-vpp-perf-report-iterative-2101-2n-clx:
444         - 72  # rls2101.rel MRR nf-density iter env 6
445
446     plot-vpp-nfv-reconf-2n-clx:
447       csit-vpp-perf-report-iterative-2101-2n-clx:
448         - 55  # rls2101.rel NDRPDR reconf iter env 6
449         - 64  # rls2101.rel NDRPDR reconf iter env 6
450         - 76  # rls2101.rel NDRPDR reconf iter env 6
451
452     plot-vpp-soak-2n-clx:
453       csit-vpp-perf-report-iterative-2101-2n-clx:
454         - 58  # rls2101.rel soak env 6
455         - 61  # rls2101.rel soak env 6
456
457     plot-dpdk-throughput-latency-2n-clx:
458       csit-dpdk-perf-report-iterative-2101-2n-clx:
459         - 12  # rls2101 NDRPDR iter env 6
460         - 13  # rls2101 NDRPDR iter env 6
461         - 14  # rls2101 NDRPDR iter env 6
462         - 18  # rls2101 NDRPDR iter env 6
463         - 22  # rls2101 NDRPDR iter env 6
464
465     plot-dpdk-hdrh-lat-2n-clx:
466       csit-dpdk-perf-report-iterative-2101-2n-clx:
467         - 12  # rls2101 NDRPDR iter env 6
468
469     # 3n-tsh
470
471     plot-vpp-throughput-lat-tsa-3n-tsh:
472       csit-vpp-perf-report-iterative-2101-3n-tsh:
473         - 23  # rls2101.rel NDRPDR iter env 6
474         - 24  # rls2101.rel NDRPDR iter env 6
475         - 25  # rls2101.rel NDRPDR iter env 6
476         - 26  # rls2101.rel NDRPDR iter env 6
477         - 28  # rls2101.rel NDRPDR iter env 6
478
479     plot-vpp-hdrh-lat-3n-tsh:
480       csit-vpp-perf-report-iterative-2101-3n-tsh:
481         - 23  # rls2101.rel NDRPDR iter env 6
482
483     plot-dpdk-throughput-latency-3n-tsh:
484       csit-dpdk-perf-report-iterative-2101-3n-tsh:
485         - 11  # rls2101 NDRPDR iter env 6
486         - 12  # rls2101 NDRPDR iter env 6
487         - 13  # rls2101 NDRPDR iter env 6
488         - 14  # rls2101 NDRPDR iter env 6
489         - 16  # rls2101 NDRPDR iter env 6
490         - 17  # rls2101 NDRPDR iter env 6
491         - 18  # rls2101 NDRPDR iter env 6
492         - 19  # rls2101 NDRPDR iter env 6
493         - 20  # rls2101 NDRPDR iter env 6
494         - 21  # rls2101 NDRPDR iter env 6
495
496     plot-dpdk-hdrh-lat-3n-tsh:
497       csit-dpdk-perf-report-iterative-2101-3n-tsh:
498         - 21  # rls2101 NDRPDR iter env 6
499
500     # 2n-tx2
501
502     plot-vpp-throughput-lat-tsa-2n-tx2:
503       csit-vpp-perf-report-iterative-2101-2n-tx2:
504         - 22  # rls2101.rel NDRPDR iter env 6
505         - 23  # rls2101.rel NDRPDR iter env 6
506         - 24  # rls2101.rel NDRPDR iter env 6
507         - 25  # rls2101.rel NDRPDR iter env 6
508         - 26  # rls2101.rel NDRPDR iter env 6
509         - 27  # rls2101.rel NDRPDR iter env 6
510         - 28  # rls2101.rel NDRPDR iter env 6
511         - 29  # rls2101.rel NDRPDR iter env 6
512         - 30  # rls2101.rel NDRPDR iter env 6
513
514     plot-vpp-hdrh-lat-2n-tx2:
515       csit-vpp-perf-report-iterative-2101-2n-tx2:
516         - 29  # rls2101.rel NDRPDR iter env 6
517
518     plot-dpdk-throughput-latency-2n-tx2:
519       csit-dpdk-perf-report-iterative-2101-2n-tx2:
520         - 4   # rls2101 NDRPDR iter env 6
521         - 6   # rls2101 NDRPDR iter env 6
522         - 7   # rls2101 NDRPDR iter env 6
523         - 8   # rls2101 NDRPDR iter env 6
524         - 9   # rls2101 NDRPDR iter env 6
525         - 10  # rls2101 NDRPDR iter env 6
526         - 11  # rls2101 NDRPDR iter env 6
527         - 12  # rls2101 NDRPDR iter env 6
528         - 13  # rls2101 NDRPDR iter env 6
529         - 14  # rls2101 NDRPDR iter env 6
530
531     plot-dpdk-hdrh-lat-2n-tx2:
532       csit-dpdk-perf-report-iterative-2101-2n-tx2:
533         - 4   # rls2101 NDRPDR iter env 6
534
535     # 3n-dnv
536
537     plot-vpp-throughput-lat-tsa-3n-dnv:
538       csit-vpp-perf-report-iterative-2101-3n-dnv:
539         - 33  # rls2101.rel NDRPDR iter env 6
540         - 34  # rls2101.rel NDRPDR iter env 6
541         - 35  # rls2101.rel NDRPDR iter env 6
542         - 36  # rls2101.rel NDRPDR iter env 6
543         - 37  # rls2101.rel NDRPDR iter env 6
544         - 38  # rls2101.rel NDRPDR iter env 6
545         - 39  # rls2101.rel NDRPDR iter env 6
546         - 40  # rls2101.rel NDRPDR iter env 6
547         - 41  # rls2101.rel NDRPDR iter env 6
548         - 42  # rls2101.rel NDRPDR iter env 6
549         - 43  # rls2101.rel NDRPDR iter RND env 6
550         - 44  # rls2101.rel NDRPDR iter RND env 6
551         - 45  # rls2101.rel NDRPDR iter RND env 6
552         - 46  # rls2101.rel NDRPDR iter RND env 6
553         - 47  # rls2101.rel NDRPDR iter RND env 6
554         - 48  # rls2101.rel NDRPDR iter RND env 6
555         - 49  # rls2101.rel NDRPDR iter RND env 6
556         - 50  # rls2101.rel NDRPDR iter RND env 6
557         - 51  # rls2101.rel NDRPDR iter RND env 6
558         - 52  # rls2101.rel NDRPDR iter RND env 6
559
560 #    plot-dpdk-throughput-latency-3n-dnv:
561 #      # No data
562 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
563
564     # 2n-dnv
565
566     plot-vpp-throughput-lat-tsa-2n-dnv:
567       csit-vpp-perf-report-iterative-2101-2n-dnv:
568         - 32  # rls2101.rel NDRPDR iter env 6
569         - 33  # rls2101.rel NDRPDR iter env 6
570         - 34  # rls2101.rel NDRPDR iter env 6
571         - 35  # rls2101.rel NDRPDR iter env 6
572         - 39  # rls2101.rel NDRPDR iter env 6
573         - 41  # rls2101.rel NDRPDR iter env 6
574         - 42  # rls2101.rel NDRPDR iter env 6
575         - 43  # rls2101.rel NDRPDR iter env 6
576         - 44  # rls2101.rel NDRPDR iter env 6
577         - 45  # rls2101.rel NDRPDR iter env 6
578         - 46  # rls2101.rel NDRPDR iter RND env 6
579         - 47  # rls2101.rel NDRPDR iter RND env 6
580         - 48  # rls2101.rel NDRPDR iter RND env 6
581         - 49  # rls2101.rel NDRPDR iter RND env 6
582         - 50  # rls2101.rel NDRPDR iter RND env 6
583         - 51  # rls2101.rel NDRPDR iter RND env 6
584         - 52  # rls2101.rel NDRPDR iter RND env 6
585         - 53  # rls2101.rel NDRPDR iter RND env 6
586         - 54  # rls2101.rel NDRPDR iter RND env 6
587         - 55  # rls2101.rel NDRPDR iter RND env 6
588
589 #    plot-dpdk-throughput-latency-2n-dnv:
590 #      # No data
591 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
592
593     ###########################################################################
594     # Simple tables (only one data set):
595
596     # NIC Comparisons
597
598     vpp-nic-comparison-3n-skx:
599       csit-vpp-perf-report-iterative-2101-3n-skx:
600         - 36  # rls2101.rel NDRPDR iter env 6
601         - 37  # rls2101.rel NDRPDR iter env 6
602         - 38  # rls2101.rel NDRPDR iter env 6
603         - 39  # rls2101.rel NDRPDR iter env 6
604         - 40  # rls2101.rel NDRPDR iter env 6
605         - 41  # rls2101.rel NDRPDR iter env 6
606         - 42  # rls2101.rel NDRPDR iter env 6
607         - 47  # rls2101.rel NDRPDR iter env 6
608
609     vpp-nic-comparison-2n-skx:
610       csit-vpp-perf-report-iterative-2101-2n-skx:
611         - 63  # rls2101.rel NDRPDR iter env 6
612         - 69  # rls2101.rel NDRPDR iter env 6
613         - 70  # rls2101.rel NDRPDR iter env 6
614         - 75  # rls2101.rel NDRPDR iter env 6
615         - 76  # rls2101.rel NDRPDR iter env 6
616         - 77  # rls2101.rel NDRPDR iter env 6
617         - 82  # rls2101.rel NDRPDR iter env 6
618         - 89  # rls2101.rel NDRPDR iter RND env 6
619         - 90  # rls2101.rel NDRPDR iter RND env 6
620         - 91  # rls2101.rel NDRPDR iter RND env 6
621         - 92  # rls2101.rel NDRPDR iter RND env 6
622         - 93  # rls2101.rel NDRPDR iter RND env 6
623         - 98  # rls2101.rel NDRPDR iter RND env 6
624         - 99  # rls2101.rel NDRPDR iter RND env 6
625         - 101 # rls2101.rel NDRPDR iter RND env 6
626         - 102 # rls2101.rel NDRPDR iter RND env 6
627
628     vpp-nic-comparison-3n-skx-mrr:
629       csit-vpp-perf-report-iterative-2101-3n-skx:
630         - 35  # rls2101.rel MRR iter env 6
631
632     vpp-nic-comparison-2n-skx-mrr:
633       csit-vpp-perf-report-iterative-2101-2n-skx:
634         - 62  # rls2101.rel MRR iter env 6
635
636     # Results
637
638     vpp-perf-results-3n-hsw:
639       csit-vpp-perf-report-coverage-2101-3n-hsw:
640         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
641         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
642         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
643         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
644         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
645         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
646         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
647         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
648         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
649         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
650         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
651         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
652         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
653         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
654         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
655         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
656         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
657         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
658         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
659         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
660         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
661         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
662         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
663         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
664         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
665         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
666         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
667         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
668         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
669         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
670         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
671         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
672         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
673         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
674         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
675
676     vpp-perf-results-3n-skx:
677       # csit-vpp-perf-report-coverage-2101-3n-skx:
678       csit-vpp-perf-report-iterative-2101-3n-skx:
679         - 36  # rls2101.rel NDRPDR iter env 6
680
681     vpp-perf-results-2n-skx:
682       # csit-vpp-perf-report-coverage-2101-2n-skx:
683       csit-vpp-perf-report-iterative-2101-2n-skx:
684         - 63  # rls2101.rel NDRPDR iter env 6
685
686     vpp-perf-results-2n-zn2:
687       csit-vpp-perf-report-iterative-2101-2n-zn2:
688         - 31  # rls2101.rel NDRPDR iter env 6
689
690     vpp-perf-results-2n-clx:
691       # csit-vpp-perf-report-coverage-2101-2n-clx:
692       csit-vpp-perf-report-iterative-2101-2n-clx:
693         - 59  # rls2101.rel NDRPDR iter env 6
694
695     vpp-perf-results-3n-tsh:
696       csit-vpp-perf-report-iterative-2101-3n-tsh:
697         - 23  # rls2101.rel NDRPDR iter env 6
698
699     vpp-perf-results-2n-tx2:
700       csit-vpp-perf-report-iterative-2101-2n-tx2:
701         - 29  # rls2101.rel NDRPDR iter env 6
702
703     vpp-perf-results-3n-dnv:
704       csit-vpp-perf-report-coverage-2101-3n-dnv:
705         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
706         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
707         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
708         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
709         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
710         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
711         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
712         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
713         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
714
715     vpp-perf-results-2n-dnv:
716       csit-vpp-perf-report-coverage-2101-2n-dnv:
717         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
718         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
719         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
720         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
721         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
722         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
723
724     vpp-mrr-results-3n-hsw:
725       csit-vpp-perf-report-iterative-2101-3n-hsw:
726         - 63  # rls2101.rel MRR iter env 6
727
728     vpp-mrr-results-3n-skx:
729       csit-vpp-perf-report-iterative-2101-3n-skx:
730         - 35  # rls2101.rel MRR iter env 6
731
732     vpp-mrr-results-2n-skx:
733       csit-vpp-perf-report-iterative-2101-2n-skx:
734         - 62  # rls2101.rel MRR iter env 6
735
736     vpp-mrr-results-2n-zn2:
737       csit-vpp-perf-report-iterative-2101-2n-zn2:
738         - 30  # rls2101.rel MRR iter env 6
739
740     vpp-mrr-results-2n-clx:
741       csit-vpp-perf-report-iterative-2101-2n-clx:
742         - 53  # rls2101.rel MRR iter env 6
743
744     vpp-mrr-results-3n-tsh:
745       csit-vpp-perf-report-iterative-2101-3n-tsh:
746         - 22  # rls2101.rel MRR iter env 6
747
748     vpp-mrr-results-2n-tx2:
749       csit-vpp-perf-report-iterative-2101-2n-tx2:
750         - 21  # rls2101.rel MRR iter env 6
751
752     vpp-mrr-results-3n-dnv:
753       csit-vpp-perf-report-iterative-2101-3n-dnv:
754         - 32  # rls2101.rel MRR iter env 6
755
756     vpp-mrr-results-2n-dnv:
757       csit-vpp-perf-report-iterative-2101-2n-dnv:
758         - 31  # rls2101.rel MRR iter env 6
759
760     vpp-device-results-ubuntu:
761       csit-vpp-device-2101-ubuntu1804-1n-skx:
762         - 358  # rls2101.rel VPP DEV env 6
763
764     dpdk-perf-results-3n-hsw:
765       csit-dpdk-perf-report-iterative-2101-3n-hsw:
766         - 11  # rls2101 NDRPDR iter env 6
767
768     dpdk-perf-results-3n-skx:
769       csit-dpdk-perf-report-iterative-2101-3n-skx:
770         - 12  # rls2101 NDRPDR iter env 6
771
772     dpdk-perf-results-2n-skx:
773       csit-dpdk-perf-report-iterative-2101-2n-skx:
774         - 11  # rls2101 NDRPDR iter env 6
775
776     dpdk-perf-results-2n-zn2:
777       csit-dpdk-perf-report-iterative-2101-2n-zn2:
778         - 11  # rls2101 NDRPDR iter env 6
779
780     dpdk-perf-results-2n-clx:
781       csit-dpdk-perf-report-iterative-2101-2n-clx:
782         - 12  # rls2101 NDRPDR iter env 6
783
784 #    dpdk-perf-results-2n-dnv:
785 #      # No data
786 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
787
788 #    dpdk-perf-results-3n-dnv:
789 #      # No data
790 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
791
792     dpdk-perf-results-3n-tsh:
793       csit-dpdk-perf-report-iterative-2101-3n-tsh:
794         - 21  # rls2101 NDRPDR iter env 6
795
796     dpdk-perf-results-2n-tx2:
797       csit-dpdk-perf-report-iterative-2101-2n-tx2:
798         - 4   # rls2101 NDRPDR iter env 6
799
800 ###########################################################################
801     # Tables (more than one data set)
802
803     # Performance changes
804
805     vpp-performance-changes-3n-hsw-h1:
806       csit-vpp-perf-report-iterative-2009-3n-hsw:
807         - 9   # rls2005 NDRPDR iter env 5
808         - 10  # rls2005 NDRPDR iter env 5
809         - 11  # rls2005 NDRPDR iter env 5
810         - 12  # rls2005 NDRPDR iter env 5
811         - 13  # rls2005 NDRPDR iter env 5
812         - 14  # rls2005 NDRPDR iter env 5
813         - 15  # rls2005 NDRPDR iter env 5
814         - 16  # rls2005 NDRPDR iter env 5
815         - 17  # rls2005 NDRPDR iter env 5
816         - 19  # rls2005 NDRPDR iter env 5
817     vpp-performance-changes-3n-hsw-ref-env-old:
818       csit-vpp-perf-report-iterative-2009-3n-hsw:
819         - 21  # rls2009 NDRPDR iter env 5
820         - 22  # rls2009 NDRPDR iter env 5
821         - 24  # rls2009 NDRPDR iter env 5
822         - 25  # rls2009 NDRPDR iter env 5
823         - 26  # rls2009 NDRPDR iter env 5
824         - 27  # rls2009 NDRPDR iter env 5
825         - 28  # rls2009 NDRPDR iter env 5
826         - 29  # rls2009 NDRPDR iter env 5
827         - 30  # rls2009 NDRPDR iter env 5
828         - 31  # rls2009 NDRPDR iter env 5
829     vpp-performance-changes-3n-hsw-ref-env-new:
830       csit-vpp-perf-report-iterative-2101-3n-hsw:
831         - 19  # rls2009 NDRPDR iter env 6
832         - 20  # rls2009 NDRPDR iter env 6
833         - 21  # rls2009 NDRPDR iter env 6
834         - 22  # rls2009 NDRPDR iter env 6
835         - 23  # rls2009 NDRPDR iter env 6
836         - 24  # rls2009 NDRPDR iter env 6
837         - 25  # rls2009 NDRPDR iter env 6
838         - 26  # rls2009 NDRPDR iter env 6
839         - 27  # rls2009 NDRPDR iter env 6
840         - 28  # rls2009 NDRPDR iter env 6
841     vpp-performance-changes-3n-hsw-cmp:
842       csit-vpp-perf-report-iterative-2101-3n-hsw:
843         - 64  # rls2101.rel NDRPDR iter env 6
844         - 71  # rls2101.rel NDRPDR iter env 6
845         - 73  # rls2101.rel NDRPDR iter env 6
846         - 74  # rls2101.rel NDRPDR iter env 6
847         - 80  # rls2101.rel NDRPDR iter env 6
848         - 81  # rls2101.rel NDRPDR iter env 6
849         - 82  # rls2101.rel NDRPDR iter env 6
850         - 83  # rls2101.rel NDRPDR iter env 6
851         - 88  # rls2101.rel NDRPDR iter env 6
852         - 89  # rls2101.rel NDRPDR iter env 6
853         - 128 # rls2101.rel NDRPDR iter RND env 6
854         - 129 # rls2101.rel NDRPDR iter RND env 6
855         - 130 # rls2101.rel NDRPDR iter RND env 6
856         - 131 # rls2101.rel NDRPDR iter RND env 6
857         - 132 # rls2101.rel NDRPDR iter RND env 6
858         - 133 # rls2101.rel NDRPDR iter RND env 6
859         - 134 # rls2101.rel NDRPDR iter RND env 6
860         - 135 # rls2101.rel NDRPDR iter RND env 6
861         - 136 # rls2101.rel NDRPDR iter RND env 6
862         - 137 # rls2101.rel NDRPDR iter RND env 6
863
864     vpp-performance-changes-3n-skx-h1:
865       csit-vpp-perf-report-iterative-2009-3n-skx:
866         - 13  # rls2005 NDRPDR iter env 5
867         - 18  # rls2005 NDRPDR iter env 5
868         - 19  # rls2005 NDRPDR iter env 5
869         - 41  # rls2005 NDRPDR iter env 5
870         - 43  # rls2005 NDRPDR iter env 5
871         - 44  # rls2005 NDRPDR iter env 5
872         - 45  # rls2005 NDRPDR iter env 5
873         - 46  # rls2005 NDRPDR iter env 5
874         - 48  # rls2005 NDRPDR iter env 5
875         - 49  # rls2005 NDRPDR iter env 5
876     vpp-performance-changes-3n-skx-ref-env-old:
877       csit-vpp-perf-report-iterative-2009-3n-skx:
878         - 26  # rls2009 NDRPDR iter env 5
879         - 27  # rls2009 NDRPDR iter env 5
880         - 28  # rls2009 NDRPDR iter env 5
881         - 29  # rls2009 NDRPDR iter env 5
882         - 35  # rls2009 NDRPDR iter env 5
883         - 36  # rls2009 NDRPDR iter env 5
884         - 37  # rls2009 NDRPDR iter env 5
885         - 38  # rls2009 NDRPDR iter env 5
886         - 39  # rls2009 NDRPDR iter env 5
887         - 40  # rls2009 NDRPDR iter env 5
888     vpp-performance-changes-3n-skx-ref-env-new:
889       csit-vpp-perf-report-iterative-2101-3n-skx:
890         - 14  # rls2009 NDRPDR iter env 6
891         - 15  # rls2009 NDRPDR iter env 6
892         - 16  # rls2009 NDRPDR iter env 6
893         - 17  # rls2009 NDRPDR iter env 6
894         - 18  # rls2009 NDRPDR iter env 6
895         - 25  # rls2009 NDRPDR iter env 6
896         - 26  # rls2009 NDRPDR iter env 6
897         - 27  # rls2009 NDRPDR iter env 6
898         - 29  # rls2009 NDRPDR iter env 6
899         - 31  # rls2009 NDRPDR iter env 6
900     vpp-performance-changes-3n-skx-cmp:
901       csit-vpp-perf-report-iterative-2101-3n-skx:
902         - 36  # rls2101.rel NDRPDR iter env 6
903         - 37  # rls2101.rel NDRPDR iter env 6
904         - 38  # rls2101.rel NDRPDR iter env 6
905         - 39  # rls2101.rel NDRPDR iter env 6
906         - 40  # rls2101.rel NDRPDR iter env 6
907         - 41  # rls2101.rel NDRPDR iter env 6
908         - 42  # rls2101.rel NDRPDR iter env 6
909         - 47  # rls2101.rel NDRPDR iter env 6
910
911     vpp-performance-changes-2n-skx-h1:
912       csit-vpp-perf-report-iterative-2009-2n-skx:
913         - 13  # rls2005 NDRPDR iter env 5
914         - 16  # rls2005 NDRPDR iter env 5
915         - 17  # rls2005 NDRPDR iter env 5
916         - 18  # rls2005 NDRPDR iter env 5
917         - 19  # rls2005 NDRPDR iter env 5
918         - 21  # rls2005 NDRPDR iter env 5
919         - 22  # rls2005 NDRPDR iter env 5
920         - 23  # rls2005 NDRPDR iter env 5
921         - 24  # rls2005 NDRPDR iter env 5
922         - 25  # rls2005 NDRPDR iter env 5
923     vpp-performance-changes-2n-skx-ref-env-old:
924       csit-vpp-perf-report-iterative-2009-2n-skx:
925         - 35  # rls2009 NDRPDR iter env 5
926         - 36  # rls2009 NDRPDR iter env 5
927         - 37  # rls2009 NDRPDR iter env 5
928         - 39  # rls2009 NDRPDR iter env 5
929         - 40  # rls2009 NDRPDR iter env 5
930         - 42  # rls2009 NDRPDR iter env 5
931         - 43  # rls2009 NDRPDR iter env 5
932         - 44  # rls2009 NDRPDR iter env 5
933         - 46  # rls2009 NDRPDR iter env 5
934         - 48  # rls2009 NDRPDR iter env 5
935         - 110 # rls2009 NDRPDR iter NAT44 env 5
936         - 111 # rls2009 NDRPDR iter NAT44 env 5
937         - 112 # rls2009 NDRPDR iter NAT44 env 5
938         - 113 # rls2009 NDRPDR iter NAT44 env 5
939         - 114 # rls2009 NDRPDR iter NAT44 env 5
940         - 115 # rls2009 NDRPDR iter NAT44 env 5
941         - 116 # rls2009 NDRPDR iter NAT44 env 5
942         - 118 # rls2009 NDRPDR iter NAT44 env 5
943         - 119 # rls2009 NDRPDR iter NAT44 env 5
944         - 121 # rls2009 NDRPDR iter NAT44 env 5
945     vpp-performance-changes-2n-skx-ref-env-new:
946       csit-vpp-perf-report-iterative-2101-2n-skx:
947         - 22  # rls2009 NDRPDR iter env 6
948         - 23  # rls2009 NDRPDR iter env 6
949         - 24  # rls2009 NDRPDR iter env 6
950         - 25  # rls2009 NDRPDR iter env 6
951         - 26  # rls2009 NDRPDR iter env 6
952         - 28  # rls2009 NDRPDR iter env 6
953         - 39  # rls2009 NDRPDR iter env 6
954         - 40  # rls2009 NDRPDR iter env 6
955         - 41  # rls2009 NDRPDR iter env 6
956         - 44  # rls2009 NDRPDR iter env 6
957     vpp-performance-changes-2n-skx-cmp:
958       csit-vpp-perf-report-iterative-2101-2n-skx:
959         - 63  # rls2101.rel NDRPDR iter env 6
960         - 69  # rls2101.rel NDRPDR iter env 6
961         - 70  # rls2101.rel NDRPDR iter env 6
962         - 75  # rls2101.rel NDRPDR iter env 6
963         - 76  # rls2101.rel NDRPDR iter env 6
964         - 77  # rls2101.rel NDRPDR iter env 6
965         - 82  # rls2101.rel NDRPDR iter env 6
966         - 89  # rls2101.rel NDRPDR iter RND env 6
967         - 90  # rls2101.rel NDRPDR iter RND env 6
968         - 91  # rls2101.rel NDRPDR iter RND env 6
969         - 92  # rls2101.rel NDRPDR iter RND env 6
970         - 93  # rls2101.rel NDRPDR iter RND env 6
971         - 98  # rls2101.rel NDRPDR iter RND env 6
972         - 99  # rls2101.rel NDRPDR iter RND env 6
973         - 101 # rls2101.rel NDRPDR iter RND env 6
974         - 102 # rls2101.rel NDRPDR iter RND env 6
975
976     vpp-performance-changes-2n-clx-h1:
977       csit-vpp-perf-report-iterative-2009-2n-clx:
978         - 13  # rls2005 NDRPDR iter env 5
979         - 15  # rls2005 NDRPDR iter env 5
980         - 17  # rls2005 NDRPDR iter env 5
981         - 18  # rls2005 NDRPDR iter env 5
982         - 19  # rls2005 NDRPDR iter env 5
983         - 20  # rls2005 NDRPDR iter env 5
984         - 21  # rls2005 NDRPDR iter env 5
985         - 22  # rls2005 NDRPDR iter env 5
986         - 23  # rls2005 NDRPDR iter env 5
987         - 24  # rls2005 NDRPDR iter env 5
988     vpp-performance-changes-2n-clx-ref-env-old:
989       csit-vpp-perf-report-iterative-2009-2n-clx:
990         - 36  # rls2009 NDRPDR iter env 5
991         - 39  # rls2009 NDRPDR iter env 5
992         - 40  # rls2009 NDRPDR iter env 5
993         - 65  # rls2009 NDRPDR iter env 5
994         - 66  # rls2009 NDRPDR iter env 5
995         - 79  # rls2009 NDRPDR iter env 5
996         - 82  # rls2009 NDRPDR iter env 5
997         - 88  # rls2009 NDRPDR iter env 5
998         - 89  # rls2009 NDRPDR iter env 5
999         - 90  # rls2009 NDRPDR iter env 5
1000         - 114 # rls2009 NDRPDR iter NAT44 env 5
1001         - 115 # rls2009 NDRPDR iter NAT44 env 5
1002         - 116 # rls2009 NDRPDR iter NAT44 env 5
1003         - 117 # rls2009 NDRPDR iter NAT44 env 5
1004         - 118 # rls2009 NDRPDR iter NAT44 env 5
1005         - 119 # rls2009 NDRPDR iter NAT44 env 5
1006         - 121 # rls2009 NDRPDR iter NAT44 env 5
1007         - 122 # rls2009 NDRPDR iter NAT44 env 5
1008         - 123 # rls2009 NDRPDR iter NAT44 env 5
1009         - 126 # rls2009 NDRPDR iter NAT44 env 5
1010     vpp-performance-changes-2n-clx-ref-env-new:
1011       csit-vpp-perf-report-iterative-2101-2n-clx:
1012         - 16  # rls2009 NDRPDR iter env 6
1013         - 17  # rls2009 NDRPDR iter env 6
1014         - 18  # rls2009 NDRPDR iter env 6
1015         - 19  # rls2009 NDRPDR iter env 6
1016         - 20  # rls2009 NDRPDR iter env 6
1017         - 21  # rls2009 NDRPDR iter env 6
1018         - 32  # rls2009 NDRPDR iter env 6
1019         - 33  # rls2009 NDRPDR iter env 6
1020         - 34  # rls2009 NDRPDR iter env 6
1021         - 35  # rls2009 NDRPDR iter env 6
1022     vpp-performance-changes-2n-clx-cmp:
1023       csit-vpp-perf-report-iterative-2101-2n-clx:
1024         - 54  # rls2101.rel NDRPDR iter env 6
1025         - 59  # rls2101.rel NDRPDR iter env 6
1026         - 60  # rls2101.rel NDRPDR iter env 6
1027         - 63  # rls2101.rel NDRPDR iter env 6
1028         - 66  # rls2101.rel NDRPDR iter env 6
1029         - 68  # rls2101.rel NDRPDR iter env 6
1030
1031     vpp-performance-changes-2n-zn2-ref-env-old:
1032       csit-vpp-perf-report-iterative-2009-2n-zn2:
1033         - 17  # rls2009 NDRPDR iter env 5
1034         - 18  # rls2009 NDRPDR iter env 5
1035         - 31  # rls2009 NDRPDR iter env 5
1036         - 33  # rls2009 NDRPDR iter env 5
1037         - 34  # rls2009 NDRPDR iter env 5
1038     vpp-performance-changes-2n-zn2-ref-env-new:
1039       csit-vpp-perf-report-iterative-2101-2n-zn2:
1040         - 9   # rls2009 NDRPDR iter env 6
1041         - 10  # rls2009 NDRPDR iter env 6
1042         - 11  # rls2009 NDRPDR iter env 6
1043         - 12  # rls2009 NDRPDR iter env 6
1044         - 13  # rls2009 NDRPDR iter env 6
1045         - 20  # rls2009 NDRPDR iter env 6
1046         - 21  # rls2009 NDRPDR iter env 6
1047         - 22  # rls2009 NDRPDR iter env 6
1048         - 25  # rls2009 NDRPDR iter env 6
1049         - 26  # rls2009 NDRPDR iter env 6
1050     vpp-performance-changes-2n-zn2-cmp:
1051       csit-vpp-perf-report-iterative-2101-2n-zn2:
1052         - 31  # rls2101.rel NDRPDR iter env 6
1053         - 32  # rls2101.rel NDRPDR iter env 6
1054         - 33  # rls2101.rel NDRPDR iter env 6
1055         - 34  # rls2101.rel NDRPDR iter env 6
1056         - 35  # rls2101.rel NDRPDR iter env 6
1057         - 37  # rls2101.rel NDRPDR iter env 6
1058         - 40  # rls2101.rel NDRPDR iter RND env 6
1059         - 41  # rls2101.rel NDRPDR iter RND env 6
1060         - 42  # rls2101.rel NDRPDR iter RND env 6
1061         - 43  # rls2101.rel NDRPDR iter RND env 6
1062
1063     vpp-performance-changes-2n-dnv-h1:
1064       csit-vpp-perf-report-iterative-2009-2n-dnv:
1065         - 16  # rls2005 NDRPDR iter env 5
1066         - 17  # rls2005 NDRPDR iter env 5
1067         - 18  # rls2005 NDRPDR iter env 5
1068         - 19  # rls2005 NDRPDR iter env 5
1069         - 21  # rls2005 NDRPDR iter env 5
1070         - 24  # rls2005 NDRPDR iter env 5
1071         - 27  # rls2005 NDRPDR iter env 5
1072         - 28  # rls2005 NDRPDR iter env 5
1073         - 29  # rls2005 NDRPDR iter env 5
1074         - 30  # rls2005 NDRPDR iter env 5
1075     vpp-performance-changes-2n-dnv-ref-env-old:
1076       csit-vpp-perf-report-iterative-2009-2n-dnv:
1077         - 3   # rls2009 NDRPDR iter env 5
1078         - 5   # rls2009 NDRPDR iter env 5
1079         - 6   # rls2009 NDRPDR iter env 5
1080         - 7   # rls2009 NDRPDR iter env 5
1081         - 9   # rls2009 NDRPDR iter env 5
1082         - 10  # rls2009 NDRPDR iter env 5
1083         - 11  # rls2009 NDRPDR iter env 5
1084         - 12  # rls2009 NDRPDR iter env 5
1085         - 14  # rls2009 NDRPDR iter env 5
1086         - 15  # rls2009 NDRPDR iter env 5
1087     vpp-performance-changes-2n-dnv-ref-env-new:
1088       # TODO: Re-test in new env
1089       csit-vpp-perf-report-iterative-2009-2n-dnv:
1090         - 3   # rls2009 NDRPDR iter env 5
1091         - 5   # rls2009 NDRPDR iter env 5
1092         - 6   # rls2009 NDRPDR iter env 5
1093         - 7   # rls2009 NDRPDR iter env 5
1094         - 9   # rls2009 NDRPDR iter env 5
1095         - 10  # rls2009 NDRPDR iter env 5
1096         - 11  # rls2009 NDRPDR iter env 5
1097         - 12  # rls2009 NDRPDR iter env 5
1098         - 14  # rls2009 NDRPDR iter env 5
1099         - 15  # rls2009 NDRPDR iter env 5
1100     vpp-performance-changes-2n-dnv-cmp:
1101       csit-vpp-perf-report-iterative-2101-2n-dnv:
1102         - 32  # rls2101.rel NDRPDR iter env 6
1103         - 33  # rls2101.rel NDRPDR iter env 6
1104         - 34  # rls2101.rel NDRPDR iter env 6
1105         - 35  # rls2101.rel NDRPDR iter env 6
1106         - 39  # rls2101.rel NDRPDR iter env 6
1107         - 41  # rls2101.rel NDRPDR iter env 6
1108         - 42  # rls2101.rel NDRPDR iter env 6
1109         - 43  # rls2101.rel NDRPDR iter env 6
1110         - 44  # rls2101.rel NDRPDR iter env 6
1111         - 45  # rls2101.rel NDRPDR iter env 6
1112         - 46  # rls2101.rel NDRPDR iter RND env 6
1113         - 47  # rls2101.rel NDRPDR iter RND env 6
1114         - 48  # rls2101.rel NDRPDR iter RND env 6
1115         - 49  # rls2101.rel NDRPDR iter RND env 6
1116         - 50  # rls2101.rel NDRPDR iter RND env 6
1117         - 51  # rls2101.rel NDRPDR iter RND env 6
1118         - 52  # rls2101.rel NDRPDR iter RND env 6
1119         - 53  # rls2101.rel NDRPDR iter RND env 6
1120         - 54  # rls2101.rel NDRPDR iter RND env 6
1121         - 55  # rls2101.rel NDRPDR iter RND env 6
1122
1123     vpp-performance-changes-3n-dnv-h1:
1124       csit-vpp-perf-report-iterative-2009-3n-dnv:
1125         - 16  # rls2005 NDRPDR iter env 5
1126         - 23  # rls2005 NDRPDR iter env 5
1127         - 25  # rls2005 NDRPDR iter env 5
1128         - 26  # rls2005 NDRPDR iter env 5
1129         - 27  # rls2005 NDRPDR iter env 5
1130         - 28  # rls2005 NDRPDR iter env 5
1131         - 29  # rls2005 NDRPDR iter env 5
1132         - 30  # rls2005 NDRPDR iter env 5
1133         - 31  # rls2005 NDRPDR iter env 5
1134         - 32  # rls2005 NDRPDR iter env 5
1135     vpp-performance-changes-3n-dnv-ref-env-old:
1136       csit-vpp-perf-report-iterative-2009-3n-dnv:
1137         - 3   # rls2009 NDRPDR iter env 5
1138         - 6   # rls2009 NDRPDR iter env 5
1139         - 7   # rls2009 NDRPDR iter env 5
1140         - 8   # rls2009 NDRPDR iter env 5
1141         - 10  # rls2009 NDRPDR iter env 5
1142         - 11  # rls2009 NDRPDR iter env 5
1143         - 12  # rls2009 NDRPDR iter env 5
1144         - 14  # rls2009 NDRPDR iter env 5
1145         - 15  # rls2009 NDRPDR iter env 5
1146         - 24  # rls2009 NDRPDR iter env 5
1147     vpp-performance-changes-3n-dnv-ref-env-new:
1148       # TODO: Re-test in new env
1149       csit-vpp-perf-report-iterative-2009-3n-dnv:
1150         - 3   # rls2009 NDRPDR iter env 5
1151         - 6   # rls2009 NDRPDR iter env 5
1152         - 7   # rls2009 NDRPDR iter env 5
1153         - 8   # rls2009 NDRPDR iter env 5
1154         - 10  # rls2009 NDRPDR iter env 5
1155         - 11  # rls2009 NDRPDR iter env 5
1156         - 12  # rls2009 NDRPDR iter env 5
1157         - 14  # rls2009 NDRPDR iter env 5
1158         - 15  # rls2009 NDRPDR iter env 5
1159         - 24  # rls2009 NDRPDR iter env 5
1160     vpp-performance-changes-3n-dnv-cmp:
1161       csit-vpp-perf-report-iterative-2101-3n-dnv:
1162         - 33  # rls2101.rel NDRPDR iter env 6
1163         - 34  # rls2101.rel NDRPDR iter env 6
1164         - 35  # rls2101.rel NDRPDR iter env 6
1165         - 36  # rls2101.rel NDRPDR iter env 6
1166         - 37  # rls2101.rel NDRPDR iter env 6
1167         - 38  # rls2101.rel NDRPDR iter env 6
1168         - 39  # rls2101.rel NDRPDR iter env 6
1169         - 40  # rls2101.rel NDRPDR iter env 6
1170         - 41  # rls2101.rel NDRPDR iter env 6
1171         - 42  # rls2101.rel NDRPDR iter env 6
1172         - 43  # rls2101.rel NDRPDR iter RND env 6
1173         - 44  # rls2101.rel NDRPDR iter RND env 6
1174         - 45  # rls2101.rel NDRPDR iter RND env 6
1175         - 46  # rls2101.rel NDRPDR iter RND env 6
1176         - 47  # rls2101.rel NDRPDR iter RND env 6
1177         - 48  # rls2101.rel NDRPDR iter RND env 6
1178         - 49  # rls2101.rel NDRPDR iter RND env 6
1179         - 50  # rls2101.rel NDRPDR iter RND env 6
1180         - 51  # rls2101.rel NDRPDR iter RND env 6
1181         - 52  # rls2101.rel NDRPDR iter RND env 6
1182
1183     vpp-performance-changes-3n-tsh-h1:
1184       csit-vpp-perf-report-iterative-2009-3n-tsh:
1185         - 8   # rls2005 NDRPDR iter env 5
1186         - 11  # rls2005 NDRPDR iter env 5
1187         - 12  # rls2005 NDRPDR iter env 5
1188         - 24  # rls2005 NDRPDR iter env 5
1189         - 27  # rls2005 NDRPDR iter env 5
1190         - 29  # rls2005 NDRPDR iter env 5
1191         - 31  # rls2005 NDRPDR iter env 5
1192         - 39  # rls2005 NDRPDR iter env 5
1193         - 40  # rls2005 NDRPDR iter env 5
1194         - 42  # rls2005 NDRPDR iter env 5
1195     vpp-performance-changes-3n-tsh-ref-env-old:
1196       csit-vpp-perf-report-iterative-2009-3n-tsh:
1197         - 14  # rls2009 NDRPDR iter env 5
1198         - 20  # rls2009 NDRPDR iter env 5
1199         - 21  # rls2009 NDRPDR iter env 5
1200         - 22  # rls2009 NDRPDR iter env 5
1201         - 23  # rls2009 NDRPDR iter env 5
1202         - 28  # rls2009 NDRPDR iter env 5
1203         - 30  # rls2009 NDRPDR iter env 5
1204         - 33  # rls2009 NDRPDR iter env 5
1205         - 38  # rls2009 NDRPDR iter env 5
1206         - 41  # rls2009 NDRPDR iter env 5
1207     vpp-performance-changes-3n-tsh-ref-env-new:
1208       csit-vpp-perf-report-iterative-2101-3n-tsh:
1209         - 8   # rls2009 NDRPDR iter env 6
1210         - 13  # rls2009 NDRPDR iter env 6
1211         - 14  # rls2009 NDRPDR iter env 6
1212         - 15  # rls2009 NDRPDR iter env 6
1213         - 16  # rls2009 NDRPDR iter env 6
1214         - 17  # rls2009 NDRPDR iter env 6
1215         - 18  # rls2009 NDRPDR iter env 6
1216         - 19  # rls2009 NDRPDR iter env 6
1217     vpp-performance-changes-3n-tsh-cmp:
1218       csit-vpp-perf-report-iterative-2101-3n-tsh:
1219         - 23  # rls2101.rel NDRPDR iter env 6
1220         - 24  # rls2101.rel NDRPDR iter env 6
1221         - 25  # rls2101.rel NDRPDR iter env 6
1222         - 26  # rls2101.rel NDRPDR iter env 6
1223         - 28  # rls2101.rel NDRPDR iter env 6
1224
1225 #     vpp-performance-changes-2n-tx2-h1:
1226 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1227 #         -
1228 #     vpp-performance-changes-2n-tx2-ref-env-old:
1229 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1230 #         -
1231     vpp-performance-changes-2n-tx2-ref-env-new:
1232       csit-vpp-perf-report-iterative-2101-2n-tx2:
1233         - 6   # rls2009 NDRPDR iter env 6
1234         - 7   # rls2009 NDRPDR iter env 6
1235         - 11  # rls2009 NDRPDR iter env 6
1236         - 12  # rls2009 NDRPDR iter env 6
1237         - 13  # rls2009 NDRPDR iter env 6
1238         - 16  # rls2009 NDRPDR iter env 6
1239         - 17  # rls2009 NDRPDR iter env 6
1240         - 18  # rls2009 NDRPDR iter env 6
1241         - 19  # rls2009 NDRPDR iter env 6
1242         - 20  # rls2009 NDRPDR iter env 6
1243     vpp-performance-changes-2n-tx2-cmp:
1244       csit-vpp-perf-report-iterative-2101-2n-tx2:
1245         - 22  # rls2101.rel NDRPDR iter env 6
1246         - 23  # rls2101.rel NDRPDR iter env 6
1247         - 24  # rls2101.rel NDRPDR iter env 6
1248         - 25  # rls2101.rel NDRPDR iter env 6
1249         - 26  # rls2101.rel NDRPDR iter env 6
1250         - 27  # rls2101.rel NDRPDR iter env 6
1251         - 28  # rls2101.rel NDRPDR iter env 6
1252         - 29  # rls2101.rel NDRPDR iter env 6
1253         - 30  # rls2101.rel NDRPDR iter env 6
1254
1255     vpp-soak-vs-ndr-2n-skx-ref:
1256       csit-vpp-perf-report-iterative-2101-2n-skx:
1257         - 63  # rls2101.rel NDRPDR iter env 6
1258         - 69  # rls2101.rel NDRPDR iter env 6
1259         - 70  # rls2101.rel NDRPDR iter env 6
1260         - 75  # rls2101.rel NDRPDR iter env 6
1261         - 76  # rls2101.rel NDRPDR iter env 6
1262         - 77  # rls2101.rel NDRPDR iter env 6
1263         - 82  # rls2101.rel NDRPDR iter env 6
1264     vpp-soak-vs-ndr-2n-skx-cmp:
1265       csit-vpp-perf-report-iterative-2101-2n-skx:
1266         - 68  # rls2101.rel soak env 6
1267         - 73  # rls2101.rel soak env 6
1268     vpp-soak-vs-ndr-2n-skx:
1269       csit-vpp-perf-report-iterative-2101-2n-skx:
1270         - 63  # rls2101.rel NDRPDR iter env 6
1271         - 69  # rls2101.rel NDRPDR iter env 6
1272         - 70  # rls2101.rel NDRPDR iter env 6
1273         - 75  # rls2101.rel NDRPDR iter env 6
1274         - 76  # rls2101.rel NDRPDR iter env 6
1275         - 77  # rls2101.rel NDRPDR iter env 6
1276         - 82  # rls2101.rel NDRPDR iter env 6
1277         - 68  # rls2101.rel soak env 6
1278         - 73  # rls2101.rel soak env 6
1279
1280     vpp-soak-vs-ndr-2n-clx-ref:
1281       csit-vpp-perf-report-iterative-2101-2n-clx:
1282         - 54  # rls2101.rel NDRPDR iter env 6
1283         - 59  # rls2101.rel NDRPDR iter env 6
1284         - 60  # rls2101.rel NDRPDR iter env 6
1285         - 63  # rls2101.rel NDRPDR iter env 6
1286         - 66  # rls2101.rel NDRPDR iter env 6
1287         - 68  # rls2101.rel NDRPDR iter env 6
1288     vpp-soak-vs-ndr-2n-clx-cmp:
1289       csit-vpp-perf-report-iterative-2101-2n-clx:
1290         - 58  # rls2101.rel soak env 6
1291         - 61  # rls2101.rel soak env 6
1292     vpp-soak-vs-ndr-2n-clx:
1293       csit-vpp-perf-report-iterative-2101-2n-clx:
1294         - 54  # rls2101.rel NDRPDR iter env 6
1295         - 59  # rls2101.rel NDRPDR iter env 6
1296         - 60  # rls2101.rel NDRPDR iter env 6
1297         - 63  # rls2101.rel NDRPDR iter env 6
1298         - 66  # rls2101.rel NDRPDR iter env 6
1299         - 68  # rls2101.rel NDRPDR iter env 6
1300         - 58  # rls2101.rel soak env 6
1301         - 61  # rls2101.rel soak env 6
1302
1303     vpp-performance-changes-3n-hsw-mrr-h1:
1304       csit-vpp-perf-report-iterative-2009-3n-hsw:
1305         - 18  # rls2005 MRR iter env 5
1306     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1307       csit-vpp-perf-report-iterative-2009-3n-hsw:
1308         - 23  # rls2009 MRR iter env 5
1309     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1310       csit-vpp-perf-report-iterative-2101-3n-hsw:
1311         - 17  # rls2009 MRR iter env 6
1312     vpp-performance-changes-3n-hsw-mrr-cmp:
1313       csit-vpp-perf-report-iterative-2101-3n-hsw:
1314         - 63  # rls2101.rel MRR iter env 6
1315
1316     vpp-performance-changes-3n-skx-mrr-h1:
1317       csit-vpp-perf-report-iterative-2009-3n-skx:
1318         - 17  # rls2005 MRR iter env 5
1319     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1320       csit-vpp-perf-report-iterative-2009-3n-skx:
1321         - 24  # rls2009 MRR iter env 5
1322     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1323       csit-vpp-perf-report-iterative-2101-3n-skx:
1324         - 34  # rls2009 MRR iter env 6
1325     vpp-performance-changes-3n-skx-mrr-cmp:
1326       csit-vpp-perf-report-iterative-2101-3n-skx:
1327         - 35  # rls2101.rel MRR iter env 6
1328
1329     vpp-performance-changes-2n-skx-mrr-h1:
1330       csit-vpp-perf-report-iterative-2009-2n-skx:
1331         - 20  # rls2005 MRR iter env 5
1332     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1333       csit-vpp-perf-report-iterative-2009-2n-skx:
1334         - 120 # rls2009 MRR iter env 5
1335     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1336       csit-vpp-perf-report-iterative-2101-2n-skx:
1337         - 21  # rls2009 MRR iter env 6
1338     vpp-performance-changes-2n-skx-mrr-cmp:
1339       csit-vpp-perf-report-iterative-2101-2n-skx:
1340         - 62  # rls2101.rel MRR iter env 6
1341
1342     vpp-performance-changes-2n-clx-mrr-h1:
1343       csit-vpp-perf-report-iterative-2009-2n-clx:
1344         - 77  # rls2005 MRR iter env 5
1345     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1346       csit-vpp-perf-report-iterative-2009-2n-clx:
1347         - 125 # rls2009 MRR iter env 5
1348     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1349       csit-vpp-perf-report-iterative-2101-2n-clx:
1350         - 15  # rls2009 MRR iter env 6
1351     vpp-performance-changes-2n-clx-mrr-cmp:
1352       csit-vpp-perf-report-iterative-2101-2n-clx:
1353         - 53  # rls2101.rel MRR iter env 6
1354
1355     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1356       csit-vpp-perf-report-iterative-2009-2n-zn2:
1357         - 15  # rls2009 MRR iter env 5
1358     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1359       csit-vpp-perf-report-iterative-2101-2n-zn2:
1360         - 8   # rls2009 MRR iter env6
1361     vpp-performance-changes-2n-zn2-mrr-cmp:
1362       csit-vpp-perf-report-iterative-2101-2n-zn2:
1363         - 30  # rls2101.rel MRR iter env 6
1364
1365     vpp-performance-changes-2n-dnv-mrr-h1:
1366       csit-vpp-perf-report-iterative-2009-2n-dnv:
1367         - 23  # rls2005 MRR iter env 5
1368     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1369       csit-vpp-perf-report-iterative-2009-2n-dnv:
1370         - 13  # rls2009 MRR iter env 5
1371     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1372       # TODO: Re-test in new env
1373       csit-vpp-perf-report-iterative-2009-2n-dnv:
1374         - 13  # rls2009 MRR iter env 5
1375     vpp-performance-changes-2n-dnv-mrr-cmp:
1376       csit-vpp-perf-report-iterative-2101-2n-dnv:
1377         - 31  # rls2101.rel MRR iter env 6
1378
1379     vpp-performance-changes-3n-dnv-mrr-h1:
1380       csit-vpp-perf-report-iterative-2009-3n-dnv:
1381         - 19  # rls2005 MRR iter env 5
1382     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1383       csit-vpp-perf-report-iterative-2009-3n-dnv:
1384         - 22  # rls2009 MRR iter env 5
1385     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1386       # TODO: Re-test in new env
1387       csit-vpp-perf-report-iterative-2009-3n-dnv:
1388         - 22  # rls2009 MRR iter env 5
1389     vpp-performance-changes-3n-dnv-mrr-cmp:
1390       csit-vpp-perf-report-iterative-2101-3n-dnv:
1391         - 32  # rls2101.rel MRR iter env 6
1392
1393     vpp-performance-changes-3n-tsh-mrr-h1:
1394       csit-vpp-perf-report-iterative-2009-3n-tsh:
1395         - 13  # rls2005 MRR iter env 5
1396     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1397       csit-vpp-perf-report-iterative-2009-3n-tsh:
1398         - 15  # rls2009 MRR iter env 5
1399     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1400       csit-vpp-perf-report-iterative-2101-3n-tsh:
1401         - 7   # rls2009 MRR iter env 6
1402     vpp-performance-changes-3n-tsh-mrr-cmp:
1403       csit-vpp-perf-report-iterative-2101-3n-tsh:
1404         - 22  # rls2101.rel MRR iter env 6
1405
1406 #     vpp-performance-changes-2n-tx2-mrr-h1:
1407 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1408 #         -
1409 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1410 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1411 #         -
1412     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1413       csit-vpp-perf-report-iterative-2101-2n-tx2:
1414         - 5   # rls2009 MRR iter env 6
1415     vpp-performance-changes-2n-tx2-mrr-cmp:
1416       csit-vpp-perf-report-iterative-2101-2n-tx2:
1417         - 21  # rls2101.rel MRR iter env 6
1418
1419     dpdk-performance-changes-3n-hsw-h1:
1420       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1421         - 25  # NDRPDR iter
1422         - 26  # NDRPDR iter
1423         - 27  # NDRPDR iter
1424         - 28  # NDRPDR iter
1425         - 29  # NDRPDR iter
1426         - 30  # NDRPDR iter
1427         - 31  # NDRPDR iter
1428         - 32  # NDRPDR iter
1429         - 33  # NDRPDR iter
1430         - 34  # NDRPDR iter
1431     dpdk-performance-changes-3n-hsw-ref:
1432       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1433         - 6   # NDRPDR iter env5
1434         - 7   # NDRPDR iter env5
1435         - 8   # NDRPDR iter env5
1436         - 9   # NDRPDR iter env5
1437         - 10  # NDRPDR iter env5
1438         - 11  # NDRPDR iter env5
1439         - 12  # NDRPDR iter env5
1440         - 13  # NDRPDR iter env5
1441         - 14  # NDRPDR iter env5
1442         - 15  # NDRPDR iter env5
1443     dpdk-performance-changes-3n-hsw-cmp:
1444       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1445         - 11  # rls2101 NDRPDR iter env 6
1446         - 12  # rls2101 NDRPDR iter env 6
1447         - 13  # rls2101 NDRPDR iter env 6
1448         - 14  # rls2101 NDRPDR iter env 6
1449         - 16  # rls2101 NDRPDR iter env 6
1450         - 17  # rls2101 NDRPDR iter env 6
1451         - 18  # rls2101 NDRPDR iter env 6
1452         - 19  # rls2101 NDRPDR iter env 6
1453         - 20  # rls2101 NDRPDR iter env 6
1454         - 21  # rls2101 NDRPDR iter env 6
1455
1456     dpdk-performance-changes-3n-skx-h1:
1457       csit-dpdk-perf-report-iterative-2005-3n-skx:
1458         - 28  # NDRPDR iter
1459         - 29  # NDRPDR iter
1460         - 30  # NDRPDR iter
1461         - 31  # NDRPDR iter
1462         - 32  # NDRPDR iter
1463         - 33  # NDRPDR iter
1464         - 34  # NDRPDR iter
1465         - 35  # NDRPDR iter
1466         - 36  # NDRPDR iter
1467         - 37  # NDRPDR iter
1468     dpdk-performance-changes-3n-skx-ref:
1469       csit-dpdk-perf-report-iterative-2009-3n-skx:
1470         - 4   # NDRPDR sel env5
1471         - 5   # NDRPDR sel env5
1472         - 6   # NDRPDR sel env5
1473         - 7   # NDRPDR sel env5
1474         - 8   # NDRPDR sel env5
1475         - 9   # NDRPDR sel env5
1476         - 14  # NDRPDR sel env5
1477         - 11  # NDRPDR sel env5
1478         - 12  # NDRPDR sel env5
1479         - 13  # NDRPDR sel env5
1480     dpdk-performance-changes-3n-skx-cmp:
1481       csit-dpdk-perf-report-iterative-2101-3n-skx:
1482         - 12  # rls2101 NDRPDR iter env 6
1483         - 14  # rls2101 NDRPDR iter env 6
1484         - 15  # rls2101 NDRPDR iter env 6
1485         - 17  # rls2101 NDRPDR iter env 6
1486         - 19  # rls2101 NDRPDR iter env 6
1487         - 20  # rls2101 NDRPDR iter env 6
1488         - 21  # rls2101 NDRPDR iter env 6
1489         - 22  # rls2101 NDRPDR iter env 6
1490         - 25  # rls2101 NDRPDR iter env 6
1491         - 26  # rls2101 NDRPDR iter env 6
1492
1493     dpdk-performance-changes-2n-skx-h1:
1494       csit-dpdk-perf-report-iterative-2005-2n-skx:
1495         - 20  # NDRPDR iter
1496         - 21  # NDRPDR iter
1497         - 22  # NDRPDR iter
1498         - 23  # NDRPDR iter
1499         - 24  # NDRPDR iter
1500         - 25  # NDRPDR iter
1501         - 26  # NDRPDR iter
1502         - 27  # NDRPDR iter
1503         - 28  # NDRPDR iter
1504         - 29  # NDRPDR iter
1505     dpdk-performance-changes-2n-skx-ref:
1506       csit-dpdk-perf-report-iterative-2009-2n-skx:
1507         - 4   # NDRPDR iter env5
1508         - 5   # NDRPDR iter env5
1509         - 6   # NDRPDR iter env5
1510         - 7   # NDRPDR iter env5
1511         - 8   # NDRPDR iter env5
1512         - 9   # NDRPDR iter env5
1513         - 10  # NDRPDR iter env5
1514         - 11  # NDRPDR iter env5
1515         - 12  # NDRPDR iter env5
1516         - 13  # NDRPDR iter env5
1517     dpdk-performance-changes-2n-skx-cmp:
1518       csit-dpdk-perf-report-iterative-2101-2n-skx:
1519         - 11  # rls2101 NDRPDR iter env 6
1520         - 12  # rls2101 NDRPDR iter env 6
1521         - 13  # rls2101 NDRPDR iter env 6
1522         - 14  # rls2101 NDRPDR iter env 6
1523         - 15  # rls2101 NDRPDR iter env 6
1524         - 17  # rls2101 NDRPDR iter env 6
1525         - 18  # rls2101 NDRPDR iter env 6
1526         - 19  # rls2101 NDRPDR iter env 6
1527         - 20  # rls2101 NDRPDR iter env 6
1528         - 21  # rls2101 NDRPDR iter env 6
1529
1530     dpdk-performance-changes-2n-clx-h1:
1531       csit-dpdk-perf-report-iterative-2005-2n-clx:
1532         - 20  # NDRPDR iter
1533         - 21  # NDRPDR iter
1534         - 22  # NDRPDR iter
1535         - 23  # NDRPDR iter
1536         - 24  # NDRPDR iter
1537         - 25  # NDRPDR iter
1538         - 26  # NDRPDR iter
1539         - 27  # NDRPDR iter
1540         - 28  # NDRPDR iter
1541         - 29  # NDRPDR iter
1542     dpdk-performance-changes-2n-clx-ref:
1543       csit-dpdk-perf-report-iterative-2009-2n-clx:
1544         - 4   # NDRPDR iter env5
1545         - 5   # NDRPDR iter env5
1546         - 6   # NDRPDR iter env5
1547         - 7   # NDRPDR iter env5
1548         - 8   # NDRPDR iter env5
1549         - 9   # NDRPDR iter env5
1550         - 10  # NDRPDR iter env5
1551         - 11  # NDRPDR iter env5
1552         - 12  # NDRPDR iter env5
1553         - 13  # NDRPDR iter env5
1554     dpdk-performance-changes-2n-clx-cmp:
1555       csit-dpdk-perf-report-iterative-2101-2n-clx:
1556         - 12  # rls2101 NDRPDR iter env 6
1557         - 13  # rls2101 NDRPDR iter env 6
1558         - 14  # rls2101 NDRPDR iter env 6
1559         - 18  # rls2101 NDRPDR iter env 6
1560         - 22  # rls2101 NDRPDR iter env 6
1561
1562     dpdk-performance-changes-2n-zn2-ref:
1563       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1564         - 16  # NDRPDR iter env5
1565         - 21  # NDRPDR iter env5
1566         - 22  # NDRPDR iter env5
1567         - 23  # NDRPDR iter env5
1568         - 24  # NDRPDR iter env5
1569         - 25  # NDRPDR iter env5
1570         - 29  # NDRPDR iter env5
1571     dpdk-performance-changes-2n-zn2-cmp:
1572       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1573         - 11  # rls2101 NDRPDR iter env 6
1574         - 12  # rls2101 NDRPDR iter env 6
1575         - 13  # rls2101 NDRPDR iter env 6
1576         - 14  # rls2101 NDRPDR iter env 6
1577         - 16  # rls2101 NDRPDR iter env 6
1578         - 17  # rls2101 NDRPDR iter env 6
1579         - 18  # rls2101 NDRPDR iter env 6
1580         - 19  # rls2101 NDRPDR iter env 6
1581         - 20  # rls2101 NDRPDR iter env 6
1582         - 21  # rls2101 NDRPDR iter env 6
1583
1584 #    dpdk-performance-changes-2n-dnv-h1:
1585 #      csit-dpdk-perf-verify-2101-2n-dnv:
1586 #        - 9   # NDRPDR sel
1587 #        - 10  # NDRPDR sel
1588 #        - 11  # NDRPDR sel
1589 #        - 12  # NDRPDR sel
1590 #        - 13  # NDRPDR sel
1591 #        - 14  # NDRPDR sel
1592 #        - 15  # NDRPDR sel
1593 #        - 16  # NDRPDR sel
1594 #        - 17  # NDRPDR sel
1595 #        - 18  # NDRPDR sel
1596 #    dpdk-performance-changes-2n-dnv-ref:
1597 #      # No data
1598 #    dpdk-performance-changes-2n-dnv-cmp:
1599 #      # No data
1600 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1601
1602 #    dpdk-performance-changes-3n-dnv-h1:
1603 #      csit-dpdk-perf-verify-2101-3n-dnv:
1604 #        - 12  # NDRPDR sel
1605 #        - 13  # NDRPDR sel
1606 #        - 14  # NDRPDR sel
1607 #        - 15  # NDRPDR sel
1608 #        - 16  # NDRPDR sel
1609 #        - 17  # NDRPDR sel
1610 #        - 18  # NDRPDR sel
1611 #        - 19  # NDRPDR sel
1612 #        - 20  # NDRPDR sel
1613 #        - 22  # NDRPDR sel
1614 #    dpdk-performance-changes-3n-dnv-ref:
1615 #      # No data
1616 #    dpdk-performance-changes-3n-dnv-cmp:
1617 #      # No data
1618 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1619
1620     dpdk-performance-changes-3n-tsh-h1:
1621       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1622         - 5   # NDRPDR sel
1623     dpdk-performance-changes-3n-tsh-ref:
1624       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1625         - 1   # NDRPDR iter env5
1626         - 2   # NDRPDR iter env5
1627         - 3   # NDRPDR iter env5
1628         - 4   # NDRPDR iter env5
1629         - 5   # NDRPDR iter env5
1630         - 6   # NDRPDR iter env5
1631         - 7   # NDRPDR iter env5
1632         - 9   # NDRPDR iter env5
1633         - 10  # NDRPDR iter env5
1634         - 11  # NDRPDR iter env5
1635     dpdk-performance-changes-3n-tsh-cmp:
1636       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1637         - 11  # rls2101 NDRPDR iter env 6
1638         - 12  # rls2101 NDRPDR iter env 6
1639         - 13  # rls2101 NDRPDR iter env 6
1640         - 14  # rls2101 NDRPDR iter env 6
1641         - 16  # rls2101 NDRPDR iter env 6
1642         - 17  # rls2101 NDRPDR iter env 6
1643         - 18  # rls2101 NDRPDR iter env 6
1644         - 19  # rls2101 NDRPDR iter env 6
1645         - 20  # rls2101 NDRPDR iter env 6
1646         - 21  # rls2101 NDRPDR iter env 6
1647
1648     # Compare testbeds
1649
1650     vpp-compare-testbeds-ref:
1651       csit-vpp-perf-report-iterative-2101-3n-hsw:
1652         - 64  # rls2101.rel NDRPDR iter env 6
1653         - 71  # rls2101.rel NDRPDR iter env 6
1654         - 73  # rls2101.rel NDRPDR iter env 6
1655         - 74  # rls2101.rel NDRPDR iter env 6
1656         - 80  # rls2101.rel NDRPDR iter env 6
1657         - 81  # rls2101.rel NDRPDR iter env 6
1658         - 82  # rls2101.rel NDRPDR iter env 6
1659         - 83  # rls2101.rel NDRPDR iter env 6
1660         - 88  # rls2101.rel NDRPDR iter env 6
1661         - 89  # rls2101.rel NDRPDR iter env 6
1662     vpp-compare-testbeds-cmp:
1663       csit-vpp-perf-report-iterative-2101-3n-skx:
1664         - 36  # rls2101.rel NDRPDR iter env 6
1665         - 37  # rls2101.rel NDRPDR iter env 6
1666         - 38  # rls2101.rel NDRPDR iter env 6
1667         - 39  # rls2101.rel NDRPDR iter env 6
1668         - 40  # rls2101.rel NDRPDR iter env 6
1669         - 41  # rls2101.rel NDRPDR iter env 6
1670         - 42  # rls2101.rel NDRPDR iter env 6
1671         - 47  # rls2101.rel NDRPDR iter env 6
1672
1673     vpp-compare-testbeds-skx-clx-ref:
1674       csit-vpp-perf-report-iterative-2101-2n-skx:
1675         - 63  # rls2101.rel NDRPDR iter env 6
1676         - 69  # rls2101.rel NDRPDR iter env 6
1677         - 70  # rls2101.rel NDRPDR iter env 6
1678         - 75  # rls2101.rel NDRPDR iter env 6
1679         - 76  # rls2101.rel NDRPDR iter env 6
1680         - 77  # rls2101.rel NDRPDR iter env 6
1681         - 82  # rls2101.rel NDRPDR iter env 6
1682         - 89  # rls2101.rel NDRPDR iter RND env 6
1683         - 90  # rls2101.rel NDRPDR iter RND env 6
1684         - 91  # rls2101.rel NDRPDR iter RND env 6
1685         - 92  # rls2101.rel NDRPDR iter RND env 6
1686         - 93  # rls2101.rel NDRPDR iter RND env 6
1687         - 98  # rls2101.rel NDRPDR iter RND env 6
1688         - 99  # rls2101.rel NDRPDR iter RND env 6
1689         - 101 # rls2101.rel NDRPDR iter RND env 6
1690         - 102 # rls2101.rel NDRPDR iter RND env 6
1691     vpp-compare-testbeds-skx-clx-cmp:
1692       csit-vpp-perf-report-iterative-2101-2n-clx:
1693         - 54  # rls2101.rel NDRPDR iter env 6
1694         - 59  # rls2101.rel NDRPDR iter env 6
1695         - 60  # rls2101.rel NDRPDR iter env 6
1696         - 63  # rls2101.rel NDRPDR iter env 6
1697         - 66  # rls2101.rel NDRPDR iter env 6
1698         - 68  # rls2101.rel NDRPDR iter env 6
1699
1700     vpp-compare-testbeds-hsw-clx-ref:
1701       csit-vpp-perf-report-iterative-2101-3n-hsw:
1702         - 64  # rls2101.rel NDRPDR iter env 6
1703         - 71  # rls2101.rel NDRPDR iter env 6
1704         - 73  # rls2101.rel NDRPDR iter env 6
1705         - 74  # rls2101.rel NDRPDR iter env 6
1706         - 80  # rls2101.rel NDRPDR iter env 6
1707         - 81  # rls2101.rel NDRPDR iter env 6
1708         - 82  # rls2101.rel NDRPDR iter env 6
1709         - 83  # rls2101.rel NDRPDR iter env 6
1710         - 88  # rls2101.rel NDRPDR iter env 6
1711         - 89  # rls2101.rel NDRPDR iter env 6
1712         - 128 # rls2101.rel NDRPDR iter RND env 6
1713         - 129 # rls2101.rel NDRPDR iter RND env 6
1714         - 130 # rls2101.rel NDRPDR iter RND env 6
1715         - 131 # rls2101.rel NDRPDR iter RND env 6
1716         - 132 # rls2101.rel NDRPDR iter RND env 6
1717         - 133 # rls2101.rel NDRPDR iter RND env 6
1718         - 134 # rls2101.rel NDRPDR iter RND env 6
1719         - 135 # rls2101.rel NDRPDR iter RND env 6
1720         - 136 # rls2101.rel NDRPDR iter RND env 6
1721         - 137 # rls2101.rel NDRPDR iter RND env 6
1722     vpp-compare-testbeds-hsw-clx-cmp:
1723       csit-vpp-perf-report-iterative-2101-2n-clx:
1724         - 54  # rls2101.rel NDRPDR iter env 6
1725         - 59  # rls2101.rel NDRPDR iter env 6
1726         - 60  # rls2101.rel NDRPDR iter env 6
1727         - 63  # rls2101.rel NDRPDR iter env 6
1728         - 66  # rls2101.rel NDRPDR iter env 6
1729         - 68  # rls2101.rel NDRPDR iter env 6
1730
1731     vpp-compare-testbeds-mrr-ref:
1732       csit-vpp-perf-report-iterative-2101-3n-hsw:
1733         - 63  # rls2101.rel MRR iter env 6
1734     vpp-compare-testbeds-mrr-cmp:
1735       csit-vpp-perf-report-iterative-2101-3n-skx:
1736         - 35  # rls2101.rel MRR iter env 6
1737
1738     vpp-compare-testbeds-mrr-skx-clx-ref:
1739       csit-vpp-perf-report-iterative-2101-2n-skx:
1740         - 62  # rls2101.rel MRR iter env 6
1741     vpp-compare-testbeds-mrr-skx-clx-cmp:
1742       csit-vpp-perf-report-iterative-2101-2n-clx:
1743         - 53  # rls2101.rel MRR iter env 6
1744
1745     vpp-compare-testbeds-mrr-hsw-clx-ref:
1746       csit-vpp-perf-report-iterative-2101-3n-hsw:
1747         - 63  # rls2101.rel MRR iter env 6
1748     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1749       csit-vpp-perf-report-iterative-2101-2n-clx:
1750         - 53  # rls2101.rel MRR iter env 6
1751
1752     dpdk-compare-testbeds-ref:
1753       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1754         - 11  # rls2101 NDRPDR iter env 6
1755         - 12  # rls2101 NDRPDR iter env 6
1756         - 13  # rls2101 NDRPDR iter env 6
1757         - 14  # rls2101 NDRPDR iter env 6
1758         - 16  # rls2101 NDRPDR iter env 6
1759         - 17  # rls2101 NDRPDR iter env 6
1760         - 18  # rls2101 NDRPDR iter env 6
1761         - 19  # rls2101 NDRPDR iter env 6
1762         - 20  # rls2101 NDRPDR iter env 6
1763         - 21  # rls2101 NDRPDR iter env 6
1764     dpdk-compare-testbeds-cmp:
1765       csit-dpdk-perf-report-iterative-2101-3n-skx:
1766         - 12  # rls2101 NDRPDR iter env 6
1767         - 14  # rls2101 NDRPDR iter env 6
1768         - 15  # rls2101 NDRPDR iter env 6
1769         - 17  # rls2101 NDRPDR iter env 6
1770         - 19  # rls2101 NDRPDR iter env 6
1771         - 20  # rls2101 NDRPDR iter env 6
1772         - 21  # rls2101 NDRPDR iter env 6
1773         - 22  # rls2101 NDRPDR iter env 6
1774         - 25  # rls2101 NDRPDR iter env 6
1775         - 26  # rls2101 NDRPDR iter env 6
1776
1777     dpdk-compare-testbeds-skx-clx-ref:
1778       csit-dpdk-perf-report-iterative-2101-2n-skx:
1779         - 11  # rls2101 NDRPDR iter env 6
1780         - 12  # rls2101 NDRPDR iter env 6
1781         - 13  # rls2101 NDRPDR iter env 6
1782         - 14  # rls2101 NDRPDR iter env 6
1783         - 15  # rls2101 NDRPDR iter env 6
1784         - 17  # rls2101 NDRPDR iter env 6
1785         - 18  # rls2101 NDRPDR iter env 6
1786         - 19  # rls2101 NDRPDR iter env 6
1787         - 20  # rls2101 NDRPDR iter env 6
1788         - 21  # rls2101 NDRPDR iter env 6
1789     dpdk-compare-testbeds-skx-clx-cmp:
1790       csit-dpdk-perf-report-iterative-2101-2n-clx:
1791         - 12  # rls2101 NDRPDR iter env 6
1792         - 13  # rls2101 NDRPDR iter env 6
1793         - 14  # rls2101 NDRPDR iter env 6
1794         - 18  # rls2101 NDRPDR iter env 6
1795         - 22  # rls2101 NDRPDR iter env 6
1796
1797     # Compare topologies
1798
1799     vpp-compare-topologies-ref:
1800       csit-vpp-perf-report-iterative-2101-3n-skx:
1801         - 36  # rls2101.rel NDRPDR iter env 6
1802         - 37  # rls2101.rel NDRPDR iter env 6
1803         - 38  # rls2101.rel NDRPDR iter env 6
1804         - 39  # rls2101.rel NDRPDR iter env 6
1805         - 40  # rls2101.rel NDRPDR iter env 6
1806         - 41  # rls2101.rel NDRPDR iter env 6
1807         - 42  # rls2101.rel NDRPDR iter env 6
1808         - 47  # rls2101.rel NDRPDR iter env 6
1809     vpp-compare-topologies-cmp:
1810       csit-vpp-perf-report-iterative-2101-2n-skx:
1811         - 63  # rls2101.rel NDRPDR iter env 6
1812         - 69  # rls2101.rel NDRPDR iter env 6
1813         - 70  # rls2101.rel NDRPDR iter env 6
1814         - 75  # rls2101.rel NDRPDR iter env 6
1815         - 76  # rls2101.rel NDRPDR iter env 6
1816         - 77  # rls2101.rel NDRPDR iter env 6
1817         - 82  # rls2101.rel NDRPDR iter env 6
1818
1819     vpp-compare-topologies-mrr-ref:
1820       csit-vpp-perf-report-iterative-2101-3n-skx:
1821         - 35  # rls2101.rel MRR iter env 6
1822     vpp-compare-topologies-mrr-cmp:
1823       csit-vpp-perf-report-iterative-2101-2n-skx:
1824         - 62  # rls2101.rel MRR iter env 6
1825
1826     dpdk-compare-topologies-ref:
1827       csit-dpdk-perf-report-iterative-2101-3n-skx:
1828         - 12  # rls2101 NDRPDR iter env 6
1829         - 14  # rls2101 NDRPDR iter env 6
1830         - 15  # rls2101 NDRPDR iter env 6
1831         - 17  # rls2101 NDRPDR iter env 6
1832         - 19  # rls2101 NDRPDR iter env 6
1833         - 20  # rls2101 NDRPDR iter env 6
1834         - 21  # rls2101 NDRPDR iter env 6
1835         - 22  # rls2101 NDRPDR iter env 6
1836         - 25  # rls2101 NDRPDR iter env 6
1837         - 26  # rls2101 NDRPDR iter env 6
1838     dpdk-compare-topologies-cmp:
1839       csit-dpdk-perf-report-iterative-2101-2n-skx:
1840         - 11  # rls2101 NDRPDR iter env 6
1841         - 12  # rls2101 NDRPDR iter env 6
1842         - 13  # rls2101 NDRPDR iter env 6
1843         - 14  # rls2101 NDRPDR iter env 6
1844         - 15  # rls2101 NDRPDR iter env 6
1845         - 17  # rls2101 NDRPDR iter env 6
1846         - 18  # rls2101 NDRPDR iter env 6
1847         - 19  # rls2101 NDRPDR iter env 6
1848         - 20  # rls2101 NDRPDR iter env 6
1849         - 21  # rls2101 NDRPDR iter env 6
1850
1851   plot-layouts:
1852
1853     plot-soak-throughput:
1854       titlefont:
1855         size: 16
1856       xaxis:
1857         title: "<b>Test Cases [Index]</b>"
1858         titlefont:
1859           size: 14
1860         autorange: True
1861         fixedrange: False
1862         gridcolor: "rgb(230, 230, 230)"
1863         linecolor: "rgb(220, 220, 220)"
1864         linewidth: 1
1865         showgrid: True
1866         showline: True
1867         showticklabels: True
1868         tickcolor: "rgb(220, 220, 220)"
1869         tickmode: "linear"
1870         tickfont:
1871           size: 14
1872         zeroline: False
1873       yaxis:
1874         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1875         titlefont:
1876           size: 14
1877         gridcolor: "rgb(230, 230, 230)"
1878         hoverformat: ".4r"
1879         tickformat: ".3r"
1880         linecolor: "rgb(220, 220, 220)"
1881         linewidth: 1
1882         showgrid: True
1883         showline: True
1884         showticklabels: True
1885         tickcolor: "rgb(220, 220, 220)"
1886         tickfont:
1887           size: 14
1888         zeroline: False
1889         range: [0,50]
1890       autosize: False
1891       margin:
1892         t: 50
1893         b: 0
1894         l: 80
1895         r: 20
1896       showlegend: True
1897       legend:
1898         orientation: "h"
1899         font:
1900           size: 14
1901       width: 700
1902       height: 900
1903       paper_bgcolor: "#fff"
1904       plot_bgcolor: "#fff"
1905       hoverlabel:
1906         namelength: -1
1907
1908     plot-service-density:
1909       titlefont:
1910         size: 16
1911       xaxis:
1912         side: "top"
1913         autorange: True
1914         fixedrange: False
1915         showgrid: False
1916         showline: False
1917         showticklabels: False
1918         ticks: ""
1919         ticklen: 0
1920         tickwidth: 0
1921         zeroline: False
1922       yaxis:
1923         autorange: "reversed"
1924         showgrid: False
1925         showline: False
1926         showticklabels: False
1927         ticks: ""
1928         ticklen: 0
1929         tickwidth: 0
1930         zeroline: False
1931       showlegend: False
1932       paper_bgcolor: "#fff"
1933       plot_bgcolor: "#fff"
1934       width: 700
1935       height: 700
1936       hoverlabel:
1937         namelength: -1
1938
1939     plot-hoststack:
1940       titlefont:
1941         size: 16
1942       xaxis:
1943         title: "<b>Test Cases [Index]</b>"
1944         titlefont:
1945           size: 14
1946         autorange: True
1947         fixedrange: False
1948         gridcolor: "rgb(230, 230, 230)"
1949         linecolor: "rgb(220, 220, 220)"
1950         linewidth: 1
1951         showgrid: True
1952         showline: True
1953         showticklabels: True
1954         tickcolor: "rgb(220, 220, 220)"
1955         tickmode: "linear"
1956         tickfont:
1957           size: 14
1958         zeroline: False
1959       yaxis:
1960         title: "<b>Bandwidth [Gbps]</b>"
1961         titlefont:
1962           size: 14
1963         gridcolor: "rgb(230, 230, 230)"
1964         hoverformat: ".4s"
1965         linecolor: "rgb(220, 220, 220)"
1966         linewidth: 1
1967         rangemode: "tozero"
1968         showgrid: True
1969         showline: True
1970         showticklabels: True
1971         tickcolor: "rgb(230, 230, 230)"
1972         tickformat: ".3s"
1973         tickfont:
1974           size: 14
1975         zeroline: False
1976       autosize: False
1977       margin:
1978         t: 50
1979         b: 20
1980         l: 80
1981         r: 20
1982       showlegend: True
1983       legend:
1984         orientation: "h"
1985         font:
1986           size: 14
1987       width: 700
1988       height: 800
1989       paper_bgcolor: "#fff"
1990       plot_bgcolor: "#fff"
1991       hoverlabel:
1992         namelength: -1
1993
1994     plot-throughput:
1995       titlefont:
1996         size: 16
1997       xaxis:
1998         title: "<b>Test Cases [Index]</b>"
1999         titlefont:
2000           size: 14
2001         autorange: True
2002         fixedrange: False
2003         gridcolor: "rgb(230, 230, 230)"
2004         linecolor: "rgb(220, 220, 220)"
2005         linewidth: 1
2006         showgrid: True
2007         showline: True
2008         showticklabels: True
2009         tickcolor: "rgb(220, 220, 220)"
2010         tickmode: "linear"
2011         tickfont:
2012           size: 14
2013         zeroline: False
2014       yaxis:
2015         title: "<b>Packet Throughput [Mpps]</b>"
2016         titlefont:
2017           size: 14
2018         gridcolor: "rgb(230, 230, 230)"
2019         hoverformat: ".4r"
2020         tickformat: ".3r"
2021         linecolor: "rgb(220, 220, 220)"
2022         linewidth: 1
2023         showgrid: True
2024         showline: True
2025         showticklabels: True
2026         tickcolor: "rgb(220, 220, 220)"
2027         tickfont:
2028           size: 14
2029         zeroline: False
2030         range: [0,50]
2031       autosize: False
2032       margin:
2033         t: 50
2034         b: 0
2035         l: 80
2036         r: 20
2037       showlegend: True
2038       legend:
2039         orientation: "h"
2040         font:
2041           size: 14
2042       width: 700
2043       height: 900
2044       paper_bgcolor: "#fff"
2045       plot_bgcolor: "#fff"
2046       hoverlabel:
2047         namelength: -1
2048
2049     plot-throughput-gbps:
2050       titlefont:
2051         size: 16
2052       xaxis:
2053         title: "<b>Test Cases [Index]</b>"
2054         titlefont:
2055           size: 14
2056         autorange: True
2057         fixedrange: False
2058         gridcolor: "rgb(230, 230, 230)"
2059         linecolor: "rgb(220, 220, 220)"
2060         linewidth: 1
2061         showgrid: True
2062         showline: True
2063         showticklabels: True
2064         tickcolor: "rgb(220, 220, 220)"
2065         tickmode: "linear"
2066         tickfont:
2067           size: 14
2068         zeroline: False
2069       yaxis:
2070         title: "<b>Packet Throughput [Gbps]</b>"
2071         titlefont:
2072           size: 14
2073         gridcolor: "rgb(230, 230, 230)"
2074         hoverformat: ".4r"
2075         tickformat: ".3r"
2076         linecolor: "rgb(220, 220, 220)"
2077         linewidth: 1
2078         showgrid: True
2079         showline: True
2080         showticklabels: True
2081         tickcolor: "rgb(220, 220, 220)"
2082         tickfont:
2083           size: 14
2084         zeroline: False
2085         range: [0,10]
2086       autosize: False
2087       margin:
2088         t: 50
2089         b: 0
2090         l: 80
2091         r: 20
2092       showlegend: True
2093       legend:
2094         orientation: "h"
2095         font:
2096           size: 14
2097       width: 700
2098       height: 900
2099       paper_bgcolor: "#fff"
2100       plot_bgcolor: "#fff"
2101       hoverlabel:
2102         namelength: -1
2103
2104     plot-cps:
2105       titlefont:
2106         size: 16
2107       xaxis:
2108         title: "<b>Test Cases [Index]</b>"
2109         titlefont:
2110           size: 14
2111         autorange: True
2112         fixedrange: False
2113         gridcolor: "rgb(230, 230, 230)"
2114         linecolor: "rgb(220, 220, 220)"
2115         linewidth: 1
2116         showgrid: True
2117         showline: True
2118         showticklabels: True
2119         tickcolor: "rgb(220, 220, 220)"
2120         tickmode: "linear"
2121         tickfont:
2122           size: 14
2123         zeroline: False
2124       yaxis:
2125         title: "<b>Connection Rate [Mcps]</b>"
2126         titlefont:
2127           size: 14
2128         gridcolor: "rgb(230, 230, 230)"
2129         hoverformat: ".4r"
2130         tickformat: ".3s"
2131         linecolor: "rgb(220, 220, 220)"
2132         linewidth: 1
2133         showgrid: True
2134         showline: True
2135         showticklabels: True
2136         tickcolor: "rgb(220, 220, 220)"
2137         tickfont:
2138           size: 14
2139         zeroline: False
2140         range: [0,10]
2141       autosize: False
2142       margin:
2143         t: 50
2144         b: 0
2145         l: 80
2146         r: 20
2147       showlegend: True
2148       legend:
2149         orientation: "h"
2150         font:
2151           size: 14
2152       width: 700
2153       height: 900
2154       paper_bgcolor: "#fff"
2155       plot_bgcolor: "#fff"
2156       hoverlabel:
2157         namelength: -1
2158
2159     plot-throughput-speedup-analysis:
2160       titlefont:
2161         size: 16
2162       xaxis:
2163         title: "<b>Number of Cores [Qty]</b>"
2164         titlefont:
2165           size: 14
2166         autorange: True
2167         fixedrange: False
2168         gridcolor: "rgb(230, 230, 230)"
2169         linecolor: "rgb(220, 220, 220)"
2170         linewidth: 1
2171         showgrid: True
2172         showline: True
2173         showticklabels: True
2174         tickcolor: "rgb(238, 238, 238)"
2175         tickmode: "linear"
2176         tickfont:
2177           size: 14
2178         zeroline: False
2179       yaxis:
2180         title: "<b>Packet Throughput [Mpps]</b>"
2181         titlefont:
2182           size: 14
2183         type: "linear"
2184         gridcolor: "rgb(230, 230, 230)"
2185         hoverformat: ".4s"
2186         linecolor: "rgb(220, 220, 220)"
2187         linewidth: 1
2188         showgrid: True
2189         showline: True
2190         showticklabels: True
2191         tickcolor: "rgb(220, 220, 220)"
2192         tickformat: ".4s"
2193         tickfont:
2194           size: 14
2195         zeroline: True
2196         rangemode: "tozero"
2197         range: [0,100]
2198       legend:
2199         orientation: "h"
2200         font:
2201           size: 14
2202         xanchor: "left"
2203         yanchor: "top"
2204         x: 0
2205         y: -0.2
2206         bgcolor: "rgba(255, 255, 255, 0)"
2207         bordercolor: "rgba(255, 255, 255, 0)"
2208         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2209       autosize: False
2210       margin:
2211           't': 50
2212           'b': 150
2213           'l': 85
2214           'r': 10
2215       showlegend: True
2216       width: 700
2217       height: 700
2218       paper_bgcolor: "#fff"
2219       plot_bgcolor: "#fff"
2220       hoverlabel:
2221         namelength: -1
2222       annotations: [
2223         {
2224           text: "_ _          __          ...",
2225           align: "left",
2226           showarrow: False,
2227           xref: "paper",
2228           yref: "paper",
2229           xanchor: "left",
2230           yanchor: "top",
2231           x: 0,
2232           y: -0.14,
2233           font: {
2234             family: "Consolas, Courier New",
2235             size: 13
2236           },
2237         },
2238         {
2239           text: "    Perfect     Measured     Limit",
2240           align: "left",
2241           showarrow: False,
2242           xref: "paper",
2243           yref: "paper",
2244           xanchor: "left",
2245           yanchor: "top",
2246           x: 0,
2247           y: -0.15,
2248           font: {
2249             family: "Consolas, Courier New",
2250             size: 13
2251           },
2252         },
2253       ]
2254
2255     plot-throughput-speedup-analysis-gbps:
2256       titlefont:
2257         size: 16
2258       xaxis:
2259         title: "<b>Number of Cores [Qty]</b>"
2260         titlefont:
2261           size: 14
2262         autorange: True
2263         fixedrange: False
2264         gridcolor: "rgb(230, 230, 230)"
2265         linecolor: "rgb(220, 220, 220)"
2266         linewidth: 1
2267         showgrid: True
2268         showline: True
2269         showticklabels: True
2270         tickcolor: "rgb(238, 238, 238)"
2271         tickmode: "linear"
2272         tickfont:
2273           size: 14
2274         zeroline: False
2275       yaxis:
2276         title: "<b>Packet Throughput [Gbps]</b>"
2277         titlefont:
2278           size: 14
2279         type: "linear"
2280         gridcolor: "rgb(230, 230, 230)"
2281         hoverformat: ".4s"
2282         linecolor: "rgb(220, 220, 220)"
2283         linewidth: 1
2284         showgrid: True
2285         showline: True
2286         showticklabels: True
2287         tickcolor: "rgb(220, 220, 220)"
2288         tickformat: ".4s"
2289         tickfont:
2290           size: 14
2291         zeroline: True
2292         rangemode: "tozero"
2293         range: [0,100]
2294       legend:
2295         orientation: "h"
2296         font:
2297           size: 14
2298         xanchor: "left"
2299         yanchor: "top"
2300         x: 0
2301         y: -0.2
2302         bgcolor: "rgba(255, 255, 255, 0)"
2303         bordercolor: "rgba(255, 255, 255, 0)"
2304         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2305       autosize: False
2306       margin:
2307           't': 50
2308           'b': 150
2309           'l': 85
2310           'r': 10
2311       showlegend: True
2312       width: 700
2313       height: 700
2314       paper_bgcolor: "#fff"
2315       plot_bgcolor: "#fff"
2316       hoverlabel:
2317         namelength: -1
2318       annotations: [
2319         {
2320           text: "_ _          __",
2321           align: "left",
2322           showarrow: False,
2323           xref: "paper",
2324           yref: "paper",
2325           xanchor: "left",
2326           yanchor: "top",
2327           x: 0,
2328           y: -0.13,
2329           font: {
2330             family: "Consolas, Courier New",
2331             size: 13
2332           },
2333         },
2334         {
2335           text: "    Perfect     Measured",
2336           align: "left",
2337           showarrow: False,
2338           xref: "paper",
2339           yref: "paper",
2340           xanchor: "left",
2341           yanchor: "top",
2342           x: 0,
2343           y: -0.15,
2344           font: {
2345             family: "Consolas, Courier New",
2346             size: 13
2347           },
2348         },
2349       ]
2350
2351     plot-throughput-speedup-analysis-cps:
2352       titlefont:
2353         size: 16
2354       xaxis:
2355         title: "<b>Number of Cores [Qty]</b>"
2356         titlefont:
2357           size: 14
2358         autorange: True
2359         fixedrange: False
2360         gridcolor: "rgb(230, 230, 230)"
2361         linecolor: "rgb(220, 220, 220)"
2362         linewidth: 1
2363         showgrid: True
2364         showline: True
2365         showticklabels: True
2366         tickcolor: "rgb(238, 238, 238)"
2367         tickmode: "linear"
2368         tickfont:
2369           size: 14
2370         zeroline: False
2371       yaxis:
2372         title: "<b>Connection Rate [Mcps]</b>"
2373         titlefont:
2374           size: 14
2375         type: "linear"
2376         gridcolor: "rgb(230, 230, 230)"
2377         hoverformat: ".4s"
2378         linecolor: "rgb(220, 220, 220)"
2379         linewidth: 1
2380         showgrid: True
2381         showline: True
2382         showticklabels: True
2383         tickcolor: "rgb(220, 220, 220)"
2384         tickformat: ".4s"
2385         tickfont:
2386           size: 14
2387         zeroline: True
2388         rangemode: "tozero"
2389         range: [0,100]
2390       legend:
2391         orientation: "h"
2392         font:
2393           size: 14
2394         xanchor: "left"
2395         yanchor: "top"
2396         x: 0
2397         y: -0.2
2398         bgcolor: "rgba(255, 255, 255, 0)"
2399         bordercolor: "rgba(255, 255, 255, 0)"
2400         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2401       autosize: False
2402       margin:
2403           't': 50
2404           'b': 150
2405           'l': 85
2406           'r': 10
2407       showlegend: True
2408       width: 700
2409       height: 700
2410       paper_bgcolor: "#fff"
2411       plot_bgcolor: "#fff"
2412       hoverlabel:
2413         namelength: -1
2414       annotations: [
2415         {
2416           text: "_ _          __",
2417           align: "left",
2418           showarrow: False,
2419           xref: "paper",
2420           yref: "paper",
2421           xanchor: "left",
2422           yanchor: "top",
2423           x: 0,
2424           y: -0.13,
2425           font: {
2426             family: "Consolas, Courier New",
2427             size: 13
2428           },
2429         },
2430         {
2431           text: "    Perfect     Measured",
2432           align: "left",
2433           showarrow: False,
2434           xref: "paper",
2435           yref: "paper",
2436           xanchor: "left",
2437           yanchor: "top",
2438           x: 0,
2439           y: -0.15,
2440           font: {
2441             family: "Consolas, Courier New",
2442             size: 13
2443           },
2444         },
2445       ]
2446
2447     plot-latency:
2448       titlefont:
2449         size: 16
2450       xaxis:
2451         title: "<b>Direction</b>"
2452         titlefont:
2453           size: 14
2454         autorange: True
2455         fixedrange: False
2456         gridcolor: "rgb(230, 230, 230)"
2457         linecolor: "rgb(220, 220, 220)"
2458         linewidth: 1
2459         showgrid: True
2460         showline: True
2461         showticklabels: False
2462         tickcolor: "rgb(220, 220, 220)"
2463         tickmode: "linear"
2464         tickfont:
2465           size: 14
2466         zeroline: False
2467       yaxis:
2468         title: "<b>Packet Latency [uSec]</b>"
2469         titlefont:
2470           size: 14
2471         type: "linear"
2472         gridcolor: "rgb(230, 230, 230)"
2473         hoverformat: ".4s"
2474         linecolor: "rgb(220, 220, 220)"
2475         linewidth: 1
2476         showgrid: True
2477         showline: True
2478         showticklabels: True
2479         tickcolor: "rgb(220, 220, 220)"
2480         tickformat: ".4s"
2481         tickfont:
2482           size: 14
2483         zeroline: True
2484         rangemode: "tozero"
2485       legend:
2486         orientation: "h"
2487         font:
2488           size: 14
2489         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2490       autosize: False
2491       margin:
2492           't': 50
2493           'b': 150
2494           'l': 80
2495           'r': 10
2496       showlegend: True
2497       width: 700
2498       height: 700
2499       paper_bgcolor: "#fff"
2500       plot_bgcolor: "#fff"
2501       hoverlabel:
2502         namelength: -1
2503
2504     plot-hdrh-latency:
2505       title:
2506         text: ""
2507         xanchor: "center"
2508         x: 0.5
2509         font:
2510           size: 16
2511       width: 700
2512       plot_bgcolor: "white"
2513       annotations:
2514         - font:
2515             size: 14
2516           showarrow: False
2517           text: "<b>Packet Latency [uSec]</b>"
2518           x: 1
2519           xanchor: "right"
2520           xref: "paper"
2521           y: -0.045
2522           yanchor: "top"
2523           yref: "paper"
2524         - font:
2525             size: 14
2526           showarrow: False
2527           text: "<b>Probability [%]</b>"
2528           textangle: 270
2529           x: -0.06
2530           xanchor: "center"
2531           xref: "paper"
2532           y: 0.5
2533           yanchor: "middle"
2534           yref: "paper"
2535         - font:
2536             size: 14
2537           showarrow: False
2538           text: "<b>Direction: E-W</b>"
2539           x: 0.24
2540           xanchor: "center"
2541           xref: "paper"
2542           y: 1.05
2543           yanchor: "bottom"
2544           yref: "paper"
2545         - font:
2546             size: 14
2547           showarrow: False
2548           text: "<b>Direction: W-E</b>"
2549           x: 0.74
2550           xanchor: "center"
2551           xref: "paper"
2552           y: 1.05
2553           yanchor: "bottom"
2554           yref: "paper"
2555
2556     plot-hdrh-latency-percentile-x-log:
2557       title:
2558         text: "<b>Latency by Percentile Distribution</b>"
2559         xanchor: "center"
2560         x: 0.5
2561         font:
2562           size: 18
2563       showlegend: True
2564       legend:
2565         traceorder: "normal"
2566         orientation: "h"
2567         font:
2568           size: 16
2569         xanchor: "left"
2570         yanchor: "top"
2571         x: 0
2572         y: -0.2
2573         bgcolor: "rgba(255, 255, 255, 0)"
2574         bordercolor: "rgba(255, 255, 255, 0)"
2575       xaxis:
2576         type: "log"
2577         title: "<b>Percentile [%]</b>"
2578         titlefont:
2579           size: 14
2580         autorange: False
2581         fixedrange: True
2582         gridcolor: "rgb(230, 230, 230)"
2583         linecolor: "rgb(220, 220, 220)"
2584         linewidth: 1
2585         showgrid: True
2586         showline: True
2587         showticklabels: True
2588         tickcolor: "rgb(220, 220, 220)"
2589         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2590         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2591         tickfont:
2592           size: 14
2593       yaxis:
2594         title: "<b>One-Way Latency per Direction [uSec]</b>"
2595         titlefont:
2596           size: 14
2597         gridcolor: "rgb(230, 230, 230)"
2598         linecolor: "rgb(220, 220, 220)"
2599         linewidth: 1
2600         showgrid: True
2601         showline: True
2602         showticklabels: True
2603         tickcolor: "rgb(220, 220, 220)"
2604         tickfont:
2605           size: 14
2606       autosize: False
2607       width: 700
2608       height: 700
2609       paper_bgcolor: "white"
2610       plot_bgcolor: "white"
2611
2612     plot-hdrh-latency-by-percentile:
2613       title:
2614         text: "<b>Latency by Percentile Distribution</b>"
2615         xanchor: "center"
2616         x: 0.5
2617         font:
2618           size: 18
2619       showlegend: True
2620       legend:
2621         traceorder: "normal"
2622         orientation: "h"
2623         font:
2624           size: 16
2625         xanchor: "left"
2626         yanchor: "top"
2627         x: 0
2628         y: -0.2
2629         bgcolor: "rgba(255, 255, 255, 0)"
2630         bordercolor: "rgba(255, 255, 255, 0)"
2631       xaxis:
2632         type: "linear"
2633         title: "<b>Percentile [%]</b>"
2634         titlefont:
2635           size: 14
2636         autorange: False
2637         fixedrange: False
2638         range: [0, 100]
2639         gridcolor: "rgb(230, 230, 230)"
2640         linecolor: "rgb(220, 220, 220)"
2641         linewidth: 1
2642         showgrid: True
2643         showline: True
2644         showticklabels: True
2645         tickcolor: "rgb(220, 220, 220)"
2646         tickvals: [0, 25, 50, 75, 100]
2647         ticktext: [0, 25, 50, 75, 100]
2648         tickfont:
2649           size: 14
2650       yaxis:
2651         title: "<b>One-Way Latency per Direction [uSec]</b>"
2652         titlefont:
2653           size: 14
2654         gridcolor: "rgb(230, 230, 230)"
2655         linecolor: "rgb(220, 220, 220)"
2656         linewidth: 1
2657         showgrid: True
2658         showline: True
2659         showticklabels: True
2660         tickcolor: "rgb(220, 220, 220)"
2661         tickfont:
2662           size: 14
2663       width: 700
2664       height: 700
2665       paper_bgcolor: "white"
2666       plot_bgcolor: "white"
2667
2668 - type: "static"
2669   src-path: "{DIR[RST]}"
2670   dst-path: "{DIR[WORKING,SRC]}"
2671
2672 - type: "input"
2673   general:
2674     file-name: "output_info.xml.gz"
2675     file-format: ".gz"
2676     arch-file-format:
2677       - ".gz"
2678       - ".zip"
2679     download-path: "{job}/{build}/archives/{filename}"
2680     extract: "output.xml"
2681
2682     zip-file-name: "robot-plugin.zip"
2683     zip-file-format: ".zip"
2684     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2685     zip-extract: "robot-plugin/output.xml"
2686
2687   builds:
2688
2689     csit-vpp-perf-report-iterative-2009-3n-hsw:
2690       - 18  # rls2005 MRR iter env 5
2691       - 9   # rls2005 NDRPDR iter env 5
2692       - 10  # rls2005 NDRPDR iter env 5
2693       - 11  # rls2005 NDRPDR iter env 5
2694       - 12  # rls2005 NDRPDR iter env 5
2695       - 13  # rls2005 NDRPDR iter env 5
2696       - 14  # rls2005 NDRPDR iter env 5
2697       - 15  # rls2005 NDRPDR iter env 5
2698       - 16  # rls2005 NDRPDR iter env 5
2699       - 17  # rls2005 NDRPDR iter env 5
2700       - 19  # rls2005 NDRPDR iter env 5
2701       - 23  # rls2009 MRR iter env 5
2702       - 21  # rls2009 NDRPDR iter env 5
2703       - 22  # rls2009 NDRPDR iter env 5
2704       - 24  # rls2009 NDRPDR iter env 5
2705       - 25  # rls2009 NDRPDR iter env 5
2706       - 26  # rls2009 NDRPDR iter env 5
2707       - 27  # rls2009 NDRPDR iter env 5
2708       - 28  # rls2009 NDRPDR iter env 5
2709       - 29  # rls2009 NDRPDR iter env 5
2710       - 30  # rls2009 NDRPDR iter env 5
2711       - 31  # rls2009 NDRPDR iter env 5
2712     csit-vpp-perf-report-iterative-2101-3n-hsw:
2713       - 17  # rls2009 MRR iter env 6
2714       - 19  # rls2009 NDRPDR iter env 6
2715       - 20  # rls2009 NDRPDR iter env 6
2716       - 21  # rls2009 NDRPDR iter env 6
2717       - 22  # rls2009 NDRPDR iter env 6
2718       - 23  # rls2009 NDRPDR iter env 6
2719       - 24  # rls2009 NDRPDR iter env 6
2720       - 25  # rls2009 NDRPDR iter env 6
2721       - 26  # rls2009 NDRPDR iter env 6
2722       - 27  # rls2009 NDRPDR iter env 6
2723       - 63  # rls2101.rel MRR iter env 6
2724       - 64  # rls2101.rel NDRPDR iter env 6
2725       - 71  # rls2101.rel NDRPDR iter env 6
2726       - 73  # rls2101.rel NDRPDR iter env 6
2727       - 74  # rls2101.rel NDRPDR iter env 6
2728       - 80  # rls2101.rel NDRPDR iter env 6
2729       - 81  # rls2101.rel NDRPDR iter env 6
2730       - 82  # rls2101.rel NDRPDR iter env 6
2731       - 83  # rls2101.rel NDRPDR iter env 6
2732       - 88  # rls2101.rel NDRPDR iter env 6
2733       - 89  # rls2101.rel NDRPDR iter env 6
2734       - 128 # rls2101.rel NDRPDR iter RND env 6
2735       - 129 # rls2101.rel NDRPDR iter RND env 6
2736       - 130 # rls2101.rel NDRPDR iter RND env 6
2737       - 131 # rls2101.rel NDRPDR iter RND env 6
2738       - 132 # rls2101.rel NDRPDR iter RND env 6
2739       - 133 # rls2101.rel NDRPDR iter RND env 6
2740       - 134 # rls2101.rel NDRPDR iter RND env 6
2741       - 135 # rls2101.rel NDRPDR iter RND env 6
2742       - 136 # rls2101.rel NDRPDR iter RND env 6
2743       - 137 # rls2101.rel NDRPDR iter RND env 6
2744       - 65  # rls2101.rel NDRPDR reconf iter env 6
2745       - 68  # rls2101.rel NDRPDR reconf iter env 6
2746       - 77  # rls2101.rel NDRPDR reconf iter env 6
2747       - 84  # rls2101.rel NDRPDR reconf iter env 6
2748       - 90  # rls2101.rel NDRPDR reconf iter env 6
2749       - 96  # rls2101.rel NDRPDR reconf iter env 6
2750       - 101 # rls2101.rel NDRPDR reconf iter env 6
2751       - 104 # rls2101.rel NDRPDR reconf iter env 6
2752       - 105 # rls2101.rel NDRPDR reconf iter env 6
2753       - 106 # rls2101.rel NDRPDR reconf iter env 6
2754       - 107 # rls2101.rel NDRPDR reconf iter env 6
2755       - 108 # rls2101.rel NDRPDR reconf iter env 6
2756       - 110 # rls2101.rel NDRPDR reconf iter env 6
2757       - 111 # rls2101.rel NDRPDR reconf iter env 6
2758       - 112 # rls2101.rel NDRPDR reconf iter env 6
2759       - 113 # rls2101.rel NDRPDR reconf iter env 6
2760       - 114 # rls2101.rel NDRPDR reconf iter env 6
2761       - 115 # rls2101.rel NDRPDR reconf iter env 6
2762       - 116 # rls2101.rel NDRPDR reconf iter env 6
2763       - 117 # rls2101.rel NDRPDR reconf iter env 6
2764       - 69  # rls2101.rel Hoststack iter env 6
2765       - 70  # rls2101.rel Hoststack iter env 6
2766       - 75  # rls2101.rel Hoststack iter env 6
2767       - 76  # rls2101.rel Hoststack iter env 6
2768       - 78  # rls2101.rel Hoststack iter env 6
2769       - 79  # rls2101.rel Hoststack iter env 6
2770       - 85  # rls2101.rel Hoststack iter env 6
2771       - 86  # rls2101.rel Hoststack iter env 6
2772       - 87  # rls2101.rel Hoststack iter env 6
2773       - 91  # rls2101.rel Hoststack iter env 6
2774       - 92  # rls2101.rel Hoststack iter env 6
2775       - 93  # rls2101.rel Hoststack iter env 6
2776       - 94  # rls2101.rel Hoststack iter env 6
2777       - 95  # rls2101.rel Hoststack iter env 6
2778       - 97  # rls2101.rel Hoststack iter env 6
2779       - 98  # rls2101.rel Hoststack iter env 6
2780       - 99  # rls2101.rel Hoststack iter env 6
2781       - 100 # rls2101.rel Hoststack iter env 6
2782       - 102 # rls2101.rel Hoststack iter env 6
2783       - 103 # rls2101.rel Hoststack iter env 6
2784     csit-vpp-perf-report-coverage-2101-3n-hsw:
2785       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
2786       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
2787       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
2788       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
2789       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
2790       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
2791       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
2792       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
2793       - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
2794       - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
2795       - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
2796       - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
2797       - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
2798       - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
2799       - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
2800       - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
2801       - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
2802       - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
2803       - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
2804       - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
2805       - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
2806       - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
2807       - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
2808       - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
2809       - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
2810       - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
2811       - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
2812       - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
2813       - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
2814       - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
2815       - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
2816       - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
2817       - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
2818       - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
2819       - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
2820
2821
2822     csit-vpp-perf-report-iterative-2009-3n-skx:
2823       - 17  # rls2005 MRR iter env 5
2824       - 13  # rls2005 NDRPDR iter env 5
2825       - 18  # rls2005 NDRPDR iter env 5
2826       - 19  # rls2005 NDRPDR iter env 5
2827       - 41  # rls2005 NDRPDR iter env 5
2828       - 43  # rls2005 NDRPDR iter env 5
2829       - 44  # rls2005 NDRPDR iter env 5
2830       - 45  # rls2005 NDRPDR iter env 5
2831       - 46  # rls2005 NDRPDR iter env 5
2832       - 48  # rls2005 NDRPDR iter env 5
2833       - 49  # rls2005 NDRPDR iter env 5
2834       - 24  # rls2009 MRR iter env 5
2835       - 26  # rls2009 NDRPDR iter env 5
2836       - 27  # rls2009 NDRPDR iter env 5
2837       - 28  # rls2009 NDRPDR iter env 5
2838       - 29  # rls2009 NDRPDR iter env 5
2839       - 35  # rls2009 NDRPDR iter env 5
2840       - 36  # rls2009 NDRPDR iter env 5
2841       - 37  # rls2009 NDRPDR iter env 5
2842       - 38  # rls2009 NDRPDR iter env 5
2843       - 39  # rls2009 NDRPDR iter env 5
2844       - 40  # rls2009 NDRPDR iter env 5
2845     csit-vpp-perf-report-iterative-2101-3n-skx:
2846       - 34  # rls2009 MRR iter env 6
2847       - 14  # rls2009 NDRPDR iter env 6
2848       - 15  # rls2009 NDRPDR iter env 6
2849       - 16  # rls2009 NDRPDR iter env 6
2850       - 17  # rls2009 NDRPDR iter env 6
2851       - 18  # rls2009 NDRPDR iter env 6
2852       - 25  # rls2009 NDRPDR iter env 6
2853       - 26  # rls2009 NDRPDR iter env 6
2854       - 27  # rls2009 NDRPDR iter env 6
2855       - 29  # rls2009 NDRPDR iter env 6
2856       - 31  # rls2009 NDRPDR iter env 6
2857       - 35  # rls2101.rel MRR iter env 6
2858       - 36  # rls2101.rel NDRPDR iter env 6
2859       - 37  # rls2101.rel NDRPDR iter env 6
2860       - 38  # rls2101.rel NDRPDR iter env 6
2861       - 39  # rls2101.rel NDRPDR iter env 6
2862       - 40  # rls2101.rel NDRPDR iter env 6
2863       - 41  # rls2101.rel NDRPDR iter env 6
2864       - 42  # rls2101.rel NDRPDR iter env 6
2865       - 47  # rls2101.rel NDRPDR iter env 6
2866     # csit-vpp-perf-report-coverage-2101-3n-skx:
2867
2868
2869     csit-vpp-perf-report-iterative-2009-2n-skx:
2870       - 20  # rls2005 MRR iter env 5
2871       - 13  # rls2005 NDRPDR iter env 5
2872       - 16  # rls2005 NDRPDR iter env 5
2873       - 17  # rls2005 NDRPDR iter env 5
2874       - 18  # rls2005 NDRPDR iter env 5
2875       - 19  # rls2005 NDRPDR iter env 5
2876       - 21  # rls2005 NDRPDR iter env 5
2877       - 22  # rls2005 NDRPDR iter env 5
2878       - 23  # rls2005 NDRPDR iter env 5
2879       - 24  # rls2005 NDRPDR iter env 5
2880       - 25  # rls2005 NDRPDR iter env 5
2881       - 120 # rls2009 MRR iter env 5
2882       - 35  # rls2009 NDRPDR iter env 5
2883       - 36  # rls2009 NDRPDR iter env 5
2884       - 37  # rls2009 NDRPDR iter env 5
2885       - 39  # rls2009 NDRPDR iter env 5
2886       - 40  # rls2009 NDRPDR iter env 5
2887       - 42  # rls2009 NDRPDR iter env 5
2888       - 43  # rls2009 NDRPDR iter env 5
2889       - 44  # rls2009 NDRPDR iter env 5
2890       - 46  # rls2009 NDRPDR iter env 5
2891       - 48  # rls2009 NDRPDR iter env 5
2892       - 110 # rls2009 NDRPDR iter NAT44 env 5
2893       - 111 # rls2009 NDRPDR iter NAT44 env 5
2894       - 112 # rls2009 NDRPDR iter NAT44 env 5
2895       - 113 # rls2009 NDRPDR iter NAT44 env 5
2896       - 114 # rls2009 NDRPDR iter NAT44 env 5
2897       - 115 # rls2009 NDRPDR iter NAT44 env 5
2898       - 116 # rls2009 NDRPDR iter NAT44 env 5
2899       - 118 # rls2009 NDRPDR iter NAT44 env 5
2900       - 119 # rls2009 NDRPDR iter NAT44 env 5
2901       - 121 # rls2009 NDRPDR iter NAT44 env 5
2902     csit-vpp-perf-report-iterative-2101-2n-skx:
2903       - 21  # rls2009 MRR iter env 6
2904       - 22  # rls2009 NDRPDR iter env 6
2905       - 23  # rls2009 NDRPDR iter env 6
2906       - 24  # rls2009 NDRPDR iter env 6
2907       - 25  # rls2009 NDRPDR iter env 6
2908       - 26  # rls2009 NDRPDR iter env 6
2909       - 28  # rls2009 NDRPDR iter env 6
2910       - 39  # rls2009 NDRPDR iter env 6
2911       - 40  # rls2009 NDRPDR iter env 6
2912       - 41  # rls2009 NDRPDR iter env 6
2913       - 44  # rls2009 NDRPDR iter env 6
2914       - 62  # rls2101.rel MRR iter env 6
2915       - 63  # rls2101.rel NDRPDR iter env 6
2916       - 69  # rls2101.rel NDRPDR iter env 6
2917       - 70  # rls2101.rel NDRPDR iter env 6
2918       - 75  # rls2101.rel NDRPDR iter env 6
2919       - 76  # rls2101.rel NDRPDR iter env 6
2920       - 77  # rls2101.rel NDRPDR iter env 6
2921       - 82  # rls2101.rel NDRPDR iter env 6
2922       - 89  # rls2101.rel NDRPDR iter RND env 6
2923       - 90  # rls2101.rel NDRPDR iter RND env 6
2924       - 91  # rls2101.rel NDRPDR iter RND env 6
2925       - 92  # rls2101.rel NDRPDR iter RND env 6
2926       - 93  # rls2101.rel NDRPDR iter RND env 6
2927       - 98  # rls2101.rel NDRPDR iter RND env 6
2928       - 99  # rls2101.rel NDRPDR iter RND env 6
2929       - 101 # rls2101.rel NDRPDR iter RND env 6
2930       - 102 # rls2101.rel NDRPDR iter RND env 6
2931       - 65  # rls2101.rel MRR nf-density iter env 6
2932       - 67  # rls2101.rel NDRPDR nf-density iter env 6
2933       - 72  # rls2101.rel NDRPDR nf-density iter env 6
2934       - 79  # rls2101.rel NDRPDR nf-density iter env 6
2935       - 83  # rls2101.rel NDRPDR nf-density iter env 6
2936       - 88  # rls2101.rel NDRPDR nf-density iter env 6
2937       - 97  # rls2101.rel NDRPDR nf-density iter env 6
2938       - 64  # rls2101.rel NDRPDR reconf iter env 6
2939       - 66  # rls2101.rel NDRPDR reconf iter env 6
2940       - 71  # rls2101.rel NDRPDR reconf iter env 6
2941       - 74  # rls2101.rel NDRPDR reconf iter env 6
2942       - 78  # rls2101.rel NDRPDR reconf iter env 6
2943       - 87  # rls2101.rel NDRPDR reconf iter env 6
2944       - 95  # rls2101.rel NDRPDR reconf iter env 6
2945       - 100 # rls2101.rel NDRPDR reconf iter env 6
2946       - 68  # rls2101.rel soak env 6
2947       - 73  # rls2101.rel soak env 6
2948     # csit-vpp-perf-report-coverage-2101-2n-skx:
2949
2950
2951     csit-vpp-perf-report-iterative-2009-2n-clx:
2952       - 77  # rls2005 MRR iter env 5
2953       - 13  # rls2005 NDRPDR iter env 5
2954       - 15  # rls2005 NDRPDR iter env 5
2955       - 17  # rls2005 NDRPDR iter env 5
2956       - 18  # rls2005 NDRPDR iter env 5
2957       - 19  # rls2005 NDRPDR iter env 5
2958       - 20  # rls2005 NDRPDR iter env 5
2959       - 21  # rls2005 NDRPDR iter env 5
2960       - 22  # rls2005 NDRPDR iter env 5
2961       - 23  # rls2005 NDRPDR iter env 5
2962       - 24  # rls2005 NDRPDR iter env 5
2963       - 125 # rls2009 MRR iter env 5
2964       - 36  # rls2009 NDRPDR iter env 5
2965       - 39  # rls2009 NDRPDR iter env 5
2966       - 40  # rls2009 NDRPDR iter env 5
2967       - 65  # rls2009 NDRPDR iter env 5
2968       - 66  # rls2009 NDRPDR iter env 5
2969       - 79  # rls2009 NDRPDR iter env 5
2970       - 82  # rls2009 NDRPDR iter env 5
2971       - 88  # rls2009 NDRPDR iter env 5
2972       - 89  # rls2009 NDRPDR iter env 5
2973       - 90  # rls2009 NDRPDR iter env 5
2974       - 114 # rls2009 NDRPDR iter NAT44 env 5
2975       - 115 # rls2009 NDRPDR iter NAT44 env 5
2976       - 116 # rls2009 NDRPDR iter NAT44 env 5
2977       - 117 # rls2009 NDRPDR iter NAT44 env 5
2978       - 118 # rls2009 NDRPDR iter NAT44 env 5
2979       - 119 # rls2009 NDRPDR iter NAT44 env 5
2980       - 121 # rls2009 NDRPDR iter NAT44 env 5
2981       - 122 # rls2009 NDRPDR iter NAT44 env 5
2982       - 123 # rls2009 NDRPDR iter NAT44 env 5
2983       - 126 # rls2009 NDRPDR iter NAT44 env 5
2984     csit-vpp-perf-report-iterative-2101-2n-clx:
2985       - 15  # rls2009 MRR iter env 6
2986       - 16  # rls2009 NDRPDR iter env 6
2987       - 17  # rls2009 NDRPDR iter env 6
2988       - 18  # rls2009 NDRPDR iter env 6
2989       - 19  # rls2009 NDRPDR iter env 6
2990       - 20  # rls2009 NDRPDR iter env 6
2991       - 21  # rls2009 NDRPDR iter env 6
2992       - 32  # rls2009 NDRPDR iter env 6
2993       - 33  # rls2009 NDRPDR iter env 6
2994       - 34  # rls2009 NDRPDR iter env 6
2995       - 35  # rls2009 NDRPDR iter env 6
2996       - 53  # rls2101.rel MRR iter env 6
2997       - 54  # rls2101.rel NDRPDR iter env 6
2998       - 59  # rls2101.rel NDRPDR iter env 6
2999       - 60  # rls2101.rel NDRPDR iter env 6
3000       - 63  # rls2101.rel NDRPDR iter env 6
3001       - 66  # rls2101.rel NDRPDR iter env 6
3002       - 68  # rls2101.rel NDRPDR iter env 6
3003       - 72  # rls2101.rel MRR nf-density iter env 6
3004       - 57  # rls2101.rel NDRPDR nf-density iter env 6
3005       - 62  # rls2101.rel NDRPDR nf-density iter env 6
3006       - 70  # rls2101.rel NDRPDR nf-density iter env 6
3007       - 71  # rls2101.rel NDRPDR nf-density iter env 6
3008       - 55  # rls2101.rel NDRPDR reconf iter env 6
3009       - 64  # rls2101.rel NDRPDR reconf iter env 6
3010       - 76  # rls2101.rel NDRPDR reconf iter env 6
3011       - 58  # rls2101.rel soak env 6
3012       - 61  # rls2101.rel soak env 6
3013     # csit-vpp-perf-report-coverage-2101-2n-clx:
3014
3015
3016     csit-vpp-perf-report-iterative-2009-2n-zn2:
3017       - 15  # rls2009 MRR iter env 5
3018       - 17  # rls2009 NDRPDR iter env 5
3019       - 18  # rls2009 NDRPDR iter env 5
3020       - 31  # rls2009 NDRPDR iter env 5
3021       - 33  # rls2009 NDRPDR iter env 5
3022       - 34  # rls2009 NDRPDR iter env 5
3023     csit-vpp-perf-report-iterative-2101-2n-zn2:
3024       - 8   # rls2009 MRR iter env6
3025       - 9   # rls2009 NDRPDR iter env 6
3026       - 10  # rls2009 NDRPDR iter env 6
3027       - 11  # rls2009 NDRPDR iter env 6
3028       - 12  # rls2009 NDRPDR iter env 6
3029       - 13  # rls2009 NDRPDR iter env 6
3030       - 20  # rls2009 NDRPDR iter env 6
3031       - 21  # rls2009 NDRPDR iter env 6
3032       - 22  # rls2009 NDRPDR iter env 6
3033       - 25  # rls2009 NDRPDR iter env 6
3034       - 26  # rls2009 NDRPDR iter env 6
3035       - 30  # rls2101.rel MRR iter env 6
3036       - 31  # rls2101.rel NDRPDR iter env 6
3037       - 32  # rls2101.rel NDRPDR iter env 6
3038       - 33  # rls2101.rel NDRPDR iter env 6
3039       - 34  # rls2101.rel NDRPDR iter env 6
3040       - 35  # rls2101.rel NDRPDR iter env 6
3041       - 37  # rls2101.rel NDRPDR iter env 6
3042       - 40  # rls2101.rel NDRPDR iter RND env 6
3043       - 41  # rls2101.rel NDRPDR iter RND env 6
3044       - 42  # rls2101.rel NDRPDR iter RND env 6
3045       - 43  # rls2101.rel NDRPDR iter RND env 6
3046
3047     csit-vpp-perf-report-iterative-2009-3n-tsh:
3048       - 8   # rls2005 NDRPDR iter env 5
3049       - 11  # rls2005 NDRPDR iter env 5
3050       - 12  # rls2005 NDRPDR iter env 5
3051       - 24  # rls2005 NDRPDR iter env 5
3052       - 27  # rls2005 NDRPDR iter env 5
3053       - 29  # rls2005 NDRPDR iter env 5
3054       - 31  # rls2005 NDRPDR iter env 5
3055       - 39  # rls2005 NDRPDR iter env 5
3056       - 40  # rls2005 NDRPDR iter env 5
3057       - 42  # rls2005 NDRPDR iter env 5
3058       - 13  # rls2005 MRR iter env 5
3059       - 14  # rls2009 NDRPDR iter env 5
3060       - 20  # rls2009 NDRPDR iter env 5
3061       - 21  # rls2009 NDRPDR iter env 5
3062       - 22  # rls2009 NDRPDR iter env 5
3063       - 23  # rls2009 NDRPDR iter env 5
3064       - 28  # rls2009 NDRPDR iter env 5
3065       - 30  # rls2009 NDRPDR iter env 5
3066       - 33  # rls2009 NDRPDR iter env 5
3067       - 38  # rls2009 NDRPDR iter env 5
3068       - 41  # rls2009 NDRPDR iter env 5
3069       - 15  # rls2009 MRR iter env 5
3070     csit-vpp-perf-report-iterative-2101-3n-tsh:
3071       - 7   # rls2009 MRR iter env 6
3072       - 8   # rls2009 NDRPDR iter env 6
3073       - 13  # rls2009 NDRPDR iter env 6
3074       - 14  # rls2009 NDRPDR iter env 6
3075       - 15  # rls2009 NDRPDR iter env 6
3076       - 16  # rls2009 NDRPDR iter env 6
3077       - 17  # rls2009 NDRPDR iter env 6
3078       - 18  # rls2009 NDRPDR iter env 6
3079       - 19  # rls2009 NDRPDR iter env 6
3080       - 22  # rls2101.rel MRR iter env 6
3081       - 23  # rls2101.rel NDRPDR iter env 6
3082       - 24  # rls2101.rel NDRPDR iter env 6
3083       - 25  # rls2101.rel NDRPDR iter env 6
3084       - 26  # rls2101.rel NDRPDR iter env 6
3085       - 28  # rls2101.rel NDRPDR iter env 6
3086
3087     csit-vpp-perf-report-iterative-2101-2n-tx2:
3088       - 5   # rls2009 MRR iter env 6
3089       - 6   # rls2009 NDRPDR iter env 6
3090       - 7   # rls2009 NDRPDR iter env 6
3091       - 11  # rls2009 NDRPDR iter env 6
3092       - 12  # rls2009 NDRPDR iter env 6
3093       - 13  # rls2009 NDRPDR iter env 6
3094       - 16  # rls2009 NDRPDR iter env 6
3095       - 17  # rls2009 NDRPDR iter env 6
3096       - 18  # rls2009 NDRPDR iter env 6
3097       - 19  # rls2009 NDRPDR iter env 6
3098       - 20  # rls2009 NDRPDR iter env 6
3099       - 21  # rls2101.rel MRR iter env 6
3100       - 22  # rls2101.rel NDRPDR iter env 6
3101       - 23  # rls2101.rel NDRPDR iter env 6
3102       - 24  # rls2101.rel NDRPDR iter env 6
3103       - 25  # rls2101.rel NDRPDR iter env 6
3104       - 26  # rls2101.rel NDRPDR iter env 6
3105       - 27  # rls2101.rel NDRPDR iter env 6
3106       - 28  # rls2101.rel NDRPDR iter env 6
3107       - 29  # rls2101.rel NDRPDR iter env 6
3108       - 30  # rls2101.rel NDRPDR iter env 6
3109
3110
3111     csit-vpp-perf-report-iterative-2009-3n-dnv:
3112       - 16  # rls2005 NDRPDR iter env 5
3113       - 23  # rls2005 NDRPDR iter env 5
3114       - 25  # rls2005 NDRPDR iter env 5
3115       - 26  # rls2005 NDRPDR iter env 5
3116       - 27  # rls2005 NDRPDR iter env 5
3117       - 28  # rls2005 NDRPDR iter env 5
3118       - 29  # rls2005 NDRPDR iter env 5
3119       - 30  # rls2005 NDRPDR iter env 5
3120       - 31  # rls2005 NDRPDR iter env 5
3121       - 32  # rls2005 NDRPDR iter env 5
3122       - 19  # rls2005 MRR iter env 5
3123       - 3   # rls2009 NDRPDR iter env 5
3124       - 6   # rls2009 NDRPDR iter env 5
3125       - 7   # rls2009 NDRPDR iter env 5
3126       - 8   # rls2009 NDRPDR iter env 5
3127       - 10  # rls2009 NDRPDR iter env 5
3128       - 11  # rls2009 NDRPDR iter env 5
3129       - 12  # rls2009 NDRPDR iter env 5
3130       - 14  # rls2009 NDRPDR iter env 5
3131       - 15  # rls2009 NDRPDR iter env 5
3132       - 24  # rls2009 NDRPDR iter env 5
3133       - 22  # rls2009 MRR iter env 5
3134     csit-vpp-perf-report-iterative-2101-3n-dnv:
3135       - 32  # rls2101.rel MRR iter env 6
3136       - 33  # rls2101.rel NDRPDR iter env 6
3137       - 34  # rls2101.rel NDRPDR iter env 6
3138       - 35  # rls2101.rel NDRPDR iter env 6
3139       - 36  # rls2101.rel NDRPDR iter env 6
3140       - 37  # rls2101.rel NDRPDR iter env 6
3141       - 38  # rls2101.rel NDRPDR iter env 6
3142       - 39  # rls2101.rel NDRPDR iter env 6
3143       - 40  # rls2101.rel NDRPDR iter env 6
3144       - 41  # rls2101.rel NDRPDR iter env 6
3145       - 42  # rls2101.rel NDRPDR iter env 6
3146       - 43  # rls2101.rel NDRPDR iter RND env 6
3147       - 44  # rls2101.rel NDRPDR iter RND env 6
3148       - 45  # rls2101.rel NDRPDR iter RND env 6
3149       - 46  # rls2101.rel NDRPDR iter RND env 6
3150       - 47  # rls2101.rel NDRPDR iter RND env 6
3151       - 48  # rls2101.rel NDRPDR iter RND env 6
3152       - 49  # rls2101.rel NDRPDR iter RND env 6