Report: Add latency graphs for NAT44 tput tests
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272         - 50  # rls2101.rel NDRPDR iter env 6
273
274     plot-vpp-hdrh-lat-3n-skx:
275       csit-vpp-perf-report-iterative-2101-3n-skx:
276         - 36  # rls2101.rel NDRPDR iter env 6
277
278 #    plot-vpp-nfv-3n-skx-ndrpdr:
279 #      # No data
280 #      csit-vpp-perf-report-iterative-2101-3n-skx:
281
282 #    plot-vpp-nfv-3n-skx-mrr:
283 #      # No data
284 #      csit-vpp-perf-report-iterative-2101-3n-skx:
285
286     plot-dpdk-throughput-latency-3n-skx:
287       csit-dpdk-perf-report-iterative-2101-3n-skx:
288         - 12  # rls2101 NDRPDR iter env 6
289         - 14  # rls2101 NDRPDR iter env 6
290         - 15  # rls2101 NDRPDR iter env 6
291         - 17  # rls2101 NDRPDR iter env 6
292         - 19  # rls2101 NDRPDR iter env 6
293         - 20  # rls2101 NDRPDR iter env 6
294         - 21  # rls2101 NDRPDR iter env 6
295         - 22  # rls2101 NDRPDR iter env 6
296         - 25  # rls2101 NDRPDR iter env 6
297         - 26  # rls2101 NDRPDR iter env 6
298
299     plot-dpdk-hdrh-lat-3n-skx:
300       csit-dpdk-perf-report-iterative-2101-3n-skx:
301         - 12  # rls2101 NDRPDR iter env 6
302
303     # 2n-skx
304
305     plot-vpp-throughput-lat-tsa-2n-skx:
306       csit-vpp-perf-report-iterative-2101-2n-skx:
307         - 63  # rls2101.rel NDRPDR iter env 6
308         - 69  # rls2101.rel NDRPDR iter env 6
309         - 70  # rls2101.rel NDRPDR iter env 6
310         - 75  # rls2101.rel NDRPDR iter env 6
311         - 76  # rls2101.rel NDRPDR iter env 6
312         - 77  # rls2101.rel NDRPDR iter env 6
313         - 82  # rls2101.rel NDRPDR iter env 6
314         - 85  # rls2101.rel NDRPDR iter env 6
315         - 86  # rls2101.rel NDRPDR iter env 6
316         - 94  # rls2101.rel NDRPDR iter env 6
317         - 89  # rls2101.rel NDRPDR iter RND env 6
318         - 90  # rls2101.rel NDRPDR iter RND env 6
319         - 91  # rls2101.rel NDRPDR iter RND env 6
320         - 92  # rls2101.rel NDRPDR iter RND env 6
321         - 93  # rls2101.rel NDRPDR iter RND env 6
322         - 96  # rls2101.rel NDRPDR iter RND env 6
323         - 98  # rls2101.rel NDRPDR iter RND env 6
324         - 99  # rls2101.rel NDRPDR iter RND env 6
325         - 101 # rls2101.rel NDRPDR iter RND env 6
326         - 102 # rls2101.rel NDRPDR iter RND env 6
327         - 116 # rls2101.rel NDRPDR iter NAT env 6
328         - 117 # rls2101.rel NDRPDR iter NAT env 6
329         - 118 # rls2101.rel NDRPDR iter NAT env 6
330         - 119 # rls2101.rel NDRPDR iter NAT env 6
331         - 120 # rls2101.rel NDRPDR iter NAT env 6
332         - 121 # rls2101.rel NDRPDR iter NAT env 6
333         - 122 # rls2101.rel NDRPDR iter NAT env 6
334         - 123 # rls2101.rel NDRPDR iter NAT env 6
335         - 124 # rls2101.rel NDRPDR iter NAT env 6
336         - 125 # rls2101.rel NDRPDR iter NAT env 6
337
338     plot-vpp-hdrh-lat-2n-skx:
339       csit-vpp-perf-report-iterative-2101-2n-skx:
340         - 94  # rls2101.rel NDRPDR iter env 6
341
342     plot-vpp-hdrh-lat-2n-skx-rnd:
343       csit-vpp-perf-report-iterative-2101-2n-skx:
344         - 89  # rls2101.rel NDRPDR iter RND env 6
345
346     plot-vpp-hdrh-lat-2n-skx-nat:
347       csit-vpp-perf-report-iterative-2101-2n-skx:
348         - 118 # rls2101.rel NDRPDR iter NAT env 6
349
350     plot-vpp-soak-2n-skx:
351       csit-vpp-perf-report-iterative-2101-2n-skx:
352         - 68  # rls2101.rel soak env 6
353         - 73  # rls2101.rel soak env 6
354
355     plot-vpp-nfv-2n-skx-ndrpdr:
356       csit-vpp-perf-report-iterative-2101-2n-skx:
357         - 67  # rls2101.rel NDRPDR nf-density iter env 6
358         - 72  # rls2101.rel NDRPDR nf-density iter env 6
359         - 79  # rls2101.rel NDRPDR nf-density iter env 6
360         - 83  # rls2101.rel NDRPDR nf-density iter env 6
361         - 88  # rls2101.rel NDRPDR nf-density iter env 6
362         - 97  # rls2101.rel NDRPDR nf-density iter env 6
363         - 103 # rls2101.rel NDRPDR nf-density iter env 6
364         - 108 # rls2101.rel NDRPDR nf-density iter env 6
365         - 109 # rls2101.rel NDRPDR nf-density iter env 6
366         - 110 # rls2101.rel NDRPDR nf-density iter env 6
367
368     plot-vpp-nfv-2n-skx-mrr:
369       csit-vpp-perf-report-iterative-2101-2n-skx:
370         - 65  # rls2101.rel MRR nf-density iter env 6
371
372     plot-vpp-nfv-reconf-2n-skx:
373       csit-vpp-perf-report-iterative-2101-2n-skx:
374         - 64  # rls2101.rel NDRPDR reconf iter env 6
375         - 66  # rls2101.rel NDRPDR reconf iter env 6
376         - 71  # rls2101.rel NDRPDR reconf iter env 6
377         - 74  # rls2101.rel NDRPDR reconf iter env 6
378         - 78  # rls2101.rel NDRPDR reconf iter env 6
379         - 87  # rls2101.rel NDRPDR reconf iter env 6
380         - 95  # rls2101.rel NDRPDR reconf iter env 6
381         - 100 # rls2101.rel NDRPDR reconf iter env 6
382         - 104 # rls2101.rel NDRPDR reconf iter env 6
383         - 106 # rls2101.rel NDRPDR reconf iter env 6
384
385     plot-dpdk-throughput-latency-2n-skx:
386       csit-dpdk-perf-report-iterative-2101-2n-skx:
387         - 11  # rls2101 NDRPDR iter env 6
388         - 12  # rls2101 NDRPDR iter env 6
389         - 13  # rls2101 NDRPDR iter env 6
390         - 14  # rls2101 NDRPDR iter env 6
391         - 15  # rls2101 NDRPDR iter env 6
392         - 17  # rls2101 NDRPDR iter env 6
393         - 18  # rls2101 NDRPDR iter env 6
394         - 19  # rls2101 NDRPDR iter env 6
395         - 20  # rls2101 NDRPDR iter env 6
396         - 21  # rls2101 NDRPDR iter env 6
397
398     plot-dpdk-hdrh-lat-2n-skx:
399       csit-dpdk-perf-report-iterative-2101-2n-skx:
400         - 11  # rls2101 NDRPDR iter env 6
401
402     # 2n-zn2
403
404     plot-vpp-throughput-lat-tsa-2n-zn2:
405       csit-vpp-perf-report-iterative-2101-2n-zn2:
406         - 31  # rls2101.rel NDRPDR iter env 6
407         - 32  # rls2101.rel NDRPDR iter env 6
408         - 33  # rls2101.rel NDRPDR iter env 6
409         - 34  # rls2101.rel NDRPDR iter env 6
410         - 35  # rls2101.rel NDRPDR iter env 6
411         - 36  # rls2101.rel NDRPDR iter env 6
412         - 37  # rls2101.rel NDRPDR iter env 6
413         - 38  # rls2101.rel NDRPDR iter env 6
414         - 44  # rls2101.rel NDRPDR iter env 6
415         - 49  # rls2101.rel NDRPDR iter env 6
416         - 39  # rls2101.rel NDRPDR iter RND env 6
417         - 40  # rls2101.rel NDRPDR iter RND env 6
418         - 41  # rls2101.rel NDRPDR iter RND env 6
419         - 42  # rls2101.rel NDRPDR iter RND env 6
420         - 43  # rls2101.rel NDRPDR iter RND env 6
421         - 45  # rls2101.rel NDRPDR iter RND env 6
422         - 48  # rls2101.rel NDRPDR iter RND env 6
423         - 50  # rls2101.rel NDRPDR iter RND env 6
424         - 51  # rls2101.rel NDRPDR iter RND env 6
425         - 52  # rls2101.rel NDRPDR iter RND env 6
426
427     plot-vpp-hdrh-lat-2n-zn2:
428       csit-vpp-perf-report-iterative-2101-2n-zn2:
429         - 31  # rls2101.rel NDRPDR iter env 6
430
431     plot-vpp-hdrh-lat-2n-zn2-rnd:
432       csit-vpp-perf-report-iterative-2101-2n-zn2:
433         - 40  # rls2101.rel NDRPDR iter RND env 6
434
435     plot-dpdk-throughput-latency-2n-zn2:
436       csit-dpdk-perf-report-iterative-2101-2n-zn2:
437         - 11  # rls2101 NDRPDR iter env 6
438         - 12  # rls2101 NDRPDR iter env 6
439         - 13  # rls2101 NDRPDR iter env 6
440         - 14  # rls2101 NDRPDR iter env 6
441         - 16  # rls2101 NDRPDR iter env 6
442         - 17  # rls2101 NDRPDR iter env 6
443         - 18  # rls2101 NDRPDR iter env 6
444         - 19  # rls2101 NDRPDR iter env 6
445         - 20  # rls2101 NDRPDR iter env 6
446         - 21  # rls2101 NDRPDR iter env 6
447
448     plot-dpdk-hdrh-lat-2n-zn2:
449       csit-dpdk-perf-report-iterative-2101-2n-zn2:
450         - 11  # rls2101 NDRPDR iter env 6
451
452     # 2n-clx
453
454     plot-vpp-throughput-lat-tsa-2n-clx:
455       csit-vpp-perf-report-iterative-2101-2n-clx:
456         - 54  # rls2101.rel NDRPDR iter env 6
457         - 59  # rls2101.rel NDRPDR iter env 6
458         - 60  # rls2101.rel NDRPDR iter env 6
459         - 63  # rls2101.rel NDRPDR iter env 6
460         - 66  # rls2101.rel NDRPDR iter env 6
461         - 68  # rls2101.rel NDRPDR iter env 6
462         - 73  # rls2101.rel NDRPDR iter env 6
463         - 75  # rls2101.rel NDRPDR iter env 6
464         - 86  # rls2101.rel NDRPDR iter env 6
465         - 90  # rls2101.rel NDRPDR iter env 6
466         - 80  # rls2101.rel NDRPDR iter RND env 6
467         - 87  # rls2101.rel NDRPDR iter RND env 6
468         - 91  # rls2101.rel NDRPDR iter RND env 6
469         - 92  # rls2101.rel NDRPDR iter RND env 6
470         - 93  # rls2101.rel NDRPDR iter RND env 6
471         - 94  # rls2101.rel NDRPDR iter RND env 6
472         - 95  # rls2101.rel NDRPDR iter RND env 6
473         - 100 # rls2101.rel NDRPDR iter RND env 6
474         - 106 # rls2101.rel NDRPDR iter RND env 6
475         - 108 # rls2101.rel NDRPDR iter RND env 6
476         - 112 # rls2101.rel NDRPDR iter NAT env 6
477         - 113 # rls2101.rel NDRPDR iter NAT env 6
478         - 114 # rls2101.rel NDRPDR iter NAT env 6
479         - 115 # rls2101.rel NDRPDR iter NAT env 6
480         - 116 # rls2101.rel NDRPDR iter NAT env 6
481         - 117 # rls2101.rel NDRPDR iter NAT env 6
482         - 118 # rls2101.rel NDRPDR iter NAT env 6
483         - 119 # rls2101.rel NDRPDR iter NAT env 6
484         - 120 # rls2101.rel NDRPDR iter NAT env 6
485         - 121 # rls2101.rel NDRPDR iter NAT env 6
486
487     plot-vpp-hdrh-lat-2n-clx:
488       csit-vpp-perf-report-iterative-2101-2n-clx:
489         - 75  # rls2101.rel NDRPDR iter env 6
490
491     plot-vpp-hdrh-lat-2n-clx-rnd:
492       csit-vpp-perf-report-iterative-2101-2n-clx:
493         - 87  # rls2101.rel NDRPDR iter RND env 6
494
495     plot-vpp-hdrh-lat-2n-clx-nat:
496       csit-vpp-perf-report-iterative-2101-2n-clx:
497         - 118 # rls2101.rel NDRPDR iter NAT env 6
498
499     plot-vpp-nfv-2n-clx-ndrpdr:
500       csit-vpp-perf-report-iterative-2101-2n-clx:
501         - 57  # rls2101.rel NDRPDR nf-density iter env 6
502         - 62  # rls2101.rel NDRPDR nf-density iter env 6
503         - 70  # rls2101.rel NDRPDR nf-density iter env 6
504         - 71  # rls2101.rel NDRPDR nf-density iter env 6
505         - 82  # rls2101.rel NDRPDR nf-density iter env 6
506         - 88  # rls2101.rel NDRPDR nf-density iter env 6
507         - 89  # rls2101.rel NDRPDR nf-density iter env 6
508         - 96  # rls2101.rel NDRPDR nf-density iter env 6
509         - 97  # rls2101.rel NDRPDR nf-density iter env 6
510         - 98  # rls2101.rel NDRPDR nf-density iter env 6
511
512     plot-vpp-nfv-2n-clx-mrr:
513       csit-vpp-perf-report-iterative-2101-2n-clx:
514         - 72  # rls2101.rel MRR nf-density iter env 6
515
516     plot-vpp-nfv-reconf-2n-clx:
517       csit-vpp-perf-report-iterative-2101-2n-clx:
518         - 55  # rls2101.rel NDRPDR reconf iter env 6
519         - 64  # rls2101.rel NDRPDR reconf iter env 6
520         - 76  # rls2101.rel NDRPDR reconf iter env 6
521         - 83  # rls2101.rel NDRPDR reconf iter env 6
522         - 99  # rls2101.rel NDRPDR reconf iter env 6
523         - 101 # rls2101.rel NDRPDR reconf iter env 6
524         - 102 # rls2101.rel NDRPDR reconf iter env 6
525         - 107 # rls2101.rel NDRPDR reconf iter env 6
526         - 109 # rls2101.rel NDRPDR reconf iter env 6
527         - 110 # rls2101.rel NDRPDR reconf iter env 6
528
529     plot-vpp-soak-2n-clx:
530       csit-vpp-perf-report-iterative-2101-2n-clx:
531         - 58  # rls2101.rel soak env 6
532         - 61  # rls2101.rel soak env 6
533
534     plot-dpdk-throughput-latency-2n-clx:
535       csit-dpdk-perf-report-iterative-2101-2n-clx:
536         - 12  # rls2101 NDRPDR iter env 6
537         - 13  # rls2101 NDRPDR iter env 6
538         - 14  # rls2101 NDRPDR iter env 6
539         - 18  # rls2101 NDRPDR iter env 6
540         - 22  # rls2101 NDRPDR iter env 6
541
542     plot-dpdk-hdrh-lat-2n-clx:
543       csit-dpdk-perf-report-iterative-2101-2n-clx:
544         - 12  # rls2101 NDRPDR iter env 6
545
546     # 3n-tsh
547
548     plot-vpp-throughput-lat-tsa-3n-tsh:
549       csit-vpp-perf-report-iterative-2101-3n-tsh:
550         - 23  # rls2101.rel NDRPDR iter env 6
551         - 24  # rls2101.rel NDRPDR iter env 6
552         - 25  # rls2101.rel NDRPDR iter env 6
553         - 26  # rls2101.rel NDRPDR iter env 6
554         - 27  # rls2101.rel NDRPDR iter env 6
555         - 28  # rls2101.rel NDRPDR iter env 6
556         - 29  # rls2101.rel NDRPDR iter env 6
557         - 30  # rls2101.rel NDRPDR iter env 6
558         - 31  # rls2101.rel NDRPDR iter env 6
559         - 32  # rls2101.rel NDRPDR iter env 6
560
561     plot-vpp-hdrh-lat-3n-tsh:
562       csit-vpp-perf-report-iterative-2101-3n-tsh:
563         - 23  # rls2101.rel NDRPDR iter env 6
564
565     plot-dpdk-throughput-latency-3n-tsh:
566       csit-dpdk-perf-report-iterative-2101-3n-tsh:
567         - 11  # rls2101 NDRPDR iter env 6
568         - 12  # rls2101 NDRPDR iter env 6
569         - 13  # rls2101 NDRPDR iter env 6
570         - 14  # rls2101 NDRPDR iter env 6
571         - 16  # rls2101 NDRPDR iter env 6
572         - 17  # rls2101 NDRPDR iter env 6
573         - 18  # rls2101 NDRPDR iter env 6
574         - 19  # rls2101 NDRPDR iter env 6
575         - 20  # rls2101 NDRPDR iter env 6
576         - 21  # rls2101 NDRPDR iter env 6
577
578     plot-dpdk-hdrh-lat-3n-tsh:
579       csit-dpdk-perf-report-iterative-2101-3n-tsh:
580         - 21  # rls2101 NDRPDR iter env 6
581
582     # 2n-tx2
583
584     plot-vpp-throughput-lat-tsa-2n-tx2:
585       csit-vpp-perf-report-iterative-2101-2n-tx2:
586         - 22  # rls2101.rel NDRPDR iter env 6
587         - 23  # rls2101.rel NDRPDR iter env 6
588         - 24  # rls2101.rel NDRPDR iter env 6
589         - 25  # rls2101.rel NDRPDR iter env 6
590         - 26  # rls2101.rel NDRPDR iter env 6
591         - 27  # rls2101.rel NDRPDR iter env 6
592         - 28  # rls2101.rel NDRPDR iter env 6
593         - 29  # rls2101.rel NDRPDR iter env 6
594         - 30  # rls2101.rel NDRPDR iter env 6
595         - 31  # rls2101.rel NDRPDR iter env 6
596
597     plot-vpp-hdrh-lat-2n-tx2:
598       csit-vpp-perf-report-iterative-2101-2n-tx2:
599         - 29  # rls2101.rel NDRPDR iter env 6
600
601     plot-dpdk-throughput-latency-2n-tx2:
602       csit-dpdk-perf-report-iterative-2101-2n-tx2:
603         - 4   # rls2101 NDRPDR iter env 6
604         - 6   # rls2101 NDRPDR iter env 6
605         - 7   # rls2101 NDRPDR iter env 6
606         - 8   # rls2101 NDRPDR iter env 6
607         - 9   # rls2101 NDRPDR iter env 6
608         - 10  # rls2101 NDRPDR iter env 6
609         - 11  # rls2101 NDRPDR iter env 6
610         - 12  # rls2101 NDRPDR iter env 6
611         - 13  # rls2101 NDRPDR iter env 6
612         - 14  # rls2101 NDRPDR iter env 6
613
614     plot-dpdk-hdrh-lat-2n-tx2:
615       csit-dpdk-perf-report-iterative-2101-2n-tx2:
616         - 4   # rls2101 NDRPDR iter env 6
617
618     # 3n-dnv
619
620     plot-vpp-throughput-lat-tsa-3n-dnv:
621       csit-vpp-perf-report-iterative-2101-3n-dnv:
622         - 33  # rls2101.rel NDRPDR iter env 6
623         - 34  # rls2101.rel NDRPDR iter env 6
624         - 35  # rls2101.rel NDRPDR iter env 6
625         - 36  # rls2101.rel NDRPDR iter env 6
626         - 37  # rls2101.rel NDRPDR iter env 6
627         - 38  # rls2101.rel NDRPDR iter env 6
628         - 39  # rls2101.rel NDRPDR iter env 6
629         - 40  # rls2101.rel NDRPDR iter env 6
630         - 41  # rls2101.rel NDRPDR iter env 6
631         - 42  # rls2101.rel NDRPDR iter env 6
632         - 43  # rls2101.rel NDRPDR iter RND env 6
633         - 44  # rls2101.rel NDRPDR iter RND env 6
634         - 45  # rls2101.rel NDRPDR iter RND env 6
635         - 46  # rls2101.rel NDRPDR iter RND env 6
636         - 47  # rls2101.rel NDRPDR iter RND env 6
637         - 48  # rls2101.rel NDRPDR iter RND env 6
638         - 49  # rls2101.rel NDRPDR iter RND env 6
639         - 50  # rls2101.rel NDRPDR iter RND env 6
640         - 51  # rls2101.rel NDRPDR iter RND env 6
641         - 52  # rls2101.rel NDRPDR iter RND env 6
642
643 #    plot-dpdk-throughput-latency-3n-dnv:
644 #      # No data
645 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
646
647     # 2n-dnv
648
649     plot-vpp-throughput-lat-tsa-2n-dnv:
650       csit-vpp-perf-report-iterative-2101-2n-dnv:
651         - 32  # rls2101.rel NDRPDR iter env 6
652         - 33  # rls2101.rel NDRPDR iter env 6
653         - 34  # rls2101.rel NDRPDR iter env 6
654         - 35  # rls2101.rel NDRPDR iter env 6
655         - 39  # rls2101.rel NDRPDR iter env 6
656         - 41  # rls2101.rel NDRPDR iter env 6
657         - 42  # rls2101.rel NDRPDR iter env 6
658         - 43  # rls2101.rel NDRPDR iter env 6
659         - 44  # rls2101.rel NDRPDR iter env 6
660         - 45  # rls2101.rel NDRPDR iter env 6
661         - 46  # rls2101.rel NDRPDR iter RND env 6
662         - 47  # rls2101.rel NDRPDR iter RND env 6
663         - 48  # rls2101.rel NDRPDR iter RND env 6
664         - 49  # rls2101.rel NDRPDR iter RND env 6
665         - 50  # rls2101.rel NDRPDR iter RND env 6
666         - 51  # rls2101.rel NDRPDR iter RND env 6
667         - 52  # rls2101.rel NDRPDR iter RND env 6
668         - 53  # rls2101.rel NDRPDR iter RND env 6
669         - 54  # rls2101.rel NDRPDR iter RND env 6
670         - 55  # rls2101.rel NDRPDR iter RND env 6
671
672 #    plot-dpdk-throughput-latency-2n-dnv:
673 #      # No data
674 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
675
676     ###########################################################################
677     # Simple tables (only one data set):
678
679     # NIC Comparisons
680
681     vpp-nic-comparison-3n-skx:
682       csit-vpp-perf-report-iterative-2101-3n-skx:
683         - 36  # rls2101.rel NDRPDR iter env 6
684         - 37  # rls2101.rel NDRPDR iter env 6
685         - 38  # rls2101.rel NDRPDR iter env 6
686         - 39  # rls2101.rel NDRPDR iter env 6
687         - 40  # rls2101.rel NDRPDR iter env 6
688         - 41  # rls2101.rel NDRPDR iter env 6
689         - 42  # rls2101.rel NDRPDR iter env 6
690         - 47  # rls2101.rel NDRPDR iter env 6
691         - 48  # rls2101.rel NDRPDR iter env 6
692         - 50  # rls2101.rel NDRPDR iter env 6
693
694     vpp-nic-comparison-2n-skx:
695       csit-vpp-perf-report-iterative-2101-2n-skx:
696         - 63  # rls2101.rel NDRPDR iter env 6
697         - 69  # rls2101.rel NDRPDR iter env 6
698         - 70  # rls2101.rel NDRPDR iter env 6
699         - 75  # rls2101.rel NDRPDR iter env 6
700         - 76  # rls2101.rel NDRPDR iter env 6
701         - 77  # rls2101.rel NDRPDR iter env 6
702         - 82  # rls2101.rel NDRPDR iter env 6
703         - 85  # rls2101.rel NDRPDR iter env 6
704         - 86  # rls2101.rel NDRPDR iter env 6
705         - 94  # rls2101.rel NDRPDR iter env 6
706         - 89  # rls2101.rel NDRPDR iter RND env 6
707         - 90  # rls2101.rel NDRPDR iter RND env 6
708         - 91  # rls2101.rel NDRPDR iter RND env 6
709         - 92  # rls2101.rel NDRPDR iter RND env 6
710         - 93  # rls2101.rel NDRPDR iter RND env 6
711         - 96  # rls2101.rel NDRPDR iter RND env 6
712         - 98  # rls2101.rel NDRPDR iter RND env 6
713         - 99  # rls2101.rel NDRPDR iter RND env 6
714         - 101 # rls2101.rel NDRPDR iter RND env 6
715         - 102 # rls2101.rel NDRPDR iter RND env 6
716         - 116 # rls2101.rel NDRPDR iter NAT env 6
717         - 117 # rls2101.rel NDRPDR iter NAT env 6
718         - 118 # rls2101.rel NDRPDR iter NAT env 6
719         - 119 # rls2101.rel NDRPDR iter NAT env 6
720         - 120 # rls2101.rel NDRPDR iter NAT env 6
721         - 121 # rls2101.rel NDRPDR iter NAT env 6
722         - 122 # rls2101.rel NDRPDR iter NAT env 6
723         - 123 # rls2101.rel NDRPDR iter NAT env 6
724         - 124 # rls2101.rel NDRPDR iter NAT env 6
725         - 125 # rls2101.rel NDRPDR iter NAT env 6
726
727     vpp-nic-comparison-3n-skx-mrr:
728       csit-vpp-perf-report-iterative-2101-3n-skx:
729         - 35  # rls2101.rel MRR iter env 6
730
731     vpp-nic-comparison-2n-skx-mrr:
732       csit-vpp-perf-report-iterative-2101-2n-skx:
733         - 62  # rls2101.rel MRR iter env 6
734
735     # Results
736
737     vpp-perf-results-3n-hsw:
738       csit-vpp-perf-report-coverage-2101-3n-hsw:
739         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
740         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
741         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
742         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
743         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
744         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
745         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
746         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
747         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
748         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
749         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
750         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
751         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
752         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
753         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
754         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
755         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
756         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
757         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
758         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
759         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
760         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
761         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
762         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
763         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
764         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
765         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
766         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
767         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
768         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
769         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
770         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
771         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
772         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
773         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
774
775     vpp-perf-results-3n-skx:
776       csit-vpp-perf-report-coverage-2101-3n-skx:
777         - 1   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-00
778         - 2   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-01
779         - 3   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-02
780 #         - 4   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-03
781         - 5   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-00
782         - 16  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-01
783         - 7   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-02
784 #         - 17  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-03
785         - 18  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-04
786 #         - 19  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-05
787         - 20  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
788         - 12  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
789         - 13  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-00
790         - 26  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-01
791         - 15  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-02
792         - 21  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-00
793         - 22  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-01
794         - 23  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6tun-00
795         - 24  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-00
796         - 30  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-01
797         - 27  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-02
798         - 28  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-03
799         - 29  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-04
800 #         - 31  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-05
801         - 32  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-06
802         - 33  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-07
803         - 34  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-08
804         - 35  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-09
805         - 36  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-10
806         - 37  # rls2101.rel NDRPDR cov env 6 3n-skx-memif-00
807         - 38  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-00
808         - 39  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-01
809 #         - 40  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-00
810 #         - 41  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-01
811         - 42  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-02
812         - 43  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-03
813
814     vpp-perf-results-2n-skx:
815       csit-vpp-perf-report-coverage-2101-2n-skx:
816         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
817         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
818         - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
819         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
820         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
821         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
822         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
823         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
824         - 21  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
825         - 22  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
826         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
827         - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
828         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
829         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
830         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
831         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
832         - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
833         - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
834         - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
835
836     vpp-perf-results-2n-zn2:
837       csit-vpp-perf-report-iterative-2101-2n-zn2:
838         - 31  # rls2101.rel NDRPDR iter env 6
839
840     vpp-perf-results-2n-clx:
841       csit-vpp-perf-report-coverage-2101-2n-clx:
842         - 1   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-00
843         - 2   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-01
844         - 3   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-02
845         - 4   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-03
846         - 5   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-04
847         - 6   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-05
848         - 7   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-06
849         - 8   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-07
850         - 19  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
851         - 20  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
852         - 10  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-00
853         - 11  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-01
854         - 12  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-00
855         - 13  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-01
856         - 14  # rls2101.rel NDRPDR cov env 6 2n-clx-lb-00
857         - 15  # rls2101.rel NDRPDR cov env 6 2n-clx-memif-00
858         - 16  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-00
859         - 17  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-01
860         - 18  # rls2101.rel NDRPDR cov env 6 2n-clx-vts-00
861
862     vpp-perf-results-3n-tsh:
863       csit-vpp-perf-report-iterative-2101-3n-tsh:
864         - 23  # rls2101.rel NDRPDR iter env 6
865
866     vpp-perf-results-2n-tx2:
867       csit-vpp-perf-report-coverage-2101-2n-tx2:
868         - 1   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-00
869         - 2   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-01
870         - 3   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-02
871         - 4   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-03
872         - 5   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-04
873         - 6   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-05
874         - 7   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-06
875         - 8   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-00
876         - 9   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-01
877         - 10  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-00
878         - 11  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-01
879         - 12  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-02
880         - 13  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-03
881         - 15  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-04
882
883     vpp-perf-results-3n-dnv:
884       csit-vpp-perf-report-coverage-2101-3n-dnv:
885         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
886         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
887         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
888         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
889         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
890         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
891         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
892         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
893         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
894
895     vpp-perf-results-2n-dnv:
896       csit-vpp-perf-report-coverage-2101-2n-dnv:
897         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
898         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
899         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
900         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
901         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
902         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
903
904     vpp-mrr-results-3n-hsw:
905       csit-vpp-perf-report-iterative-2101-3n-hsw:
906         - 63  # rls2101.rel MRR iter env 6
907
908     vpp-mrr-results-3n-skx:
909       csit-vpp-perf-report-iterative-2101-3n-skx:
910         - 35  # rls2101.rel MRR iter env 6
911
912     vpp-mrr-results-2n-skx:
913       csit-vpp-perf-report-iterative-2101-2n-skx:
914         - 62  # rls2101.rel MRR iter env 6
915
916     vpp-mrr-results-2n-zn2:
917       csit-vpp-perf-report-iterative-2101-2n-zn2:
918         - 30  # rls2101.rel MRR iter env 6
919
920     vpp-mrr-results-2n-clx:
921       csit-vpp-perf-report-iterative-2101-2n-clx:
922         - 53  # rls2101.rel MRR iter env 6
923
924     vpp-mrr-results-3n-tsh:
925       csit-vpp-perf-report-iterative-2101-3n-tsh:
926         - 22  # rls2101.rel MRR iter env 6
927
928     vpp-mrr-results-2n-tx2:
929       csit-vpp-perf-report-iterative-2101-2n-tx2:
930         - 21  # rls2101.rel MRR iter env 6
931
932     vpp-mrr-results-3n-dnv:
933       csit-vpp-perf-report-iterative-2101-3n-dnv:
934         - 32  # rls2101.rel MRR iter env 6
935
936     vpp-mrr-results-2n-dnv:
937       csit-vpp-perf-report-iterative-2101-2n-dnv:
938         - 31  # rls2101.rel MRR iter env 6
939
940     vpp-device-results-ubuntu:
941       csit-vpp-device-2101-ubuntu1804-1n-skx:
942         - 358  # rls2101.rel VPP DEV env 6
943
944     dpdk-perf-results-3n-hsw:
945       csit-dpdk-perf-report-iterative-2101-3n-hsw:
946         - 11  # rls2101 NDRPDR iter env 6
947
948     dpdk-perf-results-3n-skx:
949       csit-dpdk-perf-report-iterative-2101-3n-skx:
950         - 12  # rls2101 NDRPDR iter env 6
951
952     dpdk-perf-results-2n-skx:
953       csit-dpdk-perf-report-iterative-2101-2n-skx:
954         - 11  # rls2101 NDRPDR iter env 6
955
956     dpdk-perf-results-2n-zn2:
957       csit-dpdk-perf-report-iterative-2101-2n-zn2:
958         - 11  # rls2101 NDRPDR iter env 6
959
960     dpdk-perf-results-2n-clx:
961       csit-dpdk-perf-report-iterative-2101-2n-clx:
962         - 12  # rls2101 NDRPDR iter env 6
963
964 #    dpdk-perf-results-2n-dnv:
965 #      # No data
966 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
967
968 #    dpdk-perf-results-3n-dnv:
969 #      # No data
970 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
971
972     dpdk-perf-results-3n-tsh:
973       csit-dpdk-perf-report-iterative-2101-3n-tsh:
974         - 21  # rls2101 NDRPDR iter env 6
975
976     dpdk-perf-results-2n-tx2:
977       csit-dpdk-perf-report-iterative-2101-2n-tx2:
978         - 4   # rls2101 NDRPDR iter env 6
979
980 ###########################################################################
981     # Tables (more than one data set)
982
983     # Performance changes
984
985     vpp-performance-changes-3n-hsw-h1:
986       csit-vpp-perf-report-iterative-2009-3n-hsw:
987         - 9   # rls2005 NDRPDR iter env 5
988         - 10  # rls2005 NDRPDR iter env 5
989         - 11  # rls2005 NDRPDR iter env 5
990         - 12  # rls2005 NDRPDR iter env 5
991         - 13  # rls2005 NDRPDR iter env 5
992         - 14  # rls2005 NDRPDR iter env 5
993         - 15  # rls2005 NDRPDR iter env 5
994         - 16  # rls2005 NDRPDR iter env 5
995         - 17  # rls2005 NDRPDR iter env 5
996         - 19  # rls2005 NDRPDR iter env 5
997     vpp-performance-changes-3n-hsw-ref-env-old:
998       csit-vpp-perf-report-iterative-2009-3n-hsw:
999         - 21  # rls2009 NDRPDR iter env 5
1000         - 22  # rls2009 NDRPDR iter env 5
1001         - 24  # rls2009 NDRPDR iter env 5
1002         - 25  # rls2009 NDRPDR iter env 5
1003         - 26  # rls2009 NDRPDR iter env 5
1004         - 27  # rls2009 NDRPDR iter env 5
1005         - 28  # rls2009 NDRPDR iter env 5
1006         - 29  # rls2009 NDRPDR iter env 5
1007         - 30  # rls2009 NDRPDR iter env 5
1008         - 31  # rls2009 NDRPDR iter env 5
1009     vpp-performance-changes-3n-hsw-ref-env-new:
1010       csit-vpp-perf-report-iterative-2101-3n-hsw:
1011         - 19  # rls2009 NDRPDR iter env 6
1012         - 20  # rls2009 NDRPDR iter env 6
1013         - 21  # rls2009 NDRPDR iter env 6
1014         - 22  # rls2009 NDRPDR iter env 6
1015         - 23  # rls2009 NDRPDR iter env 6
1016         - 24  # rls2009 NDRPDR iter env 6
1017         - 25  # rls2009 NDRPDR iter env 6
1018         - 26  # rls2009 NDRPDR iter env 6
1019         - 27  # rls2009 NDRPDR iter env 6
1020         - 28  # rls2009 NDRPDR iter env 6
1021     vpp-performance-changes-3n-hsw-cmp:
1022       csit-vpp-perf-report-iterative-2101-3n-hsw:
1023         - 64  # rls2101.rel NDRPDR iter env 6
1024         - 71  # rls2101.rel NDRPDR iter env 6
1025         - 73  # rls2101.rel NDRPDR iter env 6
1026         - 74  # rls2101.rel NDRPDR iter env 6
1027         - 80  # rls2101.rel NDRPDR iter env 6
1028         - 81  # rls2101.rel NDRPDR iter env 6
1029         - 82  # rls2101.rel NDRPDR iter env 6
1030         - 83  # rls2101.rel NDRPDR iter env 6
1031         - 88  # rls2101.rel NDRPDR iter env 6
1032         - 89  # rls2101.rel NDRPDR iter env 6
1033         - 128 # rls2101.rel NDRPDR iter RND env 6
1034         - 129 # rls2101.rel NDRPDR iter RND env 6
1035         - 130 # rls2101.rel NDRPDR iter RND env 6
1036         - 131 # rls2101.rel NDRPDR iter RND env 6
1037         - 132 # rls2101.rel NDRPDR iter RND env 6
1038         - 133 # rls2101.rel NDRPDR iter RND env 6
1039         - 134 # rls2101.rel NDRPDR iter RND env 6
1040         - 135 # rls2101.rel NDRPDR iter RND env 6
1041         - 136 # rls2101.rel NDRPDR iter RND env 6
1042         - 137 # rls2101.rel NDRPDR iter RND env 6
1043
1044     vpp-performance-changes-3n-skx-h1:
1045       csit-vpp-perf-report-iterative-2009-3n-skx:
1046         - 13  # rls2005 NDRPDR iter env 5
1047         - 18  # rls2005 NDRPDR iter env 5
1048         - 19  # rls2005 NDRPDR iter env 5
1049         - 41  # rls2005 NDRPDR iter env 5
1050         - 43  # rls2005 NDRPDR iter env 5
1051         - 44  # rls2005 NDRPDR iter env 5
1052         - 45  # rls2005 NDRPDR iter env 5
1053         - 46  # rls2005 NDRPDR iter env 5
1054         - 48  # rls2005 NDRPDR iter env 5
1055         - 49  # rls2005 NDRPDR iter env 5
1056     vpp-performance-changes-3n-skx-ref-env-old:
1057       csit-vpp-perf-report-iterative-2009-3n-skx:
1058         - 26  # rls2009 NDRPDR iter env 5
1059         - 27  # rls2009 NDRPDR iter env 5
1060         - 28  # rls2009 NDRPDR iter env 5
1061         - 29  # rls2009 NDRPDR iter env 5
1062         - 35  # rls2009 NDRPDR iter env 5
1063         - 36  # rls2009 NDRPDR iter env 5
1064         - 37  # rls2009 NDRPDR iter env 5
1065         - 38  # rls2009 NDRPDR iter env 5
1066         - 39  # rls2009 NDRPDR iter env 5
1067         - 40  # rls2009 NDRPDR iter env 5
1068     vpp-performance-changes-3n-skx-ref-env-new:
1069       csit-vpp-perf-report-iterative-2101-3n-skx:
1070         - 14  # rls2009 NDRPDR iter env 6
1071         - 15  # rls2009 NDRPDR iter env 6
1072         - 16  # rls2009 NDRPDR iter env 6
1073         - 17  # rls2009 NDRPDR iter env 6
1074         - 18  # rls2009 NDRPDR iter env 6
1075         - 25  # rls2009 NDRPDR iter env 6
1076         - 26  # rls2009 NDRPDR iter env 6
1077         - 27  # rls2009 NDRPDR iter env 6
1078         - 29  # rls2009 NDRPDR iter env 6
1079         - 31  # rls2009 NDRPDR iter env 6
1080     vpp-performance-changes-3n-skx-cmp:
1081       csit-vpp-perf-report-iterative-2101-3n-skx:
1082         - 36  # rls2101.rel NDRPDR iter env 6
1083         - 37  # rls2101.rel NDRPDR iter env 6
1084         - 38  # rls2101.rel NDRPDR iter env 6
1085         - 39  # rls2101.rel NDRPDR iter env 6
1086         - 40  # rls2101.rel NDRPDR iter env 6
1087         - 41  # rls2101.rel NDRPDR iter env 6
1088         - 42  # rls2101.rel NDRPDR iter env 6
1089         - 47  # rls2101.rel NDRPDR iter env 6
1090         - 48  # rls2101.rel NDRPDR iter env 6
1091         - 50  # rls2101.rel NDRPDR iter env 6
1092
1093     vpp-performance-changes-2n-skx-h1:
1094       csit-vpp-perf-report-iterative-2009-2n-skx:
1095         - 13  # rls2005 NDRPDR iter env 5
1096         - 16  # rls2005 NDRPDR iter env 5
1097         - 17  # rls2005 NDRPDR iter env 5
1098         - 18  # rls2005 NDRPDR iter env 5
1099         - 19  # rls2005 NDRPDR iter env 5
1100         - 21  # rls2005 NDRPDR iter env 5
1101         - 22  # rls2005 NDRPDR iter env 5
1102         - 23  # rls2005 NDRPDR iter env 5
1103         - 24  # rls2005 NDRPDR iter env 5
1104         - 25  # rls2005 NDRPDR iter env 5
1105     vpp-performance-changes-2n-skx-ref-env-old:
1106       csit-vpp-perf-report-iterative-2009-2n-skx:
1107         - 35  # rls2009 NDRPDR iter env 5
1108         - 36  # rls2009 NDRPDR iter env 5
1109         - 37  # rls2009 NDRPDR iter env 5
1110         - 39  # rls2009 NDRPDR iter env 5
1111         - 40  # rls2009 NDRPDR iter env 5
1112         - 42  # rls2009 NDRPDR iter env 5
1113         - 43  # rls2009 NDRPDR iter env 5
1114         - 44  # rls2009 NDRPDR iter env 5
1115         - 46  # rls2009 NDRPDR iter env 5
1116         - 48  # rls2009 NDRPDR iter env 5
1117         - 110 # rls2009 NDRPDR iter NAT44 env 5
1118         - 111 # rls2009 NDRPDR iter NAT44 env 5
1119         - 112 # rls2009 NDRPDR iter NAT44 env 5
1120         - 113 # rls2009 NDRPDR iter NAT44 env 5
1121         - 114 # rls2009 NDRPDR iter NAT44 env 5
1122         - 115 # rls2009 NDRPDR iter NAT44 env 5
1123         - 116 # rls2009 NDRPDR iter NAT44 env 5
1124         - 118 # rls2009 NDRPDR iter NAT44 env 5
1125         - 119 # rls2009 NDRPDR iter NAT44 env 5
1126         - 121 # rls2009 NDRPDR iter NAT44 env 5
1127     vpp-performance-changes-2n-skx-ref-env-new:
1128       csit-vpp-perf-report-iterative-2101-2n-skx:
1129         - 22  # rls2009 NDRPDR iter env 6
1130         - 23  # rls2009 NDRPDR iter env 6
1131         - 24  # rls2009 NDRPDR iter env 6
1132         - 25  # rls2009 NDRPDR iter env 6
1133         - 26  # rls2009 NDRPDR iter env 6
1134         - 28  # rls2009 NDRPDR iter env 6
1135         - 39  # rls2009 NDRPDR iter env 6
1136         - 40  # rls2009 NDRPDR iter env 6
1137         - 41  # rls2009 NDRPDR iter env 6
1138         - 44  # rls2009 NDRPDR iter env 6
1139     vpp-performance-changes-2n-skx-cmp:
1140       csit-vpp-perf-report-iterative-2101-2n-skx:
1141         - 63  # rls2101.rel NDRPDR iter env 6
1142         - 69  # rls2101.rel NDRPDR iter env 6
1143         - 70  # rls2101.rel NDRPDR iter env 6
1144         - 75  # rls2101.rel NDRPDR iter env 6
1145         - 76  # rls2101.rel NDRPDR iter env 6
1146         - 77  # rls2101.rel NDRPDR iter env 6
1147         - 82  # rls2101.rel NDRPDR iter env 6
1148         - 85  # rls2101.rel NDRPDR iter env 6
1149         - 86  # rls2101.rel NDRPDR iter env 6
1150         - 94  # rls2101.rel NDRPDR iter env 6
1151         - 89  # rls2101.rel NDRPDR iter RND env 6
1152         - 90  # rls2101.rel NDRPDR iter RND env 6
1153         - 91  # rls2101.rel NDRPDR iter RND env 6
1154         - 92  # rls2101.rel NDRPDR iter RND env 6
1155         - 93  # rls2101.rel NDRPDR iter RND env 6
1156         - 96  # rls2101.rel NDRPDR iter RND env 6
1157         - 98  # rls2101.rel NDRPDR iter RND env 6
1158         - 99  # rls2101.rel NDRPDR iter RND env 6
1159         - 101 # rls2101.rel NDRPDR iter RND env 6
1160         - 102 # rls2101.rel NDRPDR iter RND env 6
1161         - 116 # rls2101.rel NDRPDR iter NAT env 6
1162         - 117 # rls2101.rel NDRPDR iter NAT env 6
1163         - 118 # rls2101.rel NDRPDR iter NAT env 6
1164         - 119 # rls2101.rel NDRPDR iter NAT env 6
1165         - 120 # rls2101.rel NDRPDR iter NAT env 6
1166         - 121 # rls2101.rel NDRPDR iter NAT env 6
1167         - 122 # rls2101.rel NDRPDR iter NAT env 6
1168         - 123 # rls2101.rel NDRPDR iter NAT env 6
1169         - 124 # rls2101.rel NDRPDR iter NAT env 6
1170         - 125 # rls2101.rel NDRPDR iter NAT env 6
1171
1172     vpp-performance-changes-2n-clx-h1:
1173       csit-vpp-perf-report-iterative-2009-2n-clx:
1174         - 13  # rls2005 NDRPDR iter env 5
1175         - 15  # rls2005 NDRPDR iter env 5
1176         - 17  # rls2005 NDRPDR iter env 5
1177         - 18  # rls2005 NDRPDR iter env 5
1178         - 19  # rls2005 NDRPDR iter env 5
1179         - 20  # rls2005 NDRPDR iter env 5
1180         - 21  # rls2005 NDRPDR iter env 5
1181         - 22  # rls2005 NDRPDR iter env 5
1182         - 23  # rls2005 NDRPDR iter env 5
1183         - 24  # rls2005 NDRPDR iter env 5
1184     vpp-performance-changes-2n-clx-ref-env-old:
1185       csit-vpp-perf-report-iterative-2009-2n-clx:
1186         - 36  # rls2009 NDRPDR iter env 5
1187         - 39  # rls2009 NDRPDR iter env 5
1188         - 40  # rls2009 NDRPDR iter env 5
1189         - 65  # rls2009 NDRPDR iter env 5
1190         - 66  # rls2009 NDRPDR iter env 5
1191         - 79  # rls2009 NDRPDR iter env 5
1192         - 82  # rls2009 NDRPDR iter env 5
1193         - 88  # rls2009 NDRPDR iter env 5
1194         - 89  # rls2009 NDRPDR iter env 5
1195         - 90  # rls2009 NDRPDR iter env 5
1196         - 114 # rls2009 NDRPDR iter NAT44 env 5
1197         - 115 # rls2009 NDRPDR iter NAT44 env 5
1198         - 116 # rls2009 NDRPDR iter NAT44 env 5
1199         - 117 # rls2009 NDRPDR iter NAT44 env 5
1200         - 118 # rls2009 NDRPDR iter NAT44 env 5
1201         - 119 # rls2009 NDRPDR iter NAT44 env 5
1202         - 121 # rls2009 NDRPDR iter NAT44 env 5
1203         - 122 # rls2009 NDRPDR iter NAT44 env 5
1204         - 123 # rls2009 NDRPDR iter NAT44 env 5
1205         - 126 # rls2009 NDRPDR iter NAT44 env 5
1206     vpp-performance-changes-2n-clx-ref-env-new:
1207       csit-vpp-perf-report-iterative-2101-2n-clx:
1208         - 16  # rls2009 NDRPDR iter env 6
1209         - 17  # rls2009 NDRPDR iter env 6
1210         - 18  # rls2009 NDRPDR iter env 6
1211         - 19  # rls2009 NDRPDR iter env 6
1212         - 20  # rls2009 NDRPDR iter env 6
1213         - 21  # rls2009 NDRPDR iter env 6
1214         - 32  # rls2009 NDRPDR iter env 6
1215         - 33  # rls2009 NDRPDR iter env 6
1216         - 34  # rls2009 NDRPDR iter env 6
1217         - 35  # rls2009 NDRPDR iter env 6
1218     vpp-performance-changes-2n-clx-cmp:
1219       csit-vpp-perf-report-iterative-2101-2n-clx:
1220         - 54  # rls2101.rel NDRPDR iter env 6
1221         - 59  # rls2101.rel NDRPDR iter env 6
1222         - 60  # rls2101.rel NDRPDR iter env 6
1223         - 63  # rls2101.rel NDRPDR iter env 6
1224         - 66  # rls2101.rel NDRPDR iter env 6
1225         - 68  # rls2101.rel NDRPDR iter env 6
1226         - 73  # rls2101.rel NDRPDR iter env 6
1227         - 75  # rls2101.rel NDRPDR iter env 6
1228         - 86  # rls2101.rel NDRPDR iter env 6
1229         - 90  # rls2101.rel NDRPDR iter env 6
1230         - 80  # rls2101.rel NDRPDR iter RND env 6
1231         - 87  # rls2101.rel NDRPDR iter RND env 6
1232         - 91  # rls2101.rel NDRPDR iter RND env 6
1233         - 92  # rls2101.rel NDRPDR iter RND env 6
1234         - 93  # rls2101.rel NDRPDR iter RND env 6
1235         - 94  # rls2101.rel NDRPDR iter RND env 6
1236         - 95  # rls2101.rel NDRPDR iter RND env 6
1237         - 100 # rls2101.rel NDRPDR iter RND env 6
1238         - 106 # rls2101.rel NDRPDR iter RND env 6
1239         - 108 # rls2101.rel NDRPDR iter RND env 6
1240         - 112 # rls2101.rel NDRPDR iter NAT env 6
1241         - 113 # rls2101.rel NDRPDR iter NAT env 6
1242         - 114 # rls2101.rel NDRPDR iter NAT env 6
1243         - 115 # rls2101.rel NDRPDR iter NAT env 6
1244         - 116 # rls2101.rel NDRPDR iter NAT env 6
1245         - 117 # rls2101.rel NDRPDR iter NAT env 6
1246         - 118 # rls2101.rel NDRPDR iter NAT env 6
1247         - 119 # rls2101.rel NDRPDR iter NAT env 6
1248         - 120 # rls2101.rel NDRPDR iter NAT env 6
1249         - 121 # rls2101.rel NDRPDR iter NAT env 6
1250
1251     vpp-performance-changes-2n-zn2-ref-env-old:
1252       csit-vpp-perf-report-iterative-2009-2n-zn2:
1253         - 17  # rls2009 NDRPDR iter env 5
1254         - 18  # rls2009 NDRPDR iter env 5
1255         - 31  # rls2009 NDRPDR iter env 5
1256         - 33  # rls2009 NDRPDR iter env 5
1257         - 34  # rls2009 NDRPDR iter env 5
1258     vpp-performance-changes-2n-zn2-ref-env-new:
1259       csit-vpp-perf-report-iterative-2101-2n-zn2:
1260         - 9   # rls2009 NDRPDR iter env 6
1261         - 10  # rls2009 NDRPDR iter env 6
1262         - 11  # rls2009 NDRPDR iter env 6
1263         - 12  # rls2009 NDRPDR iter env 6
1264         - 13  # rls2009 NDRPDR iter env 6
1265         - 20  # rls2009 NDRPDR iter env 6
1266         - 21  # rls2009 NDRPDR iter env 6
1267         - 22  # rls2009 NDRPDR iter env 6
1268         - 25  # rls2009 NDRPDR iter env 6
1269         - 26  # rls2009 NDRPDR iter env 6
1270     vpp-performance-changes-2n-zn2-cmp:
1271       csit-vpp-perf-report-iterative-2101-2n-zn2:
1272         - 31  # rls2101.rel NDRPDR iter env 6
1273         - 32  # rls2101.rel NDRPDR iter env 6
1274         - 33  # rls2101.rel NDRPDR iter env 6
1275         - 34  # rls2101.rel NDRPDR iter env 6
1276         - 35  # rls2101.rel NDRPDR iter env 6
1277         - 36  # rls2101.rel NDRPDR iter env 6
1278         - 37  # rls2101.rel NDRPDR iter env 6
1279         - 38  # rls2101.rel NDRPDR iter env 6
1280         - 44  # rls2101.rel NDRPDR iter env 6
1281         - 49  # rls2101.rel NDRPDR iter env 6
1282         - 39  # rls2101.rel NDRPDR iter RND env 6
1283         - 40  # rls2101.rel NDRPDR iter RND env 6
1284         - 41  # rls2101.rel NDRPDR iter RND env 6
1285         - 42  # rls2101.rel NDRPDR iter RND env 6
1286         - 43  # rls2101.rel NDRPDR iter RND env 6
1287         - 45  # rls2101.rel NDRPDR iter RND env 6
1288         - 48  # rls2101.rel NDRPDR iter RND env 6
1289         - 50  # rls2101.rel NDRPDR iter RND env 6
1290         - 51  # rls2101.rel NDRPDR iter RND env 6
1291         - 52  # rls2101.rel NDRPDR iter RND env 6
1292
1293     vpp-performance-changes-2n-dnv-h1:
1294       csit-vpp-perf-report-iterative-2009-2n-dnv:
1295         - 16  # rls2005 NDRPDR iter env 5
1296         - 17  # rls2005 NDRPDR iter env 5
1297         - 18  # rls2005 NDRPDR iter env 5
1298         - 19  # rls2005 NDRPDR iter env 5
1299         - 21  # rls2005 NDRPDR iter env 5
1300         - 24  # rls2005 NDRPDR iter env 5
1301         - 27  # rls2005 NDRPDR iter env 5
1302         - 28  # rls2005 NDRPDR iter env 5
1303         - 29  # rls2005 NDRPDR iter env 5
1304         - 30  # rls2005 NDRPDR iter env 5
1305     vpp-performance-changes-2n-dnv-ref-env-old:
1306       csit-vpp-perf-report-iterative-2009-2n-dnv:
1307         - 3   # rls2009 NDRPDR iter env 5
1308         - 5   # rls2009 NDRPDR iter env 5
1309         - 6   # rls2009 NDRPDR iter env 5
1310         - 7   # rls2009 NDRPDR iter env 5
1311         - 9   # rls2009 NDRPDR iter env 5
1312         - 10  # rls2009 NDRPDR iter env 5
1313         - 11  # rls2009 NDRPDR iter env 5
1314         - 12  # rls2009 NDRPDR iter env 5
1315         - 14  # rls2009 NDRPDR iter env 5
1316         - 15  # rls2009 NDRPDR iter env 5
1317     vpp-performance-changes-2n-dnv-ref-env-new:
1318       # TODO: Re-test in new env
1319       csit-vpp-perf-report-iterative-2009-2n-dnv:
1320         - 3   # rls2009 NDRPDR iter env 5
1321         - 5   # rls2009 NDRPDR iter env 5
1322         - 6   # rls2009 NDRPDR iter env 5
1323         - 7   # rls2009 NDRPDR iter env 5
1324         - 9   # rls2009 NDRPDR iter env 5
1325         - 10  # rls2009 NDRPDR iter env 5
1326         - 11  # rls2009 NDRPDR iter env 5
1327         - 12  # rls2009 NDRPDR iter env 5
1328         - 14  # rls2009 NDRPDR iter env 5
1329         - 15  # rls2009 NDRPDR iter env 5
1330     vpp-performance-changes-2n-dnv-cmp:
1331       csit-vpp-perf-report-iterative-2101-2n-dnv:
1332         - 32  # rls2101.rel NDRPDR iter env 6
1333         - 33  # rls2101.rel NDRPDR iter env 6
1334         - 34  # rls2101.rel NDRPDR iter env 6
1335         - 35  # rls2101.rel NDRPDR iter env 6
1336         - 39  # rls2101.rel NDRPDR iter env 6
1337         - 41  # rls2101.rel NDRPDR iter env 6
1338         - 42  # rls2101.rel NDRPDR iter env 6
1339         - 43  # rls2101.rel NDRPDR iter env 6
1340         - 44  # rls2101.rel NDRPDR iter env 6
1341         - 45  # rls2101.rel NDRPDR iter env 6
1342         - 46  # rls2101.rel NDRPDR iter RND env 6
1343         - 47  # rls2101.rel NDRPDR iter RND env 6
1344         - 48  # rls2101.rel NDRPDR iter RND env 6
1345         - 49  # rls2101.rel NDRPDR iter RND env 6
1346         - 50  # rls2101.rel NDRPDR iter RND env 6
1347         - 51  # rls2101.rel NDRPDR iter RND env 6
1348         - 52  # rls2101.rel NDRPDR iter RND env 6
1349         - 53  # rls2101.rel NDRPDR iter RND env 6
1350         - 54  # rls2101.rel NDRPDR iter RND env 6
1351         - 55  # rls2101.rel NDRPDR iter RND env 6
1352
1353     vpp-performance-changes-3n-dnv-h1:
1354       csit-vpp-perf-report-iterative-2009-3n-dnv:
1355         - 16  # rls2005 NDRPDR iter env 5
1356         - 23  # rls2005 NDRPDR iter env 5
1357         - 25  # rls2005 NDRPDR iter env 5
1358         - 26  # rls2005 NDRPDR iter env 5
1359         - 27  # rls2005 NDRPDR iter env 5
1360         - 28  # rls2005 NDRPDR iter env 5
1361         - 29  # rls2005 NDRPDR iter env 5
1362         - 30  # rls2005 NDRPDR iter env 5
1363         - 31  # rls2005 NDRPDR iter env 5
1364         - 32  # rls2005 NDRPDR iter env 5
1365     vpp-performance-changes-3n-dnv-ref-env-old:
1366       csit-vpp-perf-report-iterative-2009-3n-dnv:
1367         - 3   # rls2009 NDRPDR iter env 5
1368         - 6   # rls2009 NDRPDR iter env 5
1369         - 7   # rls2009 NDRPDR iter env 5
1370         - 8   # rls2009 NDRPDR iter env 5
1371         - 10  # rls2009 NDRPDR iter env 5
1372         - 11  # rls2009 NDRPDR iter env 5
1373         - 12  # rls2009 NDRPDR iter env 5
1374         - 14  # rls2009 NDRPDR iter env 5
1375         - 15  # rls2009 NDRPDR iter env 5
1376         - 24  # rls2009 NDRPDR iter env 5
1377     vpp-performance-changes-3n-dnv-ref-env-new:
1378       # TODO: Re-test in new env
1379       csit-vpp-perf-report-iterative-2009-3n-dnv:
1380         - 3   # rls2009 NDRPDR iter env 5
1381         - 6   # rls2009 NDRPDR iter env 5
1382         - 7   # rls2009 NDRPDR iter env 5
1383         - 8   # rls2009 NDRPDR iter env 5
1384         - 10  # rls2009 NDRPDR iter env 5
1385         - 11  # rls2009 NDRPDR iter env 5
1386         - 12  # rls2009 NDRPDR iter env 5
1387         - 14  # rls2009 NDRPDR iter env 5
1388         - 15  # rls2009 NDRPDR iter env 5
1389         - 24  # rls2009 NDRPDR iter env 5
1390     vpp-performance-changes-3n-dnv-cmp:
1391       csit-vpp-perf-report-iterative-2101-3n-dnv:
1392         - 33  # rls2101.rel NDRPDR iter env 6
1393         - 34  # rls2101.rel NDRPDR iter env 6
1394         - 35  # rls2101.rel NDRPDR iter env 6
1395         - 36  # rls2101.rel NDRPDR iter env 6
1396         - 37  # rls2101.rel NDRPDR iter env 6
1397         - 38  # rls2101.rel NDRPDR iter env 6
1398         - 39  # rls2101.rel NDRPDR iter env 6
1399         - 40  # rls2101.rel NDRPDR iter env 6
1400         - 41  # rls2101.rel NDRPDR iter env 6
1401         - 42  # rls2101.rel NDRPDR iter env 6
1402         - 43  # rls2101.rel NDRPDR iter RND env 6
1403         - 44  # rls2101.rel NDRPDR iter RND env 6
1404         - 45  # rls2101.rel NDRPDR iter RND env 6
1405         - 46  # rls2101.rel NDRPDR iter RND env 6
1406         - 47  # rls2101.rel NDRPDR iter RND env 6
1407         - 48  # rls2101.rel NDRPDR iter RND env 6
1408         - 49  # rls2101.rel NDRPDR iter RND env 6
1409         - 50  # rls2101.rel NDRPDR iter RND env 6
1410         - 51  # rls2101.rel NDRPDR iter RND env 6
1411         - 52  # rls2101.rel NDRPDR iter RND env 6
1412
1413     vpp-performance-changes-3n-tsh-h1:
1414       csit-vpp-perf-report-iterative-2009-3n-tsh:
1415         - 8   # rls2005 NDRPDR iter env 5
1416         - 11  # rls2005 NDRPDR iter env 5
1417         - 12  # rls2005 NDRPDR iter env 5
1418         - 24  # rls2005 NDRPDR iter env 5
1419         - 27  # rls2005 NDRPDR iter env 5
1420         - 29  # rls2005 NDRPDR iter env 5
1421         - 31  # rls2005 NDRPDR iter env 5
1422         - 39  # rls2005 NDRPDR iter env 5
1423         - 40  # rls2005 NDRPDR iter env 5
1424         - 42  # rls2005 NDRPDR iter env 5
1425     vpp-performance-changes-3n-tsh-ref-env-old:
1426       csit-vpp-perf-report-iterative-2009-3n-tsh:
1427         - 14  # rls2009 NDRPDR iter env 5
1428         - 20  # rls2009 NDRPDR iter env 5
1429         - 21  # rls2009 NDRPDR iter env 5
1430         - 22  # rls2009 NDRPDR iter env 5
1431         - 23  # rls2009 NDRPDR iter env 5
1432         - 28  # rls2009 NDRPDR iter env 5
1433         - 30  # rls2009 NDRPDR iter env 5
1434         - 33  # rls2009 NDRPDR iter env 5
1435         - 38  # rls2009 NDRPDR iter env 5
1436         - 41  # rls2009 NDRPDR iter env 5
1437     vpp-performance-changes-3n-tsh-ref-env-new:
1438       csit-vpp-perf-report-iterative-2101-3n-tsh:
1439         - 8   # rls2009 NDRPDR iter env 6
1440         - 13  # rls2009 NDRPDR iter env 6
1441         - 14  # rls2009 NDRPDR iter env 6
1442         - 15  # rls2009 NDRPDR iter env 6
1443         - 16  # rls2009 NDRPDR iter env 6
1444         - 17  # rls2009 NDRPDR iter env 6
1445         - 18  # rls2009 NDRPDR iter env 6
1446         - 19  # rls2009 NDRPDR iter env 6
1447         - 21  # rls2009 NDRPDR iter env 6
1448     vpp-performance-changes-3n-tsh-cmp:
1449       csit-vpp-perf-report-iterative-2101-3n-tsh:
1450         - 23  # rls2101.rel NDRPDR iter env 6
1451         - 24  # rls2101.rel NDRPDR iter env 6
1452         - 25  # rls2101.rel NDRPDR iter env 6
1453         - 26  # rls2101.rel NDRPDR iter env 6
1454         - 27  # rls2101.rel NDRPDR iter env 6
1455         - 28  # rls2101.rel NDRPDR iter env 6
1456         - 29  # rls2101.rel NDRPDR iter env 6
1457         - 30  # rls2101.rel NDRPDR iter env 6
1458         - 31  # rls2101.rel NDRPDR iter env 6
1459         - 32  # rls2101.rel NDRPDR iter env 6
1460
1461 #     vpp-performance-changes-2n-tx2-h1:
1462 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1463 #         -
1464 #     vpp-performance-changes-2n-tx2-ref-env-old:
1465 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1466 #         -
1467     vpp-performance-changes-2n-tx2-ref-env-new:
1468       csit-vpp-perf-report-iterative-2101-2n-tx2:
1469         - 6   # rls2009 NDRPDR iter env 6
1470         - 7   # rls2009 NDRPDR iter env 6
1471         - 11  # rls2009 NDRPDR iter env 6
1472         - 12  # rls2009 NDRPDR iter env 6
1473         - 13  # rls2009 NDRPDR iter env 6
1474         - 16  # rls2009 NDRPDR iter env 6
1475         - 17  # rls2009 NDRPDR iter env 6
1476         - 18  # rls2009 NDRPDR iter env 6
1477         - 19  # rls2009 NDRPDR iter env 6
1478         - 20  # rls2009 NDRPDR iter env 6
1479     vpp-performance-changes-2n-tx2-cmp:
1480       csit-vpp-perf-report-iterative-2101-2n-tx2:
1481         - 22  # rls2101.rel NDRPDR iter env 6
1482         - 23  # rls2101.rel NDRPDR iter env 6
1483         - 24  # rls2101.rel NDRPDR iter env 6
1484         - 25  # rls2101.rel NDRPDR iter env 6
1485         - 26  # rls2101.rel NDRPDR iter env 6
1486         - 27  # rls2101.rel NDRPDR iter env 6
1487         - 28  # rls2101.rel NDRPDR iter env 6
1488         - 29  # rls2101.rel NDRPDR iter env 6
1489         - 30  # rls2101.rel NDRPDR iter env 6
1490         - 31  # rls2101.rel NDRPDR iter env 6
1491
1492     vpp-soak-vs-ndr-2n-skx-ref:
1493       csit-vpp-perf-report-iterative-2101-2n-skx:
1494         - 63  # rls2101.rel NDRPDR iter env 6
1495         - 69  # rls2101.rel NDRPDR iter env 6
1496         - 70  # rls2101.rel NDRPDR iter env 6
1497         - 75  # rls2101.rel NDRPDR iter env 6
1498         - 76  # rls2101.rel NDRPDR iter env 6
1499         - 77  # rls2101.rel NDRPDR iter env 6
1500         - 82  # rls2101.rel NDRPDR iter env 6
1501         - 85  # rls2101.rel NDRPDR iter env 6
1502         - 86  # rls2101.rel NDRPDR iter env 6
1503         - 94  # rls2101.rel NDRPDR iter env 6
1504     vpp-soak-vs-ndr-2n-skx-cmp:
1505       csit-vpp-perf-report-iterative-2101-2n-skx:
1506         - 68  # rls2101.rel soak env 6
1507         - 73  # rls2101.rel soak env 6
1508     vpp-soak-vs-ndr-2n-skx:
1509       csit-vpp-perf-report-iterative-2101-2n-skx:
1510         - 63  # rls2101.rel NDRPDR iter env 6
1511         - 69  # rls2101.rel NDRPDR iter env 6
1512         - 70  # rls2101.rel NDRPDR iter env 6
1513         - 75  # rls2101.rel NDRPDR iter env 6
1514         - 76  # rls2101.rel NDRPDR iter env 6
1515         - 77  # rls2101.rel NDRPDR iter env 6
1516         - 82  # rls2101.rel NDRPDR iter env 6
1517         - 85  # rls2101.rel NDRPDR iter env 6
1518         - 86  # rls2101.rel NDRPDR iter env 6
1519         - 94  # rls2101.rel NDRPDR iter env 6
1520         - 68  # rls2101.rel soak env 6
1521         - 73  # rls2101.rel soak env 6
1522
1523     vpp-soak-vs-ndr-2n-clx-ref:
1524       csit-vpp-perf-report-iterative-2101-2n-clx:
1525         - 54  # rls2101.rel NDRPDR iter env 6
1526         - 59  # rls2101.rel NDRPDR iter env 6
1527         - 60  # rls2101.rel NDRPDR iter env 6
1528         - 63  # rls2101.rel NDRPDR iter env 6
1529         - 66  # rls2101.rel NDRPDR iter env 6
1530         - 68  # rls2101.rel NDRPDR iter env 6
1531         - 73  # rls2101.rel NDRPDR iter env 6
1532         - 75  # rls2101.rel NDRPDR iter env 6
1533         - 86  # rls2101.rel NDRPDR iter env 6
1534         - 90  # rls2101.rel NDRPDR iter env 6
1535     vpp-soak-vs-ndr-2n-clx-cmp:
1536       csit-vpp-perf-report-iterative-2101-2n-clx:
1537         - 58  # rls2101.rel soak env 6
1538         - 61  # rls2101.rel soak env 6
1539     vpp-soak-vs-ndr-2n-clx:
1540       csit-vpp-perf-report-iterative-2101-2n-clx:
1541         - 54  # rls2101.rel NDRPDR iter env 6
1542         - 59  # rls2101.rel NDRPDR iter env 6
1543         - 60  # rls2101.rel NDRPDR iter env 6
1544         - 63  # rls2101.rel NDRPDR iter env 6
1545         - 66  # rls2101.rel NDRPDR iter env 6
1546         - 68  # rls2101.rel NDRPDR iter env 6
1547         - 73  # rls2101.rel NDRPDR iter env 6
1548         - 75  # rls2101.rel NDRPDR iter env 6
1549         - 86  # rls2101.rel NDRPDR iter env 6
1550         - 90  # rls2101.rel NDRPDR iter env 6
1551         - 58  # rls2101.rel soak env 6
1552         - 61  # rls2101.rel soak env 6
1553
1554     vpp-performance-changes-3n-hsw-mrr-h1:
1555       csit-vpp-perf-report-iterative-2009-3n-hsw:
1556         - 18  # rls2005 MRR iter env 5
1557     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1558       csit-vpp-perf-report-iterative-2009-3n-hsw:
1559         - 23  # rls2009 MRR iter env 5
1560     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1561       csit-vpp-perf-report-iterative-2101-3n-hsw:
1562         - 17  # rls2009 MRR iter env 6
1563     vpp-performance-changes-3n-hsw-mrr-cmp:
1564       csit-vpp-perf-report-iterative-2101-3n-hsw:
1565         - 63  # rls2101.rel MRR iter env 6
1566
1567     vpp-performance-changes-3n-skx-mrr-h1:
1568       csit-vpp-perf-report-iterative-2009-3n-skx:
1569         - 17  # rls2005 MRR iter env 5
1570     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1571       csit-vpp-perf-report-iterative-2009-3n-skx:
1572         - 24  # rls2009 MRR iter env 5
1573     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1574       csit-vpp-perf-report-iterative-2101-3n-skx:
1575         - 34  # rls2009 MRR iter env 6
1576     vpp-performance-changes-3n-skx-mrr-cmp:
1577       csit-vpp-perf-report-iterative-2101-3n-skx:
1578         - 35  # rls2101.rel MRR iter env 6
1579
1580     vpp-performance-changes-2n-skx-mrr-h1:
1581       csit-vpp-perf-report-iterative-2009-2n-skx:
1582         - 20  # rls2005 MRR iter env 5
1583     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1584       csit-vpp-perf-report-iterative-2009-2n-skx:
1585         - 120 # rls2009 MRR iter env 5
1586     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1587       csit-vpp-perf-report-iterative-2101-2n-skx:
1588         - 21  # rls2009 MRR iter env 6
1589     vpp-performance-changes-2n-skx-mrr-cmp:
1590       csit-vpp-perf-report-iterative-2101-2n-skx:
1591         - 62  # rls2101.rel MRR iter env 6
1592
1593     vpp-performance-changes-2n-clx-mrr-h1:
1594       csit-vpp-perf-report-iterative-2009-2n-clx:
1595         - 77  # rls2005 MRR iter env 5
1596     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1597       csit-vpp-perf-report-iterative-2009-2n-clx:
1598         - 125 # rls2009 MRR iter env 5
1599     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1600       csit-vpp-perf-report-iterative-2101-2n-clx:
1601         - 15  # rls2009 MRR iter env 6
1602     vpp-performance-changes-2n-clx-mrr-cmp:
1603       csit-vpp-perf-report-iterative-2101-2n-clx:
1604         - 53  # rls2101.rel MRR iter env 6
1605
1606     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1607       csit-vpp-perf-report-iterative-2009-2n-zn2:
1608         - 15  # rls2009 MRR iter env 5
1609     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1610       csit-vpp-perf-report-iterative-2101-2n-zn2:
1611         - 8   # rls2009 MRR iter env6
1612     vpp-performance-changes-2n-zn2-mrr-cmp:
1613       csit-vpp-perf-report-iterative-2101-2n-zn2:
1614         - 30  # rls2101.rel MRR iter env 6
1615
1616     vpp-performance-changes-2n-dnv-mrr-h1:
1617       csit-vpp-perf-report-iterative-2009-2n-dnv:
1618         - 23  # rls2005 MRR iter env 5
1619     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1620       csit-vpp-perf-report-iterative-2009-2n-dnv:
1621         - 13  # rls2009 MRR iter env 5
1622     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1623       # TODO: Re-test in new env
1624       csit-vpp-perf-report-iterative-2009-2n-dnv:
1625         - 13  # rls2009 MRR iter env 5
1626     vpp-performance-changes-2n-dnv-mrr-cmp:
1627       csit-vpp-perf-report-iterative-2101-2n-dnv:
1628         - 31  # rls2101.rel MRR iter env 6
1629
1630     vpp-performance-changes-3n-dnv-mrr-h1:
1631       csit-vpp-perf-report-iterative-2009-3n-dnv:
1632         - 19  # rls2005 MRR iter env 5
1633     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1634       csit-vpp-perf-report-iterative-2009-3n-dnv:
1635         - 22  # rls2009 MRR iter env 5
1636     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1637       # TODO: Re-test in new env
1638       csit-vpp-perf-report-iterative-2009-3n-dnv:
1639         - 22  # rls2009 MRR iter env 5
1640     vpp-performance-changes-3n-dnv-mrr-cmp:
1641       csit-vpp-perf-report-iterative-2101-3n-dnv:
1642         - 32  # rls2101.rel MRR iter env 6
1643
1644     vpp-performance-changes-3n-tsh-mrr-h1:
1645       csit-vpp-perf-report-iterative-2009-3n-tsh:
1646         - 13  # rls2005 MRR iter env 5
1647     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1648       csit-vpp-perf-report-iterative-2009-3n-tsh:
1649         - 15  # rls2009 MRR iter env 5
1650     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1651       csit-vpp-perf-report-iterative-2101-3n-tsh:
1652         - 7   # rls2009 MRR iter env 6
1653     vpp-performance-changes-3n-tsh-mrr-cmp:
1654       csit-vpp-perf-report-iterative-2101-3n-tsh:
1655         - 22  # rls2101.rel MRR iter env 6
1656
1657 #     vpp-performance-changes-2n-tx2-mrr-h1:
1658 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1659 #         -
1660 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1661 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1662 #         -
1663     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1664       csit-vpp-perf-report-iterative-2101-2n-tx2:
1665         - 5   # rls2009 MRR iter env 6
1666     vpp-performance-changes-2n-tx2-mrr-cmp:
1667       csit-vpp-perf-report-iterative-2101-2n-tx2:
1668         - 21  # rls2101.rel MRR iter env 6
1669
1670     dpdk-performance-changes-3n-hsw-h1:
1671       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1672         - 25  # NDRPDR iter
1673         - 26  # NDRPDR iter
1674         - 27  # NDRPDR iter
1675         - 28  # NDRPDR iter
1676         - 29  # NDRPDR iter
1677         - 30  # NDRPDR iter
1678         - 31  # NDRPDR iter
1679         - 32  # NDRPDR iter
1680         - 33  # NDRPDR iter
1681         - 34  # NDRPDR iter
1682     dpdk-performance-changes-3n-hsw-ref:
1683       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1684         - 6   # NDRPDR iter env5
1685         - 7   # NDRPDR iter env5
1686         - 8   # NDRPDR iter env5
1687         - 9   # NDRPDR iter env5
1688         - 10  # NDRPDR iter env5
1689         - 11  # NDRPDR iter env5
1690         - 12  # NDRPDR iter env5
1691         - 13  # NDRPDR iter env5
1692         - 14  # NDRPDR iter env5
1693         - 15  # NDRPDR iter env5
1694     dpdk-performance-changes-3n-hsw-cmp:
1695       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1696         - 11  # rls2101 NDRPDR iter env 6
1697         - 12  # rls2101 NDRPDR iter env 6
1698         - 13  # rls2101 NDRPDR iter env 6
1699         - 14  # rls2101 NDRPDR iter env 6
1700         - 16  # rls2101 NDRPDR iter env 6
1701         - 17  # rls2101 NDRPDR iter env 6
1702         - 18  # rls2101 NDRPDR iter env 6
1703         - 19  # rls2101 NDRPDR iter env 6
1704         - 20  # rls2101 NDRPDR iter env 6
1705         - 21  # rls2101 NDRPDR iter env 6
1706
1707     dpdk-performance-changes-3n-skx-h1:
1708       csit-dpdk-perf-report-iterative-2005-3n-skx:
1709         - 28  # NDRPDR iter
1710         - 29  # NDRPDR iter
1711         - 30  # NDRPDR iter
1712         - 31  # NDRPDR iter
1713         - 32  # NDRPDR iter
1714         - 33  # NDRPDR iter
1715         - 34  # NDRPDR iter
1716         - 35  # NDRPDR iter
1717         - 36  # NDRPDR iter
1718         - 37  # NDRPDR iter
1719     dpdk-performance-changes-3n-skx-ref:
1720       csit-dpdk-perf-report-iterative-2009-3n-skx:
1721         - 4   # NDRPDR sel env5
1722         - 5   # NDRPDR sel env5
1723         - 6   # NDRPDR sel env5
1724         - 7   # NDRPDR sel env5
1725         - 8   # NDRPDR sel env5
1726         - 9   # NDRPDR sel env5
1727         - 14  # NDRPDR sel env5
1728         - 11  # NDRPDR sel env5
1729         - 12  # NDRPDR sel env5
1730         - 13  # NDRPDR sel env5
1731     dpdk-performance-changes-3n-skx-cmp:
1732       csit-dpdk-perf-report-iterative-2101-3n-skx:
1733         - 12  # rls2101 NDRPDR iter env 6
1734         - 14  # rls2101 NDRPDR iter env 6
1735         - 15  # rls2101 NDRPDR iter env 6
1736         - 17  # rls2101 NDRPDR iter env 6
1737         - 19  # rls2101 NDRPDR iter env 6
1738         - 20  # rls2101 NDRPDR iter env 6
1739         - 21  # rls2101 NDRPDR iter env 6
1740         - 22  # rls2101 NDRPDR iter env 6
1741         - 25  # rls2101 NDRPDR iter env 6
1742         - 26  # rls2101 NDRPDR iter env 6
1743
1744     dpdk-performance-changes-2n-skx-h1:
1745       csit-dpdk-perf-report-iterative-2005-2n-skx:
1746         - 20  # NDRPDR iter
1747         - 21  # NDRPDR iter
1748         - 22  # NDRPDR iter
1749         - 23  # NDRPDR iter
1750         - 24  # NDRPDR iter
1751         - 25  # NDRPDR iter
1752         - 26  # NDRPDR iter
1753         - 27  # NDRPDR iter
1754         - 28  # NDRPDR iter
1755         - 29  # NDRPDR iter
1756     dpdk-performance-changes-2n-skx-ref:
1757       csit-dpdk-perf-report-iterative-2009-2n-skx:
1758         - 4   # NDRPDR iter env5
1759         - 5   # NDRPDR iter env5
1760         - 6   # NDRPDR iter env5
1761         - 7   # NDRPDR iter env5
1762         - 8   # NDRPDR iter env5
1763         - 9   # NDRPDR iter env5
1764         - 10  # NDRPDR iter env5
1765         - 11  # NDRPDR iter env5
1766         - 12  # NDRPDR iter env5
1767         - 13  # NDRPDR iter env5
1768     dpdk-performance-changes-2n-skx-cmp:
1769       csit-dpdk-perf-report-iterative-2101-2n-skx:
1770         - 11  # rls2101 NDRPDR iter env 6
1771         - 12  # rls2101 NDRPDR iter env 6
1772         - 13  # rls2101 NDRPDR iter env 6
1773         - 14  # rls2101 NDRPDR iter env 6
1774         - 15  # rls2101 NDRPDR iter env 6
1775         - 17  # rls2101 NDRPDR iter env 6
1776         - 18  # rls2101 NDRPDR iter env 6
1777         - 19  # rls2101 NDRPDR iter env 6
1778         - 20  # rls2101 NDRPDR iter env 6
1779         - 21  # rls2101 NDRPDR iter env 6
1780
1781     dpdk-performance-changes-2n-clx-h1:
1782       csit-dpdk-perf-report-iterative-2005-2n-clx:
1783         - 20  # NDRPDR iter
1784         - 21  # NDRPDR iter
1785         - 22  # NDRPDR iter
1786         - 23  # NDRPDR iter
1787         - 24  # NDRPDR iter
1788         - 25  # NDRPDR iter
1789         - 26  # NDRPDR iter
1790         - 27  # NDRPDR iter
1791         - 28  # NDRPDR iter
1792         - 29  # NDRPDR iter
1793     dpdk-performance-changes-2n-clx-ref:
1794       csit-dpdk-perf-report-iterative-2009-2n-clx:
1795         - 4   # NDRPDR iter env5
1796         - 5   # NDRPDR iter env5
1797         - 6   # NDRPDR iter env5
1798         - 7   # NDRPDR iter env5
1799         - 8   # NDRPDR iter env5
1800         - 9   # NDRPDR iter env5
1801         - 10  # NDRPDR iter env5
1802         - 11  # NDRPDR iter env5
1803         - 12  # NDRPDR iter env5
1804         - 13  # NDRPDR iter env5
1805     dpdk-performance-changes-2n-clx-cmp:
1806       csit-dpdk-perf-report-iterative-2101-2n-clx:
1807         - 12  # rls2101 NDRPDR iter env 6
1808         - 13  # rls2101 NDRPDR iter env 6
1809         - 14  # rls2101 NDRPDR iter env 6
1810         - 18  # rls2101 NDRPDR iter env 6
1811         - 22  # rls2101 NDRPDR iter env 6
1812
1813     dpdk-performance-changes-2n-zn2-ref:
1814       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1815         - 16  # NDRPDR iter env5
1816         - 21  # NDRPDR iter env5
1817         - 22  # NDRPDR iter env5
1818         - 23  # NDRPDR iter env5
1819         - 24  # NDRPDR iter env5
1820         - 25  # NDRPDR iter env5
1821         - 29  # NDRPDR iter env5
1822     dpdk-performance-changes-2n-zn2-cmp:
1823       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1824         - 11  # rls2101 NDRPDR iter env 6
1825         - 12  # rls2101 NDRPDR iter env 6
1826         - 13  # rls2101 NDRPDR iter env 6
1827         - 14  # rls2101 NDRPDR iter env 6
1828         - 16  # rls2101 NDRPDR iter env 6
1829         - 17  # rls2101 NDRPDR iter env 6
1830         - 18  # rls2101 NDRPDR iter env 6
1831         - 19  # rls2101 NDRPDR iter env 6
1832         - 20  # rls2101 NDRPDR iter env 6
1833         - 21  # rls2101 NDRPDR iter env 6
1834
1835 #    dpdk-performance-changes-2n-dnv-h1:
1836 #      csit-dpdk-perf-verify-2101-2n-dnv:
1837 #        - 9   # NDRPDR sel
1838 #        - 10  # NDRPDR sel
1839 #        - 11  # NDRPDR sel
1840 #        - 12  # NDRPDR sel
1841 #        - 13  # NDRPDR sel
1842 #        - 14  # NDRPDR sel
1843 #        - 15  # NDRPDR sel
1844 #        - 16  # NDRPDR sel
1845 #        - 17  # NDRPDR sel
1846 #        - 18  # NDRPDR sel
1847 #    dpdk-performance-changes-2n-dnv-ref:
1848 #      # No data
1849 #    dpdk-performance-changes-2n-dnv-cmp:
1850 #      # No data
1851 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1852
1853 #    dpdk-performance-changes-3n-dnv-h1:
1854 #      csit-dpdk-perf-verify-2101-3n-dnv:
1855 #        - 12  # NDRPDR sel
1856 #        - 13  # NDRPDR sel
1857 #        - 14  # NDRPDR sel
1858 #        - 15  # NDRPDR sel
1859 #        - 16  # NDRPDR sel
1860 #        - 17  # NDRPDR sel
1861 #        - 18  # NDRPDR sel
1862 #        - 19  # NDRPDR sel
1863 #        - 20  # NDRPDR sel
1864 #        - 22  # NDRPDR sel
1865 #    dpdk-performance-changes-3n-dnv-ref:
1866 #      # No data
1867 #    dpdk-performance-changes-3n-dnv-cmp:
1868 #      # No data
1869 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1870
1871     dpdk-performance-changes-3n-tsh-h1:
1872       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1873         - 5   # NDRPDR sel
1874     dpdk-performance-changes-3n-tsh-ref:
1875       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1876         - 1   # NDRPDR iter env5
1877         - 2   # NDRPDR iter env5
1878         - 3   # NDRPDR iter env5
1879         - 4   # NDRPDR iter env5
1880         - 5   # NDRPDR iter env5
1881         - 6   # NDRPDR iter env5
1882         - 7   # NDRPDR iter env5
1883         - 9   # NDRPDR iter env5
1884         - 10  # NDRPDR iter env5
1885         - 11  # NDRPDR iter env5
1886     dpdk-performance-changes-3n-tsh-cmp:
1887       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1888         - 11  # rls2101 NDRPDR iter env 6
1889         - 12  # rls2101 NDRPDR iter env 6
1890         - 13  # rls2101 NDRPDR iter env 6
1891         - 14  # rls2101 NDRPDR iter env 6
1892         - 16  # rls2101 NDRPDR iter env 6
1893         - 17  # rls2101 NDRPDR iter env 6
1894         - 18  # rls2101 NDRPDR iter env 6
1895         - 19  # rls2101 NDRPDR iter env 6
1896         - 20  # rls2101 NDRPDR iter env 6
1897         - 21  # rls2101 NDRPDR iter env 6
1898
1899     # Compare testbeds
1900
1901     vpp-compare-testbeds-ref:
1902       csit-vpp-perf-report-iterative-2101-3n-hsw:
1903         - 64  # rls2101.rel NDRPDR iter env 6
1904         - 71  # rls2101.rel NDRPDR iter env 6
1905         - 73  # rls2101.rel NDRPDR iter env 6
1906         - 74  # rls2101.rel NDRPDR iter env 6
1907         - 80  # rls2101.rel NDRPDR iter env 6
1908         - 81  # rls2101.rel NDRPDR iter env 6
1909         - 82  # rls2101.rel NDRPDR iter env 6
1910         - 83  # rls2101.rel NDRPDR iter env 6
1911         - 88  # rls2101.rel NDRPDR iter env 6
1912         - 89  # rls2101.rel NDRPDR iter env 6
1913     vpp-compare-testbeds-cmp:
1914       csit-vpp-perf-report-iterative-2101-3n-skx:
1915         - 36  # rls2101.rel NDRPDR iter env 6
1916         - 37  # rls2101.rel NDRPDR iter env 6
1917         - 38  # rls2101.rel NDRPDR iter env 6
1918         - 39  # rls2101.rel NDRPDR iter env 6
1919         - 40  # rls2101.rel NDRPDR iter env 6
1920         - 41  # rls2101.rel NDRPDR iter env 6
1921         - 42  # rls2101.rel NDRPDR iter env 6
1922         - 47  # rls2101.rel NDRPDR iter env 6
1923         - 48  # rls2101.rel NDRPDR iter env 6
1924         - 50  # rls2101.rel NDRPDR iter env 6
1925
1926     vpp-compare-testbeds-skx-clx-ref:
1927       csit-vpp-perf-report-iterative-2101-2n-skx:
1928         - 63  # rls2101.rel NDRPDR iter env 6
1929         - 69  # rls2101.rel NDRPDR iter env 6
1930         - 70  # rls2101.rel NDRPDR iter env 6
1931         - 75  # rls2101.rel NDRPDR iter env 6
1932         - 76  # rls2101.rel NDRPDR iter env 6
1933         - 77  # rls2101.rel NDRPDR iter env 6
1934         - 82  # rls2101.rel NDRPDR iter env 6
1935         - 85  # rls2101.rel NDRPDR iter env 6
1936         - 86  # rls2101.rel NDRPDR iter env 6
1937         - 94  # rls2101.rel NDRPDR iter env 6
1938         - 89  # rls2101.rel NDRPDR iter RND env 6
1939         - 90  # rls2101.rel NDRPDR iter RND env 6
1940         - 91  # rls2101.rel NDRPDR iter RND env 6
1941         - 92  # rls2101.rel NDRPDR iter RND env 6
1942         - 93  # rls2101.rel NDRPDR iter RND env 6
1943         - 96  # rls2101.rel NDRPDR iter RND env 6
1944         - 98  # rls2101.rel NDRPDR iter RND env 6
1945         - 99  # rls2101.rel NDRPDR iter RND env 6
1946         - 101 # rls2101.rel NDRPDR iter RND env 6
1947         - 102 # rls2101.rel NDRPDR iter RND env 6
1948         - 116 # rls2101.rel NDRPDR iter NAT env 6
1949         - 117 # rls2101.rel NDRPDR iter NAT env 6
1950         - 118 # rls2101.rel NDRPDR iter NAT env 6
1951         - 119 # rls2101.rel NDRPDR iter NAT env 6
1952         - 120 # rls2101.rel NDRPDR iter NAT env 6
1953         - 121 # rls2101.rel NDRPDR iter NAT env 6
1954         - 122 # rls2101.rel NDRPDR iter NAT env 6
1955         - 123 # rls2101.rel NDRPDR iter NAT env 6
1956         - 124 # rls2101.rel NDRPDR iter NAT env 6
1957         - 125 # rls2101.rel NDRPDR iter NAT env 6
1958     vpp-compare-testbeds-skx-clx-cmp:
1959       csit-vpp-perf-report-iterative-2101-2n-clx:
1960         - 54  # rls2101.rel NDRPDR iter env 6
1961         - 59  # rls2101.rel NDRPDR iter env 6
1962         - 60  # rls2101.rel NDRPDR iter env 6
1963         - 63  # rls2101.rel NDRPDR iter env 6
1964         - 66  # rls2101.rel NDRPDR iter env 6
1965         - 68  # rls2101.rel NDRPDR iter env 6
1966         - 73  # rls2101.rel NDRPDR iter env 6
1967         - 75  # rls2101.rel NDRPDR iter env 6
1968         - 86  # rls2101.rel NDRPDR iter env 6
1969         - 90  # rls2101.rel NDRPDR iter env 6
1970         - 80  # rls2101.rel NDRPDR iter RND env 6
1971         - 87  # rls2101.rel NDRPDR iter RND env 6
1972         - 91  # rls2101.rel NDRPDR iter RND env 6
1973         - 92  # rls2101.rel NDRPDR iter RND env 6
1974         - 93  # rls2101.rel NDRPDR iter RND env 6
1975         - 94  # rls2101.rel NDRPDR iter RND env 6
1976         - 95  # rls2101.rel NDRPDR iter RND env 6
1977         - 100 # rls2101.rel NDRPDR iter RND env 6
1978         - 106 # rls2101.rel NDRPDR iter RND env 6
1979         - 108 # rls2101.rel NDRPDR iter RND env 6
1980         - 112 # rls2101.rel NDRPDR iter NAT env 6
1981         - 113 # rls2101.rel NDRPDR iter NAT env 6
1982         - 114 # rls2101.rel NDRPDR iter NAT env 6
1983         - 115 # rls2101.rel NDRPDR iter NAT env 6
1984         - 116 # rls2101.rel NDRPDR iter NAT env 6
1985         - 117 # rls2101.rel NDRPDR iter NAT env 6
1986         - 118 # rls2101.rel NDRPDR iter NAT env 6
1987         - 119 # rls2101.rel NDRPDR iter NAT env 6
1988         - 120 # rls2101.rel NDRPDR iter NAT env 6
1989         - 121 # rls2101.rel NDRPDR iter NAT env 6
1990
1991     vpp-compare-testbeds-hsw-clx-ref:
1992       csit-vpp-perf-report-iterative-2101-3n-hsw:
1993         - 64  # rls2101.rel NDRPDR iter env 6
1994         - 71  # rls2101.rel NDRPDR iter env 6
1995         - 73  # rls2101.rel NDRPDR iter env 6
1996         - 74  # rls2101.rel NDRPDR iter env 6
1997         - 80  # rls2101.rel NDRPDR iter env 6
1998         - 81  # rls2101.rel NDRPDR iter env 6
1999         - 82  # rls2101.rel NDRPDR iter env 6
2000         - 83  # rls2101.rel NDRPDR iter env 6
2001         - 88  # rls2101.rel NDRPDR iter env 6
2002         - 89  # rls2101.rel NDRPDR iter env 6
2003         - 128 # rls2101.rel NDRPDR iter RND env 6
2004         - 129 # rls2101.rel NDRPDR iter RND env 6
2005         - 130 # rls2101.rel NDRPDR iter RND env 6
2006         - 131 # rls2101.rel NDRPDR iter RND env 6
2007         - 132 # rls2101.rel NDRPDR iter RND env 6
2008         - 133 # rls2101.rel NDRPDR iter RND env 6
2009         - 134 # rls2101.rel NDRPDR iter RND env 6
2010         - 135 # rls2101.rel NDRPDR iter RND env 6
2011         - 136 # rls2101.rel NDRPDR iter RND env 6
2012         - 137 # rls2101.rel NDRPDR iter RND env 6
2013     vpp-compare-testbeds-hsw-clx-cmp:
2014       csit-vpp-perf-report-iterative-2101-2n-clx:
2015         - 54  # rls2101.rel NDRPDR iter env 6
2016         - 59  # rls2101.rel NDRPDR iter env 6
2017         - 60  # rls2101.rel NDRPDR iter env 6
2018         - 63  # rls2101.rel NDRPDR iter env 6
2019         - 66  # rls2101.rel NDRPDR iter env 6
2020         - 68  # rls2101.rel NDRPDR iter env 6
2021         - 73  # rls2101.rel NDRPDR iter env 6
2022         - 75  # rls2101.rel NDRPDR iter env 6
2023         - 90  # rls2101.rel NDRPDR iter env 6
2024         - 80  # rls2101.rel NDRPDR iter RND env 6
2025         - 87  # rls2101.rel NDRPDR iter RND env 6
2026         - 91  # rls2101.rel NDRPDR iter RND env 6
2027         - 92  # rls2101.rel NDRPDR iter RND env 6
2028         - 93  # rls2101.rel NDRPDR iter RND env 6
2029         - 94  # rls2101.rel NDRPDR iter RND env 6
2030         - 95  # rls2101.rel NDRPDR iter RND env 6
2031         - 100 # rls2101.rel NDRPDR iter RND env 6
2032         - 106 # rls2101.rel NDRPDR iter RND env 6
2033         - 108 # rls2101.rel NDRPDR iter RND env 6
2034         - 112 # rls2101.rel NDRPDR iter NAT env 6
2035         - 113 # rls2101.rel NDRPDR iter NAT env 6
2036         - 114 # rls2101.rel NDRPDR iter NAT env 6
2037         - 115 # rls2101.rel NDRPDR iter NAT env 6
2038         - 116 # rls2101.rel NDRPDR iter NAT env 6
2039         - 117 # rls2101.rel NDRPDR iter NAT env 6
2040         - 118 # rls2101.rel NDRPDR iter NAT env 6
2041         - 119 # rls2101.rel NDRPDR iter NAT env 6
2042         - 120 # rls2101.rel NDRPDR iter NAT env 6
2043         - 121 # rls2101.rel NDRPDR iter NAT env 6
2044
2045     vpp-compare-testbeds-mrr-ref:
2046       csit-vpp-perf-report-iterative-2101-3n-hsw:
2047         - 63  # rls2101.rel MRR iter env 6
2048     vpp-compare-testbeds-mrr-cmp:
2049       csit-vpp-perf-report-iterative-2101-3n-skx:
2050         - 35  # rls2101.rel MRR iter env 6
2051
2052     vpp-compare-testbeds-mrr-skx-clx-ref:
2053       csit-vpp-perf-report-iterative-2101-2n-skx:
2054         - 62  # rls2101.rel MRR iter env 6
2055     vpp-compare-testbeds-mrr-skx-clx-cmp:
2056       csit-vpp-perf-report-iterative-2101-2n-clx:
2057         - 53  # rls2101.rel MRR iter env 6
2058
2059     vpp-compare-testbeds-mrr-hsw-clx-ref:
2060       csit-vpp-perf-report-iterative-2101-3n-hsw:
2061         - 63  # rls2101.rel MRR iter env 6
2062     vpp-compare-testbeds-mrr-hsw-clx-cmp:
2063       csit-vpp-perf-report-iterative-2101-2n-clx:
2064         - 53  # rls2101.rel MRR iter env 6
2065
2066     dpdk-compare-testbeds-ref:
2067       csit-dpdk-perf-report-iterative-2101-3n-hsw:
2068         - 11  # rls2101 NDRPDR iter env 6
2069         - 12  # rls2101 NDRPDR iter env 6
2070         - 13  # rls2101 NDRPDR iter env 6
2071         - 14  # rls2101 NDRPDR iter env 6
2072         - 16  # rls2101 NDRPDR iter env 6
2073         - 17  # rls2101 NDRPDR iter env 6
2074         - 18  # rls2101 NDRPDR iter env 6
2075         - 19  # rls2101 NDRPDR iter env 6
2076         - 20  # rls2101 NDRPDR iter env 6
2077         - 21  # rls2101 NDRPDR iter env 6
2078     dpdk-compare-testbeds-cmp:
2079       csit-dpdk-perf-report-iterative-2101-3n-skx:
2080         - 12  # rls2101 NDRPDR iter env 6
2081         - 14  # rls2101 NDRPDR iter env 6
2082         - 15  # rls2101 NDRPDR iter env 6
2083         - 17  # rls2101 NDRPDR iter env 6
2084         - 19  # rls2101 NDRPDR iter env 6
2085         - 20  # rls2101 NDRPDR iter env 6
2086         - 21  # rls2101 NDRPDR iter env 6
2087         - 22  # rls2101 NDRPDR iter env 6
2088         - 25  # rls2101 NDRPDR iter env 6
2089         - 26  # rls2101 NDRPDR iter env 6
2090
2091     dpdk-compare-testbeds-skx-clx-ref:
2092       csit-dpdk-perf-report-iterative-2101-2n-skx:
2093         - 11  # rls2101 NDRPDR iter env 6
2094         - 12  # rls2101 NDRPDR iter env 6
2095         - 13  # rls2101 NDRPDR iter env 6
2096         - 14  # rls2101 NDRPDR iter env 6
2097         - 15  # rls2101 NDRPDR iter env 6
2098         - 17  # rls2101 NDRPDR iter env 6
2099         - 18  # rls2101 NDRPDR iter env 6
2100         - 19  # rls2101 NDRPDR iter env 6
2101         - 20  # rls2101 NDRPDR iter env 6
2102         - 21  # rls2101 NDRPDR iter env 6
2103     dpdk-compare-testbeds-skx-clx-cmp:
2104       csit-dpdk-perf-report-iterative-2101-2n-clx:
2105         - 12  # rls2101 NDRPDR iter env 6
2106         - 13  # rls2101 NDRPDR iter env 6
2107         - 14  # rls2101 NDRPDR iter env 6
2108         - 18  # rls2101 NDRPDR iter env 6
2109         - 22  # rls2101 NDRPDR iter env 6
2110
2111     # Compare topologies
2112
2113     vpp-compare-topologies-ref:
2114       csit-vpp-perf-report-iterative-2101-3n-skx:
2115         - 36  # rls2101.rel NDRPDR iter env 6
2116         - 37  # rls2101.rel NDRPDR iter env 6
2117         - 38  # rls2101.rel NDRPDR iter env 6
2118         - 39  # rls2101.rel NDRPDR iter env 6
2119         - 40  # rls2101.rel NDRPDR iter env 6
2120         - 41  # rls2101.rel NDRPDR iter env 6
2121         - 42  # rls2101.rel NDRPDR iter env 6
2122         - 47  # rls2101.rel NDRPDR iter env 6
2123         - 48  # rls2101.rel NDRPDR iter env 6
2124         - 50  # rls2101.rel NDRPDR iter env 6
2125     vpp-compare-topologies-cmp:
2126       csit-vpp-perf-report-iterative-2101-2n-skx:
2127         - 63  # rls2101.rel NDRPDR iter env 6
2128         - 69  # rls2101.rel NDRPDR iter env 6
2129         - 70  # rls2101.rel NDRPDR iter env 6
2130         - 75  # rls2101.rel NDRPDR iter env 6
2131         - 76  # rls2101.rel NDRPDR iter env 6
2132         - 77  # rls2101.rel NDRPDR iter env 6
2133         - 82  # rls2101.rel NDRPDR iter env 6
2134         - 85  # rls2101.rel NDRPDR iter env 6
2135         - 86  # rls2101.rel NDRPDR iter env 6
2136         - 94  # rls2101.rel NDRPDR iter env 6
2137
2138     vpp-compare-topologies-mrr-ref:
2139       csit-vpp-perf-report-iterative-2101-3n-skx:
2140         - 35  # rls2101.rel MRR iter env 6
2141     vpp-compare-topologies-mrr-cmp:
2142       csit-vpp-perf-report-iterative-2101-2n-skx:
2143         - 62  # rls2101.rel MRR iter env 6
2144
2145     dpdk-compare-topologies-ref:
2146       csit-dpdk-perf-report-iterative-2101-3n-skx:
2147         - 12  # rls2101 NDRPDR iter env 6
2148         - 14  # rls2101 NDRPDR iter env 6
2149         - 15  # rls2101 NDRPDR iter env 6
2150         - 17  # rls2101 NDRPDR iter env 6
2151         - 19  # rls2101 NDRPDR iter env 6
2152         - 20  # rls2101 NDRPDR iter env 6
2153         - 21  # rls2101 NDRPDR iter env 6
2154         - 22  # rls2101 NDRPDR iter env 6
2155         - 25  # rls2101 NDRPDR iter env 6
2156         - 26  # rls2101 NDRPDR iter env 6
2157     dpdk-compare-topologies-cmp:
2158       csit-dpdk-perf-report-iterative-2101-2n-skx:
2159         - 11  # rls2101 NDRPDR iter env 6
2160         - 12  # rls2101 NDRPDR iter env 6
2161         - 13  # rls2101 NDRPDR iter env 6
2162         - 14  # rls2101 NDRPDR iter env 6
2163         - 15  # rls2101 NDRPDR iter env 6
2164         - 17  # rls2101 NDRPDR iter env 6
2165         - 18  # rls2101 NDRPDR iter env 6
2166         - 19  # rls2101 NDRPDR iter env 6
2167         - 20  # rls2101 NDRPDR iter env 6
2168         - 21  # rls2101 NDRPDR iter env 6
2169
2170   plot-layouts:
2171
2172     plot-soak-throughput:
2173       titlefont:
2174         size: 16
2175       xaxis:
2176         title: "<b>Test Cases [Index]</b>"
2177         titlefont:
2178           size: 14
2179         autorange: True
2180         fixedrange: False
2181         gridcolor: "rgb(230, 230, 230)"
2182         linecolor: "rgb(220, 220, 220)"
2183         linewidth: 1
2184         showgrid: True
2185         showline: True
2186         showticklabels: True
2187         tickcolor: "rgb(220, 220, 220)"
2188         tickmode: "linear"
2189         tickfont:
2190           size: 14
2191         zeroline: False
2192       yaxis:
2193         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
2194         titlefont:
2195           size: 14
2196         gridcolor: "rgb(230, 230, 230)"
2197         hoverformat: ".4r"
2198         tickformat: ".3r"
2199         linecolor: "rgb(220, 220, 220)"
2200         linewidth: 1
2201         showgrid: True
2202         showline: True
2203         showticklabels: True
2204         tickcolor: "rgb(220, 220, 220)"
2205         tickfont:
2206           size: 14
2207         zeroline: False
2208         range: [0,50]
2209       autosize: False
2210       margin:
2211         t: 50
2212         b: 0
2213         l: 80
2214         r: 20
2215       showlegend: True
2216       legend:
2217         orientation: "h"
2218         font:
2219           size: 14
2220       width: 700
2221       height: 900
2222       paper_bgcolor: "#fff"
2223       plot_bgcolor: "#fff"
2224       hoverlabel:
2225         namelength: -1
2226
2227     plot-service-density:
2228       titlefont:
2229         size: 16
2230       xaxis:
2231         side: "top"
2232         autorange: True
2233         fixedrange: False
2234         showgrid: False
2235         showline: False
2236         showticklabels: False
2237         ticks: ""
2238         ticklen: 0
2239         tickwidth: 0
2240         zeroline: False
2241       yaxis:
2242         autorange: "reversed"
2243         showgrid: False
2244         showline: False
2245         showticklabels: False
2246         ticks: ""
2247         ticklen: 0
2248         tickwidth: 0
2249         zeroline: False
2250       showlegend: False
2251       paper_bgcolor: "#fff"
2252       plot_bgcolor: "#fff"
2253       width: 700
2254       height: 700
2255       hoverlabel:
2256         namelength: -1
2257
2258     plot-hoststack:
2259       titlefont:
2260         size: 16
2261       xaxis:
2262         title: "<b>Test Cases [Index]</b>"
2263         titlefont:
2264           size: 14
2265         autorange: True
2266         fixedrange: False
2267         gridcolor: "rgb(230, 230, 230)"
2268         linecolor: "rgb(220, 220, 220)"
2269         linewidth: 1
2270         showgrid: True
2271         showline: True
2272         showticklabels: True
2273         tickcolor: "rgb(220, 220, 220)"
2274         tickmode: "linear"
2275         tickfont:
2276           size: 14
2277         zeroline: False
2278       yaxis:
2279         title: "<b>Bandwidth [Gbps]</b>"
2280         titlefont:
2281           size: 14
2282         gridcolor: "rgb(230, 230, 230)"
2283         hoverformat: ".4s"
2284         linecolor: "rgb(220, 220, 220)"
2285         linewidth: 1
2286         rangemode: "tozero"
2287         showgrid: True
2288         showline: True
2289         showticklabels: True
2290         tickcolor: "rgb(230, 230, 230)"
2291         tickformat: ".3s"
2292         tickfont:
2293           size: 14
2294         zeroline: False
2295       autosize: False
2296       margin:
2297         t: 50
2298         b: 20
2299         l: 80
2300         r: 20
2301       showlegend: True
2302       legend:
2303         orientation: "h"
2304         font:
2305           size: 14
2306       width: 700
2307       height: 800
2308       paper_bgcolor: "#fff"
2309       plot_bgcolor: "#fff"
2310       hoverlabel:
2311         namelength: -1
2312
2313     plot-throughput:
2314       titlefont:
2315         size: 16
2316       xaxis:
2317         title: "<b>Test Cases [Index]</b>"
2318         titlefont:
2319           size: 14
2320         autorange: True
2321         fixedrange: False
2322         gridcolor: "rgb(230, 230, 230)"
2323         linecolor: "rgb(220, 220, 220)"
2324         linewidth: 1
2325         showgrid: True
2326         showline: True
2327         showticklabels: True
2328         tickcolor: "rgb(220, 220, 220)"
2329         tickmode: "linear"
2330         tickfont:
2331           size: 14
2332         zeroline: False
2333       yaxis:
2334         title: "<b>Packet Throughput [Mpps]</b>"
2335         titlefont:
2336           size: 14
2337         gridcolor: "rgb(230, 230, 230)"
2338         hoverformat: ".4r"
2339         tickformat: ".3r"
2340         linecolor: "rgb(220, 220, 220)"
2341         linewidth: 1
2342         showgrid: True
2343         showline: True
2344         showticklabels: True
2345         tickcolor: "rgb(220, 220, 220)"
2346         tickfont:
2347           size: 14
2348         zeroline: False
2349         range: [0,50]
2350       autosize: False
2351       margin:
2352         t: 50
2353         b: 0
2354         l: 80
2355         r: 20
2356       showlegend: True
2357       legend:
2358         orientation: "h"
2359         font:
2360           size: 14
2361       width: 700
2362       height: 900
2363       paper_bgcolor: "#fff"
2364       plot_bgcolor: "#fff"
2365       hoverlabel:
2366         namelength: -1
2367
2368     plot-throughput-gbps:
2369       titlefont:
2370         size: 16
2371       xaxis:
2372         title: "<b>Test Cases [Index]</b>"
2373         titlefont:
2374           size: 14
2375         autorange: True
2376         fixedrange: False
2377         gridcolor: "rgb(230, 230, 230)"
2378         linecolor: "rgb(220, 220, 220)"
2379         linewidth: 1
2380         showgrid: True
2381         showline: True
2382         showticklabels: True
2383         tickcolor: "rgb(220, 220, 220)"
2384         tickmode: "linear"
2385         tickfont:
2386           size: 14
2387         zeroline: False
2388       yaxis:
2389         title: "<b>Packet Throughput [Gbps]</b>"
2390         titlefont:
2391           size: 14
2392         gridcolor: "rgb(230, 230, 230)"
2393         hoverformat: ".4r"
2394         tickformat: ".3r"
2395         linecolor: "rgb(220, 220, 220)"
2396         linewidth: 1
2397         showgrid: True
2398         showline: True
2399         showticklabels: True
2400         tickcolor: "rgb(220, 220, 220)"
2401         tickfont:
2402           size: 14
2403         zeroline: False
2404         range: [0,10]
2405       autosize: False
2406       margin:
2407         t: 50
2408         b: 0
2409         l: 80
2410         r: 20
2411       showlegend: True
2412       legend:
2413         orientation: "h"
2414         font:
2415           size: 14
2416       width: 700
2417       height: 900
2418       paper_bgcolor: "#fff"
2419       plot_bgcolor: "#fff"
2420       hoverlabel:
2421         namelength: -1
2422
2423     plot-cps:
2424       titlefont:
2425         size: 16
2426       xaxis:
2427         title: "<b>Test Cases [Index]</b>"
2428         titlefont:
2429           size: 14
2430         autorange: True
2431         fixedrange: False
2432         gridcolor: "rgb(230, 230, 230)"
2433         linecolor: "rgb(220, 220, 220)"
2434         linewidth: 1
2435         showgrid: True
2436         showline: True
2437         showticklabels: True
2438         tickcolor: "rgb(220, 220, 220)"
2439         tickmode: "linear"
2440         tickfont:
2441           size: 14
2442         zeroline: False
2443       yaxis:
2444         title: "<b>Connection Rate [Mcps]</b>"
2445         titlefont:
2446           size: 14
2447         gridcolor: "rgb(230, 230, 230)"
2448         hoverformat: ".4r"
2449         tickformat: ".3s"
2450         linecolor: "rgb(220, 220, 220)"
2451         linewidth: 1
2452         showgrid: True
2453         showline: True
2454         showticklabels: True
2455         tickcolor: "rgb(220, 220, 220)"
2456         tickfont:
2457           size: 14
2458         zeroline: False
2459         range: [0,10]
2460       autosize: False
2461       margin:
2462         t: 50
2463         b: 0
2464         l: 80
2465         r: 20
2466       showlegend: True
2467       legend:
2468         orientation: "h"
2469         font:
2470           size: 14
2471       width: 700
2472       height: 900
2473       paper_bgcolor: "#fff"
2474       plot_bgcolor: "#fff"
2475       hoverlabel:
2476         namelength: -1
2477
2478     plot-throughput-speedup-analysis:
2479       titlefont:
2480         size: 16
2481       xaxis:
2482         title: "<b>Number of Cores [Qty]</b>"
2483         titlefont:
2484           size: 14
2485         autorange: True
2486         fixedrange: False
2487         gridcolor: "rgb(230, 230, 230)"
2488         linecolor: "rgb(220, 220, 220)"
2489         linewidth: 1
2490         showgrid: True
2491         showline: True
2492         showticklabels: True
2493         tickcolor: "rgb(238, 238, 238)"
2494         tickmode: "linear"
2495         tickfont:
2496           size: 14
2497         zeroline: False
2498       yaxis:
2499         title: "<b>Packet Throughput [Mpps]</b>"
2500         titlefont:
2501           size: 14
2502         type: "linear"
2503         gridcolor: "rgb(230, 230, 230)"
2504         hoverformat: ".4s"
2505         linecolor: "rgb(220, 220, 220)"
2506         linewidth: 1
2507         showgrid: True
2508         showline: True
2509         showticklabels: True
2510         tickcolor: "rgb(220, 220, 220)"
2511         tickformat: ".4s"
2512         tickfont:
2513           size: 14
2514         zeroline: True
2515         rangemode: "tozero"
2516         range: [0,100]
2517       legend:
2518         orientation: "h"
2519         font:
2520           size: 14
2521         xanchor: "left"
2522         yanchor: "top"
2523         x: 0
2524         y: -0.2
2525         bgcolor: "rgba(255, 255, 255, 0)"
2526         bordercolor: "rgba(255, 255, 255, 0)"
2527         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2528       autosize: False
2529       margin:
2530           't': 50
2531           'b': 150
2532           'l': 85
2533           'r': 10
2534       showlegend: True
2535       width: 700
2536       height: 700
2537       paper_bgcolor: "#fff"
2538       plot_bgcolor: "#fff"
2539       hoverlabel:
2540         namelength: -1
2541       annotations: [
2542         {
2543           text: "_ _          __          ...",
2544           align: "left",
2545           showarrow: False,
2546           xref: "paper",
2547           yref: "paper",
2548           xanchor: "left",
2549           yanchor: "top",
2550           x: 0,
2551           y: -0.14,
2552           font: {
2553             family: "Consolas, Courier New",
2554             size: 13
2555           },
2556         },
2557         {
2558           text: "    Perfect     Measured     Limit",
2559           align: "left",
2560           showarrow: False,
2561           xref: "paper",
2562           yref: "paper",
2563           xanchor: "left",
2564           yanchor: "top",
2565           x: 0,
2566           y: -0.15,
2567           font: {
2568             family: "Consolas, Courier New",
2569             size: 13
2570           },
2571         },
2572       ]
2573
2574     plot-throughput-speedup-analysis-gbps:
2575       titlefont:
2576         size: 16
2577       xaxis:
2578         title: "<b>Number of Cores [Qty]</b>"
2579         titlefont:
2580           size: 14
2581         autorange: True
2582         fixedrange: False
2583         gridcolor: "rgb(230, 230, 230)"
2584         linecolor: "rgb(220, 220, 220)"
2585         linewidth: 1
2586         showgrid: True
2587         showline: True
2588         showticklabels: True
2589         tickcolor: "rgb(238, 238, 238)"
2590         tickmode: "linear"
2591         tickfont:
2592           size: 14
2593         zeroline: False
2594       yaxis:
2595         title: "<b>Packet Throughput [Gbps]</b>"
2596         titlefont:
2597           size: 14
2598         type: "linear"
2599         gridcolor: "rgb(230, 230, 230)"
2600         hoverformat: ".4s"
2601         linecolor: "rgb(220, 220, 220)"
2602         linewidth: 1
2603         showgrid: True
2604         showline: True
2605         showticklabels: True
2606         tickcolor: "rgb(220, 220, 220)"
2607         tickformat: ".4s"
2608         tickfont:
2609           size: 14
2610         zeroline: True
2611         rangemode: "tozero"
2612         range: [0,100]
2613       legend:
2614         orientation: "h"
2615         font:
2616           size: 14
2617         xanchor: "left"
2618         yanchor: "top"
2619         x: 0
2620         y: -0.2
2621         bgcolor: "rgba(255, 255, 255, 0)"
2622         bordercolor: "rgba(255, 255, 255, 0)"
2623         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2624       autosize: False
2625       margin:
2626           't': 50
2627           'b': 150
2628           'l': 85
2629           'r': 10
2630       showlegend: True
2631       width: 700
2632       height: 700
2633       paper_bgcolor: "#fff"
2634       plot_bgcolor: "#fff"
2635       hoverlabel:
2636         namelength: -1
2637       annotations: [
2638         {
2639           text: "_ _          __",
2640           align: "left",
2641           showarrow: False,
2642           xref: "paper",
2643           yref: "paper",
2644           xanchor: "left",
2645           yanchor: "top",
2646           x: 0,
2647           y: -0.13,
2648           font: {
2649             family: "Consolas, Courier New",
2650             size: 13
2651           },
2652         },
2653         {
2654           text: "    Perfect     Measured",
2655           align: "left",
2656           showarrow: False,
2657           xref: "paper",
2658           yref: "paper",
2659           xanchor: "left",
2660           yanchor: "top",
2661           x: 0,
2662           y: -0.15,
2663           font: {
2664             family: "Consolas, Courier New",
2665             size: 13
2666           },
2667         },
2668       ]
2669
2670     plot-throughput-speedup-analysis-cps:
2671       titlefont:
2672         size: 16
2673       xaxis:
2674         title: "<b>Number of Cores [Qty]</b>"
2675         titlefont:
2676           size: 14
2677         autorange: True
2678         fixedrange: False
2679         gridcolor: "rgb(230, 230, 230)"
2680         linecolor: "rgb(220, 220, 220)"
2681         linewidth: 1
2682         showgrid: True
2683         showline: True
2684         showticklabels: True
2685         tickcolor: "rgb(238, 238, 238)"
2686         tickmode: "linear"
2687         tickfont:
2688           size: 14
2689         zeroline: False
2690       yaxis:
2691         title: "<b>Connection Rate [Mcps]</b>"
2692         titlefont:
2693           size: 14
2694         type: "linear"
2695         gridcolor: "rgb(230, 230, 230)"
2696         hoverformat: ".4s"
2697         linecolor: "rgb(220, 220, 220)"
2698         linewidth: 1
2699         showgrid: True
2700         showline: True
2701         showticklabels: True
2702         tickcolor: "rgb(220, 220, 220)"
2703         tickformat: ".4s"
2704         tickfont:
2705           size: 14
2706         zeroline: True
2707         rangemode: "tozero"
2708         range: [0,100]
2709       legend:
2710         orientation: "h"
2711         font:
2712           size: 14
2713         xanchor: "left"
2714         yanchor: "top"
2715         x: 0
2716         y: -0.2
2717         bgcolor: "rgba(255, 255, 255, 0)"
2718         bordercolor: "rgba(255, 255, 255, 0)"
2719         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2720       autosize: False
2721       margin:
2722           't': 50
2723           'b': 150
2724           'l': 85
2725           'r': 10
2726       showlegend: True
2727       width: 700
2728       height: 700
2729       paper_bgcolor: "#fff"
2730       plot_bgcolor: "#fff"
2731       hoverlabel:
2732         namelength: -1
2733       annotations: [
2734         {
2735           text: "_ _          __",
2736           align: "left",
2737           showarrow: False,
2738           xref: "paper",
2739           yref: "paper",
2740           xanchor: "left",
2741           yanchor: "top",
2742           x: 0,
2743           y: -0.13,
2744           font: {
2745             family: "Consolas, Courier New",
2746             size: 13
2747           },
2748         },
2749         {
2750           text: "    Perfect     Measured",
2751           align: "left",
2752           showarrow: False,
2753           xref: "paper",
2754           yref: "paper",
2755           xanchor: "left",
2756           yanchor: "top",
2757           x: 0,
2758           y: -0.15,
2759           font: {
2760             family: "Consolas, Courier New",
2761             size: 13
2762           },
2763         },
2764       ]
2765
2766     plot-latency:
2767       titlefont:
2768         size: 16
2769       xaxis:
2770         title: "<b>Direction</b>"
2771         titlefont:
2772           size: 14
2773         autorange: True
2774         fixedrange: False
2775         gridcolor: "rgb(230, 230, 230)"
2776         linecolor: "rgb(220, 220, 220)"
2777         linewidth: 1
2778         showgrid: True
2779         showline: True
2780         showticklabels: False
2781         tickcolor: "rgb(220, 220, 220)"
2782         tickmode: "linear"
2783         tickfont:
2784           size: 14
2785         zeroline: False
2786       yaxis:
2787         title: "<b>Packet Latency [uSec]</b>"
2788         titlefont:
2789           size: 14
2790         type: "linear"
2791         gridcolor: "rgb(230, 230, 230)"
2792         hoverformat: ".4s"
2793         linecolor: "rgb(220, 220, 220)"
2794         linewidth: 1
2795         showgrid: True
2796         showline: True
2797         showticklabels: True
2798         tickcolor: "rgb(220, 220, 220)"
2799         tickformat: ".4s"
2800         tickfont:
2801           size: 14
2802         zeroline: True
2803         rangemode: "tozero"
2804       legend:
2805         orientation: "h"
2806         font:
2807           size: 14
2808         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2809       autosize: False
2810       margin:
2811           't': 50
2812           'b': 150
2813           'l': 80
2814           'r': 10
2815       showlegend: True
2816       width: 700
2817       height: 700
2818       paper_bgcolor: "#fff"
2819       plot_bgcolor: "#fff"
2820       hoverlabel:
2821         namelength: -1
2822
2823     plot-hdrh-latency:
2824       title:
2825         text: ""
2826         xanchor: "center"
2827         x: 0.5
2828         font:
2829           size: 16
2830       width: 700
2831       plot_bgcolor: "white"
2832       annotations:
2833         - font:
2834             size: 14
2835           showarrow: False
2836           text: "<b>Packet Latency [uSec]</b>"
2837           x: 1
2838           xanchor: "right"
2839           xref: "paper"
2840           y: -0.045
2841           yanchor: "top"
2842           yref: "paper"
2843         - font:
2844             size: 14
2845           showarrow: False
2846           text: "<b>Probability [%]</b>"
2847           textangle: 270
2848           x: -0.06
2849           xanchor: "center"
2850           xref: "paper"
2851           y: 0.5
2852           yanchor: "middle"
2853           yref: "paper"
2854         - font:
2855             size: 14
2856           showarrow: False
2857           text: "<b>Direction: E-W</b>"
2858           x: 0.24
2859           xanchor: "center"
2860           xref: "paper"
2861           y: 1.05
2862           yanchor: "bottom"
2863           yref: "paper"
2864         - font:
2865             size: 14
2866           showarrow: False
2867           text: "<b>Direction: W-E</b>"
2868           x: 0.74
2869           xanchor: "center"
2870           xref: "paper"
2871           y: 1.05
2872           yanchor: "bottom"
2873           yref: "paper"
2874
2875     plot-hdrh-latency-percentile-x-log:
2876       title:
2877         text: "<b>Latency by Percentile Distribution</b>"
2878         xanchor: "center"
2879         x: 0.5
2880         font:
2881           size: 18
2882       showlegend: True
2883       legend:
2884         traceorder: "normal"
2885         orientation: "h"
2886         font:
2887           size: 16
2888         xanchor: "left"
2889         yanchor: "top"
2890         x: 0
2891         y: -0.2
2892         bgcolor: "rgba(255, 255, 255, 0)"
2893         bordercolor: "rgba(255, 255, 255, 0)"
2894       xaxis:
2895         type: "log"
2896         title: "<b>Percentile [%]</b>"
2897         titlefont:
2898           size: 14
2899         autorange: False
2900         fixedrange: True
2901         gridcolor: "rgb(230, 230, 230)"
2902         linecolor: "rgb(220, 220, 220)"
2903         linewidth: 1
2904         showgrid: True
2905         showline: True
2906         showticklabels: True
2907         tickcolor: "rgb(220, 220, 220)"
2908         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
2909         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
2910         tickfont:
2911           size: 14
2912       yaxis:
2913         title: "<b>One-Way Latency per Direction [uSec]</b>"
2914         titlefont:
2915           size: 14
2916         gridcolor: "rgb(230, 230, 230)"
2917         linecolor: "rgb(220, 220, 220)"
2918         linewidth: 1
2919         showgrid: True
2920         showline: True
2921         showticklabels: True
2922         tickcolor: "rgb(220, 220, 220)"
2923         tickfont:
2924           size: 14
2925       autosize: False
2926       width: 700
2927       height: 700
2928       paper_bgcolor: "white"
2929       plot_bgcolor: "white"
2930
2931     plot-hdrh-latency-by-percentile:
2932       title:
2933         text: "<b>Latency by Percentile Distribution</b>"
2934         xanchor: "center"
2935         x: 0.5
2936         font:
2937           size: 18
2938       showlegend: True
2939       legend:
2940         traceorder: "normal"
2941         orientation: "h"
2942         font:
2943           size: 16
2944         xanchor: "left"
2945         yanchor: "top"
2946         x: 0
2947         y: -0.2
2948         bgcolor: "rgba(255, 255, 255, 0)"
2949         bordercolor: "rgba(255, 255, 255, 0)"
2950       xaxis:
2951         type: "linear"
2952         title: "<b>Percentile [%]</b>"
2953         titlefont:
2954           size: 14
2955         autorange: False
2956         fixedrange: False
2957         range: [0, 100]
2958         gridcolor: "rgb(230, 230, 230)"
2959         linecolor: "rgb(220, 220, 220)"
2960         linewidth: 1
2961         showgrid: True
2962         showline: True
2963         showticklabels: True
2964         tickcolor: "rgb(220, 220, 220)"
2965         tickvals: [0, 25, 50, 75, 100]
2966         ticktext: [0, 25, 50, 75, 100]
2967         tickfont:
2968           size: 14
2969       yaxis:
2970         title: "<b>One-Way Latency per Direction [uSec]</b>"
2971         titlefont:
2972           size: 14
2973         gridcolor: "rgb(230, 230, 230)"
2974         linecolor: "rgb(220, 220, 220)"
2975         linewidth: 1
2976         showgrid: True
2977         showline: True
2978         showticklabels: True
2979         tickcolor: "rgb(220, 220, 220)"
2980         tickfont:
2981           size: 14
2982       width: 700
2983       height: 700
2984       paper_bgcolor: "white"
2985       plot_bgcolor: "white"
2986
2987 - type: "static"
2988   src-path: "{DIR[RST]}"
2989   dst-path: "{DIR[WORKING,SRC]}"
2990
2991 - type: "input"
2992   general:
2993     file-name: "output_info.xml.gz"
2994     file-format: ".gz"
2995     arch-file-format:
2996       - ".gz"
2997       - ".zip"
2998     download-path: "{job}/{build}/archives/{filename}"
2999     extract: "output.xml"
3000
3001     zip-file-name: "robot-plugin.zip"
3002     zip-file-format: ".zip"
3003     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
3004     zip-extract: "robot-plugin/output.xml"
3005
3006   builds:
3007
3008     csit-vpp-perf-report-iterative-2009-3n-hsw:
3009       - 18  # rls2005 MRR iter env 5
3010       - 9   # rls2005 NDRPDR iter env 5
3011       - 10  # rls2005 NDRPDR iter env 5
3012       - 11  # rls2005 NDRPDR iter env 5
3013       - 12  # rls2005 NDRPDR iter env 5
3014       - 13  # rls2005 NDRPDR iter env 5
3015       - 14  # rls2005 NDRPDR iter env 5
3016       - 15  # rls2005 NDRPDR iter env 5
3017       - 16  # rls2005 NDRPDR iter env 5
3018       - 17  # rls2005 NDRPDR iter env 5
3019       - 19  # rls2005 NDRPDR iter env 5
3020       - 23  # rls2009 MRR iter env 5
3021       - 21  # rls2009 NDRPDR iter env 5
3022       - 22  # rls2009 NDRPDR iter env 5
3023       - 24  # rls2009 NDRPDR iter env 5
3024       - 25  # rls2009 NDRPDR iter env 5
3025       - 26  # rls2009 NDRPDR iter env 5
3026       - 27  # rls2009 NDRPDR iter env 5
3027       - 28  # rls2009 NDRPDR iter env 5
3028       - 29  # rls2009 NDRPDR iter env 5
3029       - 30  # rls2009 NDRPDR iter env 5
3030       - 31  # rls2009 NDRPDR iter env 5
3031     csit-vpp-perf-report-iterative-2101-3n-hsw:
3032       - 17  # rls2009 MRR iter env 6
3033       - 19  # rls2009 NDRPDR iter env 6
3034       - 20  # rls2009 NDRPDR iter env 6
3035       - 21  # rls2009 NDRPDR iter env 6
3036       - 22  # rls2009 NDRPDR iter env 6
3037       - 23  # rls2009 NDRPDR iter env 6
3038       - 24  # rls2009 NDRPDR iter env 6
3039       - 25  # rls2009 NDRPDR iter env 6
3040       - 26  # rls2009 NDRPDR iter env 6
3041       - 27  # rls2009 NDRPDR iter env 6
3042       - 63  # rls2101.rel MRR iter env 6
3043       - 64  # rls2101.rel NDRPDR iter env 6
3044       - 71  # rls2101.rel NDRPDR iter env 6
3045       - 73  # rls2101.rel NDRPDR iter env 6
3046       - 74  # rls2101.rel NDRPDR iter env 6
3047       - 80  # rls2101.rel NDRPDR iter env 6
3048       - 81  # rls2101.rel NDRPDR iter env 6
3049       - 82  # rls2101.rel NDRPDR iter env 6
3050       - 83  # rls2101.rel NDRPDR iter env 6
3051       - 88  # rls2101.rel NDRPDR iter env 6
3052       - 89  # rls2101.rel NDRPDR iter env 6
3053       - 128 # rls2101.rel NDRPDR iter RND env 6
3054       - 129 # rls2101.rel NDRPDR iter RND env 6
3055       - 130 # rls2101.rel NDRPDR iter RND env 6
3056       - 131 # rls2101.rel NDRPDR iter RND env 6
3057       - 132 # rls2101.rel NDRPDR iter RND env 6
3058       - 133 # rls2101.rel NDRPDR iter RND env 6
3059       - 134 # rls2101.rel NDRPDR iter RND env 6
3060       - 135 # rls2101.rel NDRPDR iter RND env 6
3061       - 136 # rls2101.rel NDRPDR iter RND env 6
3062       - 137 # rls2101.rel NDRPDR iter RND env 6
3063       - 65  # rls2101.rel NDRPDR reconf iter env 6
3064       - 68  # rls2101.rel NDRPDR reconf iter env 6
3065       - 77  # rls2101.rel NDRPDR reconf iter env 6
3066       - 84  # rls2101.rel NDRPDR reconf iter env 6
3067       - 90  # rls2101.rel NDRPDR reconf iter env 6
3068       - 96  # rls2101.rel NDRPDR reconf iter env 6
3069       - 101 # rls2101.rel NDRPDR reconf iter env 6
3070       - 104 # rls2101.rel NDRPDR reconf iter env 6
3071       - 105 # rls2101.rel NDRPDR reconf iter env 6
3072       - 106 # rls2101.rel NDRPDR reconf iter env 6
3073       - 107 # rls2101.rel NDRPDR reconf iter env 6
3074       - 108 # rls2101.rel NDRPDR reconf iter env 6
3075       - 110 # rls2101.rel NDRPDR reconf iter env 6
3076       - 111 # rls2101.rel NDRPDR reconf iter env 6
3077       - 112 # rls2101.rel NDRPDR reconf iter env 6
3078       - 113 # rls2101.rel NDRPDR reconf iter env 6
3079       - 114 # rls2101.rel NDRPDR reconf iter env 6
3080       - 115 # rls2101.rel NDRPDR reconf iter env 6
3081       - 116 # rls2101.rel NDRPDR reconf iter env 6
3082       - 117 # rls2101.rel NDRPDR reconf iter env 6
3083       - 69  # rls2101.rel Hoststack iter env 6
3084       - 70  # rls2101.rel Hoststack iter env 6
3085       - 75  # rls2101.rel Hoststack iter env 6
3086       - 76  # rls2101.rel Hoststack iter env 6
3087       - 78  # rls2101.rel Hoststack iter env 6
3088       - 79  # rls2101.rel Hoststack iter env 6
3089       - 85  # rls2101.rel Hoststack iter env 6
3090       - 86  # rls2101.rel Hoststack iter env 6
3091       - 87  # rls2101.rel Hoststack iter env 6
3092       - 91  # rls2101.rel Hoststack iter env 6
3093       - 92  # rls2101.rel Hoststack iter env 6
3094       - 93  # rls2101.rel Hoststack iter env 6
3095       - 94  # rls2101.rel Hoststack iter env 6
3096       - 95  # rls2101.rel Hoststack iter env 6
3097       - 97  # rls2101.rel Hoststack iter env 6
3098       - 98  # rls2101.rel Hoststack iter env 6
3099       - 99  # rls2101.rel Hoststack iter env 6
3100       - 100 # rls2101.rel Hoststack iter env 6
3101       - 102 # rls2101.rel Hoststack iter env 6
3102       - 103 # rls2101.rel Hoststack iter env 6
3103     csit-vpp-perf-report-coverage-2101-3n-hsw:
3104       - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
3105       - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
3106       - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
3107       - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
3108       - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
3109       - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
3110       - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
3111       - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
3112       - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
3113       - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
3114       - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
3115       - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
3116       - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
3117       - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
3118       - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
3119       - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
3120       - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
3121       - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
3122       - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
3123       - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
3124       - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
3125       - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
3126       - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
3127       - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
3128       - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06