3723af26206827e0b91082f55f026236274bffa8
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,DPDK,2N,TX2]: "{DIR[DTR]}/dpdk_performance_results_2n_tx2"
38     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
39     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
40     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
41     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
42     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
43     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
44     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
45     DIR[DTR,PERF,VPP,2N,TX2]: "{DIR[DTR]}/vpp_performance_results_2n_tx2"
46     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
47     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
48     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
49     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
50     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
51     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
52     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
53     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
54     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
55     DIR[DTR,MRR,VPP,2N,TX2]: "{DIR[DTR]}/vpp_mrr_results_2n_tx2"
56     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
57     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
58     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
59
60     # Detailed test configurations
61     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
62     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
63     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
64     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
65     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
66     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
67     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
68     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
69     DIR[DTC,PERF,VPP,2N,TX2]: "{DIR[DTC]}/vpp_performance_configuration_2n_tx2"
70     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
71     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
72     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
73     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
74     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
75     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
76     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
77     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
78     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
79     DIR[DTC,MRR,VPP,2N,TX2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_tx2"
80     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
81     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
82     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
83
84     # Detailed tests operational data
85     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
86     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
87     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
88     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
89     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
90     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
91     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
92     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
93     DIR[DTO,PERF,VPP,2N,TX2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_tx2"
94     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
95     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
96
97     # Latencies:
98     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
99     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
100
101     # .css patch file to fix tables generated by Sphinx
102     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
103     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
104
105   urls:
106     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
107     URL[S3_STORAGE,LOG]: "https://logs.nginx.service.consul/vex-yul-rot-jenkins-1"
108     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
109     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
110     DIR[NEXUS,DOC]: "report/_static/archive"
111
112   make-dirs:
113   # List the directories which are created while preparing the environment.
114   # All directories MUST be defined in "paths" section.
115   - "DIR[WORKING,DATA]"
116   - "DIR[STATIC,VPP]"
117   - "DIR[STATIC,DPDK]"
118   - "DIR[STATIC,ARCH]"
119   - "DIR[BUILD,LATEX]"
120   - "DIR[WORKING,SRC]"
121   - "DIR[WORKING,SRC,STATIC]"
122
123   remove-dirs:
124   # List the directories which are deleted while cleaning the environment.
125   # All directories MUST be defined in "paths" section.
126   #- "DIR[BUILD,HTML]"
127   - "DIR[WORKING,DATA]"
128
129   build-dirs:
130   # List the directories where the results (build) is stored.
131   # All directories MUST be defined in "paths" section.
132   - "DIR[BUILD,HTML]"
133   - "DIR[BUILD,LATEX]"
134
135 - type: "configuration"
136
137   mapping-file: "mapping_report.yaml"
138
139   limits:
140     nic:
141       x520: 24460000
142       x553: 29761905
143       x710: 35800000
144       xxv710: 35800000
145       xl710: 35800000
146       cx556a: 148809523.81
147
148     link:
149       10ge: 14880952.38
150       25ge: 37202380.95
151       40ge: 59523809.52
152       100ge: 148809523.81
153
154     pci:
155       pci-g3-x8: 74404761.90
156       pci-g3-x16: 148809523.81
157
158   data-sets:
159
160     ###########################################################################
161     # Plots:
162
163     # 3n-hsw
164
165     plot-vpp-throughput-lat-tsa-3n-hsw:
166       csit-vpp-perf-report-iterative-2101-3n-hsw:
167         - 64  # rls2101.rel NDRPDR iter env 6
168         - 71  # rls2101.rel NDRPDR iter env 6
169         - 73  # rls2101.rel NDRPDR iter env 6
170         - 74  # rls2101.rel NDRPDR iter env 6
171         - 80  # rls2101.rel NDRPDR iter env 6
172         - 81  # rls2101.rel NDRPDR iter env 6
173         - 82  # rls2101.rel NDRPDR iter env 6
174         - 83  # rls2101.rel NDRPDR iter env 6
175         - 88  # rls2101.rel NDRPDR iter env 6
176         - 89  # rls2101.rel NDRPDR iter env 6
177         - 128 # rls2101.rel NDRPDR iter RND env 6
178         - 129 # rls2101.rel NDRPDR iter RND env 6
179         - 130 # rls2101.rel NDRPDR iter RND env 6
180         - 131 # rls2101.rel NDRPDR iter RND env 6
181         - 132 # rls2101.rel NDRPDR iter RND env 6
182         - 133 # rls2101.rel NDRPDR iter RND env 6
183         - 134 # rls2101.rel NDRPDR iter RND env 6
184         - 135 # rls2101.rel NDRPDR iter RND env 6
185         - 136 # rls2101.rel NDRPDR iter RND env 6
186         - 137 # rls2101.rel NDRPDR iter RND env 6
187
188     plot-vpp-hdrh-lat-3n-hsw:
189       csit-vpp-perf-report-iterative-2101-3n-hsw:
190         - 89  # rls2101.rel NDRPDR iter env 6
191
192     plot-vpp-hdrh-lat-3n-hsw-rnd:
193       csit-vpp-perf-report-iterative-2101-3n-hsw:
194         - 128 # rls2101.rel NDRPDR iter RND env 6
195
196     plot-vpp-ipsec-reconf-3n-hsw:
197       csit-vpp-perf-report-iterative-2101-3n-hsw:
198         - 65  # rls2101.rel NDRPDR reconf iter env 6
199         - 68  # rls2101.rel NDRPDR reconf iter env 6
200         - 77  # rls2101.rel NDRPDR reconf iter env 6
201         - 84  # rls2101.rel NDRPDR reconf iter env 6
202         - 90  # rls2101.rel NDRPDR reconf iter env 6
203         - 96  # rls2101.rel NDRPDR reconf iter env 6
204         - 101 # rls2101.rel NDRPDR reconf iter env 6
205         - 104 # rls2101.rel NDRPDR reconf iter env 6
206         - 105 # rls2101.rel NDRPDR reconf iter env 6
207         - 106 # rls2101.rel NDRPDR reconf iter env 6
208         - 107 # rls2101.rel NDRPDR reconf iter env 6
209         - 108 # rls2101.rel NDRPDR reconf iter env 6
210         - 110 # rls2101.rel NDRPDR reconf iter env 6
211         - 111 # rls2101.rel NDRPDR reconf iter env 6
212         - 112 # rls2101.rel NDRPDR reconf iter env 6
213         - 113 # rls2101.rel NDRPDR reconf iter env 6
214         - 114 # rls2101.rel NDRPDR reconf iter env 6
215         - 115 # rls2101.rel NDRPDR reconf iter env 6
216         - 116 # rls2101.rel NDRPDR reconf iter env 6
217         - 117 # rls2101.rel NDRPDR reconf iter env 6
218
219     plot-vpp-hoststack-3n-hsw:
220       csit-vpp-perf-report-iterative-2101-3n-hsw:
221         - 69  # rls2101.rel Hoststack iter env 6
222         - 70  # rls2101.rel Hoststack iter env 6
223         - 75  # rls2101.rel Hoststack iter env 6
224         - 76  # rls2101.rel Hoststack iter env 6
225         - 78  # rls2101.rel Hoststack iter env 6
226         - 79  # rls2101.rel Hoststack iter env 6
227         - 85  # rls2101.rel Hoststack iter env 6
228         - 86  # rls2101.rel Hoststack iter env 6
229         - 87  # rls2101.rel Hoststack iter env 6
230         - 91  # rls2101.rel Hoststack iter env 6
231         - 92  # rls2101.rel Hoststack iter env 6
232         - 93  # rls2101.rel Hoststack iter env 6
233         - 94  # rls2101.rel Hoststack iter env 6
234         - 95  # rls2101.rel Hoststack iter env 6
235         - 97  # rls2101.rel Hoststack iter env 6
236         - 98  # rls2101.rel Hoststack iter env 6
237         - 99  # rls2101.rel Hoststack iter env 6
238         - 100 # rls2101.rel Hoststack iter env 6
239         - 102 # rls2101.rel Hoststack iter env 6
240         - 103 # rls2101.rel Hoststack iter env 6
241
242     plot-dpdk-throughput-latency-3n-hsw:
243       csit-dpdk-perf-report-iterative-2101-3n-hsw:
244         - 11  # rls2101 NDRPDR iter env 6
245         - 12  # rls2101 NDRPDR iter env 6
246         - 13  # rls2101 NDRPDR iter env 6
247         - 14  # rls2101 NDRPDR iter env 6
248         - 16  # rls2101 NDRPDR iter env 6
249         - 17  # rls2101 NDRPDR iter env 6
250         - 18  # rls2101 NDRPDR iter env 6
251         - 19  # rls2101 NDRPDR iter env 6
252         - 20  # rls2101 NDRPDR iter env 6
253         - 21  # rls2101 NDRPDR iter env 6
254
255     plot-dpdk-hdrh-lat-3n-hsw:
256       csit-dpdk-perf-report-iterative-2101-3n-hsw:
257         - 11  # rls2101 NDRPDR iter env 6
258
259     # 3n-skx
260
261     plot-vpp-throughput-lat-tsa-3n-skx:
262       csit-vpp-perf-report-iterative-2101-3n-skx:
263         - 36  # rls2101.rel NDRPDR iter env 6
264         - 37  # rls2101.rel NDRPDR iter env 6
265         - 38  # rls2101.rel NDRPDR iter env 6
266         - 39  # rls2101.rel NDRPDR iter env 6
267         - 40  # rls2101.rel NDRPDR iter env 6
268         - 41  # rls2101.rel NDRPDR iter env 6
269         - 42  # rls2101.rel NDRPDR iter env 6
270         - 47  # rls2101.rel NDRPDR iter env 6
271         - 48  # rls2101.rel NDRPDR iter env 6
272         - 50  # rls2101.rel NDRPDR iter env 6
273
274     plot-vpp-hdrh-lat-3n-skx:
275       csit-vpp-perf-report-iterative-2101-3n-skx:
276         - 36  # rls2101.rel NDRPDR iter env 6
277
278 #    plot-vpp-nfv-3n-skx-ndrpdr:
279 #      # No data
280 #      csit-vpp-perf-report-iterative-2101-3n-skx:
281
282 #    plot-vpp-nfv-3n-skx-mrr:
283 #      # No data
284 #      csit-vpp-perf-report-iterative-2101-3n-skx:
285
286     plot-dpdk-throughput-latency-3n-skx:
287       csit-dpdk-perf-report-iterative-2101-3n-skx:
288         - 12  # rls2101 NDRPDR iter env 6
289         - 14  # rls2101 NDRPDR iter env 6
290         - 15  # rls2101 NDRPDR iter env 6
291         - 17  # rls2101 NDRPDR iter env 6
292         - 19  # rls2101 NDRPDR iter env 6
293         - 20  # rls2101 NDRPDR iter env 6
294         - 21  # rls2101 NDRPDR iter env 6
295         - 22  # rls2101 NDRPDR iter env 6
296         - 25  # rls2101 NDRPDR iter env 6
297         - 26  # rls2101 NDRPDR iter env 6
298
299     plot-dpdk-hdrh-lat-3n-skx:
300       csit-dpdk-perf-report-iterative-2101-3n-skx:
301         - 12  # rls2101 NDRPDR iter env 6
302
303     # 2n-skx
304
305     plot-vpp-throughput-lat-tsa-2n-skx:
306       csit-vpp-perf-report-iterative-2101-2n-skx:
307         - 63  # rls2101.rel NDRPDR iter env 6
308         - 69  # rls2101.rel NDRPDR iter env 6
309         - 70  # rls2101.rel NDRPDR iter env 6
310         - 75  # rls2101.rel NDRPDR iter env 6
311         - 76  # rls2101.rel NDRPDR iter env 6
312         - 77  # rls2101.rel NDRPDR iter env 6
313         - 82  # rls2101.rel NDRPDR iter env 6
314         - 85  # rls2101.rel NDRPDR iter env 6
315         - 86  # rls2101.rel NDRPDR iter env 6
316         - 94  # rls2101.rel NDRPDR iter env 6
317         - 89  # rls2101.rel NDRPDR iter RND env 6
318         - 90  # rls2101.rel NDRPDR iter RND env 6
319         - 91  # rls2101.rel NDRPDR iter RND env 6
320         - 92  # rls2101.rel NDRPDR iter RND env 6
321         - 93  # rls2101.rel NDRPDR iter RND env 6
322         - 96  # rls2101.rel NDRPDR iter RND env 6
323         - 98  # rls2101.rel NDRPDR iter RND env 6
324         - 99  # rls2101.rel NDRPDR iter RND env 6
325         - 101 # rls2101.rel NDRPDR iter RND env 6
326         - 102 # rls2101.rel NDRPDR iter RND env 6
327         - 116 # rls2101.rel NDRPDR iter NAT env 6
328         - 117 # rls2101.rel NDRPDR iter NAT env 6
329         - 118 # rls2101.rel NDRPDR iter NAT env 6
330         - 119 # rls2101.rel NDRPDR iter NAT env 6
331         - 120 # rls2101.rel NDRPDR iter NAT env 6
332         - 121 # rls2101.rel NDRPDR iter NAT env 6
333         - 122 # rls2101.rel NDRPDR iter NAT env 6
334         - 123 # rls2101.rel NDRPDR iter NAT env 6
335         - 124 # rls2101.rel NDRPDR iter NAT env 6
336         - 125 # rls2101.rel NDRPDR iter NAT env 6
337
338     plot-vpp-hdrh-lat-2n-skx:
339       csit-vpp-perf-report-iterative-2101-2n-skx:
340         - 94  # rls2101.rel NDRPDR iter env 6
341
342     plot-vpp-hdrh-lat-2n-skx-rnd:
343       csit-vpp-perf-report-iterative-2101-2n-skx:
344         - 89  # rls2101.rel NDRPDR iter RND env 6
345
346     plot-vpp-hdrh-lat-2n-skx-nat:
347       csit-vpp-perf-report-iterative-2101-2n-skx:
348         - 118 # rls2101.rel NDRPDR iter NAT env 6
349
350     plot-vpp-soak-2n-skx:
351       csit-vpp-perf-report-iterative-2101-2n-skx:
352         - 68  # rls2101.rel soak env 6
353         - 73  # rls2101.rel soak env 6
354
355     plot-vpp-nfv-2n-skx-ndrpdr:
356       csit-vpp-perf-report-iterative-2101-2n-skx:
357         - 67  # rls2101.rel NDRPDR nf-density iter env 6
358         - 72  # rls2101.rel NDRPDR nf-density iter env 6
359         - 79  # rls2101.rel NDRPDR nf-density iter env 6
360         - 83  # rls2101.rel NDRPDR nf-density iter env 6
361         - 88  # rls2101.rel NDRPDR nf-density iter env 6
362         - 97  # rls2101.rel NDRPDR nf-density iter env 6
363         - 103 # rls2101.rel NDRPDR nf-density iter env 6
364         - 108 # rls2101.rel NDRPDR nf-density iter env 6
365         - 109 # rls2101.rel NDRPDR nf-density iter env 6
366         - 110 # rls2101.rel NDRPDR nf-density iter env 6
367
368     plot-vpp-nfv-2n-skx-mrr:
369       csit-vpp-perf-report-iterative-2101-2n-skx:
370         - 65  # rls2101.rel MRR nf-density iter env 6
371
372     plot-vpp-nfv-reconf-2n-skx:
373       csit-vpp-perf-report-iterative-2101-2n-skx:
374         - 64  # rls2101.rel NDRPDR reconf iter env 6
375         - 66  # rls2101.rel NDRPDR reconf iter env 6
376         - 71  # rls2101.rel NDRPDR reconf iter env 6
377         - 74  # rls2101.rel NDRPDR reconf iter env 6
378         - 78  # rls2101.rel NDRPDR reconf iter env 6
379         - 87  # rls2101.rel NDRPDR reconf iter env 6
380         - 95  # rls2101.rel NDRPDR reconf iter env 6
381         - 100 # rls2101.rel NDRPDR reconf iter env 6
382         - 104 # rls2101.rel NDRPDR reconf iter env 6
383         - 106 # rls2101.rel NDRPDR reconf iter env 6
384
385     plot-vpp-gso-2n-skx:
386       csit-vpp-perf-report-iterative-2101-2n-skx:
387         - 129 # rls2101.rel MRR GSO iter env 6
388
389     plot-dpdk-throughput-latency-2n-skx:
390       csit-dpdk-perf-report-iterative-2101-2n-skx:
391         - 11  # rls2101 NDRPDR iter env 6
392         - 12  # rls2101 NDRPDR iter env 6
393         - 13  # rls2101 NDRPDR iter env 6
394         - 14  # rls2101 NDRPDR iter env 6
395         - 15  # rls2101 NDRPDR iter env 6
396         - 17  # rls2101 NDRPDR iter env 6
397         - 18  # rls2101 NDRPDR iter env 6
398         - 19  # rls2101 NDRPDR iter env 6
399         - 20  # rls2101 NDRPDR iter env 6
400         - 21  # rls2101 NDRPDR iter env 6
401
402     plot-dpdk-hdrh-lat-2n-skx:
403       csit-dpdk-perf-report-iterative-2101-2n-skx:
404         - 11  # rls2101 NDRPDR iter env 6
405
406     # 2n-zn2
407
408     plot-vpp-throughput-lat-tsa-2n-zn2:
409       csit-vpp-perf-report-iterative-2101-2n-zn2:
410         - 31  # rls2101.rel NDRPDR iter env 6
411         - 32  # rls2101.rel NDRPDR iter env 6
412         - 33  # rls2101.rel NDRPDR iter env 6
413         - 34  # rls2101.rel NDRPDR iter env 6
414         - 35  # rls2101.rel NDRPDR iter env 6
415         - 36  # rls2101.rel NDRPDR iter env 6
416         - 37  # rls2101.rel NDRPDR iter env 6
417         - 38  # rls2101.rel NDRPDR iter env 6
418         - 44  # rls2101.rel NDRPDR iter env 6
419         - 49  # rls2101.rel NDRPDR iter env 6
420         - 39  # rls2101.rel NDRPDR iter RND env 6
421         - 40  # rls2101.rel NDRPDR iter RND env 6
422         - 41  # rls2101.rel NDRPDR iter RND env 6
423         - 42  # rls2101.rel NDRPDR iter RND env 6
424         - 43  # rls2101.rel NDRPDR iter RND env 6
425         - 45  # rls2101.rel NDRPDR iter RND env 6
426         - 48  # rls2101.rel NDRPDR iter RND env 6
427         - 50  # rls2101.rel NDRPDR iter RND env 6
428         - 51  # rls2101.rel NDRPDR iter RND env 6
429         - 52  # rls2101.rel NDRPDR iter RND env 6
430
431     plot-vpp-hdrh-lat-2n-zn2:
432       csit-vpp-perf-report-iterative-2101-2n-zn2:
433         - 31  # rls2101.rel NDRPDR iter env 6
434
435     plot-vpp-hdrh-lat-2n-zn2-rnd:
436       csit-vpp-perf-report-iterative-2101-2n-zn2:
437         - 40  # rls2101.rel NDRPDR iter RND env 6
438
439     plot-vpp-gso-2n-zn2:
440       csit-vpp-perf-report-iterative-2101-2n-zn2:
441         - 56  # rls2101.rel MRR GSO iter env 6
442
443     plot-dpdk-throughput-latency-2n-zn2:
444       csit-dpdk-perf-report-iterative-2101-2n-zn2:
445         - 11  # rls2101 NDRPDR iter env 6
446         - 12  # rls2101 NDRPDR iter env 6
447         - 13  # rls2101 NDRPDR iter env 6
448         - 14  # rls2101 NDRPDR iter env 6
449         - 16  # rls2101 NDRPDR iter env 6
450         - 17  # rls2101 NDRPDR iter env 6
451         - 18  # rls2101 NDRPDR iter env 6
452         - 19  # rls2101 NDRPDR iter env 6
453         - 20  # rls2101 NDRPDR iter env 6
454         - 21  # rls2101 NDRPDR iter env 6
455
456     plot-dpdk-hdrh-lat-2n-zn2:
457       csit-dpdk-perf-report-iterative-2101-2n-zn2:
458         - 11  # rls2101 NDRPDR iter env 6
459
460     # 2n-clx
461
462     plot-vpp-throughput-lat-tsa-2n-clx:
463       csit-vpp-perf-report-iterative-2101-2n-clx:
464         - 54  # rls2101.rel NDRPDR iter env 6
465         - 59  # rls2101.rel NDRPDR iter env 6
466         - 60  # rls2101.rel NDRPDR iter env 6
467         - 63  # rls2101.rel NDRPDR iter env 6
468         - 66  # rls2101.rel NDRPDR iter env 6
469         - 68  # rls2101.rel NDRPDR iter env 6
470         - 73  # rls2101.rel NDRPDR iter env 6
471         - 75  # rls2101.rel NDRPDR iter env 6
472         - 86  # rls2101.rel NDRPDR iter env 6
473         - 90  # rls2101.rel NDRPDR iter env 6
474         - 80  # rls2101.rel NDRPDR iter RND env 6
475         - 87  # rls2101.rel NDRPDR iter RND env 6
476         - 91  # rls2101.rel NDRPDR iter RND env 6
477         - 92  # rls2101.rel NDRPDR iter RND env 6
478         - 93  # rls2101.rel NDRPDR iter RND env 6
479         - 94  # rls2101.rel NDRPDR iter RND env 6
480         - 95  # rls2101.rel NDRPDR iter RND env 6
481         - 100 # rls2101.rel NDRPDR iter RND env 6
482         - 106 # rls2101.rel NDRPDR iter RND env 6
483         - 108 # rls2101.rel NDRPDR iter RND env 6
484         - 112 # rls2101.rel NDRPDR iter NAT env 6
485         - 113 # rls2101.rel NDRPDR iter NAT env 6
486         - 114 # rls2101.rel NDRPDR iter NAT env 6
487         - 115 # rls2101.rel NDRPDR iter NAT env 6
488         - 116 # rls2101.rel NDRPDR iter NAT env 6
489         - 117 # rls2101.rel NDRPDR iter NAT env 6
490         - 118 # rls2101.rel NDRPDR iter NAT env 6
491         - 119 # rls2101.rel NDRPDR iter NAT env 6
492         - 120 # rls2101.rel NDRPDR iter NAT env 6
493         - 121 # rls2101.rel NDRPDR iter NAT env 6
494         - 122 # rls2101.rel NDRPDR iter MLX env 6
495         - 123 # rls2101.rel NDRPDR iter MLX env 6
496         - 124 # rls2101.rel NDRPDR iter MLX env 6
497         - 126 # rls2101.rel NDRPDR iter MLX env 6
498         - 127 # rls2101.rel NDRPDR iter MLX env 6
499         - 128 # rls2101.rel NDRPDR iter MLX env 6
500         - 129 # rls2101.rel NDRPDR iter MLX env 6
501         - 130 # rls2101.rel NDRPDR iter MLX env 6
502         - 131 # rls2101.rel NDRPDR iter MLX env 6
503         - 132 # rls2101.rel NDRPDR iter MLX env 6
504
505     plot-vpp-hdrh-lat-2n-clx:
506       csit-vpp-perf-report-iterative-2101-2n-clx:
507         - 75  # rls2101.rel NDRPDR iter env 6
508
509     plot-vpp-hdrh-lat-2n-clx-rnd:
510       csit-vpp-perf-report-iterative-2101-2n-clx:
511         - 87  # rls2101.rel NDRPDR iter RND env 6
512
513     plot-vpp-hdrh-lat-2n-clx-nat:
514       csit-vpp-perf-report-iterative-2101-2n-clx:
515         - 118 # rls2101.rel NDRPDR iter NAT env 6
516
517     plot-vpp-hdrh-lat-2n-clx-mlx:
518       csit-vpp-perf-report-iterative-2101-2n-clx:
519         - 127 # rls2101.rel NDRPDR iter MLX env 6
520
521     plot-vpp-nfv-2n-clx-ndrpdr:
522       csit-vpp-perf-report-iterative-2101-2n-clx:
523         - 57  # rls2101.rel NDRPDR nf-density iter env 6
524         - 62  # rls2101.rel NDRPDR nf-density iter env 6
525         - 70  # rls2101.rel NDRPDR nf-density iter env 6
526         - 71  # rls2101.rel NDRPDR nf-density iter env 6
527         - 82  # rls2101.rel NDRPDR nf-density iter env 6
528         - 88  # rls2101.rel NDRPDR nf-density iter env 6
529         - 89  # rls2101.rel NDRPDR nf-density iter env 6
530         - 96  # rls2101.rel NDRPDR nf-density iter env 6
531         - 97  # rls2101.rel NDRPDR nf-density iter env 6
532         - 98  # rls2101.rel NDRPDR nf-density iter env 6
533
534     plot-vpp-nfv-2n-clx-mrr:
535       csit-vpp-perf-report-iterative-2101-2n-clx:
536         - 72  # rls2101.rel MRR nf-density iter env 6
537
538     plot-vpp-nfv-reconf-2n-clx:
539       csit-vpp-perf-report-iterative-2101-2n-clx:
540         - 55  # rls2101.rel NDRPDR reconf iter env 6
541         - 64  # rls2101.rel NDRPDR reconf iter env 6
542         - 76  # rls2101.rel NDRPDR reconf iter env 6
543         - 83  # rls2101.rel NDRPDR reconf iter env 6
544         - 99  # rls2101.rel NDRPDR reconf iter env 6
545         - 101 # rls2101.rel NDRPDR reconf iter env 6
546         - 102 # rls2101.rel NDRPDR reconf iter env 6
547         - 107 # rls2101.rel NDRPDR reconf iter env 6
548         - 109 # rls2101.rel NDRPDR reconf iter env 6
549         - 110 # rls2101.rel NDRPDR reconf iter env 6
550
551     plot-vpp-soak-2n-clx:
552       csit-vpp-perf-report-iterative-2101-2n-clx:
553         - 58  # rls2101.rel soak env 6
554         - 61  # rls2101.rel soak env 6
555
556     plot-vpp-gso-2n-clx:
557       csit-vpp-perf-report-iterative-2101-2n-clx:
558         - 159 # rls2101.rel MRR GSO iter env 6
559
560     plot-dpdk-throughput-latency-2n-clx:
561       csit-dpdk-perf-report-iterative-2101-2n-clx:
562         - 12  # rls2101 NDRPDR iter env 6
563         - 13  # rls2101 NDRPDR iter env 6
564         - 14  # rls2101 NDRPDR iter env 6
565         - 18  # rls2101 NDRPDR iter env 6
566         - 22  # rls2101 NDRPDR iter env 6
567
568     plot-dpdk-hdrh-lat-2n-clx:
569       csit-dpdk-perf-report-iterative-2101-2n-clx:
570         - 12  # rls2101 NDRPDR iter env 6
571
572     # 3n-tsh
573
574     plot-vpp-throughput-lat-tsa-3n-tsh:
575       csit-vpp-perf-report-iterative-2101-3n-tsh:
576         - 23  # rls2101.rel NDRPDR iter env 6
577         - 24  # rls2101.rel NDRPDR iter env 6
578         - 25  # rls2101.rel NDRPDR iter env 6
579         - 26  # rls2101.rel NDRPDR iter env 6
580         - 27  # rls2101.rel NDRPDR iter env 6
581         - 28  # rls2101.rel NDRPDR iter env 6
582         - 29  # rls2101.rel NDRPDR iter env 6
583         - 30  # rls2101.rel NDRPDR iter env 6
584         - 31  # rls2101.rel NDRPDR iter env 6
585         - 32  # rls2101.rel NDRPDR iter env 6
586
587     plot-vpp-hdrh-lat-3n-tsh:
588       csit-vpp-perf-report-iterative-2101-3n-tsh:
589         - 23  # rls2101.rel NDRPDR iter env 6
590
591     plot-dpdk-throughput-latency-3n-tsh:
592       csit-dpdk-perf-report-iterative-2101-3n-tsh:
593         - 11  # rls2101 NDRPDR iter env 6
594         - 12  # rls2101 NDRPDR iter env 6
595         - 13  # rls2101 NDRPDR iter env 6
596         - 14  # rls2101 NDRPDR iter env 6
597         - 16  # rls2101 NDRPDR iter env 6
598         - 17  # rls2101 NDRPDR iter env 6
599         - 18  # rls2101 NDRPDR iter env 6
600         - 19  # rls2101 NDRPDR iter env 6
601         - 20  # rls2101 NDRPDR iter env 6
602         - 21  # rls2101 NDRPDR iter env 6
603
604     plot-dpdk-hdrh-lat-3n-tsh:
605       csit-dpdk-perf-report-iterative-2101-3n-tsh:
606         - 21  # rls2101 NDRPDR iter env 6
607
608     # 2n-tx2
609
610     plot-vpp-throughput-lat-tsa-2n-tx2:
611       csit-vpp-perf-report-iterative-2101-2n-tx2:
612         - 22  # rls2101.rel NDRPDR iter env 6
613         - 23  # rls2101.rel NDRPDR iter env 6
614         - 24  # rls2101.rel NDRPDR iter env 6
615         - 25  # rls2101.rel NDRPDR iter env 6
616         - 26  # rls2101.rel NDRPDR iter env 6
617         - 27  # rls2101.rel NDRPDR iter env 6
618         - 28  # rls2101.rel NDRPDR iter env 6
619         - 29  # rls2101.rel NDRPDR iter env 6
620         - 30  # rls2101.rel NDRPDR iter env 6
621         - 31  # rls2101.rel NDRPDR iter env 6
622
623     plot-vpp-hdrh-lat-2n-tx2:
624       csit-vpp-perf-report-iterative-2101-2n-tx2:
625         - 29  # rls2101.rel NDRPDR iter env 6
626
627     plot-dpdk-throughput-latency-2n-tx2:
628       csit-dpdk-perf-report-iterative-2101-2n-tx2:
629         - 4   # rls2101 NDRPDR iter env 6
630         - 6   # rls2101 NDRPDR iter env 6
631         - 7   # rls2101 NDRPDR iter env 6
632         - 8   # rls2101 NDRPDR iter env 6
633         - 9   # rls2101 NDRPDR iter env 6
634         - 10  # rls2101 NDRPDR iter env 6
635         - 11  # rls2101 NDRPDR iter env 6
636         - 12  # rls2101 NDRPDR iter env 6
637         - 13  # rls2101 NDRPDR iter env 6
638         - 14  # rls2101 NDRPDR iter env 6
639
640     plot-dpdk-hdrh-lat-2n-tx2:
641       csit-dpdk-perf-report-iterative-2101-2n-tx2:
642         - 4   # rls2101 NDRPDR iter env 6
643
644     # 3n-dnv
645
646     plot-vpp-throughput-lat-tsa-3n-dnv:
647       csit-vpp-perf-report-iterative-2101-3n-dnv:
648         - 33  # rls2101.rel NDRPDR iter env 6
649         - 34  # rls2101.rel NDRPDR iter env 6
650         - 35  # rls2101.rel NDRPDR iter env 6
651         - 36  # rls2101.rel NDRPDR iter env 6
652         - 37  # rls2101.rel NDRPDR iter env 6
653         - 38  # rls2101.rel NDRPDR iter env 6
654         - 39  # rls2101.rel NDRPDR iter env 6
655         - 40  # rls2101.rel NDRPDR iter env 6
656         - 41  # rls2101.rel NDRPDR iter env 6
657         - 42  # rls2101.rel NDRPDR iter env 6
658         - 43  # rls2101.rel NDRPDR iter RND env 6
659         - 44  # rls2101.rel NDRPDR iter RND env 6
660         - 45  # rls2101.rel NDRPDR iter RND env 6
661         - 46  # rls2101.rel NDRPDR iter RND env 6
662         - 47  # rls2101.rel NDRPDR iter RND env 6
663         - 48  # rls2101.rel NDRPDR iter RND env 6
664         - 49  # rls2101.rel NDRPDR iter RND env 6
665         - 50  # rls2101.rel NDRPDR iter RND env 6
666         - 51  # rls2101.rel NDRPDR iter RND env 6
667         - 52  # rls2101.rel NDRPDR iter RND env 6
668
669 #    plot-dpdk-throughput-latency-3n-dnv:
670 #      # No data
671 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
672
673     # 2n-dnv
674
675     plot-vpp-throughput-lat-tsa-2n-dnv:
676       csit-vpp-perf-report-iterative-2101-2n-dnv:
677         - 32  # rls2101.rel NDRPDR iter env 6
678         - 33  # rls2101.rel NDRPDR iter env 6
679         - 34  # rls2101.rel NDRPDR iter env 6
680         - 35  # rls2101.rel NDRPDR iter env 6
681         - 39  # rls2101.rel NDRPDR iter env 6
682         - 41  # rls2101.rel NDRPDR iter env 6
683         - 42  # rls2101.rel NDRPDR iter env 6
684         - 43  # rls2101.rel NDRPDR iter env 6
685         - 44  # rls2101.rel NDRPDR iter env 6
686         - 45  # rls2101.rel NDRPDR iter env 6
687         - 46  # rls2101.rel NDRPDR iter RND env 6
688         - 47  # rls2101.rel NDRPDR iter RND env 6
689         - 48  # rls2101.rel NDRPDR iter RND env 6
690         - 49  # rls2101.rel NDRPDR iter RND env 6
691         - 50  # rls2101.rel NDRPDR iter RND env 6
692         - 51  # rls2101.rel NDRPDR iter RND env 6
693         - 52  # rls2101.rel NDRPDR iter RND env 6
694         - 53  # rls2101.rel NDRPDR iter RND env 6
695         - 54  # rls2101.rel NDRPDR iter RND env 6
696         - 55  # rls2101.rel NDRPDR iter RND env 6
697
698 #    plot-dpdk-throughput-latency-2n-dnv:
699 #      # No data
700 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
701
702     ###########################################################################
703     # Simple tables (only one data set):
704
705     # NIC Comparisons
706
707     vpp-nic-comparison-3n-skx:
708       csit-vpp-perf-report-iterative-2101-3n-skx:
709         - 36  # rls2101.rel NDRPDR iter env 6
710         - 37  # rls2101.rel NDRPDR iter env 6
711         - 38  # rls2101.rel NDRPDR iter env 6
712         - 39  # rls2101.rel NDRPDR iter env 6
713         - 40  # rls2101.rel NDRPDR iter env 6
714         - 41  # rls2101.rel NDRPDR iter env 6
715         - 42  # rls2101.rel NDRPDR iter env 6
716         - 47  # rls2101.rel NDRPDR iter env 6
717         - 48  # rls2101.rel NDRPDR iter env 6
718         - 50  # rls2101.rel NDRPDR iter env 6
719
720     vpp-nic-comparison-2n-skx:
721       csit-vpp-perf-report-iterative-2101-2n-skx:
722         - 63  # rls2101.rel NDRPDR iter env 6
723         - 69  # rls2101.rel NDRPDR iter env 6
724         - 70  # rls2101.rel NDRPDR iter env 6
725         - 75  # rls2101.rel NDRPDR iter env 6
726         - 76  # rls2101.rel NDRPDR iter env 6
727         - 77  # rls2101.rel NDRPDR iter env 6
728         - 82  # rls2101.rel NDRPDR iter env 6
729         - 85  # rls2101.rel NDRPDR iter env 6
730         - 86  # rls2101.rel NDRPDR iter env 6
731         - 94  # rls2101.rel NDRPDR iter env 6
732         - 89  # rls2101.rel NDRPDR iter RND env 6
733         - 90  # rls2101.rel NDRPDR iter RND env 6
734         - 91  # rls2101.rel NDRPDR iter RND env 6
735         - 92  # rls2101.rel NDRPDR iter RND env 6
736         - 93  # rls2101.rel NDRPDR iter RND env 6
737         - 96  # rls2101.rel NDRPDR iter RND env 6
738         - 98  # rls2101.rel NDRPDR iter RND env 6
739         - 99  # rls2101.rel NDRPDR iter RND env 6
740         - 101 # rls2101.rel NDRPDR iter RND env 6
741         - 102 # rls2101.rel NDRPDR iter RND env 6
742         - 116 # rls2101.rel NDRPDR iter NAT env 6
743         - 117 # rls2101.rel NDRPDR iter NAT env 6
744         - 118 # rls2101.rel NDRPDR iter NAT env 6
745         - 119 # rls2101.rel NDRPDR iter NAT env 6
746         - 120 # rls2101.rel NDRPDR iter NAT env 6
747         - 121 # rls2101.rel NDRPDR iter NAT env 6
748         - 122 # rls2101.rel NDRPDR iter NAT env 6
749         - 123 # rls2101.rel NDRPDR iter NAT env 6
750         - 124 # rls2101.rel NDRPDR iter NAT env 6
751         - 125 # rls2101.rel NDRPDR iter NAT env 6
752
753     vpp-nic-comparison-3n-skx-mrr:
754       csit-vpp-perf-report-iterative-2101-3n-skx:
755         - 35  # rls2101.rel MRR iter env 6
756
757     vpp-nic-comparison-2n-skx-mrr:
758       csit-vpp-perf-report-iterative-2101-2n-skx:
759         - 62  # rls2101.rel MRR iter env 6
760
761     # Results
762
763     vpp-perf-results-3n-hsw:
764       csit-vpp-perf-report-coverage-2101-3n-hsw:
765         - 1   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-00
766         - 2   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-01
767         - 3   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-02
768         - 4   # rls2101.rel NDRPDR cov env 6 3n-hsw-crypto-03
769         - 5   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-00
770         - 6   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-01
771         - 7   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-02
772         - 8   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-03
773         - 9   # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-04
774         - 10  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-05
775         - 11  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-06
776         - 12  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4-07
777         - 13  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-00
778         - 14  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-01
779         - 15  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip4tun-02
780         - 16  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-00
781         - 18  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6-01
782         - 19  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-00
783         - 20  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-01
784         - 21  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-02
785         - 22  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-03
786         - 23  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-04
787         - 24  # rls2101.rel NDRPDR cov env 6 3n-hsw-ip6tun-00
788         - 25  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-05
789         - 26  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-06
790         - 27  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-07
791         - 28  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-08
792         - 29  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-09
793         - 30  # rls2101.rel NDRPDR cov env 6 3n-hsw-l2-10
794         - 31  # rls2101.rel NDRPDR cov env 6 3n-hsw-memif-00
795         - 32  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-00
796         - 33  # rls2101.rel NDRPDR cov env 6 3n-hsw-srv6-01
797         - 34  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-00
798         - 35  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-01
799         - 36  # rls2101.rel NDRPDR cov env 6 3n-hsw-vhost-02
800
801     vpp-perf-results-3n-skx:
802       csit-vpp-perf-report-coverage-2101-3n-skx:
803         - 1   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-00
804         - 2   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-01
805         - 3   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-02
806         - 4   # rls2101.rel NDRPDR cov env 6 3n-skx-crypto-03
807         - 5   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-00
808         - 16  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-01
809         - 7   # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-02
810         - 17  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-03
811         - 18  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-04
812         - 19  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-05
813         - 20  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
814         - 12  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4-06
815         - 13  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-00
816         - 26  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-01
817         - 15  # rls2101.rel NDRPDR cov env 6 3n-skx-ip4tun-02
818         - 21  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-00
819         - 22  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6-01
820         - 23  # rls2101.rel NDRPDR cov env 6 3n-skx-ip6tun-00
821         - 24  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-00
822         - 30  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-01
823         - 27  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-02
824         - 28  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-03
825         - 29  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-04
826         - 31  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-05
827         - 32  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-06
828         - 33  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-07
829         - 34  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-08
830         - 35  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-09
831         - 36  # rls2101.rel NDRPDR cov env 6 3n-skx-l2-10
832         - 37  # rls2101.rel NDRPDR cov env 6 3n-skx-memif-00
833         - 38  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-00
834         - 39  # rls2101.rel NDRPDR cov env 6 3n-skx-srv6-01
835         - 40  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-00
836         - 41  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-01
837         - 42  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-02
838         - 43  # rls2101.rel NDRPDR cov env 6 3n-skx-vhost-03
839
840     vpp-perf-results-2n-skx:
841       csit-vpp-perf-report-coverage-2101-2n-skx:
842         - 1   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-00
843         - 2   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-01
844         - 3   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-02
845         - 4   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-03
846         - 5   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-04
847         - 6   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-05
848         - 7   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-06
849         - 8   # rls2101.rel NDRPDR cov env 6 2n-skx-ip4-07
850         - 21  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
851         - 22  # rls2101.rel NDRPDR cov env 6 2n-skx-ip4tun-00
852         - 10  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-00
853         - 11  # rls2101.rel NDRPDR cov env 6 2n-skx-ip6-01
854         - 12  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-00
855         - 13  # rls2101.rel NDRPDR cov env 6 2n-skx-l2-01
856         - 14  # rls2101.rel NDRPDR cov env 6 2n-skx-lb-00
857         - 15  # rls2101.rel NDRPDR cov env 6 2n-skx-memif-00
858         - 16  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-00
859         - 17  # rls2101.rel NDRPDR cov env 6 2n-skx-vhost-01
860         - 19  # rls2101.rel NDRPDR cov env 6 2n-skx-vts-00
861
862     vpp-perf-results-2n-zn2:
863       csit-vpp-perf-report-coverage-2101-2n-zn2:
864         - 1   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-00
865         - 2   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-01
866         - 3   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-02
867         - 4   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-03
868         - 5   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-04
869         - 6   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4-05
870         - 17  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-00
871         - 18  # rls2101.rel NDRPDR cov env 6 2n-zn2-ip4tun-01
872         - 8   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-00
873         - 9   # rls2101.rel NDRPDR cov env 6 2n-zn2-ip6-01
874         - 10  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-00
875         - 11  # rls2101.rel NDRPDR cov env 6 2n-zn2-l2-01
876         - 12  # rls2101.rel NDRPDR cov env 6 2n-zn2-lb-00
877         - 13  # rls2101.rel NDRPDR cov env 6 2n-zn2-memif-00
878         - 14  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
879         - 15  # rls2101.rel NDRPDR cov env 6 2n-zn2-vhost-00
880         - 16  # rls2101.rel NDRPDR cov env 6 2n-zn2-vts-00
881
882     vpp-perf-results-2n-clx:
883       csit-vpp-perf-report-coverage-2101-2n-clx:
884         - 1   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-00
885         - 2   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-01
886         - 3   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-02
887         - 4   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-03
888         - 5   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-04
889         - 6   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-05
890         - 7   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-06
891         - 8   # rls2101.rel NDRPDR cov env 6 2n-clx-ip4-07
892         - 19  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
893         - 20  # rls2101.rel NDRPDR cov env 6 2n-clx-ip4tun-00
894         - 10  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-00
895         - 11  # rls2101.rel NDRPDR cov env 6 2n-clx-ip6-01
896         - 12  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-00
897         - 13  # rls2101.rel NDRPDR cov env 6 2n-clx-l2-01
898         - 14  # rls2101.rel NDRPDR cov env 6 2n-clx-lb-00
899         - 15  # rls2101.rel NDRPDR cov env 6 2n-clx-memif-00
900         - 16  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-00
901         - 17  # rls2101.rel NDRPDR cov env 6 2n-clx-vhost-01
902         - 18  # rls2101.rel NDRPDR cov env 6 2n-clx-vts-00
903
904     vpp-perf-results-3n-tsh:
905       csit-vpp-perf-report-coverage-2101-3n-tsh:
906         - 1   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-00
907         - 2   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-01
908         - 3   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-02
909         - 4   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4-03
910         - 5   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4tun-00
911         - 6   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip4tun-01
912         - 7   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip6-00
913         - 8   # rls2101.rel NDRPDR cov env 6 3n-tsh-ip6-01
914         - 9   # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-00
915         - 10  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-01
916         - 11  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-02
917         - 12  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-03
918         - 13  # rls2101.rel NDRPDR cov env 6 3n-tsh-l2-04
919         - 19  # rls2101.rel NDRPDR cov env 6 3n-tsh-memif-00
920         - 15  # rls2101.rel NDRPDR cov env 6 3n-tsh-srv6-00
921         - 16  # rls2101.rel NDRPDR cov env 6 3n-tsh-srv6-01
922         - 17  # rls2101.rel NDRPDR cov env 6 3n-tsh-vhost-00
923         - 18  # rls2101.rel NDRPDR cov env 6 3n-tsh-vhost-01
924
925     vpp-perf-results-2n-tx2:
926       csit-vpp-perf-report-coverage-2101-2n-tx2:
927         - 1   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-00
928         - 2   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-01
929         - 3   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-02
930         - 4   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-03
931         - 5   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-04
932         - 6   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-05
933         - 7   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip4-06
934         - 8   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-00
935         - 9   # rls2101.rel NDRPDR cov env 6 2n-tx2-ip6-01
936         - 10  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-00
937         - 11  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-01
938         - 12  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-02
939         - 13  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-03
940         - 15  # rls2101.rel NDRPDR cov env 6 2n-tx2-l2-04
941
942     vpp-perf-results-3n-dnv:
943       csit-vpp-perf-report-coverage-2101-3n-dnv:
944         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-00
945         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-crypto-01
946         - 3   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
947         - 4   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
948         - 5   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4tun-00
949         - 6   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-00
950         - 7   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip6-01
951         - 8   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-00
952         - 9   # rls2101.rel NDRPDR cov env 6 3n-dnv-l2-01
953
954     vpp-perf-results-2n-dnv:
955       csit-vpp-perf-report-coverage-2101-2n-dnv:
956         - 1   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-00
957         - 2   # rls2101.rel NDRPDR cov env 6 3n-dnv-ip4-01
958         - 3   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-00
959         - 4   # rls2101.rel NDRPDR cov env 6 2n-dnv-ip6-01
960         - 5   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-00
961         - 6   # rls2101.rel NDRPDR cov env 6 2n-dnv-l2-01
962
963     vpp-mrr-results-3n-hsw:
964       csit-vpp-perf-report-iterative-2101-3n-hsw:
965         - 63  # rls2101.rel MRR iter env 6
966
967     vpp-mrr-results-3n-skx:
968       csit-vpp-perf-report-iterative-2101-3n-skx:
969         - 35  # rls2101.rel MRR iter env 6
970
971     vpp-mrr-results-2n-skx:
972       csit-vpp-perf-report-iterative-2101-2n-skx:
973         - 62  # rls2101.rel MRR iter env 6
974
975     vpp-mrr-results-2n-zn2:
976       csit-vpp-perf-report-iterative-2101-2n-zn2:
977         - 30  # rls2101.rel MRR iter env 6
978
979     vpp-mrr-results-2n-clx:
980       csit-vpp-perf-report-iterative-2101-2n-clx:
981         - 53  # rls2101.rel MRR iter env 6
982
983     vpp-mrr-results-3n-tsh:
984       csit-vpp-perf-report-iterative-2101-3n-tsh:
985         - 22  # rls2101.rel MRR iter env 6
986
987     vpp-mrr-results-2n-tx2:
988       csit-vpp-perf-report-iterative-2101-2n-tx2:
989         - 21  # rls2101.rel MRR iter env 6
990
991     vpp-mrr-results-3n-dnv:
992       csit-vpp-perf-report-iterative-2101-3n-dnv:
993         - 32  # rls2101.rel MRR iter env 6
994
995     vpp-mrr-results-2n-dnv:
996       csit-vpp-perf-report-iterative-2101-2n-dnv:
997         - 31  # rls2101.rel MRR iter env 6
998
999     vpp-device-results-ubuntu:
1000       csit-vpp-device-2101-ubuntu1804-1n-skx:
1001         - 358  # rls2101.rel VPP DEV env 6
1002
1003     dpdk-perf-results-3n-hsw:
1004       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1005         - 11  # rls2101 NDRPDR iter env 6
1006
1007     dpdk-perf-results-3n-skx:
1008       csit-dpdk-perf-report-iterative-2101-3n-skx:
1009         - 12  # rls2101 NDRPDR iter env 6
1010
1011     dpdk-perf-results-2n-skx:
1012       csit-dpdk-perf-report-iterative-2101-2n-skx:
1013         - 11  # rls2101 NDRPDR iter env 6
1014
1015     dpdk-perf-results-2n-zn2:
1016       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1017         - 11  # rls2101 NDRPDR iter env 6
1018
1019     dpdk-perf-results-2n-clx:
1020       csit-dpdk-perf-report-iterative-2101-2n-clx:
1021         - 12  # rls2101 NDRPDR iter env 6
1022
1023 #    dpdk-perf-results-2n-dnv:
1024 #      # No data
1025 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1026
1027 #    dpdk-perf-results-3n-dnv:
1028 #      # No data
1029 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1030
1031     dpdk-perf-results-3n-tsh:
1032       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1033         - 21  # rls2101 NDRPDR iter env 6
1034
1035     dpdk-perf-results-2n-tx2:
1036       csit-dpdk-perf-report-iterative-2101-2n-tx2:
1037         - 4   # rls2101 NDRPDR iter env 6
1038
1039 ###########################################################################
1040     # Tables (more than one data set)
1041
1042     # Performance changes
1043
1044     vpp-performance-changes-3n-hsw-h1:
1045       csit-vpp-perf-report-iterative-2009-3n-hsw:
1046         - 9   # rls2005 NDRPDR iter env 5
1047         - 10  # rls2005 NDRPDR iter env 5
1048         - 11  # rls2005 NDRPDR iter env 5
1049         - 12  # rls2005 NDRPDR iter env 5
1050         - 13  # rls2005 NDRPDR iter env 5
1051         - 14  # rls2005 NDRPDR iter env 5
1052         - 15  # rls2005 NDRPDR iter env 5
1053         - 16  # rls2005 NDRPDR iter env 5
1054         - 17  # rls2005 NDRPDR iter env 5
1055         - 19  # rls2005 NDRPDR iter env 5
1056     vpp-performance-changes-3n-hsw-ref-env-old:
1057       csit-vpp-perf-report-iterative-2009-3n-hsw:
1058         - 21  # rls2009 NDRPDR iter env 5
1059         - 22  # rls2009 NDRPDR iter env 5
1060         - 24  # rls2009 NDRPDR iter env 5
1061         - 25  # rls2009 NDRPDR iter env 5
1062         - 26  # rls2009 NDRPDR iter env 5
1063         - 27  # rls2009 NDRPDR iter env 5
1064         - 28  # rls2009 NDRPDR iter env 5
1065         - 29  # rls2009 NDRPDR iter env 5
1066         - 30  # rls2009 NDRPDR iter env 5
1067         - 31  # rls2009 NDRPDR iter env 5
1068     vpp-performance-changes-3n-hsw-ref-env-new:
1069       csit-vpp-perf-report-iterative-2101-3n-hsw:
1070         - 19  # rls2009 NDRPDR iter env 6
1071         - 20  # rls2009 NDRPDR iter env 6
1072         - 21  # rls2009 NDRPDR iter env 6
1073         - 22  # rls2009 NDRPDR iter env 6
1074         - 23  # rls2009 NDRPDR iter env 6
1075         - 24  # rls2009 NDRPDR iter env 6
1076         - 25  # rls2009 NDRPDR iter env 6
1077         - 26  # rls2009 NDRPDR iter env 6
1078         - 27  # rls2009 NDRPDR iter env 6
1079         - 28  # rls2009 NDRPDR iter env 6
1080     vpp-performance-changes-3n-hsw-cmp:
1081       csit-vpp-perf-report-iterative-2101-3n-hsw:
1082         - 64  # rls2101.rel NDRPDR iter env 6
1083         - 71  # rls2101.rel NDRPDR iter env 6
1084         - 73  # rls2101.rel NDRPDR iter env 6
1085         - 74  # rls2101.rel NDRPDR iter env 6
1086         - 80  # rls2101.rel NDRPDR iter env 6
1087         - 81  # rls2101.rel NDRPDR iter env 6
1088         - 82  # rls2101.rel NDRPDR iter env 6
1089         - 83  # rls2101.rel NDRPDR iter env 6
1090         - 88  # rls2101.rel NDRPDR iter env 6
1091         - 89  # rls2101.rel NDRPDR iter env 6
1092         - 128 # rls2101.rel NDRPDR iter RND env 6
1093         - 129 # rls2101.rel NDRPDR iter RND env 6
1094         - 130 # rls2101.rel NDRPDR iter RND env 6
1095         - 131 # rls2101.rel NDRPDR iter RND env 6
1096         - 132 # rls2101.rel NDRPDR iter RND env 6
1097         - 133 # rls2101.rel NDRPDR iter RND env 6
1098         - 134 # rls2101.rel NDRPDR iter RND env 6
1099         - 135 # rls2101.rel NDRPDR iter RND env 6
1100         - 136 # rls2101.rel NDRPDR iter RND env 6
1101         - 137 # rls2101.rel NDRPDR iter RND env 6
1102
1103     vpp-performance-changes-3n-skx-h1:
1104       csit-vpp-perf-report-iterative-2009-3n-skx:
1105         - 13  # rls2005 NDRPDR iter env 5
1106         - 18  # rls2005 NDRPDR iter env 5
1107         - 19  # rls2005 NDRPDR iter env 5
1108         - 41  # rls2005 NDRPDR iter env 5
1109         - 43  # rls2005 NDRPDR iter env 5
1110         - 44  # rls2005 NDRPDR iter env 5
1111         - 45  # rls2005 NDRPDR iter env 5
1112         - 46  # rls2005 NDRPDR iter env 5
1113         - 48  # rls2005 NDRPDR iter env 5
1114         - 49  # rls2005 NDRPDR iter env 5
1115     vpp-performance-changes-3n-skx-ref-env-old:
1116       csit-vpp-perf-report-iterative-2009-3n-skx:
1117         - 26  # rls2009 NDRPDR iter env 5
1118         - 27  # rls2009 NDRPDR iter env 5
1119         - 28  # rls2009 NDRPDR iter env 5
1120         - 29  # rls2009 NDRPDR iter env 5
1121         - 35  # rls2009 NDRPDR iter env 5
1122         - 36  # rls2009 NDRPDR iter env 5
1123         - 37  # rls2009 NDRPDR iter env 5
1124         - 38  # rls2009 NDRPDR iter env 5
1125         - 39  # rls2009 NDRPDR iter env 5
1126         - 40  # rls2009 NDRPDR iter env 5
1127     vpp-performance-changes-3n-skx-ref-env-new:
1128       csit-vpp-perf-report-iterative-2101-3n-skx:
1129         - 14  # rls2009 NDRPDR iter env 6
1130         - 15  # rls2009 NDRPDR iter env 6
1131         - 16  # rls2009 NDRPDR iter env 6
1132         - 17  # rls2009 NDRPDR iter env 6
1133         - 18  # rls2009 NDRPDR iter env 6
1134         - 25  # rls2009 NDRPDR iter env 6
1135         - 26  # rls2009 NDRPDR iter env 6
1136         - 27  # rls2009 NDRPDR iter env 6
1137         - 29  # rls2009 NDRPDR iter env 6
1138         - 31  # rls2009 NDRPDR iter env 6
1139     vpp-performance-changes-3n-skx-cmp:
1140       csit-vpp-perf-report-iterative-2101-3n-skx:
1141         - 36  # rls2101.rel NDRPDR iter env 6
1142         - 37  # rls2101.rel NDRPDR iter env 6
1143         - 38  # rls2101.rel NDRPDR iter env 6
1144         - 39  # rls2101.rel NDRPDR iter env 6
1145         - 40  # rls2101.rel NDRPDR iter env 6
1146         - 41  # rls2101.rel NDRPDR iter env 6
1147         - 42  # rls2101.rel NDRPDR iter env 6
1148         - 47  # rls2101.rel NDRPDR iter env 6
1149         - 48  # rls2101.rel NDRPDR iter env 6
1150         - 50  # rls2101.rel NDRPDR iter env 6
1151
1152     vpp-performance-changes-2n-skx-h1:
1153       csit-vpp-perf-report-iterative-2009-2n-skx:
1154         - 13  # rls2005 NDRPDR iter env 5
1155         - 16  # rls2005 NDRPDR iter env 5
1156         - 17  # rls2005 NDRPDR iter env 5
1157         - 18  # rls2005 NDRPDR iter env 5
1158         - 19  # rls2005 NDRPDR iter env 5
1159         - 21  # rls2005 NDRPDR iter env 5
1160         - 22  # rls2005 NDRPDR iter env 5
1161         - 23  # rls2005 NDRPDR iter env 5
1162         - 24  # rls2005 NDRPDR iter env 5
1163         - 25  # rls2005 NDRPDR iter env 5
1164     vpp-performance-changes-2n-skx-ref-env-old:
1165       csit-vpp-perf-report-iterative-2009-2n-skx:
1166         - 35  # rls2009 NDRPDR iter env 5
1167         - 36  # rls2009 NDRPDR iter env 5
1168         - 37  # rls2009 NDRPDR iter env 5
1169         - 39  # rls2009 NDRPDR iter env 5
1170         - 40  # rls2009 NDRPDR iter env 5
1171         - 42  # rls2009 NDRPDR iter env 5
1172         - 43  # rls2009 NDRPDR iter env 5
1173         - 44  # rls2009 NDRPDR iter env 5
1174         - 46  # rls2009 NDRPDR iter env 5
1175         - 48  # rls2009 NDRPDR iter env 5
1176         - 110 # rls2009 NDRPDR iter NAT44 env 5
1177         - 111 # rls2009 NDRPDR iter NAT44 env 5
1178         - 112 # rls2009 NDRPDR iter NAT44 env 5
1179         - 113 # rls2009 NDRPDR iter NAT44 env 5
1180         - 114 # rls2009 NDRPDR iter NAT44 env 5
1181         - 115 # rls2009 NDRPDR iter NAT44 env 5
1182         - 116 # rls2009 NDRPDR iter NAT44 env 5
1183         - 118 # rls2009 NDRPDR iter NAT44 env 5
1184         - 119 # rls2009 NDRPDR iter NAT44 env 5
1185         - 121 # rls2009 NDRPDR iter NAT44 env 5
1186     vpp-performance-changes-2n-skx-ref-env-new:
1187       csit-vpp-perf-report-iterative-2101-2n-skx:
1188         - 22  # rls2009 NDRPDR iter env 6
1189         - 23  # rls2009 NDRPDR iter env 6
1190         - 24  # rls2009 NDRPDR iter env 6
1191         - 25  # rls2009 NDRPDR iter env 6
1192         - 26  # rls2009 NDRPDR iter env 6
1193         - 28  # rls2009 NDRPDR iter env 6
1194         - 39  # rls2009 NDRPDR iter env 6
1195         - 40  # rls2009 NDRPDR iter env 6
1196         - 41  # rls2009 NDRPDR iter env 6
1197         - 44  # rls2009 NDRPDR iter env 6
1198     vpp-performance-changes-2n-skx-cmp:
1199       csit-vpp-perf-report-iterative-2101-2n-skx:
1200         - 63  # rls2101.rel NDRPDR iter env 6
1201         - 69  # rls2101.rel NDRPDR iter env 6
1202         - 70  # rls2101.rel NDRPDR iter env 6
1203         - 75  # rls2101.rel NDRPDR iter env 6
1204         - 76  # rls2101.rel NDRPDR iter env 6
1205         - 77  # rls2101.rel NDRPDR iter env 6
1206         - 82  # rls2101.rel NDRPDR iter env 6
1207         - 85  # rls2101.rel NDRPDR iter env 6
1208         - 86  # rls2101.rel NDRPDR iter env 6
1209         - 94  # rls2101.rel NDRPDR iter env 6
1210         - 89  # rls2101.rel NDRPDR iter RND env 6
1211         - 90  # rls2101.rel NDRPDR iter RND env 6
1212         - 91  # rls2101.rel NDRPDR iter RND env 6
1213         - 92  # rls2101.rel NDRPDR iter RND env 6
1214         - 93  # rls2101.rel NDRPDR iter RND env 6
1215         - 96  # rls2101.rel NDRPDR iter RND env 6
1216         - 98  # rls2101.rel NDRPDR iter RND env 6
1217         - 99  # rls2101.rel NDRPDR iter RND env 6
1218         - 101 # rls2101.rel NDRPDR iter RND env 6
1219         - 102 # rls2101.rel NDRPDR iter RND env 6
1220         - 116 # rls2101.rel NDRPDR iter NAT env 6
1221         - 117 # rls2101.rel NDRPDR iter NAT env 6
1222         - 118 # rls2101.rel NDRPDR iter NAT env 6
1223         - 119 # rls2101.rel NDRPDR iter NAT env 6
1224         - 120 # rls2101.rel NDRPDR iter NAT env 6
1225         - 121 # rls2101.rel NDRPDR iter NAT env 6
1226         - 122 # rls2101.rel NDRPDR iter NAT env 6
1227         - 123 # rls2101.rel NDRPDR iter NAT env 6
1228         - 124 # rls2101.rel NDRPDR iter NAT env 6
1229         - 125 # rls2101.rel NDRPDR iter NAT env 6
1230
1231     vpp-performance-changes-2n-clx-h1:
1232       csit-vpp-perf-report-iterative-2009-2n-clx:
1233         - 13  # rls2005 NDRPDR iter env 5
1234         - 15  # rls2005 NDRPDR iter env 5
1235         - 17  # rls2005 NDRPDR iter env 5
1236         - 18  # rls2005 NDRPDR iter env 5
1237         - 19  # rls2005 NDRPDR iter env 5
1238         - 20  # rls2005 NDRPDR iter env 5
1239         - 21  # rls2005 NDRPDR iter env 5
1240         - 22  # rls2005 NDRPDR iter env 5
1241         - 23  # rls2005 NDRPDR iter env 5
1242         - 24  # rls2005 NDRPDR iter env 5
1243     vpp-performance-changes-2n-clx-ref-env-old:
1244       csit-vpp-perf-report-iterative-2009-2n-clx:
1245         - 36  # rls2009 NDRPDR iter env 5
1246         - 39  # rls2009 NDRPDR iter env 5
1247         - 40  # rls2009 NDRPDR iter env 5
1248         - 65  # rls2009 NDRPDR iter env 5
1249         - 66  # rls2009 NDRPDR iter env 5
1250         - 79  # rls2009 NDRPDR iter env 5
1251         - 82  # rls2009 NDRPDR iter env 5
1252         - 88  # rls2009 NDRPDR iter env 5
1253         - 89  # rls2009 NDRPDR iter env 5
1254         - 90  # rls2009 NDRPDR iter env 5
1255         - 114 # rls2009 NDRPDR iter NAT44 env 5
1256         - 115 # rls2009 NDRPDR iter NAT44 env 5
1257         - 116 # rls2009 NDRPDR iter NAT44 env 5
1258         - 117 # rls2009 NDRPDR iter NAT44 env 5
1259         - 118 # rls2009 NDRPDR iter NAT44 env 5
1260         - 119 # rls2009 NDRPDR iter NAT44 env 5
1261         - 121 # rls2009 NDRPDR iter NAT44 env 5
1262         - 122 # rls2009 NDRPDR iter NAT44 env 5
1263         - 123 # rls2009 NDRPDR iter NAT44 env 5
1264         - 126 # rls2009 NDRPDR iter NAT44 env 5
1265     vpp-performance-changes-2n-clx-ref-env-new:
1266       csit-vpp-perf-report-iterative-2101-2n-clx:
1267         - 16  # rls2009 NDRPDR iter env 6
1268         - 17  # rls2009 NDRPDR iter env 6
1269         - 18  # rls2009 NDRPDR iter env 6
1270         - 19  # rls2009 NDRPDR iter env 6
1271         - 20  # rls2009 NDRPDR iter env 6
1272         - 21  # rls2009 NDRPDR iter env 6
1273         - 32  # rls2009 NDRPDR iter env 6
1274         - 33  # rls2009 NDRPDR iter env 6
1275         - 34  # rls2009 NDRPDR iter env 6
1276         - 35  # rls2009 NDRPDR iter env 6
1277         - 146 # rls2009 NDRPDR MLX iter env 6
1278         - 147 # rls2009 NDRPDR MLX iter env 6
1279         - 148 # rls2009 NDRPDR MLX iter env 6
1280         - 149 # rls2009 NDRPDR MLX iter env 6
1281         - 150 # rls2009 NDRPDR MLX iter env 6
1282         - 151 # rls2009 NDRPDR MLX iter env 6
1283         - 152 # rls2009 NDRPDR MLX iter env 6
1284         - 153 # rls2009 NDRPDR MLX iter env 6
1285         - 154 # rls2009 NDRPDR MLX iter env 6
1286         - 155 # rls2009 NDRPDR MLX iter env 6
1287     vpp-performance-changes-2n-clx-cmp:
1288       csit-vpp-perf-report-iterative-2101-2n-clx:
1289         - 54  # rls2101.rel NDRPDR iter env 6
1290         - 59  # rls2101.rel NDRPDR iter env 6
1291         - 60  # rls2101.rel NDRPDR iter env 6
1292         - 63  # rls2101.rel NDRPDR iter env 6
1293         - 66  # rls2101.rel NDRPDR iter env 6
1294         - 68  # rls2101.rel NDRPDR iter env 6
1295         - 73  # rls2101.rel NDRPDR iter env 6
1296         - 75  # rls2101.rel NDRPDR iter env 6
1297         - 86  # rls2101.rel NDRPDR iter env 6
1298         - 90  # rls2101.rel NDRPDR iter env 6
1299         - 80  # rls2101.rel NDRPDR iter RND env 6
1300         - 87  # rls2101.rel NDRPDR iter RND env 6
1301         - 91  # rls2101.rel NDRPDR iter RND env 6
1302         - 92  # rls2101.rel NDRPDR iter RND env 6
1303         - 93  # rls2101.rel NDRPDR iter RND env 6
1304         - 94  # rls2101.rel NDRPDR iter RND env 6
1305         - 95  # rls2101.rel NDRPDR iter RND env 6
1306         - 100 # rls2101.rel NDRPDR iter RND env 6
1307         - 106 # rls2101.rel NDRPDR iter RND env 6
1308         - 108 # rls2101.rel NDRPDR iter RND env 6
1309         - 112 # rls2101.rel NDRPDR iter NAT env 6
1310         - 113 # rls2101.rel NDRPDR iter NAT env 6
1311         - 114 # rls2101.rel NDRPDR iter NAT env 6
1312         - 115 # rls2101.rel NDRPDR iter NAT env 6
1313         - 116 # rls2101.rel NDRPDR iter NAT env 6
1314         - 117 # rls2101.rel NDRPDR iter NAT env 6
1315         - 118 # rls2101.rel NDRPDR iter NAT env 6
1316         - 119 # rls2101.rel NDRPDR iter NAT env 6
1317         - 120 # rls2101.rel NDRPDR iter NAT env 6
1318         - 121 # rls2101.rel NDRPDR iter NAT env 6
1319         - 122 # rls2101.rel NDRPDR iter MLX env 6
1320         - 123 # rls2101.rel NDRPDR iter MLX env 6
1321         - 124 # rls2101.rel NDRPDR iter MLX env 6
1322         - 126 # rls2101.rel NDRPDR iter MLX env 6
1323         - 127 # rls2101.rel NDRPDR iter MLX env 6
1324         - 128 # rls2101.rel NDRPDR iter MLX env 6
1325         - 129 # rls2101.rel NDRPDR iter MLX env 6
1326         - 130 # rls2101.rel NDRPDR iter MLX env 6
1327         - 131 # rls2101.rel NDRPDR iter MLX env 6
1328         - 132 # rls2101.rel NDRPDR iter MLX env 6
1329
1330     vpp-performance-changes-2n-zn2-ref-env-old:
1331       csit-vpp-perf-report-iterative-2009-2n-zn2:
1332         - 17  # rls2009 NDRPDR iter env 5
1333         - 18  # rls2009 NDRPDR iter env 5
1334         - 31  # rls2009 NDRPDR iter env 5
1335         - 33  # rls2009 NDRPDR iter env 5
1336         - 34  # rls2009 NDRPDR iter env 5
1337     vpp-performance-changes-2n-zn2-ref-env-new:
1338       csit-vpp-perf-report-iterative-2101-2n-zn2:
1339         - 9   # rls2009 NDRPDR iter env 6
1340         - 10  # rls2009 NDRPDR iter env 6
1341         - 11  # rls2009 NDRPDR iter env 6
1342         - 12  # rls2009 NDRPDR iter env 6
1343         - 13  # rls2009 NDRPDR iter env 6
1344         - 20  # rls2009 NDRPDR iter env 6
1345         - 21  # rls2009 NDRPDR iter env 6
1346         - 22  # rls2009 NDRPDR iter env 6
1347         - 25  # rls2009 NDRPDR iter env 6
1348         - 26  # rls2009 NDRPDR iter env 6
1349     vpp-performance-changes-2n-zn2-cmp:
1350       csit-vpp-perf-report-iterative-2101-2n-zn2:
1351         - 31  # rls2101.rel NDRPDR iter env 6
1352         - 32  # rls2101.rel NDRPDR iter env 6
1353         - 33  # rls2101.rel NDRPDR iter env 6
1354         - 34  # rls2101.rel NDRPDR iter env 6
1355         - 35  # rls2101.rel NDRPDR iter env 6
1356         - 36  # rls2101.rel NDRPDR iter env 6
1357         - 37  # rls2101.rel NDRPDR iter env 6
1358         - 38  # rls2101.rel NDRPDR iter env 6
1359         - 44  # rls2101.rel NDRPDR iter env 6
1360         - 49  # rls2101.rel NDRPDR iter env 6
1361         - 39  # rls2101.rel NDRPDR iter RND env 6
1362         - 40  # rls2101.rel NDRPDR iter RND env 6
1363         - 41  # rls2101.rel NDRPDR iter RND env 6
1364         - 42  # rls2101.rel NDRPDR iter RND env 6
1365         - 43  # rls2101.rel NDRPDR iter RND env 6
1366         - 45  # rls2101.rel NDRPDR iter RND env 6
1367         - 48  # rls2101.rel NDRPDR iter RND env 6
1368         - 50  # rls2101.rel NDRPDR iter RND env 6
1369         - 51  # rls2101.rel NDRPDR iter RND env 6
1370         - 52  # rls2101.rel NDRPDR iter RND env 6
1371
1372     vpp-performance-changes-2n-dnv-h1:
1373       csit-vpp-perf-report-iterative-2009-2n-dnv:
1374         - 16  # rls2005 NDRPDR iter env 5
1375         - 17  # rls2005 NDRPDR iter env 5
1376         - 18  # rls2005 NDRPDR iter env 5
1377         - 19  # rls2005 NDRPDR iter env 5
1378         - 21  # rls2005 NDRPDR iter env 5
1379         - 24  # rls2005 NDRPDR iter env 5
1380         - 27  # rls2005 NDRPDR iter env 5
1381         - 28  # rls2005 NDRPDR iter env 5
1382         - 29  # rls2005 NDRPDR iter env 5
1383         - 30  # rls2005 NDRPDR iter env 5
1384     vpp-performance-changes-2n-dnv-ref-env-old:
1385       csit-vpp-perf-report-iterative-2009-2n-dnv:
1386         - 3   # rls2009 NDRPDR iter env 5
1387         - 5   # rls2009 NDRPDR iter env 5
1388         - 6   # rls2009 NDRPDR iter env 5
1389         - 7   # rls2009 NDRPDR iter env 5
1390         - 9   # rls2009 NDRPDR iter env 5
1391         - 10  # rls2009 NDRPDR iter env 5
1392         - 11  # rls2009 NDRPDR iter env 5
1393         - 12  # rls2009 NDRPDR iter env 5
1394         - 14  # rls2009 NDRPDR iter env 5
1395         - 15  # rls2009 NDRPDR iter env 5
1396     vpp-performance-changes-2n-dnv-ref-env-new:
1397       # TODO: Re-test in new env
1398       csit-vpp-perf-report-iterative-2009-2n-dnv:
1399         - 3   # rls2009 NDRPDR iter env 5
1400         - 5   # rls2009 NDRPDR iter env 5
1401         - 6   # rls2009 NDRPDR iter env 5
1402         - 7   # rls2009 NDRPDR iter env 5
1403         - 9   # rls2009 NDRPDR iter env 5
1404         - 10  # rls2009 NDRPDR iter env 5
1405         - 11  # rls2009 NDRPDR iter env 5
1406         - 12  # rls2009 NDRPDR iter env 5
1407         - 14  # rls2009 NDRPDR iter env 5
1408         - 15  # rls2009 NDRPDR iter env 5
1409     vpp-performance-changes-2n-dnv-cmp:
1410       csit-vpp-perf-report-iterative-2101-2n-dnv:
1411         - 32  # rls2101.rel NDRPDR iter env 6
1412         - 33  # rls2101.rel NDRPDR iter env 6
1413         - 34  # rls2101.rel NDRPDR iter env 6
1414         - 35  # rls2101.rel NDRPDR iter env 6
1415         - 39  # rls2101.rel NDRPDR iter env 6
1416         - 41  # rls2101.rel NDRPDR iter env 6
1417         - 42  # rls2101.rel NDRPDR iter env 6
1418         - 43  # rls2101.rel NDRPDR iter env 6
1419         - 44  # rls2101.rel NDRPDR iter env 6
1420         - 45  # rls2101.rel NDRPDR iter env 6
1421         - 46  # rls2101.rel NDRPDR iter RND env 6
1422         - 47  # rls2101.rel NDRPDR iter RND env 6
1423         - 48  # rls2101.rel NDRPDR iter RND env 6
1424         - 49  # rls2101.rel NDRPDR iter RND env 6
1425         - 50  # rls2101.rel NDRPDR iter RND env 6
1426         - 51  # rls2101.rel NDRPDR iter RND env 6
1427         - 52  # rls2101.rel NDRPDR iter RND env 6
1428         - 53  # rls2101.rel NDRPDR iter RND env 6
1429         - 54  # rls2101.rel NDRPDR iter RND env 6
1430         - 55  # rls2101.rel NDRPDR iter RND env 6
1431
1432     vpp-performance-changes-3n-dnv-h1:
1433       csit-vpp-perf-report-iterative-2009-3n-dnv:
1434         - 16  # rls2005 NDRPDR iter env 5
1435         - 23  # rls2005 NDRPDR iter env 5
1436         - 25  # rls2005 NDRPDR iter env 5
1437         - 26  # rls2005 NDRPDR iter env 5
1438         - 27  # rls2005 NDRPDR iter env 5
1439         - 28  # rls2005 NDRPDR iter env 5
1440         - 29  # rls2005 NDRPDR iter env 5
1441         - 30  # rls2005 NDRPDR iter env 5
1442         - 31  # rls2005 NDRPDR iter env 5
1443         - 32  # rls2005 NDRPDR iter env 5
1444     vpp-performance-changes-3n-dnv-ref-env-old:
1445       csit-vpp-perf-report-iterative-2009-3n-dnv:
1446         - 3   # rls2009 NDRPDR iter env 5
1447         - 6   # rls2009 NDRPDR iter env 5
1448         - 7   # rls2009 NDRPDR iter env 5
1449         - 8   # rls2009 NDRPDR iter env 5
1450         - 10  # rls2009 NDRPDR iter env 5
1451         - 11  # rls2009 NDRPDR iter env 5
1452         - 12  # rls2009 NDRPDR iter env 5
1453         - 14  # rls2009 NDRPDR iter env 5
1454         - 15  # rls2009 NDRPDR iter env 5
1455         - 24  # rls2009 NDRPDR iter env 5
1456     vpp-performance-changes-3n-dnv-ref-env-new:
1457       # TODO: Re-test in new env
1458       csit-vpp-perf-report-iterative-2009-3n-dnv:
1459         - 3   # rls2009 NDRPDR iter env 5
1460         - 6   # rls2009 NDRPDR iter env 5
1461         - 7   # rls2009 NDRPDR iter env 5
1462         - 8   # rls2009 NDRPDR iter env 5
1463         - 10  # rls2009 NDRPDR iter env 5
1464         - 11  # rls2009 NDRPDR iter env 5
1465         - 12  # rls2009 NDRPDR iter env 5
1466         - 14  # rls2009 NDRPDR iter env 5
1467         - 15  # rls2009 NDRPDR iter env 5
1468         - 24  # rls2009 NDRPDR iter env 5
1469     vpp-performance-changes-3n-dnv-cmp:
1470       csit-vpp-perf-report-iterative-2101-3n-dnv:
1471         - 33  # rls2101.rel NDRPDR iter env 6
1472         - 34  # rls2101.rel NDRPDR iter env 6
1473         - 35  # rls2101.rel NDRPDR iter env 6
1474         - 36  # rls2101.rel NDRPDR iter env 6
1475         - 37  # rls2101.rel NDRPDR iter env 6
1476         - 38  # rls2101.rel NDRPDR iter env 6
1477         - 39  # rls2101.rel NDRPDR iter env 6
1478         - 40  # rls2101.rel NDRPDR iter env 6
1479         - 41  # rls2101.rel NDRPDR iter env 6
1480         - 42  # rls2101.rel NDRPDR iter env 6
1481         - 43  # rls2101.rel NDRPDR iter RND env 6
1482         - 44  # rls2101.rel NDRPDR iter RND env 6
1483         - 45  # rls2101.rel NDRPDR iter RND env 6
1484         - 46  # rls2101.rel NDRPDR iter RND env 6
1485         - 47  # rls2101.rel NDRPDR iter RND env 6
1486         - 48  # rls2101.rel NDRPDR iter RND env 6
1487         - 49  # rls2101.rel NDRPDR iter RND env 6
1488         - 50  # rls2101.rel NDRPDR iter RND env 6
1489         - 51  # rls2101.rel NDRPDR iter RND env 6
1490         - 52  # rls2101.rel NDRPDR iter RND env 6
1491
1492     vpp-performance-changes-3n-tsh-h1:
1493       csit-vpp-perf-report-iterative-2009-3n-tsh:
1494         - 8   # rls2005 NDRPDR iter env 5
1495         - 11  # rls2005 NDRPDR iter env 5
1496         - 12  # rls2005 NDRPDR iter env 5
1497         - 24  # rls2005 NDRPDR iter env 5
1498         - 27  # rls2005 NDRPDR iter env 5
1499         - 29  # rls2005 NDRPDR iter env 5
1500         - 31  # rls2005 NDRPDR iter env 5
1501         - 39  # rls2005 NDRPDR iter env 5
1502         - 40  # rls2005 NDRPDR iter env 5
1503         - 42  # rls2005 NDRPDR iter env 5
1504     vpp-performance-changes-3n-tsh-ref-env-old:
1505       csit-vpp-perf-report-iterative-2009-3n-tsh:
1506         - 14  # rls2009 NDRPDR iter env 5
1507         - 20  # rls2009 NDRPDR iter env 5
1508         - 21  # rls2009 NDRPDR iter env 5
1509         - 22  # rls2009 NDRPDR iter env 5
1510         - 23  # rls2009 NDRPDR iter env 5
1511         - 28  # rls2009 NDRPDR iter env 5
1512         - 30  # rls2009 NDRPDR iter env 5
1513         - 33  # rls2009 NDRPDR iter env 5
1514         - 38  # rls2009 NDRPDR iter env 5
1515         - 41  # rls2009 NDRPDR iter env 5
1516     vpp-performance-changes-3n-tsh-ref-env-new:
1517       csit-vpp-perf-report-iterative-2101-3n-tsh:
1518         - 8   # rls2009 NDRPDR iter env 6
1519         - 13  # rls2009 NDRPDR iter env 6
1520         - 14  # rls2009 NDRPDR iter env 6
1521         - 15  # rls2009 NDRPDR iter env 6
1522         - 16  # rls2009 NDRPDR iter env 6
1523         - 17  # rls2009 NDRPDR iter env 6
1524         - 18  # rls2009 NDRPDR iter env 6
1525         - 19  # rls2009 NDRPDR iter env 6
1526         - 21  # rls2009 NDRPDR iter env 6
1527     vpp-performance-changes-3n-tsh-cmp:
1528       csit-vpp-perf-report-iterative-2101-3n-tsh:
1529         - 23  # rls2101.rel NDRPDR iter env 6
1530         - 24  # rls2101.rel NDRPDR iter env 6
1531         - 25  # rls2101.rel NDRPDR iter env 6
1532         - 26  # rls2101.rel NDRPDR iter env 6
1533         - 27  # rls2101.rel NDRPDR iter env 6
1534         - 28  # rls2101.rel NDRPDR iter env 6
1535         - 29  # rls2101.rel NDRPDR iter env 6
1536         - 30  # rls2101.rel NDRPDR iter env 6
1537         - 31  # rls2101.rel NDRPDR iter env 6
1538         - 32  # rls2101.rel NDRPDR iter env 6
1539
1540 #     vpp-performance-changes-2n-tx2-h1:
1541 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1542 #         -
1543 #     vpp-performance-changes-2n-tx2-ref-env-old:
1544 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1545 #         -
1546     vpp-performance-changes-2n-tx2-ref-env-new:
1547       csit-vpp-perf-report-iterative-2101-2n-tx2:
1548         - 6   # rls2009 NDRPDR iter env 6
1549         - 7   # rls2009 NDRPDR iter env 6
1550         - 11  # rls2009 NDRPDR iter env 6
1551         - 12  # rls2009 NDRPDR iter env 6
1552         - 13  # rls2009 NDRPDR iter env 6
1553         - 16  # rls2009 NDRPDR iter env 6
1554         - 17  # rls2009 NDRPDR iter env 6
1555         - 18  # rls2009 NDRPDR iter env 6
1556         - 19  # rls2009 NDRPDR iter env 6
1557         - 20  # rls2009 NDRPDR iter env 6
1558     vpp-performance-changes-2n-tx2-cmp:
1559       csit-vpp-perf-report-iterative-2101-2n-tx2:
1560         - 22  # rls2101.rel NDRPDR iter env 6
1561         - 23  # rls2101.rel NDRPDR iter env 6
1562         - 24  # rls2101.rel NDRPDR iter env 6
1563         - 25  # rls2101.rel NDRPDR iter env 6
1564         - 26  # rls2101.rel NDRPDR iter env 6
1565         - 27  # rls2101.rel NDRPDR iter env 6
1566         - 28  # rls2101.rel NDRPDR iter env 6
1567         - 29  # rls2101.rel NDRPDR iter env 6
1568         - 30  # rls2101.rel NDRPDR iter env 6
1569         - 31  # rls2101.rel NDRPDR iter env 6
1570
1571     vpp-soak-vs-ndr-2n-skx-ref:
1572       csit-vpp-perf-report-iterative-2101-2n-skx:
1573         - 63  # rls2101.rel NDRPDR iter env 6
1574         - 69  # rls2101.rel NDRPDR iter env 6
1575         - 70  # rls2101.rel NDRPDR iter env 6
1576         - 75  # rls2101.rel NDRPDR iter env 6
1577         - 76  # rls2101.rel NDRPDR iter env 6
1578         - 77  # rls2101.rel NDRPDR iter env 6
1579         - 82  # rls2101.rel NDRPDR iter env 6
1580         - 85  # rls2101.rel NDRPDR iter env 6
1581         - 86  # rls2101.rel NDRPDR iter env 6
1582         - 94  # rls2101.rel NDRPDR iter env 6
1583     vpp-soak-vs-ndr-2n-skx-cmp:
1584       csit-vpp-perf-report-iterative-2101-2n-skx:
1585         - 68  # rls2101.rel soak env 6
1586         - 73  # rls2101.rel soak env 6
1587     vpp-soak-vs-ndr-2n-skx:
1588       csit-vpp-perf-report-iterative-2101-2n-skx:
1589         - 63  # rls2101.rel NDRPDR iter env 6
1590         - 69  # rls2101.rel NDRPDR iter env 6
1591         - 70  # rls2101.rel NDRPDR iter env 6
1592         - 75  # rls2101.rel NDRPDR iter env 6
1593         - 76  # rls2101.rel NDRPDR iter env 6
1594         - 77  # rls2101.rel NDRPDR iter env 6
1595         - 82  # rls2101.rel NDRPDR iter env 6
1596         - 85  # rls2101.rel NDRPDR iter env 6
1597         - 86  # rls2101.rel NDRPDR iter env 6
1598         - 94  # rls2101.rel NDRPDR iter env 6
1599         - 68  # rls2101.rel soak env 6
1600         - 73  # rls2101.rel soak env 6
1601
1602     vpp-soak-vs-ndr-2n-clx-ref:
1603       csit-vpp-perf-report-iterative-2101-2n-clx:
1604         - 54  # rls2101.rel NDRPDR iter env 6
1605         - 59  # rls2101.rel NDRPDR iter env 6
1606         - 60  # rls2101.rel NDRPDR iter env 6
1607         - 63  # rls2101.rel NDRPDR iter env 6
1608         - 66  # rls2101.rel NDRPDR iter env 6
1609         - 68  # rls2101.rel NDRPDR iter env 6
1610         - 73  # rls2101.rel NDRPDR iter env 6
1611         - 75  # rls2101.rel NDRPDR iter env 6
1612         - 86  # rls2101.rel NDRPDR iter env 6
1613         - 90  # rls2101.rel NDRPDR iter env 6
1614     vpp-soak-vs-ndr-2n-clx-cmp:
1615       csit-vpp-perf-report-iterative-2101-2n-clx:
1616         - 58  # rls2101.rel soak env 6
1617         - 61  # rls2101.rel soak env 6
1618     vpp-soak-vs-ndr-2n-clx:
1619       csit-vpp-perf-report-iterative-2101-2n-clx:
1620         - 54  # rls2101.rel NDRPDR iter env 6
1621         - 59  # rls2101.rel NDRPDR iter env 6
1622         - 60  # rls2101.rel NDRPDR iter env 6
1623         - 63  # rls2101.rel NDRPDR iter env 6
1624         - 66  # rls2101.rel NDRPDR iter env 6
1625         - 68  # rls2101.rel NDRPDR iter env 6
1626         - 73  # rls2101.rel NDRPDR iter env 6
1627         - 75  # rls2101.rel NDRPDR iter env 6
1628         - 86  # rls2101.rel NDRPDR iter env 6
1629         - 90  # rls2101.rel NDRPDR iter env 6
1630         - 58  # rls2101.rel soak env 6
1631         - 61  # rls2101.rel soak env 6
1632
1633     vpp-performance-changes-3n-hsw-mrr-h1:
1634       csit-vpp-perf-report-iterative-2009-3n-hsw:
1635         - 18  # rls2005 MRR iter env 5
1636     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1637       csit-vpp-perf-report-iterative-2009-3n-hsw:
1638         - 23  # rls2009 MRR iter env 5
1639     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1640       csit-vpp-perf-report-iterative-2101-3n-hsw:
1641         - 17  # rls2009 MRR iter env 6
1642     vpp-performance-changes-3n-hsw-mrr-cmp:
1643       csit-vpp-perf-report-iterative-2101-3n-hsw:
1644         - 63  # rls2101.rel MRR iter env 6
1645
1646     vpp-performance-changes-3n-skx-mrr-h1:
1647       csit-vpp-perf-report-iterative-2009-3n-skx:
1648         - 17  # rls2005 MRR iter env 5
1649     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1650       csit-vpp-perf-report-iterative-2009-3n-skx:
1651         - 24  # rls2009 MRR iter env 5
1652     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1653       csit-vpp-perf-report-iterative-2101-3n-skx:
1654         - 34  # rls2009 MRR iter env 6
1655     vpp-performance-changes-3n-skx-mrr-cmp:
1656       csit-vpp-perf-report-iterative-2101-3n-skx:
1657         - 35  # rls2101.rel MRR iter env 6
1658
1659     vpp-performance-changes-2n-skx-mrr-h1:
1660       csit-vpp-perf-report-iterative-2009-2n-skx:
1661         - 20  # rls2005 MRR iter env 5
1662     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1663       csit-vpp-perf-report-iterative-2009-2n-skx:
1664         - 120 # rls2009 MRR iter env 5
1665     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1666       csit-vpp-perf-report-iterative-2101-2n-skx:
1667         - 21  # rls2009 MRR iter env 6
1668     vpp-performance-changes-2n-skx-mrr-cmp:
1669       csit-vpp-perf-report-iterative-2101-2n-skx:
1670         - 62  # rls2101.rel MRR iter env 6
1671
1672     vpp-performance-changes-2n-clx-mrr-h1:
1673       csit-vpp-perf-report-iterative-2009-2n-clx:
1674         - 77  # rls2005 MRR iter env 5
1675     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1676       csit-vpp-perf-report-iterative-2009-2n-clx:
1677         - 125 # rls2009 MRR iter env 5
1678     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1679       csit-vpp-perf-report-iterative-2101-2n-clx:
1680         - 15  # rls2009 MRR iter env 6
1681         - 142 # rls2009 MRR MLX iter env 6
1682     vpp-performance-changes-2n-clx-mrr-cmp:
1683       csit-vpp-perf-report-iterative-2101-2n-clx:
1684         - 53  # rls2101.rel MRR iter env 6
1685         - 133 # rls2101.rel MRR MLX iter env 6
1686
1687     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1688       csit-vpp-perf-report-iterative-2009-2n-zn2:
1689         - 15  # rls2009 MRR iter env 5
1690     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1691       csit-vpp-perf-report-iterative-2101-2n-zn2:
1692         - 8   # rls2009 MRR iter env6
1693     vpp-performance-changes-2n-zn2-mrr-cmp:
1694       csit-vpp-perf-report-iterative-2101-2n-zn2:
1695         - 30  # rls2101.rel MRR iter env 6
1696
1697     vpp-performance-changes-2n-dnv-mrr-h1:
1698       csit-vpp-perf-report-iterative-2009-2n-dnv:
1699         - 23  # rls2005 MRR iter env 5
1700     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1701       csit-vpp-perf-report-iterative-2009-2n-dnv:
1702         - 13  # rls2009 MRR iter env 5
1703     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1704       # TODO: Re-test in new env
1705       csit-vpp-perf-report-iterative-2009-2n-dnv:
1706         - 13  # rls2009 MRR iter env 5
1707     vpp-performance-changes-2n-dnv-mrr-cmp:
1708       csit-vpp-perf-report-iterative-2101-2n-dnv:
1709         - 31  # rls2101.rel MRR iter env 6
1710
1711     vpp-performance-changes-3n-dnv-mrr-h1:
1712       csit-vpp-perf-report-iterative-2009-3n-dnv:
1713         - 19  # rls2005 MRR iter env 5
1714     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1715       csit-vpp-perf-report-iterative-2009-3n-dnv:
1716         - 22  # rls2009 MRR iter env 5
1717     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1718       # TODO: Re-test in new env
1719       csit-vpp-perf-report-iterative-2009-3n-dnv:
1720         - 22  # rls2009 MRR iter env 5
1721     vpp-performance-changes-3n-dnv-mrr-cmp:
1722       csit-vpp-perf-report-iterative-2101-3n-dnv:
1723         - 32  # rls2101.rel MRR iter env 6
1724
1725     vpp-performance-changes-3n-tsh-mrr-h1:
1726       csit-vpp-perf-report-iterative-2009-3n-tsh:
1727         - 13  # rls2005 MRR iter env 5
1728     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1729       csit-vpp-perf-report-iterative-2009-3n-tsh:
1730         - 15  # rls2009 MRR iter env 5
1731     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1732       csit-vpp-perf-report-iterative-2101-3n-tsh:
1733         - 7   # rls2009 MRR iter env 6
1734     vpp-performance-changes-3n-tsh-mrr-cmp:
1735       csit-vpp-perf-report-iterative-2101-3n-tsh:
1736         - 22  # rls2101.rel MRR iter env 6
1737
1738 #     vpp-performance-changes-2n-tx2-mrr-h1:
1739 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1740 #         -
1741 #     vpp-performance-changes-2n-tx2-mrr-ref-env-old:
1742 #       csit-vpp-perf-report-iterative-2009-2n-tx2:
1743 #         -
1744     vpp-performance-changes-2n-tx2-mrr-ref-env-new:
1745       csit-vpp-perf-report-iterative-2101-2n-tx2:
1746         - 5   # rls2009 MRR iter env 6
1747     vpp-performance-changes-2n-tx2-mrr-cmp:
1748       csit-vpp-perf-report-iterative-2101-2n-tx2:
1749         - 21  # rls2101.rel MRR iter env 6
1750
1751     dpdk-performance-changes-3n-hsw-h1:
1752       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1753         - 25  # NDRPDR iter
1754         - 26  # NDRPDR iter
1755         - 27  # NDRPDR iter
1756         - 28  # NDRPDR iter
1757         - 29  # NDRPDR iter
1758         - 30  # NDRPDR iter
1759         - 31  # NDRPDR iter
1760         - 32  # NDRPDR iter
1761         - 33  # NDRPDR iter
1762         - 34  # NDRPDR iter
1763     dpdk-performance-changes-3n-hsw-ref:
1764       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1765         - 6   # NDRPDR iter env5
1766         - 7   # NDRPDR iter env5
1767         - 8   # NDRPDR iter env5
1768         - 9   # NDRPDR iter env5
1769         - 10  # NDRPDR iter env5
1770         - 11  # NDRPDR iter env5
1771         - 12  # NDRPDR iter env5
1772         - 13  # NDRPDR iter env5
1773         - 14  # NDRPDR iter env5
1774         - 15  # NDRPDR iter env5
1775     dpdk-performance-changes-3n-hsw-cmp:
1776       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1777         - 11  # rls2101 NDRPDR iter env 6
1778         - 12  # rls2101 NDRPDR iter env 6
1779         - 13  # rls2101 NDRPDR iter env 6
1780         - 14  # rls2101 NDRPDR iter env 6
1781         - 16  # rls2101 NDRPDR iter env 6
1782         - 17  # rls2101 NDRPDR iter env 6
1783         - 18  # rls2101 NDRPDR iter env 6
1784         - 19  # rls2101 NDRPDR iter env 6
1785         - 20  # rls2101 NDRPDR iter env 6
1786         - 21  # rls2101 NDRPDR iter env 6
1787
1788     dpdk-performance-changes-3n-skx-h1:
1789       csit-dpdk-perf-report-iterative-2005-3n-skx:
1790         - 28  # NDRPDR iter
1791         - 29  # NDRPDR iter
1792         - 30  # NDRPDR iter
1793         - 31  # NDRPDR iter
1794         - 32  # NDRPDR iter
1795         - 33  # NDRPDR iter
1796         - 34  # NDRPDR iter
1797         - 35  # NDRPDR iter
1798         - 36  # NDRPDR iter
1799         - 37  # NDRPDR iter
1800     dpdk-performance-changes-3n-skx-ref:
1801       csit-dpdk-perf-report-iterative-2009-3n-skx:
1802         - 4   # NDRPDR sel env5
1803         - 5   # NDRPDR sel env5
1804         - 6   # NDRPDR sel env5
1805         - 7   # NDRPDR sel env5
1806         - 8   # NDRPDR sel env5
1807         - 9   # NDRPDR sel env5
1808         - 14  # NDRPDR sel env5
1809         - 11  # NDRPDR sel env5
1810         - 12  # NDRPDR sel env5
1811         - 13  # NDRPDR sel env5
1812     dpdk-performance-changes-3n-skx-cmp:
1813       csit-dpdk-perf-report-iterative-2101-3n-skx:
1814         - 12  # rls2101 NDRPDR iter env 6
1815         - 14  # rls2101 NDRPDR iter env 6
1816         - 15  # rls2101 NDRPDR iter env 6
1817         - 17  # rls2101 NDRPDR iter env 6
1818         - 19  # rls2101 NDRPDR iter env 6
1819         - 20  # rls2101 NDRPDR iter env 6
1820         - 21  # rls2101 NDRPDR iter env 6
1821         - 22  # rls2101 NDRPDR iter env 6
1822         - 25  # rls2101 NDRPDR iter env 6
1823         - 26  # rls2101 NDRPDR iter env 6
1824
1825     dpdk-performance-changes-2n-skx-h1:
1826       csit-dpdk-perf-report-iterative-2005-2n-skx:
1827         - 20  # NDRPDR iter
1828         - 21  # NDRPDR iter
1829         - 22  # NDRPDR iter
1830         - 23  # NDRPDR iter
1831         - 24  # NDRPDR iter
1832         - 25  # NDRPDR iter
1833         - 26  # NDRPDR iter
1834         - 27  # NDRPDR iter
1835         - 28  # NDRPDR iter
1836         - 29  # NDRPDR iter
1837     dpdk-performance-changes-2n-skx-ref:
1838       csit-dpdk-perf-report-iterative-2009-2n-skx:
1839         - 4   # NDRPDR iter env5
1840         - 5   # NDRPDR iter env5
1841         - 6   # NDRPDR iter env5
1842         - 7   # NDRPDR iter env5
1843         - 8   # NDRPDR iter env5
1844         - 9   # NDRPDR iter env5
1845         - 10  # NDRPDR iter env5
1846         - 11  # NDRPDR iter env5
1847         - 12  # NDRPDR iter env5
1848         - 13  # NDRPDR iter env5
1849     dpdk-performance-changes-2n-skx-cmp:
1850       csit-dpdk-perf-report-iterative-2101-2n-skx:
1851         - 11  # rls2101 NDRPDR iter env 6
1852         - 12  # rls2101 NDRPDR iter env 6
1853         - 13  # rls2101 NDRPDR iter env 6
1854         - 14  # rls2101 NDRPDR iter env 6
1855         - 15  # rls2101 NDRPDR iter env 6
1856         - 17  # rls2101 NDRPDR iter env 6
1857         - 18  # rls2101 NDRPDR iter env 6
1858         - 19  # rls2101 NDRPDR iter env 6
1859         - 20  # rls2101 NDRPDR iter env 6
1860         - 21  # rls2101 NDRPDR iter env 6
1861
1862     dpdk-performance-changes-2n-clx-h1:
1863       csit-dpdk-perf-report-iterative-2005-2n-clx:
1864         - 20  # NDRPDR iter
1865         - 21  # NDRPDR iter
1866         - 22  # NDRPDR iter
1867         - 23  # NDRPDR iter
1868         - 24  # NDRPDR iter
1869         - 25  # NDRPDR iter
1870         - 26  # NDRPDR iter
1871         - 27  # NDRPDR iter
1872         - 28  # NDRPDR iter
1873         - 29  # NDRPDR iter
1874     dpdk-performance-changes-2n-clx-ref:
1875       csit-dpdk-perf-report-iterative-2009-2n-clx:
1876         - 4   # NDRPDR iter env5
1877         - 5   # NDRPDR iter env5
1878         - 6   # NDRPDR iter env5
1879         - 7   # NDRPDR iter env5
1880         - 8   # NDRPDR iter env5
1881         - 9   # NDRPDR iter env5
1882         - 10  # NDRPDR iter env5
1883         - 11  # NDRPDR iter env5
1884         - 12  # NDRPDR iter env5
1885         - 13  # NDRPDR iter env5
1886     dpdk-performance-changes-2n-clx-cmp:
1887       csit-dpdk-perf-report-iterative-2101-2n-clx:
1888         - 12  # rls2101 NDRPDR iter env 6
1889         - 13  # rls2101 NDRPDR iter env 6
1890         - 14  # rls2101 NDRPDR iter env 6
1891         - 18  # rls2101 NDRPDR iter env 6
1892         - 22  # rls2101 NDRPDR iter env 6
1893
1894     dpdk-performance-changes-2n-zn2-ref:
1895       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1896         - 16  # NDRPDR iter env5
1897         - 21  # NDRPDR iter env5
1898         - 22  # NDRPDR iter env5
1899         - 23  # NDRPDR iter env5
1900         - 24  # NDRPDR iter env5
1901         - 25  # NDRPDR iter env5
1902         - 29  # NDRPDR iter env5
1903     dpdk-performance-changes-2n-zn2-cmp:
1904       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1905         - 11  # rls2101 NDRPDR iter env 6
1906         - 12  # rls2101 NDRPDR iter env 6
1907         - 13  # rls2101 NDRPDR iter env 6
1908         - 14  # rls2101 NDRPDR iter env 6
1909         - 16  # rls2101 NDRPDR iter env 6
1910         - 17  # rls2101 NDRPDR iter env 6
1911         - 18  # rls2101 NDRPDR iter env 6
1912         - 19  # rls2101 NDRPDR iter env 6
1913         - 20  # rls2101 NDRPDR iter env 6
1914         - 21  # rls2101 NDRPDR iter env 6
1915
1916 #    dpdk-performance-changes-2n-dnv-h1:
1917 #      csit-dpdk-perf-verify-2101-2n-dnv:
1918 #        - 9   # NDRPDR sel
1919 #        - 10  # NDRPDR sel
1920 #        - 11  # NDRPDR sel
1921 #        - 12  # NDRPDR sel
1922 #        - 13  # NDRPDR sel
1923 #        - 14  # NDRPDR sel
1924 #        - 15  # NDRPDR sel
1925 #        - 16  # NDRPDR sel
1926 #        - 17  # NDRPDR sel
1927 #        - 18  # NDRPDR sel
1928 #    dpdk-performance-changes-2n-dnv-ref:
1929 #      # No data
1930 #    dpdk-performance-changes-2n-dnv-cmp:
1931 #      # No data
1932 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1933
1934 #    dpdk-performance-changes-3n-dnv-h1:
1935 #      csit-dpdk-perf-verify-2101-3n-dnv:
1936 #        - 12  # NDRPDR sel
1937 #        - 13  # NDRPDR sel
1938 #        - 14  # NDRPDR sel
1939 #        - 15  # NDRPDR sel
1940 #        - 16  # NDRPDR sel
1941 #        - 17  # NDRPDR sel
1942 #        - 18  # NDRPDR sel
1943 #        - 19  # NDRPDR sel
1944 #        - 20  # NDRPDR sel
1945 #        - 22  # NDRPDR sel
1946 #    dpdk-performance-changes-3n-dnv-ref:
1947 #      # No data
1948 #    dpdk-performance-changes-3n-dnv-cmp:
1949 #      # No data
1950 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1951
1952     dpdk-performance-changes-3n-tsh-h1:
1953       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1954         - 5   # NDRPDR sel
1955     dpdk-performance-changes-3n-tsh-ref:
1956       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1957         - 1   # NDRPDR iter env5
1958         - 2   # NDRPDR iter env5
1959         - 3   # NDRPDR iter env5
1960         - 4   # NDRPDR iter env5
1961         - 5   # NDRPDR iter env5
1962         - 6   # NDRPDR iter env5
1963         - 7   # NDRPDR iter env5
1964         - 9   # NDRPDR iter env5
1965         - 10  # NDRPDR iter env5
1966         - 11  # NDRPDR iter env5
1967     dpdk-performance-changes-3n-tsh-cmp:
1968       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1969         - 11  # rls2101 NDRPDR iter env 6
1970         - 12  # rls2101 NDRPDR iter env 6
1971         - 13  # rls2101 NDRPDR iter env 6
1972         - 14  # rls2101 NDRPDR iter env 6
1973         - 16  # rls2101 NDRPDR iter env 6
1974         - 17  # rls2101 NDRPDR iter env 6
1975         - 18  # rls2101 NDRPDR iter env 6
1976         - 19  # rls2101 NDRPDR iter env 6
1977         - 20  # rls2101 NDRPDR iter env 6
1978         - 21  # rls2101 NDRPDR iter env 6
1979
1980     # Compare testbeds
1981
1982     vpp-compare-testbeds-ref:
1983       csit-vpp-perf-report-iterative-2101-3n-hsw:
1984         - 64  # rls2101.rel NDRPDR iter env 6
1985         - 71  # rls2101.rel NDRPDR iter env 6
1986         - 73  # rls2101.rel NDRPDR iter env 6
1987         - 74  # rls2101.rel NDRPDR iter env 6
1988         - 80  # rls2101.rel NDRPDR iter env 6
1989         - 81  # rls2101.rel NDRPDR iter env 6
1990         - 82  # rls2101.rel NDRPDR iter env 6
1991         - 83  # rls2101.rel NDRPDR iter env 6
1992         - 88  # rls2101.rel NDRPDR iter env 6
1993         - 89  # rls2101.rel NDRPDR iter env 6
1994     vpp-compare-testbeds-cmp:
1995       csit-vpp-perf-report-iterative-2101-3n-skx:
1996         - 36  # rls2101.rel NDRPDR iter env 6
1997         - 37  # rls2101.rel NDRPDR iter env 6
1998         - 38  # rls2101.rel NDRPDR iter env 6
1999         - 39  # rls2101.rel NDRPDR iter env 6
2000         - 40  # rls2101.rel NDRPDR iter env 6
2001         - 41  # rls2101.rel NDRPDR iter env 6
2002         - 42  # rls2101.rel NDRPDR iter env 6
2003         - 47  # rls2101.rel NDRPDR iter env 6
2004         - 48  # rls2101.rel NDRPDR iter env 6
2005         - 50  # rls2101.rel NDRPDR iter env 6
2006
2007     vpp-compare-testbeds-skx-clx-ref:
2008       csit-vpp-perf-report-iterative-2101-2n-skx:
2009         - 63  # rls2101.rel NDRPDR iter env 6
2010         - 69  # rls2101.rel NDRPDR iter env 6
2011         - 70  # rls2101.rel NDRPDR iter env 6
2012         - 75  # rls2101.rel NDRPDR iter env 6
2013         - 76  # rls2101.rel NDRPDR iter env 6
2014         - 77  # rls2101.rel NDRPDR iter env 6
2015         - 82  # rls2101.rel NDRPDR iter env 6
2016         - 85  # rls2101.rel NDRPDR iter env 6
2017         - 86  # rls2101.rel NDRPDR iter env 6
2018         - 94  # rls2101.rel NDRPDR iter env 6
2019         - 89  # rls2101.rel NDRPDR iter RND env 6
2020         - 90  # rls2101.rel NDRPDR iter RND env 6
2021         - 91  # rls2101.rel NDRPDR iter RND env 6
2022         - 92  # rls2101.rel NDRPDR iter RND env 6
2023         - 93  # rls2101.rel NDRPDR iter RND env 6
2024         - 96  # rls2101.rel NDRPDR iter RND env 6
2025         - 98  # rls2101.rel NDRPDR iter RND env 6
2026         - 99  # rls2101.rel NDRPDR iter RND env 6
2027         - 101 # rls2101.rel NDRPDR iter RND env 6
2028         - 102 # rls2101.rel NDRPDR iter RND env 6
2029         - 116 # rls2101.rel NDRPDR iter NAT env 6
2030         - 117 # rls2101.rel NDRPDR iter NAT env 6
2031         - 118 # rls2101.rel NDRPDR iter NAT env 6
2032         - 119 # rls2101.rel NDRPDR iter NAT env 6
2033         - 120 # rls2101.rel NDRPDR iter NAT env 6
2034         - 121 # rls2101.rel NDRPDR iter NAT env 6
2035         - 122 # rls2101.rel NDRPDR iter NAT env 6
2036         - 123 # rls2101.rel NDRPDR iter NAT env 6
2037         - 124 # rls2101.rel NDRPDR iter NAT env 6
2038         - 125 # rls2101.rel NDRPDR iter NAT env 6
2039     vpp-compare-testbeds-skx-clx-cmp:
2040       csit-vpp-perf-report-iterative-2101-2n-clx:
2041         - 54  # rls2101.rel NDRPDR iter env 6
2042         - 59  # rls2101.rel NDRPDR iter env 6
2043         - 60  # rls2101.rel NDRPDR iter env 6
2044         - 63  # rls2101.rel NDRPDR iter env 6
2045         - 66  # rls2101.rel NDRPDR iter env 6
2046         - 68  # rls2101.rel NDRPDR iter env 6
2047         - 73  # rls2101.rel NDRPDR iter env 6
2048         - 75  # rls2101.rel NDRPDR iter env 6
2049         - 86  # rls2101.rel NDRPDR iter env 6
2050         - 90  # rls2101.rel NDRPDR iter env 6
2051         - 80  # rls2101.rel NDRPDR iter RND env 6
2052         - 87  # rls2101.rel NDRPDR iter RND env 6
2053         - 91  # rls2101.rel NDRPDR iter RND env 6
2054         - 92  # rls2101.rel NDRPDR iter RND env 6
2055         - 93  # rls2101.rel NDRPDR iter RND env 6
2056         - 94  # rls2101.rel NDRPDR iter RND env 6
2057         - 95  # rls2101.rel NDRPDR iter RND env 6
2058         - 100 # rls2101.rel NDRPDR iter RND env 6
2059         - 106 # rls2101.rel NDRPDR iter RND env 6
2060         - 108 # rls2101.rel NDRPDR iter RND env 6
2061         - 112 # rls2101.rel NDRPDR iter NAT env 6
2062         - 113 # rls2101.rel NDRPDR iter NAT env 6
2063         - 114 # rls2101.rel NDRPDR iter NAT env 6
2064         - 115 # rls2101.rel NDRPDR iter NAT env 6
2065         - 116 # rls2101.rel NDRPDR iter NAT env 6
2066         - 117 # rls2101.rel NDRPDR iter NAT env 6
2067         - 118 # rls2101.rel NDRPDR iter NAT env 6
2068         - 119 # rls2101.rel NDRPDR iter NAT env 6
2069         - 120 # rls2101.rel NDRPDR iter NAT env 6
2070         - 121 # rls2101.rel NDRPDR iter NAT env 6
2071         - 122 # rls2101.rel NDRPDR iter MLX env 6
2072         - 123 # rls2101.rel NDRPDR iter MLX env 6
2073         - 124 # rls2101.rel NDRPDR iter MLX env 6
2074         - 126 # rls2101.rel NDRPDR iter MLX env 6
2075         - 127 # rls2101.rel NDRPDR iter MLX env 6
2076         - 128 # rls2101.rel NDRPDR iter MLX env 6
2077         - 129 # rls2101.rel NDRPDR iter MLX env 6
2078         - 130 # rls2101.rel NDRPDR iter MLX env 6
2079         - 131 # rls2101.rel NDRPDR iter MLX env 6
2080         - 132 # rls2101.rel NDRPDR iter MLX env 6
2081
2082     vpp-compare-testbeds-hsw-clx-ref:
2083       csit-vpp-perf-report-iterative-2101-3n-hsw:
2084         - 64  # rls2101.rel NDRPDR iter env 6
2085         - 71  # rls2101.rel NDRPDR iter env 6
2086         - 73  # rls2101.rel NDRPDR iter env 6
2087         - 74  # rls2101.rel NDRPDR iter env 6
2088         - 80  # rls2101.rel NDRPDR iter env 6
2089         - 81  # rls2101.rel NDRPDR iter env 6
2090         - 82  # rls2101.rel NDRPDR iter env 6
2091         - 83  # rls2101.rel NDRPDR iter env 6
2092         - 88  # rls2101.rel NDRPDR iter env 6
2093         - 89  # rls2101.rel NDRPDR iter env 6
2094         - 128 # rls2101.rel NDRPDR iter RND env 6
2095         - 129 # rls2101.rel NDRPDR iter RND env 6
2096         - 130 # rls2101.rel NDRPDR iter RND env 6
2097         - 131 # rls2101.rel NDRPDR iter RND env 6
2098         - 132 # rls2101.rel NDRPDR iter RND env 6
2099         - 133 # rls2101.rel NDRPDR iter RND env 6
2100         - 134 # rls2101.rel NDRPDR iter RND env 6
2101         - 135 # rls2101.rel NDRPDR iter RND env 6
2102         - 136 # rls2101.rel NDRPDR iter RND env 6
2103         - 137 # rls2101.rel NDRPDR iter RND env 6
2104     vpp-compare-testbeds-hsw-clx-cmp:
2105       csit-vpp-perf-report-iterative-2101-2n-clx:
2106         - 54  # rls2101.rel NDRPDR iter env 6
2107         - 59  # rls2101.rel NDRPDR iter env 6
2108         - 60  # rls2101.rel NDRPDR iter env 6
2109         - 63  # rls2101.rel NDRPDR iter env 6
2110         - 66  # rls2101.rel NDRPDR iter env 6
2111         - 68  # rls2101.rel NDRPDR iter env 6
2112         - 73  # rls2101.rel NDRPDR iter env 6
2113         - 75  # rls2101.rel NDRPDR iter env 6
2114         - 90  # rls2101.rel NDRPDR iter env 6
2115         - 80  # rls2101.rel NDRPDR iter RND env 6
2116         - 87  # rls2101.rel NDRPDR iter RND env 6
2117         - 91  # rls2101.rel NDRPDR iter RND env 6
2118         - 92  # rls2101.rel NDRPDR iter RND env 6
2119         - 93  # rls2101.rel NDRPDR iter RND env 6
2120         - 94  # rls2101.rel NDRPDR iter RND env 6
2121         - 95  # rls2101.rel NDRPDR iter RND env 6
2122         - 100 # rls2101.rel NDRPDR iter RND env 6
2123         - 106 # rls2101.rel NDRPDR iter RND env 6
2124         - 108 # rls2101.rel NDRPDR iter RND env 6
2125         - 112 # rls2101.rel NDRPDR iter NAT env 6
2126         - 113 # rls2101.rel NDRPDR iter NAT env 6
2127         - 114 # rls2101.rel NDRPDR iter NAT env 6
2128         - 115 # rls2101.rel NDRPDR iter NAT env 6
2129         - 116 # rls2101.rel NDRPDR iter NAT env 6
2130         - 117 # rls2101.rel NDRPDR iter NAT env 6
2131         - 118 # rls2101.rel NDRPDR iter NAT env 6
2132         - 119 # rls2101.rel NDRPDR iter NAT env 6
2133         - 120 # rls2101.rel NDRPDR iter NAT env 6
2134         - 121 # rls2101.rel NDRPDR iter NAT env 6
2135         - 122 # rls2101.rel NDRPDR iter MLX env 6
2136         - 123 # rls2101.rel NDRPDR iter MLX env 6
2137         - 124 # rls2101.rel NDRPDR iter MLX env 6
2138         - 126 # rls2101.rel NDRPDR iter MLX env 6
2139         - 127 # rls2101.rel NDRPDR iter MLX env 6
2140         - 128 # rls2101.rel NDRPDR iter MLX env 6
2141         - 129 # rls2101.rel NDRPDR iter MLX env 6
2142         - 130 # rls2101.rel NDRPDR iter MLX env 6
2143         - 131 # rls2101.rel NDRPDR iter MLX env 6
2144         - 132 # rls2101.rel NDRPDR iter MLX env 6
2145
2146     vpp-compare-testbeds-mrr-ref:
2147       csit-vpp-perf-report-iterative-2101-3n-hsw:
2148         - 63  # rls2101.rel MRR iter env 6
2149     vpp-compare-testbeds-mrr-cmp:
2150       csit-vpp-perf-report-iterative-2101-3n-skx:
2151         - 35  # rls2101.rel MRR iter env 6
2152
2153     vpp-compare-testbeds-mrr-skx-clx-ref:
2154       csit-vpp-perf-report-iterative-2101-2n-skx:
2155         - 62  # rls2101.rel MRR iter env 6
2156     vpp-compare-testbeds-mrr-skx-clx-cmp:
2157       csit-vpp-perf-report-iterative-2101-2n-clx:
2158         - 53  # rls2101.rel MRR iter env 6
2159
2160     vpp-compare-testbeds-mrr-hsw-clx-ref:
2161       csit-vpp-perf-report-iterative-2101-3n-hsw:
2162         - 63  # rls2101.rel MRR iter env 6
2163     vpp-compare-testbeds-mrr-hsw-clx-cmp:
2164       csit-vpp-perf-report-iterative-2101-2n-clx:
2165         - 53  # rls2101.rel MRR iter env 6
2166
2167     dpdk-compare-testbeds-ref:
2168       csit-dpdk-perf-report-iterative-2101-3n-hsw:
2169         - 11  # rls2101 NDRPDR iter env 6
2170         - 12  # rls2101 NDRPDR iter env 6
2171         - 13  # rls2101 NDRPDR iter env 6
2172         - 14  # rls2101 NDRPDR iter env 6
2173         - 16  # rls2101 NDRPDR iter env 6
2174         - 17  # rls2101 NDRPDR iter env 6
2175         - 18  # rls2101 NDRPDR iter env 6
2176         - 19  # rls2101 NDRPDR iter env 6
2177         - 20  # rls2101 NDRPDR iter env 6
2178         - 21  # rls2101 NDRPDR iter env 6
2179     dpdk-compare-testbeds-cmp:
2180       csit-dpdk-perf-report-iterative-2101-3n-skx:
2181         - 12  # rls2101 NDRPDR iter env 6
2182         - 14  # rls2101 NDRPDR iter env 6
2183         - 15  # rls2101 NDRPDR iter env 6
2184         - 17  # rls2101 NDRPDR iter env 6
2185         - 19  # rls2101 NDRPDR iter env 6
2186         - 20  # rls2101 NDRPDR iter env 6
2187         - 21  # rls2101 NDRPDR iter env 6
2188         - 22  # rls2101 NDRPDR iter env 6
2189         - 25  # rls2101 NDRPDR iter env 6
2190         - 26  # rls2101 NDRPDR iter env 6
2191
2192     dpdk-compare-testbeds-skx-clx-ref:
2193       csit-dpdk-perf-report-iterative-2101-2n-skx:
2194         - 11  # rls2101 NDRPDR iter env 6
2195         - 12  # rls2101 NDRPDR iter env 6
2196         - 13  # rls2101 NDRPDR iter env 6
2197         - 14  # rls2101 NDRPDR iter env 6
2198         - 15  # rls2101 NDRPDR iter env 6
2199         - 17  # rls2101 NDRPDR iter env 6
2200         - 18  # rls2101 NDRPDR iter env 6
2201         - 19  # rls2101 NDRPDR iter env 6
2202         - 20  # rls2101 NDRPDR iter env 6
2203         - 21  # rls2101 NDRPDR iter env 6
2204     dpdk-compare-testbeds-skx-clx-cmp:
2205       csit-dpdk-perf-report-iterative-2101-2n-clx:
2206         - 12  # rls2101 NDRPDR iter env 6
2207         - 13  # rls2101 NDRPDR iter env 6
2208         - 14  # rls2101 NDRPDR iter env 6
2209         - 18  # rls2101 NDRPDR iter env 6
2210         - 22  # rls2101 NDRPDR iter env 6
2211
2212     # Compare topologies
2213
2214     vpp-compare-topologies-ref:
2215       csit-vpp-perf-report-iterative-2101-3n-skx:
2216         - 36  # rls2101.rel NDRPDR iter env 6
2217         - 37  # rls2101.rel NDRPDR iter env 6
2218         - 38  # rls2101.rel NDRPDR iter env 6
2219         - 39  # rls2101.rel NDRPDR iter env 6
2220         - 40  # rls2101.rel NDRPDR iter env 6
2221         - 41  # rls2101.rel NDRPDR iter env 6
2222         - 42  # rls2101.rel NDRPDR iter env 6
2223         - 47  # rls2101.rel NDRPDR iter env 6
2224         - 48  # rls2101.rel NDRPDR iter env 6
2225         - 50  # rls2101.rel NDRPDR iter env 6
2226     vpp-compare-topologies-cmp:
2227       csit-vpp-perf-report-iterative-2101-2n-skx:
2228         - 63  # rls2101.rel NDRPDR iter env 6
2229         - 69  # rls2101.rel NDRPDR iter env 6
2230         - 70  # rls2101.rel NDRPDR iter env 6
2231         - 75  # rls2101.rel NDRPDR iter env 6
2232         - 76  # rls2101.rel NDRPDR iter env 6
2233         - 77  # rls2101.rel NDRPDR iter env 6
2234         - 82  # rls2101.rel NDRPDR iter env 6
2235         - 85  # rls2101.rel NDRPDR iter env 6
2236         - 86  # rls2101.rel NDRPDR iter env 6
2237         - 94  # rls2101.rel NDRPDR iter env 6
2238
2239     vpp-compare-topologies-mrr-ref:
2240       csit-vpp-perf-report-iterative-2101-3n-skx:
2241         - 35  # rls2101.rel MRR iter env 6
2242     vpp-compare-topologies-mrr-cmp:
2243       csit-vpp-perf-report-iterative-2101-2n-skx:
2244         - 62  # rls2101.rel MRR iter env 6
2245
2246     dpdk-compare-topologies-ref:
2247       csit-dpdk-perf-report-iterative-2101-3n-skx:
2248         - 12  # rls2101 NDRPDR iter env 6
2249         - 14  # rls2101 NDRPDR iter env 6
2250         - 15  # rls2101 NDRPDR iter env 6
2251         - 17  # rls2101 NDRPDR iter env 6
2252         - 19  # rls2101 NDRPDR iter env 6
2253         - 20  # rls2101 NDRPDR iter env 6
2254         - 21  # rls2101 NDRPDR iter env 6
2255         - 22  # rls2101 NDRPDR iter env 6
2256         - 25  # rls2101 NDRPDR iter env 6
2257         - 26  # rls2101 NDRPDR iter env 6
2258     dpdk-compare-topologies-cmp:
2259       csit-dpdk-perf-report-iterative-2101-2n-skx:
2260         - 11  # rls2101 NDRPDR iter env 6
2261         - 12  # rls2101 NDRPDR iter env 6
2262         - 13  # rls2101 NDRPDR iter env 6
2263         - 14  # rls2101 NDRPDR iter env 6
2264         - 15  # rls2101 NDRPDR iter env 6
2265         - 17  # rls2101 NDRPDR iter env 6
2266         - 18  # rls2101 NDRPDR iter env 6
2267         - 19  # rls2101 NDRPDR iter env 6
2268         - 20  # rls2101 NDRPDR iter env 6
2269         - 21  # rls2101 NDRPDR iter env 6
2270
2271   plot-layouts:
2272
2273     plot-soak-throughput:
2274       titlefont:
2275         size: 16
2276       xaxis:
2277         title: "<b>Test Cases [Index]</b>"
2278         titlefont:
2279           size: 14
2280         autorange: True
2281         fixedrange: False
2282         gridcolor: "rgb(230, 230, 230)"
2283         linecolor: "rgb(220, 220, 220)"
2284         linewidth: 1
2285         showgrid: True
2286         showline: True
2287         showticklabels: True
2288         tickcolor: "rgb(220, 220, 220)"
2289         tickmode: "linear"
2290         tickfont:
2291           size: 14
2292         zeroline: False
2293       yaxis:
2294         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
2295         titlefont:
2296           size: 14
2297         gridcolor: "rgb(230, 230, 230)"
2298         hoverformat: ".4r"
2299         tickformat: ".3r"
2300         linecolor: "rgb(220, 220, 220)"
2301         linewidth: 1
2302         showgrid: True
2303         showline: True
2304         showticklabels: True
2305         tickcolor: "rgb(220, 220, 220)"
2306         tickfont:
2307           size: 14
2308         zeroline: False
2309         range: [0,50]
2310       autosize: False
2311       margin:
2312         t: 50
2313         b: 0
2314         l: 80
2315         r: 20
2316       showlegend: True
2317       legend:
2318         orientation: "h"
2319         font:
2320           size: 14
2321       width: 700
2322       height: 900
2323       paper_bgcolor: "#fff"
2324       plot_bgcolor: "#fff"
2325       hoverlabel:
2326         namelength: -1
2327
2328     plot-service-density:
2329       titlefont:
2330         size: 16
2331       xaxis:
2332         side: "top"
2333         autorange: True
2334         fixedrange: False
2335         showgrid: False
2336         showline: False
2337         showticklabels: False
2338         ticks: ""
2339         ticklen: 0
2340         tickwidth: 0
2341         zeroline: False
2342       yaxis:
2343         autorange: "reversed"
2344         showgrid: False
2345         showline: False
2346         showticklabels: False
2347         ticks: ""
2348         ticklen: 0
2349         tickwidth: 0
2350         zeroline: False
2351       showlegend: False
2352       paper_bgcolor: "#fff"
2353       plot_bgcolor: "#fff"
2354       width: 700
2355       height: 700
2356       hoverlabel:
2357         namelength: -1
2358
2359     plot-hoststack:
2360       titlefont:
2361         size: 16
2362       xaxis:
2363         title: "<b>Test Cases [Index]</b>"
2364         titlefont:
2365           size: 14
2366         autorange: True
2367         fixedrange: False
2368         gridcolor: "rgb(230, 230, 230)"
2369         linecolor: "rgb(220, 220, 220)"
2370         linewidth: 1
2371         showgrid: True
2372         showline: True
2373         showticklabels: True
2374         tickcolor: "rgb(220, 220, 220)"
2375         tickmode: "linear"
2376         tickfont:
2377           size: 14
2378         zeroline: False
2379       yaxis:
2380         title: "<b>Bandwidth [Gbps]</b>"
2381         titlefont:
2382           size: 14
2383         gridcolor: "rgb(230, 230, 230)"
2384         hoverformat: ".4s"
2385         linecolor: "rgb(220, 220, 220)"
2386         linewidth: 1
2387         rangemode: "tozero"
2388         showgrid: True
2389         showline: True
2390         showticklabels: True
2391         tickcolor: "rgb(230, 230, 230)"
2392         tickformat: ".3s"
2393         tickfont:
2394           size: 14
2395         zeroline: False
2396       autosize: False
2397       margin:
2398         t: 50
2399         b: 20
2400         l: 80
2401         r: 20
2402       showlegend: True
2403       legend:
2404         orientation: "h"
2405         font:
2406           size: 14
2407       width: 700
2408       height: 800
2409       paper_bgcolor: "#fff"
2410       plot_bgcolor: "#fff"
2411       hoverlabel:
2412         namelength: -1
2413
2414     plot-throughput:
2415       titlefont:
2416         size: 16
2417       xaxis:
2418         title: "<b>Test Cases [Index]</b>"
2419         titlefont:
2420           size: 14
2421         autorange: True
2422         fixedrange: False
2423         gridcolor: "rgb(230, 230, 230)"
2424         linecolor: "rgb(220, 220, 220)"
2425         linewidth: 1
2426         showgrid: True
2427         showline: True
2428         showticklabels: True
2429         tickcolor: "rgb(220, 220, 220)"
2430         tickmode: "linear"
2431         tickfont:
2432           size: 14
2433         zeroline: False
2434       yaxis:
2435         title: "<b>Packet Throughput [Mpps]</b>"
2436         titlefont:
2437           size: 14
2438         gridcolor: "rgb(230, 230, 230)"
2439         hoverformat: ".4r"
2440         tickformat: ".3r"
2441         linecolor: "rgb(220, 220, 220)"
2442         linewidth: 1
2443         showgrid: True
2444         showline: True
2445         showticklabels: True
2446         tickcolor: "rgb(220, 220, 220)"
2447         tickfont:
2448           size: 14
2449         zeroline: False
2450         range: [0,50]
2451       autosize: False
2452       margin:
2453         t: 50
2454         b: 0
2455         l: 80
2456         r: 20
2457       showlegend: True
2458       legend:
2459         orientation: "h"
2460         font:
2461           size: 14
2462       width: 700
2463       height: 900
2464       paper_bgcolor: "#fff"
2465       plot_bgcolor: "#fff"
2466       hoverlabel:
2467         namelength: -1
2468
2469     plot-throughput-gbps:
2470       titlefont:
2471         size: 16
2472       xaxis:
2473         title: "<b>Test Cases [Index]</b>"
2474         titlefont:
2475           size: 14
2476         autorange: True
2477         fixedrange: False
2478         gridcolor: "rgb(230, 230, 230)"
2479         linecolor: "rgb(220, 220, 220)"
2480         linewidth: 1
2481         showgrid: True
2482         showline: True
2483         showticklabels: True
2484         tickcolor: "rgb(220, 220, 220)"
2485         tickmode: "linear"
2486         tickfont:
2487           size: 14
2488         zeroline: False
2489       yaxis:
2490         title: "<b>Data Throughput [Gbps]</b>"
2491         titlefont:
2492           size: 14
2493         gridcolor: "rgb(230, 230, 230)"
2494         hoverformat: ".4r"
2495         tickformat: ".3r"
2496         linecolor: "rgb(220, 220, 220)"
2497         linewidth: 1
2498         showgrid: True
2499         showline: True
2500         showticklabels: True
2501         tickcolor: "rgb(220, 220, 220)"
2502         tickfont:
2503           size: 14
2504         zeroline: False
2505         range: [0,10]
2506       autosize: False
2507       margin:
2508         t: 50
2509         b: 0
2510         l: 80
2511         r: 20
2512       showlegend: True
2513       legend:
2514         orientation: "h"
2515         font:
2516           size: 14
2517       width: 700
2518       height: 900
2519       paper_bgcolor: "#fff"
2520       plot_bgcolor: "#fff"
2521       hoverlabel:
2522         namelength: -1
2523
2524     plot-cps:
2525       titlefont:
2526         size: 16
2527       xaxis:
2528         title: "<b>Test Cases [Index]</b>"
2529         titlefont:
2530           size: 14
2531         autorange: True
2532         fixedrange: False
2533         gridcolor: "rgb(230, 230, 230)"
2534         linecolor: "rgb(220, 220, 220)"
2535         linewidth: 1
2536         showgrid: True
2537         showline: True
2538         showticklabels: True
2539         tickcolor: "rgb(220, 220, 220)"
2540         tickmode: "linear"
2541         tickfont:
2542           size: 14
2543         zeroline: False
2544       yaxis:
2545         title: "<b>Connection Rate [Mcps]</b>"
2546         titlefont:
2547           size: 14
2548         gridcolor: "rgb(230, 230, 230)"
2549         hoverformat: ".4r"
2550         tickformat: ".3s"
2551         linecolor: "rgb(220, 220, 220)"
2552         linewidth: 1
2553         showgrid: True
2554         showline: True
2555         showticklabels: True
2556         tickcolor: "rgb(220, 220, 220)"
2557         tickfont:
2558           size: 14
2559         zeroline: False
2560         range: [0,10]
2561       autosize: False
2562       margin:
2563         t: 50
2564         b: 0
2565         l: 80
2566         r: 20
2567       showlegend: True
2568       legend:
2569         orientation: "h"
2570         font:
2571           size: 14
2572       width: 700
2573       height: 900
2574       paper_bgcolor: "#fff"
2575       plot_bgcolor: "#fff"
2576       hoverlabel:
2577         namelength: -1
2578
2579     plot-throughput-speedup-analysis:
2580       titlefont:
2581         size: 16
2582       xaxis:
2583         title: "<b>Number of Cores [Qty]</b>"
2584         titlefont:
2585           size: 14
2586         autorange: True
2587         fixedrange: False
2588         gridcolor: "rgb(230, 230, 230)"
2589         linecolor: "rgb(220, 220, 220)"
2590         linewidth: 1
2591         showgrid: True
2592         showline: True
2593         showticklabels: True
2594         tickcolor: "rgb(238, 238, 238)"
2595         tickmode: "linear"
2596         tickfont:
2597           size: 14
2598         zeroline: False
2599       yaxis:
2600         title: "<b>Packet Throughput [Mpps]</b>"
2601         titlefont:
2602           size: 14
2603         type: "linear"
2604         gridcolor: "rgb(230, 230, 230)"
2605         hoverformat: ".4s"
2606         linecolor: "rgb(220, 220, 220)"
2607         linewidth: 1
2608         showgrid: True
2609         showline: True
2610         showticklabels: True
2611         tickcolor: "rgb(220, 220, 220)"
2612         tickformat: ".4s"
2613         tickfont:
2614           size: 14
2615         zeroline: True
2616         rangemode: "tozero"
2617         range: [0,100]
2618       legend:
2619         orientation: "h"
2620         font:
2621           size: 14
2622         xanchor: "left"
2623         yanchor: "top"
2624         x: 0
2625         y: -0.2
2626         bgcolor: "rgba(255, 255, 255, 0)"
2627         bordercolor: "rgba(255, 255, 255, 0)"
2628         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2629       autosize: False
2630       margin:
2631           't': 50
2632           'b': 150
2633           'l': 85
2634           'r': 10
2635       showlegend: True
2636       width: 700
2637       height: 700
2638       paper_bgcolor: "#fff"
2639       plot_bgcolor: "#fff"
2640       hoverlabel:
2641         namelength: -1
2642       annotations: [
2643         {
2644           text: "_ _          __          ...",
2645           align: "left",
2646           showarrow: False,
2647           xref: "paper",
2648           yref: "paper",
2649           xanchor: "left",
2650           yanchor: "top",
2651           x: 0,
2652           y: -0.14,
2653           font: {
2654             family: "Consolas, Courier New",
2655             size: 13
2656           },
2657         },
2658         {
2659           text: "    Perfect     Measured     Limit",
2660           align: "left",
2661           showarrow: False,
2662           xref: "paper",
2663           yref: "paper",
2664           xanchor: "left",
2665           yanchor: "top",
2666           x: 0,
2667           y: -0.15,
2668           font: {
2669             family: "Consolas, Courier New",
2670             size: 13
2671           },
2672         },
2673       ]
2674
2675     plot-throughput-speedup-analysis-gbps:
2676       titlefont:
2677         size: 16
2678       xaxis:
2679         title: "<b>Number of Cores [Qty]</b>"
2680         titlefont:
2681           size: 14
2682         autorange: True
2683         fixedrange: False
2684         gridcolor: "rgb(230, 230, 230)"
2685         linecolor: "rgb(220, 220, 220)"
2686         linewidth: 1
2687         showgrid: True
2688         showline: True
2689         showticklabels: True
2690         tickcolor: "rgb(238, 238, 238)"
2691         tickmode: "linear"
2692         tickfont:
2693           size: 14
2694         zeroline: False
2695       yaxis:
2696         title: "<b>Packet Throughput [Gbps]</b>"
2697         titlefont:
2698           size: 14
2699         type: "linear"
2700         gridcolor: "rgb(230, 230, 230)"
2701         hoverformat: ".4s"
2702         linecolor: "rgb(220, 220, 220)"
2703         linewidth: 1
2704         showgrid: True
2705         showline: True
2706         showticklabels: True
2707         tickcolor: "rgb(220, 220, 220)"
2708         tickformat: ".4s"
2709         tickfont:
2710           size: 14
2711         zeroline: True
2712         rangemode: "tozero"
2713         range: [0,100]
2714       legend:
2715         orientation: "h"
2716         font:
2717           size: 14
2718         xanchor: "left"
2719         yanchor: "top"
2720         x: 0
2721         y: -0.2
2722         bgcolor: "rgba(255, 255, 255, 0)"
2723         bordercolor: "rgba(255, 255, 255, 0)"
2724         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2725       autosize: False
2726       margin:
2727           't': 50
2728           'b': 150
2729           'l': 85
2730           'r': 10
2731       showlegend: True
2732       width: 700
2733       height: 700
2734       paper_bgcolor: "#fff"
2735       plot_bgcolor: "#fff"
2736       hoverlabel:
2737         namelength: -1
2738       annotations: [
2739         {
2740           text: "_ _          __",
2741           align: "left",
2742           showarrow: False,
2743           xref: "paper",
2744           yref: "paper",
2745           xanchor: "left",
2746           yanchor: "top",
2747           x: 0,
2748           y: -0.13,
2749           font: {
2750             family: "Consolas, Courier New",
2751             size: 13
2752           },
2753         },
2754         {
2755           text: "    Perfect     Measured",
2756           align: "left",
2757           showarrow: False,
2758           xref: "paper",
2759           yref: "paper",
2760           xanchor: "left",
2761           yanchor: "top",
2762           x: 0,
2763           y: -0.15,
2764           font: {
2765             family: "Consolas, Courier New",
2766             size: 13
2767           },
2768         },
2769       ]
2770
2771     plot-throughput-speedup-analysis-cps:
2772       titlefont:
2773         size: 16
2774       xaxis:
2775         title: "<b>Number of Cores [Qty]</b>"
2776         titlefont:
2777           size: 14
2778         autorange: True
2779         fixedrange: False
2780         gridcolor: "rgb(230, 230, 230)"
2781         linecolor: "rgb(220, 220, 220)"
2782         linewidth: 1
2783         showgrid: True
2784         showline: True
2785         showticklabels: True
2786         tickcolor: "rgb(238, 238, 238)"
2787         tickmode: "linear"
2788         tickfont:
2789           size: 14
2790         zeroline: False
2791       yaxis:
2792         title: "<b>Connection Rate [Mcps]</b>"
2793         titlefont:
2794           size: 14
2795         type: "linear"
2796         gridcolor: "rgb(230, 230, 230)"
2797         hoverformat: ".4s"
2798         linecolor: "rgb(220, 220, 220)"
2799         linewidth: 1
2800         showgrid: True
2801         showline: True
2802         showticklabels: True
2803         tickcolor: "rgb(220, 220, 220)"
2804         tickformat: ".4s"
2805         tickfont:
2806           size: 14
2807         zeroline: True
2808         rangemode: "tozero"
2809         range: [0,100]
2810       legend:
2811         orientation: "h"
2812         font:
2813           size: 14
2814         xanchor: "left"
2815         yanchor: "top"
2816         x: 0
2817         y: -0.2
2818         bgcolor: "rgba(255, 255, 255, 0)"
2819         bordercolor: "rgba(255, 255, 255, 0)"
2820         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2821       autosize: False
2822       margin:
2823           't': 50
2824           'b': 150
2825           'l': 85
2826           'r': 10
2827       showlegend: True
2828       width: 700
2829       height: 700
2830       paper_bgcolor: "#fff"
2831       plot_bgcolor: "#fff"
2832       hoverlabel:
2833         namelength: -1
2834       annotations: [
2835         {
2836           text: "_ _          __",
2837           align: "left",
2838           showarrow: False,
2839           xref: "paper",
2840           yref: "paper",
2841           xanchor: "left",
2842           yanchor: "top",
2843           x: 0,
2844           y: -0.13,
2845           font: {
2846             family: "Consolas, Courier New",
2847             size: 13
2848           },
2849         },
2850         {
2851           text: "    Perfect     Measured",
2852           align: "left",
2853           showarrow: False,
2854           xref: "paper",
2855           yref: "paper",
2856           xanchor: "left",
2857           yanchor: "top",
2858           x: 0,
2859           y: -0.15,
2860           font: {
2861             family: "Consolas, Courier New",
2862             size: 13
2863           },
2864         },
2865       ]
2866
2867     plot-latency:
2868       titlefont:
2869         size: 16
2870       xaxis:
2871         title: "<b>Direction</b>"
2872         titlefont:
2873           size: 14
2874         autorange: True
2875         fixedrange: False
2876         gridcolor: "rgb(230, 230, 230)"
2877         linecolor: "rgb(220, 220, 220)"
2878         linewidth: 1
2879         showgrid: True
2880         showline: True
2881         showticklabels: False
2882         tickcolor: "rgb(220, 220, 220)"
2883         tickmode: "linear"
2884         tickfont:
2885           size: 14
2886         zeroline: False
2887       yaxis:
2888         title: "<b>Packet Latency [uSec]</b>"
2889         titlefont:
2890           size: 14
2891         type: "linear"
2892         gridcolor: "rgb(230, 230, 230)"
2893         hoverformat: ".4s"
2894         linecolor: "rgb(220, 220, 220)"
2895         linewidth: 1
2896         showgrid: True
2897         showline: True
2898         showticklabels: True
2899         tickcolor: "rgb(220, 220, 220)"
2900         tickformat: ".4s"
2901         tickfont:
2902           size: 14
2903         zeroline: True
2904         rangemode: "tozero"
2905       legend:
2906         orientation: "h"
2907         font:
2908           size: 14
2909         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2910       autosize: False
2911       margin:
2912           't': 50
2913           'b': 150
2914           'l': 80
2915           'r': 10
2916       showlegend: True
2917       width: 700
2918       height: 700
2919       paper_bgcolor: "#fff"
2920       plot_bgcolor: "#fff"
2921       hoverlabel:
2922         namelength: -1
2923
2924     plot-hdrh-latency:
2925       title:
2926         text: ""
2927         xanchor: "center"
2928         x: 0.5
2929         font:
2930           size: 16
2931       width: 700
2932       plot_bgcolor: "white"
2933       annotations:
2934         - font:
2935             size: 14
2936           showarrow: False
2937           text: "<b>Packet Latency [uSec]</b>"
2938           x: 1
2939           xanchor: "right"
2940           xref: "paper"
2941           y: -0.045
2942           yanchor: "top"
2943           yref: "paper"
2944         - font:
2945             size: 14
2946           showarrow: False
2947           text: "<b>Probability [%]</b>"
2948           textangle: 270
2949           x: -0.06
2950           xanchor: "center"
2951           xref: "paper"
2952           y: 0.5
2953           yanchor: "middle"
2954           yref: "paper"
2955         - font:
2956             size: 14
2957           showarrow: False
2958           text: "<b>Direction: E-W</b>"
2959           x: 0.24
2960           xanchor: "center"
2961           xref: "paper"
2962           y: 1.05
2963           yanchor: "bottom"
2964           yref: "paper"
2965         - font:
2966             size: 14
2967           showarrow: False
2968           text: "<b>Direction: W-E</b>"
2969           x: 0.74
2970           xanchor: "center"
2971           xref: "paper"
2972           y: 1.05
2973           yanchor: "bottom"
2974           yref: "paper"
2975
2976     plot-hdrh-latency-percentile-x-log:
2977       title:
2978         text: "<b>Latency by Percentile Distribution</b>"
2979         xanchor: "center"
2980         x: 0.5
2981         font:
2982           size: 18
2983       showlegend: True
2984       legend:
2985         traceorder: "normal"
2986         orientation: "h"
2987         font:
2988           size: 16
2989         xanchor: "left"
2990         yanchor: "top"
2991         x: 0
2992         y: -0.2
2993         bgcolor: "rgba(255, 255, 255, 0)"
2994         bordercolor: "rgba(255, 255, 255, 0)"
2995       xaxis:
2996         type: "log"
2997         title: "<b>Percentile [%]</b>"
2998         titlefont:
2999           size: 14
3000         autorange: False
3001         fixedrange: True
3002         gridcolor: "rgb(230, 230, 230)"
3003         linecolor: "rgb(220, 220, 220)"
3004         linewidth: 1
3005         showgrid: True
3006         showline: True
3007         showticklabels: True
3008         tickcolor: "rgb(220, 220, 220)"
3009         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6]
3010         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999]
3011         tickfont:
3012           size: 14
3013       yaxis:
3014         title: "<b>One-Way Latency per Direction [uSec]</b>"
3015         titlefont:
3016           size: 14
3017         gridcolor: "rgb(230, 230, 230)"
3018         linecolor: "rgb(220, 220, 220)"
3019         linewidth: 1
3020         showgrid: True
3021         showline: True
3022         showticklabels: True
3023         tickcolor: "rgb(220, 220, 220)"
3024         tickfont:
3025           size: 14
3026       autosize: False
3027       width: 700
3028       height: 700
3029       paper_bgcolor: "white"
3030       plot_bgcolor: "white"
3031
3032     plot-hdrh-latency-by-percentile:
3033       title:
3034         text: "<b>Latency by Percentile Distribution</b>"
3035         xanchor: "center"
3036         x: 0.5
3037         font:
3038           size: 18
3039       showlegend: True
3040       legend:
3041         traceorder: "normal"
3042         orientation: "h"
3043         font:
3044           size: 16
3045         xanchor: "left"
3046         yanchor: "top"
3047         x: 0
3048         y: -0.2
3049         bgcolor: "rgba(255, 255, 255, 0)"
3050         bordercolor: "rgba(255, 255, 255, 0)"
3051       xaxis:
3052         type: "linear"
3053         title: "<b>Percentile [%]</b>"
3054         titlefont:
3055           size: 14
3056         autorange: False
3057         fixedrange: False
3058         range: [0, 100]
3059         gridcolor: "rgb(230, 230, 230)"
3060         linecolor: "rgb(220, 220, 220)"
3061         linewidth: 1
3062         showgrid: True
3063         showline: True
3064         showticklabels: True
3065         tickcolor: "rgb(220, 220, 220)"
3066         tickvals: [0, 25, 50, 75, 100]
3067         ticktext: [0, 25, 50, 75, 100]
3068         tickfont:
3069           size: 14
3070       yaxis:
3071         title: "<b>One-Way Latency per Direction [uSec]</b>"
3072         titlefont:
3073           size: 14
3074         gridcolor: "rgb(230, 230, 230)"
3075         linecolor: "rgb(220, 220, 220)"
3076         linewidth: 1
3077         showgrid: True
3078         showline: True
3079         showticklabels: True
3080         tickcolor: "rgb(220, 220, 220)"
3081         tickfont:
3082           size: 14
3083       width: 700
3084       height: 700
3085       paper_bgcolor: "white"
3086       plot_bgcolor: "white"
3087
3088     plot-scatter-error-bars-gbps:
3089       titlefont:
3090         size: 16
3091       xaxis:
3092         title: "<b>Test Cases [Index]</b>"
3093         titlefont:
3094           size: 14
3095         autorange: True
3096         fixedrange: False
3097         gridcolor: "rgb(230, 230, 230)"
3098         linecolor: "rgb(220, 220, 220)"
3099         linewidth: 1
3100         showgrid: True
3101         showline: True
3102         showticklabels: True
3103         tickcolor: "rgb(220, 220, 220)"
3104         tickmode: "linear"
3105         tickfont:
3106           size: 14
3107         zeroline: False
3108       yaxis:
3109         title: "<b>Data Throughput [Gbps]</b>"
3110         titlefont:
3111           size: 14
3112         gridcolor: "rgb(230, 230, 230)"
3113         hoverformat: ".4r"
3114         tickformat: ".3r"
3115         linecolor: "rgb(220, 220, 220)"
3116         linewidth: 1
3117         showgrid: True
3118         showline: True
3119         showticklabels: True
3120         tickcolor: "rgb(220, 220, 220)"
3121         tickfont:
3122           size: 14
3123         zeroline: False
3124         range: [0,10]
3125       autosize: False
3126       margin:
3127         t: 50
3128         b: 0
3129         l: 80
3130         r: 20
3131