Report: Fix plot layout
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
56
57     # Detailed test configurations
58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
78
79     # Detailed tests operational data
80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
90
91     # Latencies:
92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
94
95     # .css patch file to fix tables generated by Sphinx
96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
98
99   urls:
100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
104     DIR[NEXUS,DOC]: "report/_static/archive"
105
106   make-dirs:
107   # List the directories which are created while preparing the environment.
108   # All directories MUST be defined in "paths" section.
109   - "DIR[WORKING,DATA]"
110   - "DIR[STATIC,VPP]"
111   - "DIR[STATIC,DPDK]"
112   - "DIR[STATIC,ARCH]"
113   - "DIR[BUILD,LATEX]"
114   - "DIR[WORKING,SRC]"
115   - "DIR[WORKING,SRC,STATIC]"
116
117   remove-dirs:
118   # List the directories which are deleted while cleaning the environment.
119   # All directories MUST be defined in "paths" section.
120   #- "DIR[BUILD,HTML]"
121   - "DIR[WORKING,DATA]"
122
123   build-dirs:
124   # List the directories where the results (build) is stored.
125   # All directories MUST be defined in "paths" section.
126   - "DIR[BUILD,HTML]"
127   - "DIR[BUILD,LATEX]"
128
129 - type: "configuration"
130
131   mapping-file: "mapping_report.yaml"
132
133   limits:
134     nic:
135       x520: 24460000
136       x553: 29761905
137       x710: 35800000
138       xxv710: 35800000
139       xl710: 35800000
140       cx556a: 148809523.81
141
142     link:
143       10ge: 14880952.38
144       25ge: 37202380.95
145       40ge: 59523809.52
146       100ge: 148809523.81
147
148     pci:
149       pci-g3-x8: 74404761.90
150       pci-g3-x16: 148809523.81
151
152   data-sets:
153
154     ###########################################################################
155     # Plots:
156
157     # 3n-hsw
158
159     plot-vpp-throughput-lat-tsa-3n-hsw:
160       csit-vpp-perf-report-iterative-2101-3n-hsw:
161         - 4   # rls2101.rc1 NDRPDR iter env 6
162         - 5   # rls2101.rc1 NDRPDR iter env 6
163         - 6   # rls2101.rc1 NDRPDR iter env 6
164         - 7   # rls2101.rc1 NDRPDR iter env 6
165         - 8   # rls2101.rc1 NDRPDR iter env 6
166         - 9   # rls2101.rc1 NDRPDR iter env 6
167         - 10  # rls2101.rc1 NDRPDR iter env 6
168         - 11  # rls2101.rc1 NDRPDR iter env 6
169         - 12  # rls2101.rc1 NDRPDR iter env 6
170         - 13  # rls2101.rc1 NDRPDR iter env 6
171
172     plot-vpp-hdrh-lat-3n-hsw:
173       csit-vpp-perf-report-iterative-2101-3n-hsw:
174         - 5   # rls2101.rc1 NDRPDR iter env 6
175
176     plot-vpp-hoststack-3n-hsw:
177       # csit-vpp-perf-report-iterative-2101-3n-hsw:
178       csit-vpp-perf-report-iterative-2009-3n-hsw:
179         - 32  # rls2009 Hoststack iter env 5
180         - 33  # rls2009 Hoststack iter env 5
181         - 34  # rls2009 Hoststack iter env 5
182         - 35  # rls2009 Hoststack iter env 5
183         - 36  # rls2009 Hoststack iter env 5
184         - 37  # rls2009 Hoststack iter env 5
185         - 38  # rls2009 Hoststack iter env 5
186         - 39  # rls2009 Hoststack iter env 5
187         - 40  # rls2009 Hoststack iter env 5
188         - 41  # rls2009 Hoststack iter env 5
189
190     plot-dpdk-throughput-latency-3n-hsw:
191       csit-dpdk-perf-report-iterative-2101-3n-hsw:
192         - 11  # rls2101.rc1 NDRPDR iter env 6
193         - 12  # rls2101.rc1 NDRPDR iter env 6
194         - 13  # rls2101.rc1 NDRPDR iter env 6
195         - 14  # rls2101.rc1 NDRPDR iter env 6
196         - 16  # rls2101.rc1 NDRPDR iter env 6
197         - 17  # rls2101.rc1 NDRPDR iter env 6
198         - 18  # rls2101.rc1 NDRPDR iter env 6
199         - 19  # rls2101.rc1 NDRPDR iter env 6
200         - 20  # rls2101.rc1 NDRPDR iter env 6
201         - 21  # rls2101.rc1 NDRPDR iter env 6
202
203     plot-dpdk-hdrh-lat-3n-hsw:
204       csit-dpdk-perf-report-iterative-2101-3n-hsw:
205         - 11  # rls2101.rc1 NDRPDR iter env 6
206
207     # 3n-skx
208
209     plot-vpp-throughput-lat-tsa-3n-skx:
210       csit-vpp-perf-report-iterative-2101-3n-skx:
211         - 5   # rls2101.rc1 NDRPDR iter env 6
212         - 6   # rls2101.rc1 NDRPDR iter env 6
213         - 7   # rls2101.rc1 NDRPDR iter env 6
214         - 8   # rls2101.rc1 NDRPDR iter env 6
215         - 9   # rls2101.rc1 NDRPDR iter env 6
216
217     plot-vpp-hdrh-lat-3n-skx:
218       csit-vpp-perf-report-iterative-2101-3n-skx:
219         - 5   # rls2101.rc1 NDRPDR iter env 6
220
221 #    plot-vpp-nfv-3n-skx-ndrpdr:
222 #      # No data
223 #      csit-vpp-perf-report-iterative-2101-3n-skx:
224
225 #    plot-vpp-nfv-3n-skx-mrr:
226 #      # No data
227 #      csit-vpp-perf-report-iterative-2101-3n-skx:
228
229     plot-dpdk-throughput-latency-3n-skx:
230       csit-dpdk-perf-report-iterative-2101-3n-skx:
231         - 12  # rls2101.rc1 NDRPDR iter env 6
232         - 14  # rls2101.rc1 NDRPDR iter env 6
233         - 15  # rls2101.rc1 NDRPDR iter env 6
234         - 17  # rls2101.rc1 NDRPDR iter env 6
235         - 19  # rls2101.rc1 NDRPDR iter env 6
236         - 20  # rls2101.rc1 NDRPDR iter env 6
237         - 21  # rls2101.rc1 NDRPDR iter env 6
238         - 22  # rls2101.rc1 NDRPDR iter env 6
239
240     plot-dpdk-hdrh-lat-3n-skx:
241       csit-dpdk-perf-report-iterative-2101-3n-skx:
242         - 12  # rls2101.rc1 NDRPDR iter env 6
243
244     # 2n-skx
245
246     plot-vpp-throughput-lat-tsa-2n-skx:
247       csit-vpp-perf-report-iterative-2101-2n-skx:
248         - 5   # rls2101.rc1 NDRPDR iter env 6
249         - 6   # rls2101.rc1 NDRPDR iter env 6
250         - 7   # rls2101.rc1 NDRPDR iter env 6
251         - 8   # rls2101.rc1 NDRPDR iter env 6
252         - 10  # rls2101.rc1 NDRPDR iter env 6
253         - 11  # rls2101.rc1 NDRPDR iter env 6
254         - 12  # rls2101.rc1 NDRPDR iter env 6
255         - 13  # rls2101.rc1 NDRPDR iter env 6
256
257     plot-vpp-hdrh-lat-2n-skx:
258       csit-vpp-perf-report-iterative-2101-2n-skx:
259         - 6   # rls2101.rc1 NDRPDR iter env 6
260
261     plot-vpp-soak-2n-skx:
262       # csit-vpp-perf-report-iterative-2101-2n-skx:
263       csit-vpp-perf-report-iterative-2009-2n-skx:
264         - 33  # rls2009 soak env 5
265         - 34  # rls2009 soak env 5
266
267     plot-vpp-nfv-2n-skx-ndrpdr:
268       # csit-vpp-perf-report-iterative-2101-2n-skx:
269       csit-vpp-perf-report-iterative-2009-2n-skx:
270         - 38  # rls2009 nf-density iter env 5
271         - 41  # rls2009 nf-density iter env 5
272         - 45  # rls2009 nf-density iter env 5
273         - 47  # rls2009 nf-density iter env 5
274         - 49  # rls2009 nf-density iter env 5
275         - 63  # rls2009 nf-density iter env 5
276         - 65  # rls2009 nf-density iter env 5
277         - 66  # rls2009 nf-density iter env 5
278         - 71  # rls2009 nf-density iter env 5
279         - 72  # rls2009 nf-density iter env 5
280
281     plot-vpp-nfv-2n-skx-mrr:
282       # csit-vpp-perf-report-iterative-2101-2n-skx
283       csit-vpp-perf-report-iterative-2009-2n-skx:
284         - 50  # rls2009 MRR nf-density iter env 5
285
286     plot-vpp-nfv-reconf-2n-skx:
287       # csit-vpp-perf-report-iterative-2101-2n-skx
288       csit-vpp-perf-report-iterative-2009-2n-skx:
289         - 27  # rls2009 reconf env 5
290         - 28  # rls2009 reconf env 5
291         - 29  # rls2009 reconf env 5
292         - 30  # rls2009 reconf env 5
293         - 31  # rls2009 reconf env 5
294         - 32  # rls2009 reconf env 5
295         - 61  # rls2009 reconf env 5
296         - 62  # rls2009 reconf env 5
297         - 68  # rls2009 reconf env 5
298         - 70  # rls2009 reconf env 5
299
300     plot-dpdk-throughput-latency-2n-skx:
301       csit-dpdk-perf-report-iterative-2101-2n-skx:
302         - 11  # rls2101.rc1 NDRPDR iter env 6
303         - 12  # rls2101.rc1 NDRPDR iter env 6
304         - 13  # rls2101.rc1 NDRPDR iter env 6
305         - 14  # rls2101.rc1 NDRPDR iter env 6
306         - 15  # rls2101.rc1 NDRPDR iter env 6
307         - 17  # rls2101.rc1 NDRPDR iter env 6
308         - 18  # rls2101.rc1 NDRPDR iter env 6
309         - 19  # rls2101.rc1 NDRPDR iter env 6
310         - 20  # rls2101.rc1 NDRPDR iter env 6
311         - 21  # rls2101.rc1 NDRPDR iter env 6
312
313     plot-dpdk-hdrh-lat-2n-skx:
314       csit-dpdk-perf-report-iterative-2101-2n-skx:
315         - 11  # rls2101.rc1 NDRPDR iter env 6
316
317     # 2n-zn2
318
319     plot-vpp-throughput-lat-tsa-2n-zn2:
320       csit-vpp-perf-report-iterative-2101-2n-zn2:
321         - 4   # rls2101.rc1 NDRPDR iter env 6
322         - 5   # rls2101.rc1 NDRPDR iter env 6
323         - 6   # rls2101.rc1 NDRPDR iter env 6
324         - 7   # rls2101.rc1 NDRPDR iter env 6
325
326     plot-vpp-hdrh-lat-2n-zn2:
327       csit-vpp-perf-report-iterative-2101-2n-zn2:
328         - 4   # rls2101.rc1 NDRPDR iter env 6
329
330     plot-dpdk-throughput-latency-2n-zn2:
331       csit-dpdk-perf-report-iterative-2101-2n-zn2:
332         - 11  # rls2101.rc1 NDRPDR iter env 6
333         - 12  # rls2101.rc1 NDRPDR iter env 6
334         - 13  # rls2101.rc1 NDRPDR iter env 6
335         - 14  # rls2101.rc1 NDRPDR iter env 6
336         - 16  # rls2101.rc1 NDRPDR iter env 6
337         - 17  # rls2101.rc1 NDRPDR iter env 6
338         - 18  # rls2101.rc1 NDRPDR iter env 6
339         - 19  # rls2101.rc1 NDRPDR iter env 6
340         - 20  # rls2101.rc1 NDRPDR iter env 6
341         - 21  # rls2101.rc1 NDRPDR iter env 6
342
343     plot-dpdk-hdrh-lat-2n-zn2:
344       csit-dpdk-perf-report-iterative-2101-2n-zn2:
345         - 11  # rls2101.rc1 NDRPDR iter env 6
346
347     # 2n-clx
348
349     plot-vpp-throughput-lat-tsa-2n-clx:
350       csit-vpp-perf-report-iterative-2101-2n-clx:
351         - 4   # rls2101.rc1 NDRPDR iter env 6
352         - 5   # rls2101.rc1 NDRPDR iter env 6
353         - 6   # rls2101.rc1 NDRPDR iter env 6
354         - 7   # rls2101.rc1 NDRPDR iter env 6
355         - 8   # rls2101.rc1 NDRPDR iter env 6
356         - 9   # rls2101.rc1 NDRPDR iter env 6
357         - 10  # rls2101.rc1 NDRPDR iter env 6
358         - 11  # rls2101.rc1 NDRPDR iter env 6
359         - 12  # rls2101.rc1 NDRPDR iter env 6
360         - 13  # rls2101.rc1 NDRPDR iter env 6
361
362     plot-vpp-hdrh-lat-2n-clx:
363       csit-vpp-perf-report-iterative-2101-2n-clx:
364         - 6   # rls2101.rc1 NDRPDR iter env 6
365
366     plot-vpp-nfv-2n-clx-ndrpdr:
367       # csit-vpp-perf-report-iterative-2101-2n-clx:
368       csit-vpp-perf-report-iterative-2009-2n-clx:
369         - 37  # rls2009 nf-density iter env 5
370         - 43  # rls2009 nf-density iter env 5
371         - 69  # rls2009 nf-density iter env 5
372         - 70  # rls2009 nf-density iter env 5
373         - 71  # rls2009 nf-density iter env 5
374         - 72  # rls2009 nf-density iter env 5
375         - 73  # rls2009 nf-density iter env 5
376         - 74  # rls2009 nf-density iter env 5
377         - 75  # rls2009 nf-density iter env 5
378         - 76  # rls2009 nf-density iter env 5
379
380     plot-vpp-nfv-2n-clx-mrr:
381       # csit-vpp-perf-report-iterative-2101-2n-clx:
382       csit-vpp-perf-report-iterative-2009-2n-clx:
383         - 45  # rls2009 MRR nf-density iter env 5
384
385     plot-vpp-nfv-reconf-2n-clx:
386       # csit-vpp-perf-report-iterative-2101-2n-clx:
387       csit-vpp-perf-report-iterative-2009-2n-clx:
388         - 25  # rls2009 reconf env 5
389         - 27  # rls2009 reconf env 5
390         - 28  # rls2009 reconf env 5
391         - 29  # rls2009 reconf env 5
392         - 30  # rls2009 reconf env 5
393         - 30  # rls2009 reconf env 5
394         - 32  # rls2009 reconf env 5
395         - 48  # rls2009 reconf env 5
396         - 53  # rls2009 reconf env 5
397         - 68  # rls2009 reconf env 5
398
399     plot-vpp-soak-2n-clx:
400       # csit-vpp-perf-report-iterative-2101-2n-clx:
401       csit-vpp-perf-report-iterative-2009-2n-clx:
402         - 33  # rls2009 soak env 5
403         - 34  # rls2009 soak env 5
404
405     plot-dpdk-throughput-latency-2n-clx:
406       csit-dpdk-perf-report-iterative-2101-2n-clx:
407         - 12  # rls2101.rc1 NDRPDR iter env 6
408         - 13  # rls2101.rc1 NDRPDR iter env 6
409         - 14  # rls2101.rc1 NDRPDR iter env 6
410         - 18  # rls2101.rc1 NDRPDR iter env 6
411         - 22  # rls2101.rc1 NDRPDR iter env 6
412
413     plot-dpdk-hdrh-lat-2n-clx:
414       csit-dpdk-perf-report-iterative-2101-2n-clx:
415         - 12  # rls2101.rc1 NDRPDR iter env 6
416
417     # 3n-tsh
418
419     plot-vpp-throughput-lat-tsa-3n-tsh:
420       csit-vpp-perf-report-iterative-2101-3n-tsh:
421         - 3   # rls2101.rc1 NDRPDR iter env 6
422         - 5   # rls2101.rc1 NDRPDR iter env 6
423
424     plot-vpp-hdrh-lat-3n-tsh:
425       csit-vpp-perf-report-iterative-2101-3n-tsh:
426         - 3   # rls2101.rc1 NDRPDR iter env 6
427
428     plot-dpdk-throughput-latency-3n-tsh:
429       csit-dpdk-perf-report-iterative-2101-3n-tsh:
430         - 11  # rls2101.rc1 NDRPDR iter env 6
431         - 12  # rls2101.rc1 NDRPDR iter env 6
432         - 13  # rls2101.rc1 NDRPDR iter env 6
433         - 14  # rls2101.rc1 NDRPDR iter env 6
434         - 16  # rls2101.rc1 NDRPDR iter env 6
435         - 17  # rls2101.rc1 NDRPDR iter env 6
436         - 18  # rls2101.rc1 NDRPDR iter env 6
437         - 19  # rls2101.rc1 NDRPDR iter env 6
438         - 20  # rls2101.rc1 NDRPDR iter env 6
439         - 21  # rls2101.rc1 NDRPDR iter env 6
440
441     plot-dpdk-hdrh-lat-3n-tsh:
442       csit-dpdk-perf-report-iterative-2101-3n-tsh:
443         - 21  # rls2101.rc1 NDRPDR iter env 6
444
445     # 3n-dnv
446
447     plot-vpp-throughput-lat-tsa-3n-dnv:
448       csit-vpp-perf-report-iterative-2101-3n-dnv:
449         - 3   # rls2101.rc1 NDRPDR iter env 6
450         - 4   # rls2101.rc1 NDRPDR iter env 6
451         - 5   # rls2101.rc1 NDRPDR iter env 6
452         - 6   # rls2101.rc1 NDRPDR iter env 6
453         - 7   # rls2101.rc1 NDRPDR iter env 6
454         - 8   # rls2101.rc1 NDRPDR iter env 6
455         - 9   # rls2101.rc1 NDRPDR iter env 6
456         - 10  # rls2101.rc1 NDRPDR iter env 6
457         - 11  # rls2101.rc1 NDRPDR iter env 6
458         - 12  # rls2101.rc1 NDRPDR iter env 6
459
460 #    plot-dpdk-throughput-latency-3n-dnv:
461 #      # No data
462 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
463
464     # 2n-dnv
465
466     plot-vpp-throughput-lat-tsa-2n-dnv:
467       csit-vpp-perf-report-iterative-2101-2n-dnv:
468         - 3   # rls2101.rc1 NDRPDR iter env 6
469         - 4   # rls2101.rc1 NDRPDR iter env 6
470         - 5   # rls2101.rc1 NDRPDR iter env 6
471         - 6   # rls2101.rc1 NDRPDR iter env 6
472         - 7   # rls2101.rc1 NDRPDR iter env 6
473         - 8   # rls2101.rc1 NDRPDR iter env 6
474         - 9   # rls2101.rc1 NDRPDR iter env 6
475         - 10  # rls2101.rc1 NDRPDR iter env 6
476         - 11  # rls2101.rc1 NDRPDR iter env 6
477         - 12  # rls2101.rc1 NDRPDR iter env 6
478
479 #    plot-dpdk-throughput-latency-2n-dnv:
480 #      # No data
481 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
482
483     ###########################################################################
484     # Simple tables (only one data set):
485
486     # NIC Comparisons
487
488     vpp-nic-comparison-3n-skx:
489       csit-vpp-perf-report-iterative-2101-3n-skx:
490         - 5   # rls2101.rc1 NDRPDR iter env 6
491         - 6   # rls2101.rc1 NDRPDR iter env 6
492         - 7   # rls2101.rc1 NDRPDR iter env 6
493         - 8   # rls2101.rc1 NDRPDR iter env 6
494         - 9   # rls2101.rc1 NDRPDR iter env 6
495
496     vpp-nic-comparison-2n-skx:
497       csit-vpp-perf-report-iterative-2101-2n-skx:
498         - 5   # rls2101.rc1 NDRPDR iter env 6
499         - 6   # rls2101.rc1 NDRPDR iter env 6
500         - 7   # rls2101.rc1 NDRPDR iter env 6
501         - 8   # rls2101.rc1 NDRPDR iter env 6
502         - 10  # rls2101.rc1 NDRPDR iter env 6
503         - 11  # rls2101.rc1 NDRPDR iter env 6
504         - 12  # rls2101.rc1 NDRPDR iter env 6
505         - 13  # rls2101.rc1 NDRPDR iter env 6
506
507     vpp-nic-comparison-3n-skx-mrr:
508       csit-vpp-perf-report-iterative-2101-3n-skx:
509         - 4   # rls2101.rc1 MRR iter env 6
510
511     vpp-nic-comparison-2n-skx-mrr:
512       csit-vpp-perf-report-iterative-2101-2n-skx:
513         - 3   # rls2101.rc1 MRR iter env 6
514
515     # Results
516
517     vpp-perf-results-3n-hsw:
518       # csit-vpp-perf-report-coverage-2101-3n-hsw:
519       csit-vpp-perf-report-iterative-2101-3n-hsw:
520         - 13  # rls2101.rc1 NDRPDR iter env 6
521
522     vpp-perf-results-3n-skx:
523       # csit-vpp-perf-report-coverage-2101-3n-skx:
524       csit-vpp-perf-report-iterative-2101-3n-skx:
525         - 5   # rls2101.rc1 NDRPDR iter env 6
526
527     vpp-perf-results-2n-skx:
528       # csit-vpp-perf-report-coverage-2101-2n-skx:
529       csit-vpp-perf-report-iterative-2101-2n-skx:
530         - 6   # rls2101.rc1 NDRPDR iter env 6
531
532     vpp-perf-results-2n-zn2:
533       csit-vpp-perf-report-iterative-2101-2n-zn2:
534         - 4   # rls2101.rc1 NDRPDR iter env 6
535
536     vpp-perf-results-2n-clx:
537       # csit-vpp-perf-report-coverage-2101-2n-clx:
538       csit-vpp-perf-report-iterative-2101-2n-clx:
539         - 6   # rls2101.rc1 NDRPDR iter env 6
540
541     vpp-perf-results-3n-tsh:
542       csit-vpp-perf-report-iterative-2101-3n-tsh:
543         - 3   # rls2101.rc1 NDRPDR iter env 6
544
545     vpp-perf-results-3n-dnv:
546       # csit-vpp-perf-report-coverage-2101-3n-dnv:
547       csit-vpp-perf-report-iterative-2101-3n-dnv:
548         - 4   # rls2101.rc1 NDRPDR iter env 6
549
550     vpp-perf-results-2n-dnv:
551       # csit-vpp-perf-report-coverage-2101-2n-dnv:
552       csit-vpp-perf-report-iterative-2101-2n-dnv:
553         - 3   # rls2101.rc1 NDRPDR iter env 6
554
555     vpp-mrr-results-3n-hsw:
556       csit-vpp-perf-report-iterative-2101-3n-hsw:
557         - 3   # rls2101.rc1 MRR iter env 6
558
559     vpp-mrr-results-3n-skx:
560       csit-vpp-perf-report-iterative-2101-3n-skx:
561         - 4   # rls2101.rc1 MRR iter env 6
562
563     vpp-mrr-results-2n-skx:
564       csit-vpp-perf-report-iterative-2101-2n-skx:
565         - 3   # rls2101.rc1 MRR iter env 6
566
567     vpp-mrr-results-2n-zn2:
568       csit-vpp-perf-report-iterative-2101-2n-zn2:
569         - 3   # rls2101.rc1 MRR iter env 6
570
571     vpp-mrr-results-2n-clx:
572       csit-vpp-perf-report-iterative-2101-2n-clx:
573         - 3   # rls2101.rc1 MRR iter env 6
574
575     vpp-mrr-results-3n-tsh:
576       csit-vpp-perf-report-iterative-2101-3n-tsh:
577         - 2   # rls2101.rc1 MRR iter env 6
578
579     vpp-mrr-results-3n-dnv:
580       csit-vpp-perf-report-iterative-2101-3n-dnv:
581         - 2   # rls2101.rc1 MRR iter env 6
582
583     vpp-mrr-results-2n-dnv:
584       csit-vpp-perf-report-iterative-2101-2n-dnv:
585         - 2   # rls2101.rc1 MRR iter env 6
586
587     vpp-device-results-ubuntu:
588       csit-vpp-device-2101-ubuntu1804-1n-skx:
589         - 66  # rls2101.rc1 VPP DEV env6
590
591     dpdk-perf-results-3n-hsw:
592       csit-dpdk-perf-report-iterative-2101-3n-hsw:
593         - 11  # rls2101.rc1 NDRPDR iter env 6
594
595     dpdk-perf-results-3n-skx:
596       csit-dpdk-perf-report-iterative-2101-3n-skx:
597         - 12  # rls2101.rc1 NDRPDR iter env 6
598
599     dpdk-perf-results-2n-skx:
600       csit-dpdk-perf-report-iterative-2101-2n-skx:
601         - 11  # rls2101.rc1 NDRPDR iter env 6
602
603     dpdk-perf-results-2n-zn2:
604       csit-dpdk-perf-report-iterative-2101-2n-zn2:
605         - 11  # rls2101.rc1 NDRPDR iter env 6
606
607     dpdk-perf-results-2n-clx:
608       csit-dpdk-perf-report-iterative-2101-2n-clx:
609         - 12  # rls2101.rc1 NDRPDR iter env 6
610
611 #    dpdk-perf-results-2n-dnv:
612 #      # No data
613 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
614
615 #    dpdk-perf-results-3n-dnv:
616 #      # No data
617 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
618
619     dpdk-perf-results-3n-tsh:
620       csit-dpdk-perf-report-iterative-2101-3n-tsh:
621         - 21  # rls2101.rc1 NDRPDR iter env 6
622
623 ###########################################################################
624     # Tables (more than one data set)
625
626     # Performance changes
627
628     vpp-performance-changes-3n-hsw-h1:
629       csit-vpp-perf-report-iterative-2009-3n-hsw:
630         - 9   # rls2005 NDRPDR iter env 5
631         - 10  # rls2005 NDRPDR iter env 5
632         - 11  # rls2005 NDRPDR iter env 5
633         - 12  # rls2005 NDRPDR iter env 5
634         - 13  # rls2005 NDRPDR iter env 5
635         - 14  # rls2005 NDRPDR iter env 5
636         - 15  # rls2005 NDRPDR iter env 5
637         - 16  # rls2005 NDRPDR iter env 5
638         - 17  # rls2005 NDRPDR iter env 5
639         - 19  # rls2005 NDRPDR iter env 5
640     vpp-performance-changes-3n-hsw-ref-env-old:
641       csit-vpp-perf-report-iterative-2009-3n-hsw:
642         - 21  # rls2009 NDRPDR iter env 5
643         - 22  # rls2009 NDRPDR iter env 5
644         - 24  # rls2009 NDRPDR iter env 5
645         - 25  # rls2009 NDRPDR iter env 5
646         - 26  # rls2009 NDRPDR iter env 5
647         - 27  # rls2009 NDRPDR iter env 5
648         - 28  # rls2009 NDRPDR iter env 5
649         - 29  # rls2009 NDRPDR iter env 5
650         - 30  # rls2009 NDRPDR iter env 5
651         - 31  # rls2009 NDRPDR iter env 5
652     vpp-performance-changes-3n-hsw-ref-env-new:
653       csit-vpp-perf-report-iterative-2101-3n-hsw:
654         - 19  # rls2009 NDRPDR iter env 6
655     vpp-performance-changes-3n-hsw-cmp:
656       csit-vpp-perf-report-iterative-2101-3n-hsw:
657         - 4   # rls2101.rc1 NDRPDR iter env 6
658         - 5   # rls2101.rc1 NDRPDR iter env 6
659         - 6   # rls2101.rc1 NDRPDR iter env 6
660         - 7   # rls2101.rc1 NDRPDR iter env 6
661         - 8   # rls2101.rc1 NDRPDR iter env 6
662         - 9   # rls2101.rc1 NDRPDR iter env 6
663         - 10  # rls2101.rc1 NDRPDR iter env 6
664         - 11  # rls2101.rc1 NDRPDR iter env 6
665         - 12  # rls2101.rc1 NDRPDR iter env 6
666         - 13  # rls2101.rc1 NDRPDR iter env 6
667
668     vpp-performance-changes-3n-skx-h1:
669       csit-vpp-perf-report-iterative-2009-3n-skx:
670         - 13  # rls2005 NDRPDR iter env 5
671         - 18  # rls2005 NDRPDR iter env 5
672         - 19  # rls2005 NDRPDR iter env 5
673         - 41  # rls2005 NDRPDR iter env 5
674         - 43  # rls2005 NDRPDR iter env 5
675         - 44  # rls2005 NDRPDR iter env 5
676         - 45  # rls2005 NDRPDR iter env 5
677         - 46  # rls2005 NDRPDR iter env 5
678         - 48  # rls2005 NDRPDR iter env 5
679         - 49  # rls2005 NDRPDR iter env 5
680     vpp-performance-changes-3n-skx-ref-env-old:
681       csit-vpp-perf-report-iterative-2009-3n-skx:
682         - 26  # rls2009 NDRPDR iter env 5
683         - 27  # rls2009 NDRPDR iter env 5
684         - 28  # rls2009 NDRPDR iter env 5
685         - 29  # rls2009 NDRPDR iter env 5
686         - 35  # rls2009 NDRPDR iter env 5
687         - 36  # rls2009 NDRPDR iter env 5
688         - 37  # rls2009 NDRPDR iter env 5
689         - 38  # rls2009 NDRPDR iter env 5
690         - 39  # rls2009 NDRPDR iter env 5
691         - 40  # rls2009 NDRPDR iter env 5
692     vpp-performance-changes-3n-skx-ref-env-new:
693       # TODO: Re-test in new env
694       csit-vpp-perf-report-iterative-2009-3n-skx:
695         - 26  # rls2009 NDRPDR iter env 5
696         - 27  # rls2009 NDRPDR iter env 5
697         - 28  # rls2009 NDRPDR iter env 5
698         - 29  # rls2009 NDRPDR iter env 5
699         - 35  # rls2009 NDRPDR iter env 5
700         - 36  # rls2009 NDRPDR iter env 5
701         - 37  # rls2009 NDRPDR iter env 5
702         - 38  # rls2009 NDRPDR iter env 5
703         - 39  # rls2009 NDRPDR iter env 5
704         - 40  # rls2009 NDRPDR iter env 5
705     vpp-performance-changes-3n-skx-cmp:
706       csit-vpp-perf-report-iterative-2101-3n-skx:
707         - 5   # rls2101.rc1 NDRPDR iter env 6
708         - 6   # rls2101.rc1 NDRPDR iter env 6
709         - 7   # rls2101.rc1 NDRPDR iter env 6
710         - 8   # rls2101.rc1 NDRPDR iter env 6
711         - 9   # rls2101.rc1 NDRPDR iter env 6
712
713     vpp-performance-changes-2n-skx-h1:
714       csit-vpp-perf-report-iterative-2009-2n-skx:
715         - 13  # rls2005 NDRPDR iter env 5
716         - 16  # rls2005 NDRPDR iter env 5
717         - 17  # rls2005 NDRPDR iter env 5
718         - 18  # rls2005 NDRPDR iter env 5
719         - 19  # rls2005 NDRPDR iter env 5
720         - 21  # rls2005 NDRPDR iter env 5
721         - 22  # rls2005 NDRPDR iter env 5
722         - 23  # rls2005 NDRPDR iter env 5
723         - 24  # rls2005 NDRPDR iter env 5
724         - 25  # rls2005 NDRPDR iter env 5
725     vpp-performance-changes-2n-skx-ref-env-old:
726       csit-vpp-perf-report-iterative-2009-2n-skx:
727         - 35  # rls2009 NDRPDR iter env 5
728         - 36  # rls2009 NDRPDR iter env 5
729         - 37  # rls2009 NDRPDR iter env 5
730         - 39  # rls2009 NDRPDR iter env 5
731         - 40  # rls2009 NDRPDR iter env 5
732         - 42  # rls2009 NDRPDR iter env 5
733         - 43  # rls2009 NDRPDR iter env 5
734         - 44  # rls2009 NDRPDR iter env 5
735         - 46  # rls2009 NDRPDR iter env 5
736         - 48  # rls2009 NDRPDR iter env 5
737         - 110 # rls2009 NDRPDR iter NAT44 env 5
738         - 111 # rls2009 NDRPDR iter NAT44 env 5
739         - 112 # rls2009 NDRPDR iter NAT44 env 5
740         - 113 # rls2009 NDRPDR iter NAT44 env 5
741         - 114 # rls2009 NDRPDR iter NAT44 env 5
742         - 115 # rls2009 NDRPDR iter NAT44 env 5
743         - 116 # rls2009 NDRPDR iter NAT44 env 5
744         - 118 # rls2009 NDRPDR iter NAT44 env 5
745         - 119 # rls2009 NDRPDR iter NAT44 env 5
746         - 121 # rls2009 NDRPDR iter NAT44 env 5
747     vpp-performance-changes-2n-skx-ref-env-new:
748       # TODO: Re-test in new env
749       csit-vpp-perf-report-iterative-2009-2n-skx:
750         - 35  # rls2009 NDRPDR iter env 5
751         - 36  # rls2009 NDRPDR iter env 5
752         - 37  # rls2009 NDRPDR iter env 5
753         - 39  # rls2009 NDRPDR iter env 5
754         - 40  # rls2009 NDRPDR iter env 5
755         - 42  # rls2009 NDRPDR iter env 5
756         - 43  # rls2009 NDRPDR iter env 5
757         - 44  # rls2009 NDRPDR iter env 5
758         - 46  # rls2009 NDRPDR iter env 5
759         - 48  # rls2009 NDRPDR iter env 5
760         - 110 # rls2009 NDRPDR iter NAT44 env 5
761         - 111 # rls2009 NDRPDR iter NAT44 env 5
762         - 112 # rls2009 NDRPDR iter NAT44 env 5
763         - 113 # rls2009 NDRPDR iter NAT44 env 5
764         - 114 # rls2009 NDRPDR iter NAT44 env 5
765         - 115 # rls2009 NDRPDR iter NAT44 env 5
766         - 116 # rls2009 NDRPDR iter NAT44 env 5
767         - 118 # rls2009 NDRPDR iter NAT44 env 5
768         - 119 # rls2009 NDRPDR iter NAT44 env 5
769         - 121 # rls2009 NDRPDR iter NAT44 env 5
770     vpp-performance-changes-2n-skx-cmp:
771       csit-vpp-perf-report-iterative-2101-2n-skx:
772         - 5   # rls2101.rc1 NDRPDR iter env 6
773         - 6   # rls2101.rc1 NDRPDR iter env 6
774         - 7   # rls2101.rc1 NDRPDR iter env 6
775         - 8   # rls2101.rc1 NDRPDR iter env 6
776         - 10  # rls2101.rc1 NDRPDR iter env 6
777         - 11  # rls2101.rc1 NDRPDR iter env 6
778         - 12  # rls2101.rc1 NDRPDR iter env 6
779         - 13  # rls2101.rc1 NDRPDR iter env 6
780
781     vpp-performance-changes-2n-clx-h1:
782       csit-vpp-perf-report-iterative-2009-2n-clx:
783         - 13  # rls2005 NDRPDR iter env 5
784         - 15  # rls2005 NDRPDR iter env 5
785         - 17  # rls2005 NDRPDR iter env 5
786         - 18  # rls2005 NDRPDR iter env 5
787         - 19  # rls2005 NDRPDR iter env 5
788         - 20  # rls2005 NDRPDR iter env 5
789         - 21  # rls2005 NDRPDR iter env 5
790         - 22  # rls2005 NDRPDR iter env 5
791         - 23  # rls2005 NDRPDR iter env 5
792         - 24  # rls2005 NDRPDR iter env 5
793     vpp-performance-changes-2n-clx-ref-env-old:
794       csit-vpp-perf-report-iterative-2009-2n-clx:
795         - 36  # rls2009 NDRPDR iter env 5
796         - 39  # rls2009 NDRPDR iter env 5
797         - 40  # rls2009 NDRPDR iter env 5
798         - 65  # rls2009 NDRPDR iter env 5
799         - 66  # rls2009 NDRPDR iter env 5
800         - 79  # rls2009 NDRPDR iter env 5
801         - 82  # rls2009 NDRPDR iter env 5
802         - 88  # rls2009 NDRPDR iter env 5
803         - 89  # rls2009 NDRPDR iter env 5
804         - 90  # rls2009 NDRPDR iter env 5
805         - 114 # rls2009 NDRPDR iter NAT44 env 5
806         - 115 # rls2009 NDRPDR iter NAT44 env 5
807         - 116 # rls2009 NDRPDR iter NAT44 env 5
808         - 117 # rls2009 NDRPDR iter NAT44 env 5
809         - 118 # rls2009 NDRPDR iter NAT44 env 5
810         - 119 # rls2009 NDRPDR iter NAT44 env 5
811         - 121 # rls2009 NDRPDR iter NAT44 env 5
812         - 122 # rls2009 NDRPDR iter NAT44 env 5
813         - 123 # rls2009 NDRPDR iter NAT44 env 5
814         - 126 # rls2009 NDRPDR iter NAT44 env 5
815     vpp-performance-changes-2n-clx-ref-env-new:
816       # TODO: Re-test in new env
817       csit-vpp-perf-report-iterative-2009-2n-clx:
818         - 36  # rls2009 NDRPDR iter env 5
819         - 39  # rls2009 NDRPDR iter env 5
820         - 40  # rls2009 NDRPDR iter env 5
821         - 65  # rls2009 NDRPDR iter env 5
822         - 66  # rls2009 NDRPDR iter env 5
823         - 79  # rls2009 NDRPDR iter env 5
824         - 82  # rls2009 NDRPDR iter env 5
825         - 88  # rls2009 NDRPDR iter env 5
826         - 89  # rls2009 NDRPDR iter env 5
827         - 90  # rls2009 NDRPDR iter env 5
828         - 114 # rls2009 NDRPDR iter NAT44 env 5
829         - 115 # rls2009 NDRPDR iter NAT44 env 5
830         - 116 # rls2009 NDRPDR iter NAT44 env 5
831         - 117 # rls2009 NDRPDR iter NAT44 env 5
832         - 118 # rls2009 NDRPDR iter NAT44 env 5
833         - 119 # rls2009 NDRPDR iter NAT44 env 5
834         - 121 # rls2009 NDRPDR iter NAT44 env 5
835         - 122 # rls2009 NDRPDR iter NAT44 env 5
836         - 123 # rls2009 NDRPDR iter NAT44 env 5
837         - 126 # rls2009 NDRPDR iter NAT44 env 5
838     vpp-performance-changes-2n-clx-cmp:
839       csit-vpp-perf-report-iterative-2101-2n-clx:
840         - 4   # rls2101.rc1 NDRPDR iter env 6
841         - 5   # rls2101.rc1 NDRPDR iter env 6
842         - 6   # rls2101.rc1 NDRPDR iter env 6
843         - 7   # rls2101.rc1 NDRPDR iter env 6
844         - 8   # rls2101.rc1 NDRPDR iter env 6
845         - 9   # rls2101.rc1 NDRPDR iter env 6
846         - 10  # rls2101.rc1 NDRPDR iter env 6
847         - 11  # rls2101.rc1 NDRPDR iter env 6
848         - 12  # rls2101.rc1 NDRPDR iter env 6
849         - 13  # rls2101.rc1 NDRPDR iter env 6
850
851     vpp-performance-changes-2n-zn2-ref-env-old:
852       csit-vpp-perf-report-iterative-2009-2n-zn2:
853         - 17  # rls2009 NDRPDR iter env 5
854         - 18  # rls2009 NDRPDR iter env 5
855         - 31  # rls2009 NDRPDR iter env 5
856         - 33  # rls2009 NDRPDR iter env 5
857         - 34  # rls2009 NDRPDR iter env 5
858     vpp-performance-changes-2n-zn2-ref-env-new:
859       csit-vpp-perf-report-iterative-2101-2n-zn2:
860         - 9   # rls2009 NDRPDR iter env 6
861     vpp-performance-changes-2n-zn2-cmp:
862       csit-vpp-perf-report-iterative-2101-2n-zn2:
863         - 4   # rls2101.rc1 NDRPDR iter env 6
864         - 5   # rls2101.rc1 NDRPDR iter env 6
865         - 6   # rls2101.rc1 NDRPDR iter env 6
866         - 7   # rls2101.rc1 NDRPDR iter env 6
867
868     vpp-performance-changes-2n-dnv-h1:
869       csit-vpp-perf-report-iterative-2009-2n-dnv:
870         - 16  # rls2005 NDRPDR iter env 5
871         - 17  # rls2005 NDRPDR iter env 5
872         - 18  # rls2005 NDRPDR iter env 5
873         - 19  # rls2005 NDRPDR iter env 5
874         - 21  # rls2005 NDRPDR iter env 5
875         - 24  # rls2005 NDRPDR iter env 5
876         - 27  # rls2005 NDRPDR iter env 5
877         - 28  # rls2005 NDRPDR iter env 5
878         - 29  # rls2005 NDRPDR iter env 5
879         - 30  # rls2005 NDRPDR iter env 5
880     vpp-performance-changes-2n-dnv-ref-env-old:
881       csit-vpp-perf-report-iterative-2009-2n-dnv:
882         - 3   # rls2009 NDRPDR iter env 5
883         - 5   # rls2009 NDRPDR iter env 5
884         - 6   # rls2009 NDRPDR iter env 5
885         - 7   # rls2009 NDRPDR iter env 5
886         - 9   # rls2009 NDRPDR iter env 5
887         - 10  # rls2009 NDRPDR iter env 5
888         - 11  # rls2009 NDRPDR iter env 5
889         - 12  # rls2009 NDRPDR iter env 5
890         - 14  # rls2009 NDRPDR iter env 5
891         - 15  # rls2009 NDRPDR iter env 5
892     vpp-performance-changes-2n-dnv-ref-env-new:
893       # TODO: Re-test in new env
894       csit-vpp-perf-report-iterative-2009-2n-dnv:
895         - 3   # rls2009 NDRPDR iter env 5
896         - 5   # rls2009 NDRPDR iter env 5
897         - 6   # rls2009 NDRPDR iter env 5
898         - 7   # rls2009 NDRPDR iter env 5
899         - 9   # rls2009 NDRPDR iter env 5
900         - 10  # rls2009 NDRPDR iter env 5
901         - 11  # rls2009 NDRPDR iter env 5
902         - 12  # rls2009 NDRPDR iter env 5
903         - 14  # rls2009 NDRPDR iter env 5
904         - 15  # rls2009 NDRPDR iter env 5
905     vpp-performance-changes-2n-dnv-cmp:
906       csit-vpp-perf-report-iterative-2101-2n-dnv:
907         - 3   # rls2101.rc1 NDRPDR iter env 6
908         - 4   # rls2101.rc1 NDRPDR iter env 6
909         - 5   # rls2101.rc1 NDRPDR iter env 6
910         - 6   # rls2101.rc1 NDRPDR iter env 6
911         - 7   # rls2101.rc1 NDRPDR iter env 6
912         - 8   # rls2101.rc1 NDRPDR iter env 6
913         - 9   # rls2101.rc1 NDRPDR iter env 6
914         - 10  # rls2101.rc1 NDRPDR iter env 6
915         - 11  # rls2101.rc1 NDRPDR iter env 6
916         - 12  # rls2101.rc1 NDRPDR iter env 6
917
918     vpp-performance-changes-3n-dnv-h1:
919       csit-vpp-perf-report-iterative-2009-3n-dnv:
920         - 16  # rls2005 NDRPDR iter env 5
921         - 23  # rls2005 NDRPDR iter env 5
922         - 25  # rls2005 NDRPDR iter env 5
923         - 26  # rls2005 NDRPDR iter env 5
924         - 27  # rls2005 NDRPDR iter env 5
925         - 28  # rls2005 NDRPDR iter env 5
926         - 29  # rls2005 NDRPDR iter env 5
927         - 30  # rls2005 NDRPDR iter env 5
928         - 31  # rls2005 NDRPDR iter env 5
929         - 32  # rls2005 NDRPDR iter env 5
930     vpp-performance-changes-3n-dnv-ref-env-old:
931       csit-vpp-perf-report-iterative-2009-3n-dnv:
932         - 3   # rls2009 NDRPDR iter env 5
933         - 6   # rls2009 NDRPDR iter env 5
934         - 7   # rls2009 NDRPDR iter env 5
935         - 8   # rls2009 NDRPDR iter env 5
936         - 10  # rls2009 NDRPDR iter env 5
937         - 11  # rls2009 NDRPDR iter env 5
938         - 12  # rls2009 NDRPDR iter env 5
939         - 14  # rls2009 NDRPDR iter env 5
940         - 15  # rls2009 NDRPDR iter env 5
941         - 24  # rls2009 NDRPDR iter env 5
942     vpp-performance-changes-3n-dnv-ref-env-new:
943       # TODO: Re-test in new env
944       csit-vpp-perf-report-iterative-2009-3n-dnv:
945         - 3   # rls2009 NDRPDR iter env 5
946         - 6   # rls2009 NDRPDR iter env 5
947         - 7   # rls2009 NDRPDR iter env 5
948         - 8   # rls2009 NDRPDR iter env 5
949         - 10  # rls2009 NDRPDR iter env 5
950         - 11  # rls2009 NDRPDR iter env 5
951         - 12  # rls2009 NDRPDR iter env 5
952         - 14  # rls2009 NDRPDR iter env 5
953         - 15  # rls2009 NDRPDR iter env 5
954         - 24  # rls2009 NDRPDR iter env 5
955     vpp-performance-changes-3n-dnv-cmp:
956       csit-vpp-perf-report-iterative-2101-3n-dnv:
957         - 3   # rls2101.rc1 NDRPDR iter env 6
958         - 4   # rls2101.rc1 NDRPDR iter env 6
959         - 5   # rls2101.rc1 NDRPDR iter env 6
960         - 6   # rls2101.rc1 NDRPDR iter env 6
961         - 7   # rls2101.rc1 NDRPDR iter env 6
962         - 8   # rls2101.rc1 NDRPDR iter env 6
963         - 9   # rls2101.rc1 NDRPDR iter env 6
964         - 10  # rls2101.rc1 NDRPDR iter env 6
965         - 11  # rls2101.rc1 NDRPDR iter env 6
966         - 12  # rls2101.rc1 NDRPDR iter env 6
967
968     vpp-performance-changes-3n-tsh-h1:
969       csit-vpp-perf-report-iterative-2009-3n-tsh:
970         - 8   # rls2005 NDRPDR iter env 5
971         - 11  # rls2005 NDRPDR iter env 5
972         - 12  # rls2005 NDRPDR iter env 5
973         - 24  # rls2005 NDRPDR iter env 5
974         - 27  # rls2005 NDRPDR iter env 5
975         - 29  # rls2005 NDRPDR iter env 5
976         - 31  # rls2005 NDRPDR iter env 5
977         - 39  # rls2005 NDRPDR iter env 5
978         - 40  # rls2005 NDRPDR iter env 5
979         - 42  # rls2005 NDRPDR iter env 5
980     vpp-performance-changes-3n-tsh-ref-env-old:
981       csit-vpp-perf-report-iterative-2009-3n-tsh:
982         - 14  # rls2009 NDRPDR iter env 5
983         - 20  # rls2009 NDRPDR iter env 5
984         - 21  # rls2009 NDRPDR iter env 5
985         - 22  # rls2009 NDRPDR iter env 5
986         - 23  # rls2009 NDRPDR iter env 5
987         - 28  # rls2009 NDRPDR iter env 5
988         - 30  # rls2009 NDRPDR iter env 5
989         - 33  # rls2009 NDRPDR iter env 5
990         - 38  # rls2009 NDRPDR iter env 5
991         - 41  # rls2009 NDRPDR iter env 5
992     vpp-performance-changes-3n-tsh-ref-env-new:
993       # TODO: Re-test in new env
994       csit-vpp-perf-report-iterative-2009-3n-tsh:
995         - 14  # rls2009 NDRPDR iter env 5
996         - 20  # rls2009 NDRPDR iter env 5
997         - 21  # rls2009 NDRPDR iter env 5
998         - 22  # rls2009 NDRPDR iter env 5
999         - 23  # rls2009 NDRPDR iter env 5
1000         - 28  # rls2009 NDRPDR iter env 5
1001         - 30  # rls2009 NDRPDR iter env 5
1002         - 33  # rls2009 NDRPDR iter env 5
1003         - 38  # rls2009 NDRPDR iter env 5
1004         - 41  # rls2009 NDRPDR iter env 5
1005     vpp-performance-changes-3n-tsh-cmp:
1006       csit-vpp-perf-report-iterative-2101-3n-tsh:
1007         - 3   # rls2101.rc1 NDRPDR iter env 6
1008         - 5   # rls2101.rc1 NDRPDR iter env 6
1009
1010     vpp-soak-vs-ndr-2n-skx-ref:
1011       # csit-vpp-perf-report-iterative-2101-2n-skx:
1012       csit-vpp-perf-report-iterative-2009-2n-skx:
1013         - 35  # rls2009 NDRPDR iter env 5
1014         - 36  # rls2009 NDRPDR iter env 5
1015         - 37  # rls2009 NDRPDR iter env 5
1016         - 39  # rls2009 NDRPDR iter env 5
1017         - 40  # rls2009 NDRPDR iter env 5
1018         - 42  # rls2009 NDRPDR iter env 5
1019         - 43  # rls2009 NDRPDR iter env 5
1020         - 44  # rls2009 NDRPDR iter env 5
1021         - 46  # rls2009 NDRPDR iter env 5
1022         - 48  # rls2009 NDRPDR iter env 5
1023     vpp-soak-vs-ndr-2n-skx-cmp:
1024       # csit-vpp-perf-report-iterative-2101-2n-skx:
1025       csit-vpp-perf-report-iterative-2009-2n-skx:
1026         - 33  # rls2009 soak env 5
1027         - 34  # rls2009 soak env 5
1028     vpp-soak-vs-ndr-2n-skx:
1029       # csit-vpp-perf-report-iterative-2101-2n-skx:
1030       csit-vpp-perf-report-iterative-2009-2n-skx:
1031         - 35  # rls2009 NDRPDR iter env 5
1032         - 36  # rls2009 NDRPDR iter env 5
1033         - 37  # rls2009 NDRPDR iter env 5
1034         - 39  # rls2009 NDRPDR iter env 5
1035         - 40  # rls2009 NDRPDR iter env 5
1036         - 42  # rls2009 NDRPDR iter env 5
1037         - 43  # rls2009 NDRPDR iter env 5
1038         - 44  # rls2009 NDRPDR iter env 5
1039         - 46  # rls2009 NDRPDR iter env 5
1040         - 48  # rls2009 NDRPDR iter env 5
1041         - 33  # rls2009 soak env 5
1042         - 34  # rls2009 soak env 5
1043
1044     vpp-soak-vs-ndr-2n-clx-ref:
1045       # csit-vpp-perf-report-iterative-2101-2n-clx:
1046       csit-vpp-perf-report-iterative-2009-2n-clx:
1047         - 36  # rls2009 NDRPDR iter env 5
1048         - 39  # rls2009 NDRPDR iter env 5
1049         - 40  # rls2009 NDRPDR iter env 5
1050         - 65  # rls2009 NDRPDR iter env 5
1051         - 66  # rls2009 NDRPDR iter env 5
1052         - 79  # rls2009 NDRPDR iter env 5
1053         - 82  # rls2009 NDRPDR iter env 5
1054         - 88  # rls2009 NDRPDR iter env 5
1055         - 89  # rls2009 NDRPDR iter env 5
1056         - 90  # rls2009 NDRPDR iter env 5
1057     vpp-soak-vs-ndr-2n-clx-cmp:
1058       # csit-vpp-perf-report-iterative-2101-2n-clx:
1059       csit-vpp-perf-report-iterative-2009-2n-clx:
1060         - 33  # rls2009 soak env 5
1061         - 34  # rls2009 soak env 5
1062     vpp-soak-vs-ndr-2n-clx:
1063       # csit-vpp-perf-report-iterative-2101-2n-clx:
1064       csit-vpp-perf-report-iterative-2009-2n-clx:
1065         - 36  # rls2009 NDRPDR iter env 5
1066         - 39  # rls2009 NDRPDR iter env 5
1067         - 40  # rls2009 NDRPDR iter env 5
1068         - 65  # rls2009 NDRPDR iter env 5
1069         - 66  # rls2009 NDRPDR iter env 5
1070         - 79  # rls2009 NDRPDR iter env 5
1071         - 82  # rls2009 NDRPDR iter env 5
1072         - 88  # rls2009 NDRPDR iter env 5
1073         - 89  # rls2009 NDRPDR iter env 5
1074         - 90  # rls2009 NDRPDR iter env 5
1075         - 33  # rls2009 soak env 5
1076         - 34  # rls2009 soak env 5
1077
1078     vpp-performance-changes-3n-hsw-mrr-h1:
1079       csit-vpp-perf-report-iterative-2009-3n-hsw:
1080         - 18  # rls2005 MRR iter env 5
1081     vpp-performance-changes-3n-hsw-mrr-ref-env-old:
1082       csit-vpp-perf-report-iterative-2009-3n-hsw:
1083         - 23  # rls2009 MRR iter env 5
1084     vpp-performance-changes-3n-hsw-mrr-ref-env-new:
1085       csit-vpp-perf-report-iterative-2101-3n-hsw:
1086         - 17  # rls2009 MRR iter env 6
1087     vpp-performance-changes-3n-hsw-mrr-cmp:
1088       csit-vpp-perf-report-iterative-2101-3n-hsw:
1089         - 3   # rls2101.rc1 MRR iter env 6
1090
1091     vpp-performance-changes-3n-skx-mrr-h1:
1092       csit-vpp-perf-report-iterative-2009-3n-skx:
1093         - 17  # rls2005 MRR iter env 5
1094     vpp-performance-changes-3n-skx-mrr-ref-env-old:
1095       csit-vpp-perf-report-iterative-2009-3n-skx:
1096         - 24  # rls2009 MRR iter env 5
1097     vpp-performance-changes-3n-skx-mrr-ref-env-new:
1098       csit-vpp-perf-report-iterative-2101-3n-skx:
1099         - 12  # rls2009 MRR iter env 6
1100     vpp-performance-changes-3n-skx-mrr-cmp:
1101       csit-vpp-perf-report-iterative-2101-3n-skx:
1102         - 4   # rls2101.rc1 MRR iter env 6
1103
1104     vpp-performance-changes-2n-skx-mrr-h1:
1105       csit-vpp-perf-report-iterative-2009-2n-skx:
1106         - 20  # rls2005 MRR iter env 5
1107     vpp-performance-changes-2n-skx-mrr-ref-env-old:
1108       csit-vpp-perf-report-iterative-2009-2n-skx:
1109         - 120 # rls2009 MRR iter env 5
1110     vpp-performance-changes-2n-skx-mrr-ref-env-new:
1111       # TODO: Re-test in new env
1112       csit-vpp-perf-report-iterative-2009-2n-skx:
1113         - 120 # rls2009 MRR iter env 5
1114     vpp-performance-changes-2n-skx-mrr-cmp:
1115       csit-vpp-perf-report-iterative-2101-2n-skx:
1116         - 3   # rls2101.rc1 MRR iter env 6
1117
1118     vpp-performance-changes-2n-clx-mrr-h1:
1119       csit-vpp-perf-report-iterative-2009-2n-clx:
1120         - 77  # rls2005 MRR iter env 5
1121     vpp-performance-changes-2n-clx-mrr-ref-env-old:
1122       csit-vpp-perf-report-iterative-2009-2n-clx:
1123         - 125 # rls2009 MRR iter env 5
1124     vpp-performance-changes-2n-clx-mrr-ref-env-new:
1125       # TODO: Re-test in new env
1126       csit-vpp-perf-report-iterative-2009-2n-clx:
1127         - 125 # rls2009 MRR iter env 55
1128     vpp-performance-changes-2n-clx-mrr-cmp:
1129       csit-vpp-perf-report-iterative-2101-2n-clx:
1130         - 3   # rls2101.rc1 MRR iter env 6
1131
1132     vpp-performance-changes-2n-zn2-mrr-ref-env-old:
1133       csit-vpp-perf-report-iterative-2009-2n-zn2:
1134         - 15  # rls2009 MRR iter env 5
1135     vpp-performance-changes-2n-zn2-mrr-ref-env-new:
1136       csit-vpp-perf-report-iterative-2101-2n-zn2:
1137         - 8   # rls2009 MRR iter env6
1138     vpp-performance-changes-2n-zn2-mrr-cmp:
1139       csit-vpp-perf-report-iterative-2101-2n-zn2:
1140         - 3   # rls2101.rc1 MRR iter env 6
1141
1142     vpp-performance-changes-2n-dnv-mrr-h1:
1143       csit-vpp-perf-report-iterative-2009-2n-dnv:
1144         - 23  # rls2005 MRR iter env 5
1145     vpp-performance-changes-2n-dnv-mrr-ref-env-old:
1146       csit-vpp-perf-report-iterative-2009-2n-dnv:
1147         - 13  # rls2009 MRR iter env 5
1148     vpp-performance-changes-2n-dnv-mrr-ref-env-new:
1149       # TODO: Re-test in new env
1150       csit-vpp-perf-report-iterative-2009-2n-dnv:
1151         - 13  # rls2009 MRR iter env 5
1152     vpp-performance-changes-2n-dnv-mrr-cmp:
1153       csit-vpp-perf-report-iterative-2101-2n-dnv:
1154         - 2   # rls2101.rc1 MRR iter env 6
1155
1156     vpp-performance-changes-3n-dnv-mrr-h1:
1157       csit-vpp-perf-report-iterative-2009-3n-dnv:
1158         - 19  # rls2005 MRR iter env 5
1159     vpp-performance-changes-3n-dnv-mrr-ref-env-old:
1160       csit-vpp-perf-report-iterative-2009-3n-dnv:
1161         - 22  # rls2009 MRR iter env 5
1162     vpp-performance-changes-3n-dnv-mrr-ref-env-new:
1163       # TODO: Re-test in new env
1164       csit-vpp-perf-report-iterative-2009-3n-dnv:
1165         - 22  # rls2009 MRR iter env 5
1166     vpp-performance-changes-3n-dnv-mrr-cmp:
1167       csit-vpp-perf-report-iterative-2101-3n-dnv:
1168         - 2   # rls2101.rc1 MRR iter env 6
1169
1170     vpp-performance-changes-3n-tsh-mrr-h1:
1171       csit-vpp-perf-report-iterative-2009-3n-tsh:
1172         - 13  # rls2005 MRR iter env 5
1173     vpp-performance-changes-3n-tsh-mrr-ref-env-old:
1174       csit-vpp-perf-report-iterative-2009-3n-tsh:
1175         - 15  # rls2009 MRR iter env 5
1176     vpp-performance-changes-3n-tsh-mrr-ref-env-new:
1177       # TODO: Re-test in new env
1178       csit-vpp-perf-report-iterative-2009-3n-tsh:
1179         - 15  # rls2009 MRR iter env 5
1180     vpp-performance-changes-3n-tsh-mrr-cmp:
1181       csit-vpp-perf-report-iterative-2101-3n-tsh:
1182         - 2   # rls2101.rc1 MRR iter env 6
1183
1184     dpdk-performance-changes-3n-hsw-h1:
1185       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1186         - 25  # NDRPDR iter
1187         - 26  # NDRPDR iter
1188         - 27  # NDRPDR iter
1189         - 28  # NDRPDR iter
1190         - 29  # NDRPDR iter
1191         - 30  # NDRPDR iter
1192         - 31  # NDRPDR iter
1193         - 32  # NDRPDR iter
1194         - 33  # NDRPDR iter
1195         - 34  # NDRPDR iter
1196     dpdk-performance-changes-3n-hsw-ref:
1197       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1198         - 6   # NDRPDR iter env5
1199         - 7   # NDRPDR iter env5
1200         - 8   # NDRPDR iter env5
1201         - 9   # NDRPDR iter env5
1202         - 10  # NDRPDR iter env5
1203         - 11  # NDRPDR iter env5
1204         - 12  # NDRPDR iter env5
1205         - 13  # NDRPDR iter env5
1206         - 14  # NDRPDR iter env5
1207         - 15  # NDRPDR iter env5
1208     dpdk-performance-changes-3n-hsw-cmp:
1209       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1210         - 11  # rls2101.rc1 NDRPDR iter env 6
1211         - 12  # rls2101.rc1 NDRPDR iter env 6
1212         - 13  # rls2101.rc1 NDRPDR iter env 6
1213         - 14  # rls2101.rc1 NDRPDR iter env 6
1214         - 16  # rls2101.rc1 NDRPDR iter env 6
1215         - 17  # rls2101.rc1 NDRPDR iter env 6
1216         - 18  # rls2101.rc1 NDRPDR iter env 6
1217         - 19  # rls2101.rc1 NDRPDR iter env 6
1218         - 20  # rls2101.rc1 NDRPDR iter env 6
1219         - 21  # rls2101.rc1 NDRPDR iter env 6
1220
1221     dpdk-performance-changes-3n-skx-h1:
1222       csit-dpdk-perf-report-iterative-2005-3n-skx:
1223         - 28  # NDRPDR iter
1224         - 29  # NDRPDR iter
1225         - 30  # NDRPDR iter
1226         - 31  # NDRPDR iter
1227         - 32  # NDRPDR iter
1228         - 33  # NDRPDR iter
1229         - 34  # NDRPDR iter
1230         - 35  # NDRPDR iter
1231         - 36  # NDRPDR iter
1232         - 37  # NDRPDR iter
1233     dpdk-performance-changes-3n-skx-ref:
1234       csit-dpdk-perf-report-iterative-2009-3n-skx:
1235         - 4   # NDRPDR sel env5
1236         - 5   # NDRPDR sel env5
1237         - 6   # NDRPDR sel env5
1238         - 7   # NDRPDR sel env5
1239         - 8   # NDRPDR sel env5
1240         - 9   # NDRPDR sel env5
1241         - 14  # NDRPDR sel env5
1242         - 11  # NDRPDR sel env5
1243         - 12  # NDRPDR sel env5
1244         - 13  # NDRPDR sel env5
1245     dpdk-performance-changes-3n-skx-cmp:
1246       csit-dpdk-perf-report-iterative-2101-3n-skx:
1247         - 12  # rls2101.rc1 NDRPDR iter env 6
1248         - 14  # rls2101.rc1 NDRPDR iter env 6
1249         - 15  # rls2101.rc1 NDRPDR iter env 6
1250         - 17  # rls2101.rc1 NDRPDR iter env 6
1251         - 19  # rls2101.rc1 NDRPDR iter env 6
1252         - 20  # rls2101.rc1 NDRPDR iter env 6
1253         - 21  # rls2101.rc1 NDRPDR iter env 6
1254         - 22  # rls2101.rc1 NDRPDR iter env 6
1255
1256     dpdk-performance-changes-2n-skx-h1:
1257       csit-dpdk-perf-report-iterative-2005-2n-skx:
1258         - 20  # NDRPDR iter
1259         - 21  # NDRPDR iter
1260         - 22  # NDRPDR iter
1261         - 23  # NDRPDR iter
1262         - 24  # NDRPDR iter
1263         - 25  # NDRPDR iter
1264         - 26  # NDRPDR iter
1265         - 27  # NDRPDR iter
1266         - 28  # NDRPDR iter
1267         - 29  # NDRPDR iter
1268     dpdk-performance-changes-2n-skx-ref:
1269       csit-dpdk-perf-report-iterative-2009-2n-skx:
1270         - 4   # NDRPDR iter env5
1271         - 5   # NDRPDR iter env5
1272         - 6   # NDRPDR iter env5
1273         - 7   # NDRPDR iter env5
1274         - 8   # NDRPDR iter env5
1275         - 9   # NDRPDR iter env5
1276         - 10  # NDRPDR iter env5
1277         - 11  # NDRPDR iter env5
1278         - 12  # NDRPDR iter env5
1279         - 13  # NDRPDR iter env5
1280     dpdk-performance-changes-2n-skx-cmp:
1281       csit-dpdk-perf-report-iterative-2101-2n-skx:
1282         - 11  # rls2101.rc1 NDRPDR iter env 6
1283         - 12  # rls2101.rc1 NDRPDR iter env 6
1284         - 13  # rls2101.rc1 NDRPDR iter env 6
1285         - 14  # rls2101.rc1 NDRPDR iter env 6
1286         - 15  # rls2101.rc1 NDRPDR iter env 6
1287         - 17  # rls2101.rc1 NDRPDR iter env 6
1288         - 18  # rls2101.rc1 NDRPDR iter env 6
1289         - 19  # rls2101.rc1 NDRPDR iter env 6
1290         - 20  # rls2101.rc1 NDRPDR iter env 6
1291         - 21  # rls2101.rc1 NDRPDR iter env 6
1292
1293     dpdk-performance-changes-2n-clx-h1:
1294       csit-dpdk-perf-report-iterative-2005-2n-clx:
1295         - 20  # NDRPDR iter
1296         - 21  # NDRPDR iter
1297         - 22  # NDRPDR iter
1298         - 23  # NDRPDR iter
1299         - 24  # NDRPDR iter
1300         - 25  # NDRPDR iter
1301         - 26  # NDRPDR iter
1302         - 27  # NDRPDR iter
1303         - 28  # NDRPDR iter
1304         - 29  # NDRPDR iter
1305     dpdk-performance-changes-2n-clx-ref:
1306       csit-dpdk-perf-report-iterative-2009-2n-clx:
1307         - 4   # NDRPDR iter env5
1308         - 5   # NDRPDR iter env5
1309         - 6   # NDRPDR iter env5
1310         - 7   # NDRPDR iter env5
1311         - 8   # NDRPDR iter env5
1312         - 9   # NDRPDR iter env5
1313         - 10  # NDRPDR iter env5
1314         - 11  # NDRPDR iter env5
1315         - 12  # NDRPDR iter env5
1316         - 13  # NDRPDR iter env5
1317     dpdk-performance-changes-2n-clx-cmp:
1318       csit-dpdk-perf-report-iterative-2101-2n-clx:
1319         - 12  # rls2101.rc1 NDRPDR iter env 6
1320         - 13  # rls2101.rc1 NDRPDR iter env 6
1321         - 14  # rls2101.rc1 NDRPDR iter env 6
1322         - 18  # rls2101.rc1 NDRPDR iter env 6
1323         - 22  # rls2101.rc1 NDRPDR iter env 6
1324
1325     dpdk-performance-changes-2n-zn2-ref:
1326       csit-dpdk-perf-report-iterative-2009-2n-zn2:
1327         - 16  # NDRPDR iter env5
1328         - 21  # NDRPDR iter env5
1329         - 22  # NDRPDR iter env5
1330         - 23  # NDRPDR iter env5
1331         - 24  # NDRPDR iter env5
1332         - 25  # NDRPDR iter env5
1333         - 29  # NDRPDR iter env5
1334     dpdk-performance-changes-2n-zn2-cmp:
1335       csit-dpdk-perf-report-iterative-2101-2n-zn2:
1336         - 11  # rls2101.rc1 NDRPDR iter env 6
1337         - 12  # rls2101.rc1 NDRPDR iter env 6
1338         - 13  # rls2101.rc1 NDRPDR iter env 6
1339         - 14  # rls2101.rc1 NDRPDR iter env 6
1340         - 16  # rls2101.rc1 NDRPDR iter env 6
1341         - 17  # rls2101.rc1 NDRPDR iter env 6
1342         - 18  # rls2101.rc1 NDRPDR iter env 6
1343         - 19  # rls2101.rc1 NDRPDR iter env 6
1344         - 20  # rls2101.rc1 NDRPDR iter env 6
1345         - 21  # rls2101.rc1 NDRPDR iter env 6
1346
1347 #    dpdk-performance-changes-2n-dnv-h1:
1348 #      csit-dpdk-perf-verify-2101-2n-dnv:
1349 #        - 9   # NDRPDR sel
1350 #        - 10  # NDRPDR sel
1351 #        - 11  # NDRPDR sel
1352 #        - 12  # NDRPDR sel
1353 #        - 13  # NDRPDR sel
1354 #        - 14  # NDRPDR sel
1355 #        - 15  # NDRPDR sel
1356 #        - 16  # NDRPDR sel
1357 #        - 17  # NDRPDR sel
1358 #        - 18  # NDRPDR sel
1359 #    dpdk-performance-changes-2n-dnv-ref:
1360 #      # No data
1361 #    dpdk-performance-changes-2n-dnv-cmp:
1362 #      # No data
1363 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1364
1365 #    dpdk-performance-changes-3n-dnv-h1:
1366 #      csit-dpdk-perf-verify-2101-3n-dnv:
1367 #        - 12  # NDRPDR sel
1368 #        - 13  # NDRPDR sel
1369 #        - 14  # NDRPDR sel
1370 #        - 15  # NDRPDR sel
1371 #        - 16  # NDRPDR sel
1372 #        - 17  # NDRPDR sel
1373 #        - 18  # NDRPDR sel
1374 #        - 19  # NDRPDR sel
1375 #        - 20  # NDRPDR sel
1376 #        - 22  # NDRPDR sel
1377 #    dpdk-performance-changes-3n-dnv-ref:
1378 #      # No data
1379 #    dpdk-performance-changes-3n-dnv-cmp:
1380 #      # No data
1381 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1382
1383     dpdk-performance-changes-3n-tsh-h1:
1384       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1385         - 5   # NDRPDR sel
1386     dpdk-performance-changes-3n-tsh-ref:
1387       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1388         - 1   # NDRPDR iter env5
1389         - 2   # NDRPDR iter env5
1390         - 3   # NDRPDR iter env5
1391         - 4   # NDRPDR iter env5
1392         - 5   # NDRPDR iter env5
1393         - 6   # NDRPDR iter env5
1394         - 7   # NDRPDR iter env5
1395         - 9   # NDRPDR iter env5
1396         - 10  # NDRPDR iter env5
1397         - 11  # NDRPDR iter env5
1398     dpdk-performance-changes-3n-tsh-cmp:
1399       csit-dpdk-perf-report-iterative-2101-3n-tsh:
1400         - 11  # rls2101.rc1 NDRPDR iter env 6
1401         - 12  # rls2101.rc1 NDRPDR iter env 6
1402         - 13  # rls2101.rc1 NDRPDR iter env 6
1403         - 14  # rls2101.rc1 NDRPDR iter env 6
1404         - 16  # rls2101.rc1 NDRPDR iter env 6
1405         - 17  # rls2101.rc1 NDRPDR iter env 6
1406         - 18  # rls2101.rc1 NDRPDR iter env 6
1407         - 19  # rls2101.rc1 NDRPDR iter env 6
1408         - 20  # rls2101.rc1 NDRPDR iter env 6
1409         - 21  # rls2101.rc1 NDRPDR iter env 6
1410
1411     # Compare testbeds
1412
1413     vpp-compare-testbeds-ref:
1414       csit-vpp-perf-report-iterative-2101-3n-hsw:
1415         - 4   # rls2101.rc1 NDRPDR iter env 6
1416         - 5   # rls2101.rc1 NDRPDR iter env 6
1417         - 6   # rls2101.rc1 NDRPDR iter env 6
1418         - 7   # rls2101.rc1 NDRPDR iter env 6
1419         - 8   # rls2101.rc1 NDRPDR iter env 6
1420         - 9   # rls2101.rc1 NDRPDR iter env 6
1421         - 10  # rls2101.rc1 NDRPDR iter env 6
1422         - 11  # rls2101.rc1 NDRPDR iter env 6
1423         - 12  # rls2101.rc1 NDRPDR iter env 6
1424         - 13  # rls2101.rc1 NDRPDR iter env 6
1425     vpp-compare-testbeds-cmp:
1426       csit-vpp-perf-report-iterative-2101-3n-skx:
1427         - 5   # rls2101.rc1 NDRPDR iter env 6
1428         - 6   # rls2101.rc1 NDRPDR iter env 6
1429         - 7   # rls2101.rc1 NDRPDR iter env 6
1430         - 8   # rls2101.rc1 NDRPDR iter env 6
1431         - 9   # rls2101.rc1 NDRPDR iter env 6
1432
1433     vpp-compare-testbeds-skx-clx-ref:
1434       csit-vpp-perf-report-iterative-2101-2n-skx:
1435         - 5   # rls2101.rc1 NDRPDR iter env 6
1436         - 6   # rls2101.rc1 NDRPDR iter env 6
1437         - 7   # rls2101.rc1 NDRPDR iter env 6
1438         - 8   # rls2101.rc1 NDRPDR iter env 6
1439         - 10  # rls2101.rc1 NDRPDR iter env 6
1440         - 11  # rls2101.rc1 NDRPDR iter env 6
1441         - 12  # rls2101.rc1 NDRPDR iter env 6
1442         - 13  # rls2101.rc1 NDRPDR iter env 6
1443     vpp-compare-testbeds-skx-clx-cmp:
1444       csit-vpp-perf-report-iterative-2101-2n-clx:
1445         - 4   # rls2101.rc1 NDRPDR iter env 6
1446         - 5   # rls2101.rc1 NDRPDR iter env 6
1447         - 6   # rls2101.rc1 NDRPDR iter env 6
1448         - 7   # rls2101.rc1 NDRPDR iter env 6
1449         - 8   # rls2101.rc1 NDRPDR iter env 6
1450         - 9   # rls2101.rc1 NDRPDR iter env 6
1451         - 10  # rls2101.rc1 NDRPDR iter env 6
1452         - 11  # rls2101.rc1 NDRPDR iter env 6
1453         - 12  # rls2101.rc1 NDRPDR iter env 6
1454         - 13  # rls2101.rc1 NDRPDR iter env 6
1455
1456     vpp-compare-testbeds-hsw-clx-ref:
1457       csit-vpp-perf-report-iterative-2101-3n-hsw:
1458         - 4   # rls2101.rc1 NDRPDR iter env 6
1459         - 5   # rls2101.rc1 NDRPDR iter env 6
1460         - 6   # rls2101.rc1 NDRPDR iter env 6
1461         - 7   # rls2101.rc1 NDRPDR iter env 6
1462         - 8   # rls2101.rc1 NDRPDR iter env 6
1463         - 9   # rls2101.rc1 NDRPDR iter env 6
1464         - 10  # rls2101.rc1 NDRPDR iter env 6
1465         - 11  # rls2101.rc1 NDRPDR iter env 6
1466         - 12  # rls2101.rc1 NDRPDR iter env 6
1467         - 13  # rls2101.rc1 NDRPDR iter env 6
1468     vpp-compare-testbeds-hsw-clx-cmp:
1469       csit-vpp-perf-report-iterative-2101-2n-clx:
1470         - 4   # rls2101.rc1 NDRPDR iter env 6
1471         - 5   # rls2101.rc1 NDRPDR iter env 6
1472         - 6   # rls2101.rc1 NDRPDR iter env 6
1473         - 7   # rls2101.rc1 NDRPDR iter env 6
1474         - 8   # rls2101.rc1 NDRPDR iter env 6
1475         - 9   # rls2101.rc1 NDRPDR iter env 6
1476         - 10  # rls2101.rc1 NDRPDR iter env 6
1477         - 11  # rls2101.rc1 NDRPDR iter env 6
1478         - 12  # rls2101.rc1 NDRPDR iter env 6
1479         - 13  # rls2101.rc1 NDRPDR iter env 6
1480
1481     vpp-compare-testbeds-mrr-ref:
1482       csit-vpp-perf-report-iterative-2101-3n-hsw:
1483         - 3   # rls2101.rc1 MRR iter env 6
1484     vpp-compare-testbeds-mrr-cmp:
1485       csit-vpp-perf-report-iterative-2101-3n-skx:
1486         - 4   # rls2101.rc1 MRR iter env 6
1487
1488     vpp-compare-testbeds-mrr-skx-clx-ref:
1489       csit-vpp-perf-report-iterative-2101-2n-skx:
1490         - 3   # rls2101.rc1 MRR iter env 6
1491     vpp-compare-testbeds-mrr-skx-clx-cmp:
1492       csit-vpp-perf-report-iterative-2101-2n-clx:
1493         - 3   # rls2101.rc1 MRR iter env 6
1494
1495     vpp-compare-testbeds-mrr-hsw-clx-ref:
1496       csit-vpp-perf-report-iterative-2101-3n-hsw:
1497         - 3   # rls2101.rc1 MRR iter env 6
1498     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1499       csit-vpp-perf-report-iterative-2101-2n-clx:
1500         - 3   # rls2101.rc1 MRR iter env 6
1501
1502     dpdk-compare-testbeds-ref:
1503       csit-dpdk-perf-report-iterative-2101-3n-hsw:
1504         - 11  # rls2101.rc1 NDRPDR iter env 6
1505         - 12  # rls2101.rc1 NDRPDR iter env 6
1506         - 13  # rls2101.rc1 NDRPDR iter env 6
1507         - 14  # rls2101.rc1 NDRPDR iter env 6
1508         - 16  # rls2101.rc1 NDRPDR iter env 6
1509         - 17  # rls2101.rc1 NDRPDR iter env 6
1510         - 18  # rls2101.rc1 NDRPDR iter env 6
1511         - 19  # rls2101.rc1 NDRPDR iter env 6
1512         - 20  # rls2101.rc1 NDRPDR iter env 6
1513         - 21  # rls2101.rc1 NDRPDR iter env 6
1514     dpdk-compare-testbeds-cmp:
1515       csit-dpdk-perf-report-iterative-2101-3n-skx:
1516         - 12  # rls2101.rc1 NDRPDR iter env 6
1517         - 14  # rls2101.rc1 NDRPDR iter env 6
1518         - 15  # rls2101.rc1 NDRPDR iter env 6
1519         - 17  # rls2101.rc1 NDRPDR iter env 6
1520         - 19  # rls2101.rc1 NDRPDR iter env 6
1521         - 20  # rls2101.rc1 NDRPDR iter env 6
1522         - 21  # rls2101.rc1 NDRPDR iter env 6
1523         - 22  # rls2101.rc1 NDRPDR iter env 6
1524
1525     dpdk-compare-testbeds-skx-clx-ref:
1526       csit-dpdk-perf-report-iterative-2101-2n-skx:
1527         - 11  # rls2101.rc1 NDRPDR iter env 6
1528         - 12  # rls2101.rc1 NDRPDR iter env 6
1529         - 13  # rls2101.rc1 NDRPDR iter env 6
1530         - 14  # rls2101.rc1 NDRPDR iter env 6
1531         - 15  # rls2101.rc1 NDRPDR iter env 6
1532         - 17  # rls2101.rc1 NDRPDR iter env 6
1533         - 18  # rls2101.rc1 NDRPDR iter env 6
1534         - 19  # rls2101.rc1 NDRPDR iter env 6
1535         - 20  # rls2101.rc1 NDRPDR iter env 6
1536         - 21  # rls2101.rc1 NDRPDR iter env 6
1537     dpdk-compare-testbeds-skx-clx-cmp:
1538       csit-dpdk-perf-report-iterative-2101-2n-clx:
1539         - 12  # rls2101.rc1 NDRPDR iter env 6
1540         - 13  # rls2101.rc1 NDRPDR iter env 6
1541         - 14  # rls2101.rc1 NDRPDR iter env 6
1542         - 18  # rls2101.rc1 NDRPDR iter env 6
1543         - 22  # rls2101.rc1 NDRPDR iter env 6
1544
1545     # Compare topologies
1546
1547     vpp-compare-topologies-ref:
1548       csit-vpp-perf-report-iterative-2101-3n-skx:
1549         - 5   # rls2101.rc1 NDRPDR iter env 6
1550         - 6   # rls2101.rc1 NDRPDR iter env 6
1551         - 7   # rls2101.rc1 NDRPDR iter env 6
1552         - 8   # rls2101.rc1 NDRPDR iter env 6
1553         - 9   # rls2101.rc1 NDRPDR iter env 6
1554     vpp-compare-topologies-cmp:
1555       csit-vpp-perf-report-iterative-2101-2n-skx:
1556         - 5   # rls2101.rc1 NDRPDR iter env 6
1557         - 6   # rls2101.rc1 NDRPDR iter env 6
1558         - 7   # rls2101.rc1 NDRPDR iter env 6
1559         - 8   # rls2101.rc1 NDRPDR iter env 6
1560         - 10  # rls2101.rc1 NDRPDR iter env 6
1561         - 11  # rls2101.rc1 NDRPDR iter env 6
1562         - 12  # rls2101.rc1 NDRPDR iter env 6
1563         - 13  # rls2101.rc1 NDRPDR iter env 6
1564
1565     vpp-compare-topologies-mrr-ref:
1566       csit-vpp-perf-report-iterative-2101-3n-skx:
1567         - 4   # rls2101.rc1 MRR iter env 6
1568     vpp-compare-topologies-mrr-cmp:
1569       csit-vpp-perf-report-iterative-2101-2n-skx:
1570         - 3   # rls2101.rc1 MRR iter env 6
1571
1572     dpdk-compare-topologies-ref:
1573       csit-dpdk-perf-report-iterative-2101-3n-skx:
1574         - 12  # rls2101.rc1 NDRPDR iter env 6
1575         - 14  # rls2101.rc1 NDRPDR iter env 6
1576         - 15  # rls2101.rc1 NDRPDR iter env 6
1577         - 17  # rls2101.rc1 NDRPDR iter env 6
1578         - 19  # rls2101.rc1 NDRPDR iter env 6
1579         - 20  # rls2101.rc1 NDRPDR iter env 6
1580         - 21  # rls2101.rc1 NDRPDR iter env 6
1581         - 22  # rls2101.rc1 NDRPDR iter env 6
1582     dpdk-compare-topologies-cmp:
1583       csit-dpdk-perf-report-iterative-2101-2n-skx:
1584         - 11  # rls2101.rc1 NDRPDR iter env 6
1585         - 12  # rls2101.rc1 NDRPDR iter env 6
1586         - 13  # rls2101.rc1 NDRPDR iter env 6
1587         - 14  # rls2101.rc1 NDRPDR iter env 6
1588         - 15  # rls2101.rc1 NDRPDR iter env 6
1589         - 17  # rls2101.rc1 NDRPDR iter env 6
1590         - 18  # rls2101.rc1 NDRPDR iter env 6
1591         - 19  # rls2101.rc1 NDRPDR iter env 6
1592         - 20  # rls2101.rc1 NDRPDR iter env 6
1593         - 21  # rls2101.rc1 NDRPDR iter env 6
1594
1595   plot-layouts:
1596
1597     plot-soak-throughput:
1598       titlefont:
1599         size: 16
1600       xaxis:
1601         title: "<b>Test Cases [Index]</b>"
1602         titlefont:
1603           size: 14
1604         autorange: True
1605         fixedrange: False
1606         gridcolor: "rgb(230, 230, 230)"
1607         linecolor: "rgb(220, 220, 220)"
1608         linewidth: 1
1609         showgrid: True
1610         showline: True
1611         showticklabels: True
1612         tickcolor: "rgb(220, 220, 220)"
1613         tickmode: "linear"
1614         tickfont:
1615           size: 14
1616         zeroline: False
1617       yaxis:
1618         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1619         titlefont:
1620           size: 14
1621         gridcolor: "rgb(230, 230, 230)"
1622         hoverformat: ".4r"
1623         tickformat: ".3r"
1624         linecolor: "rgb(220, 220, 220)"
1625         linewidth: 1
1626         showgrid: True
1627         showline: True
1628         showticklabels: True
1629         tickcolor: "rgb(220, 220, 220)"
1630         tickfont:
1631           size: 14
1632         zeroline: False
1633         range: [0,50]
1634       autosize: False
1635       margin:
1636         t: 50
1637         b: 0
1638         l: 80
1639         r: 20
1640       showlegend: True
1641       legend:
1642         orientation: "h"
1643         font:
1644           size: 14
1645       width: 700
1646       height: 900
1647       paper_bgcolor: "#fff"
1648       plot_bgcolor: "#fff"
1649       hoverlabel:
1650         namelength: -1
1651
1652     plot-service-density:
1653       titlefont:
1654         size: 16
1655       xaxis:
1656         side: "top"
1657         autorange: True
1658         fixedrange: False
1659         showgrid: False
1660         showline: False
1661         showticklabels: False
1662         ticks: ""
1663         ticklen: 0
1664         tickwidth: 0
1665         zeroline: False
1666       yaxis:
1667         autorange: "reversed"
1668         showgrid: False
1669         showline: False
1670         showticklabels: False
1671         ticks: ""
1672         ticklen: 0
1673         tickwidth: 0
1674         zeroline: False
1675       showlegend: False
1676       paper_bgcolor: "#fff"
1677       plot_bgcolor: "#fff"
1678       width: 700
1679       height: 700
1680       hoverlabel:
1681         namelength: -1
1682
1683     plot-hoststack:
1684       titlefont:
1685         size: 16
1686       xaxis:
1687         title: "<b>Test Cases [Index]</b>"
1688         titlefont:
1689           size: 14
1690         autorange: True
1691         fixedrange: False
1692         gridcolor: "rgb(230, 230, 230)"
1693         linecolor: "rgb(220, 220, 220)"
1694         linewidth: 1
1695         showgrid: True
1696         showline: True
1697         showticklabels: True
1698         tickcolor: "rgb(220, 220, 220)"
1699         tickmode: "linear"
1700         tickfont:
1701           size: 14
1702         zeroline: False
1703       yaxis:
1704         title: "<b>Bandwidth [Gbps]</b>"
1705         titlefont:
1706           size: 14
1707         gridcolor: "rgb(230, 230, 230)"
1708         hoverformat: ".4s"
1709         linecolor: "rgb(220, 220, 220)"
1710         linewidth: 1
1711         rangemode: "tozero"
1712         showgrid: True
1713         showline: True
1714         showticklabels: True
1715         tickcolor: "rgb(230, 230, 230)"
1716         tickformat: ".3s"
1717         tickfont:
1718           size: 14
1719         zeroline: False
1720       autosize: False
1721       margin:
1722         t: 50
1723         b: 20
1724         l: 80
1725         r: 20
1726       showlegend: True
1727       legend:
1728         orientation: "h"
1729         font:
1730           size: 14
1731       width: 700
1732       height: 800
1733       paper_bgcolor: "#fff"
1734       plot_bgcolor: "#fff"
1735       hoverlabel:
1736         namelength: -1
1737
1738     plot-throughput:
1739       titlefont:
1740         size: 16
1741       xaxis:
1742         title: "<b>Test Cases [Index]</b>"
1743         titlefont:
1744           size: 14
1745         autorange: True
1746         fixedrange: False
1747         gridcolor: "rgb(230, 230, 230)"
1748         linecolor: "rgb(220, 220, 220)"
1749         linewidth: 1
1750         showgrid: True
1751         showline: True
1752         showticklabels: True
1753         tickcolor: "rgb(220, 220, 220)"
1754         tickmode: "linear"
1755         tickfont:
1756           size: 14
1757         zeroline: False
1758       yaxis:
1759         title: "<b>Packet Throughput [Mpps]</b>"
1760         titlefont:
1761           size: 14
1762         gridcolor: "rgb(230, 230, 230)"
1763         hoverformat: ".4r"
1764         tickformat: ".3r"
1765         linecolor: "rgb(220, 220, 220)"
1766         linewidth: 1
1767         showgrid: True
1768         showline: True
1769         showticklabels: True
1770         tickcolor: "rgb(220, 220, 220)"
1771         tickfont:
1772           size: 14
1773         zeroline: False
1774         range: [0,50]
1775       autosize: False
1776       margin:
1777         t: 50
1778         b: 0
1779         l: 80
1780         r: 20
1781       showlegend: True
1782       legend:
1783         orientation: "h"
1784         font:
1785           size: 14
1786       width: 700
1787       height: 900
1788       paper_bgcolor: "#fff"
1789       plot_bgcolor: "#fff"
1790       hoverlabel:
1791         namelength: -1
1792
1793     plot-throughput-gbps:
1794       titlefont:
1795         size: 16
1796       xaxis:
1797         title: "<b>Test Cases [Index]</b>"
1798         titlefont:
1799           size: 14
1800         autorange: True
1801         fixedrange: False
1802         gridcolor: "rgb(230, 230, 230)"
1803         linecolor: "rgb(220, 220, 220)"
1804         linewidth: 1
1805         showgrid: True
1806         showline: True
1807         showticklabels: True
1808         tickcolor: "rgb(220, 220, 220)"
1809         tickmode: "linear"
1810         tickfont:
1811           size: 14
1812         zeroline: False
1813       yaxis:
1814         title: "<b>Packet Throughput [Gbps]</b>"
1815         titlefont:
1816           size: 14
1817         gridcolor: "rgb(230, 230, 230)"
1818         hoverformat: ".4r"
1819         tickformat: ".3r"
1820         linecolor: "rgb(220, 220, 220)"
1821         linewidth: 1
1822         showgrid: True
1823         showline: True
1824         showticklabels: True
1825         tickcolor: "rgb(220, 220, 220)"
1826         tickfont:
1827           size: 14
1828         zeroline: False
1829         range: [0,10]
1830       autosize: False
1831       margin:
1832         t: 50
1833         b: 0
1834         l: 80
1835         r: 20
1836       showlegend: True
1837       legend:
1838         orientation: "h"
1839         font:
1840           size: 14
1841       width: 700
1842       height: 900
1843       paper_bgcolor: "#fff"
1844       plot_bgcolor: "#fff"
1845       hoverlabel:
1846         namelength: -1
1847
1848     plot-cps:
1849       titlefont:
1850         size: 16
1851       xaxis:
1852         title: "<b>Test Cases [Index]</b>"
1853         titlefont:
1854           size: 14
1855         autorange: True
1856         fixedrange: False
1857         gridcolor: "rgb(230, 230, 230)"
1858         linecolor: "rgb(220, 220, 220)"
1859         linewidth: 1
1860         showgrid: True
1861         showline: True
1862         showticklabels: True
1863         tickcolor: "rgb(220, 220, 220)"
1864         tickmode: "linear"
1865         tickfont:
1866           size: 14
1867         zeroline: False
1868       yaxis:
1869         title: "<b>Connection Rate [Mcps]</b>"
1870         titlefont:
1871           size: 14
1872         gridcolor: "rgb(230, 230, 230)"
1873         hoverformat: ".4r"
1874         tickformat: ".3s"
1875         linecolor: "rgb(220, 220, 220)"
1876         linewidth: 1
1877         showgrid: True
1878         showline: True
1879         showticklabels: True
1880         tickcolor: "rgb(220, 220, 220)"
1881         tickfont:
1882           size: 14
1883         zeroline: False
1884         range: [0,10]
1885       autosize: False
1886       margin:
1887         t: 50
1888         b: 0
1889         l: 80
1890         r: 20
1891       showlegend: True
1892       legend:
1893         orientation: "h"
1894         font:
1895           size: 14
1896       width: 700
1897       height: 900
1898       paper_bgcolor: "#fff"
1899       plot_bgcolor: "#fff"
1900       hoverlabel:
1901         namelength: -1
1902
1903     plot-throughput-speedup-analysis:
1904       titlefont:
1905         size: 16
1906       xaxis:
1907         title: "<b>Number of Cores [Qty]</b>"
1908         titlefont:
1909           size: 14
1910         autorange: True
1911         fixedrange: False
1912         gridcolor: "rgb(230, 230, 230)"
1913         linecolor: "rgb(220, 220, 220)"
1914         linewidth: 1
1915         showgrid: True
1916         showline: True
1917         showticklabels: True
1918         tickcolor: "rgb(238, 238, 238)"
1919         tickmode: "linear"
1920         tickfont:
1921           size: 14
1922         zeroline: False
1923       yaxis:
1924         title: "<b>Packet Throughput [Mpps]</b>"
1925         titlefont:
1926           size: 14
1927         type: "linear"
1928         gridcolor: "rgb(230, 230, 230)"
1929         hoverformat: ".4s"
1930         linecolor: "rgb(220, 220, 220)"
1931         linewidth: 1
1932         showgrid: True
1933         showline: True
1934         showticklabels: True
1935         tickcolor: "rgb(220, 220, 220)"
1936         tickformat: ".4s"
1937         tickfont:
1938           size: 14
1939         zeroline: True
1940         rangemode: "tozero"
1941         range: [0,100]
1942       legend:
1943         orientation: "h"
1944         font:
1945           size: 14
1946         xanchor: "left"
1947         yanchor: "top"
1948         x: 0
1949         y: -0.2
1950         bgcolor: "rgba(255, 255, 255, 0)"
1951         bordercolor: "rgba(255, 255, 255, 0)"
1952         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
1953       autosize: False
1954       margin:
1955           't': 50
1956           'b': 150
1957           'l': 85
1958           'r': 10
1959       showlegend: True
1960       width: 700
1961       height: 700
1962       paper_bgcolor: "#fff"
1963       plot_bgcolor: "#fff"
1964       hoverlabel:
1965         namelength: -1
1966       annotations: [
1967         {
1968           text: "_ _          __          ...",
1969           align: "left",
1970           showarrow: False,
1971           xref: "paper",
1972           yref: "paper",
1973           xanchor: "left",
1974           yanchor: "top",
1975           x: 0,
1976           y: -0.14,
1977           font: {
1978             family: "Consolas, Courier New",
1979             size: 13
1980           },
1981         },
1982         {
1983           text: "    Perfect     Measured     Limit",
1984           align: "left",
1985           showarrow: False,
1986           xref: "paper",
1987           yref: "paper",
1988           xanchor: "left",
1989           yanchor: "top",
1990           x: 0,
1991           y: -0.15,
1992           font: {
1993             family: "Consolas, Courier New",
1994             size: 13
1995           },
1996         },
1997       ]
1998
1999     plot-throughput-speedup-analysis-gbps:
2000       titlefont:
2001         size: 16
2002       xaxis:
2003         title: "<b>Number of Cores [Qty]</b>"
2004         titlefont:
2005           size: 14
2006         autorange: True
2007         fixedrange: False
2008         gridcolor: "rgb(230, 230, 230)"
2009         linecolor: "rgb(220, 220, 220)"
2010         linewidth: 1
2011         showgrid: True
2012         showline: True
2013         showticklabels: True
2014         tickcolor: "rgb(238, 238, 238)"
2015         tickmode: "linear"
2016         tickfont:
2017           size: 14
2018         zeroline: False
2019       yaxis:
2020         title: "<b>Packet Throughput [Gbps]</b>"
2021         titlefont:
2022           size: 14
2023         type: "linear"
2024         gridcolor: "rgb(230, 230, 230)"
2025         hoverformat: ".4s"
2026         linecolor: "rgb(220, 220, 220)"
2027         linewidth: 1
2028         showgrid: True
2029         showline: True
2030         showticklabels: True
2031         tickcolor: "rgb(220, 220, 220)"
2032         tickformat: ".4s"
2033         tickfont:
2034           size: 14
2035         zeroline: True
2036         rangemode: "tozero"
2037         range: [0,100]
2038       legend:
2039         orientation: "h"
2040         font:
2041           size: 14
2042         xanchor: "left"
2043         yanchor: "top"
2044         x: 0
2045         y: -0.2
2046         bgcolor: "rgba(255, 255, 255, 0)"
2047         bordercolor: "rgba(255, 255, 255, 0)"
2048         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2049       autosize: False
2050       margin:
2051           't': 50
2052           'b': 150
2053           'l': 85
2054           'r': 10
2055       showlegend: True
2056       width: 700
2057       height: 700
2058       paper_bgcolor: "#fff"
2059       plot_bgcolor: "#fff"
2060       hoverlabel:
2061         namelength: -1
2062       annotations: [
2063         {
2064           text: "_ _          __",
2065           align: "left",
2066           showarrow: False,
2067           xref: "paper",
2068           yref: "paper",
2069           xanchor: "left",
2070           yanchor: "top",
2071           x: 0,
2072           y: -0.13,
2073           font: {
2074             family: "Consolas, Courier New",
2075             size: 13
2076           },
2077         },
2078         {
2079           text: "    Perfect     Measured",
2080           align: "left",
2081           showarrow: False,
2082           xref: "paper",
2083           yref: "paper",
2084           xanchor: "left",
2085           yanchor: "top",
2086           x: 0,
2087           y: -0.15,
2088           font: {
2089             family: "Consolas, Courier New",
2090             size: 13
2091           },
2092         },
2093       ]
2094
2095     plot-throughput-speedup-analysis-cps:
2096       titlefont:
2097         size: 16
2098       xaxis:
2099         title: "<b>Number of Cores [Qty]</b>"
2100         titlefont:
2101           size: 14
2102         autorange: True
2103         fixedrange: False
2104         gridcolor: "rgb(230, 230, 230)"
2105         linecolor: "rgb(220, 220, 220)"
2106         linewidth: 1
2107         showgrid: True
2108         showline: True
2109         showticklabels: True
2110         tickcolor: "rgb(238, 238, 238)"
2111         tickmode: "linear"
2112         tickfont:
2113           size: 14
2114         zeroline: False
2115       yaxis:
2116         title: "<b>Connection Rate [Mcps]</b>"
2117         titlefont:
2118           size: 14
2119         type: "linear"
2120         gridcolor: "rgb(230, 230, 230)"
2121         hoverformat: ".4s"
2122         linecolor: "rgb(220, 220, 220)"
2123         linewidth: 1
2124         showgrid: True
2125         showline: True
2126         showticklabels: True
2127         tickcolor: "rgb(220, 220, 220)"
2128         tickformat: ".4s"
2129         tickfont:
2130           size: 14
2131         zeroline: True
2132         rangemode: "tozero"
2133         range: [0,100]
2134       legend:
2135         orientation: "h"
2136         font:
2137           size: 14
2138         xanchor: "left"
2139         yanchor: "top"
2140         x: 0
2141         y: -0.2
2142         bgcolor: "rgba(255, 255, 255, 0)"
2143         bordercolor: "rgba(255, 255, 255, 0)"
2144         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2145       autosize: False
2146       margin:
2147           't': 50
2148           'b': 150
2149           'l': 85
2150           'r': 10
2151       showlegend: True
2152       width: 700
2153       height: 700
2154       paper_bgcolor: "#fff"
2155       plot_bgcolor: "#fff"
2156       hoverlabel:
2157         namelength: -1
2158       annotations: [
2159         {
2160           text: "_ _          __",
2161           align: "left",
2162           showarrow: False,
2163           xref: "paper",
2164           yref: "paper",
2165           xanchor: "left",
2166           yanchor: "top",
2167           x: 0,
2168           y: -0.13,
2169           font: {
2170             family: "Consolas, Courier New",
2171             size: 13
2172           },
2173         },
2174         {
2175           text: "    Perfect     Measured",
2176           align: "left",
2177           showarrow: False,
2178           xref: "paper",
2179           yref: "paper",
2180           xanchor: "left",
2181           yanchor: "top",
2182           x: 0,
2183           y: -0.15,
2184           font: {
2185             family: "Consolas, Courier New",
2186             size: 13
2187           },
2188         },
2189       ]
2190
2191     plot-latency:
2192       titlefont:
2193         size: 16
2194       xaxis:
2195         title: "<b>Direction</b>"
2196         titlefont:
2197           size: 14
2198         autorange: True
2199         fixedrange: False
2200         gridcolor: "rgb(230, 230, 230)"
2201         linecolor: "rgb(220, 220, 220)"
2202         linewidth: 1
2203         showgrid: True
2204         showline: True
2205         showticklabels: False
2206         tickcolor: "rgb(220, 220, 220)"
2207         tickmode: "linear"
2208         tickfont:
2209           size: 14
2210         zeroline: False
2211       yaxis:
2212         title: "<b>Packet Latency [uSec]</b>"
2213         titlefont:
2214           size: 14
2215         type: "linear"
2216         gridcolor: "rgb(230, 230, 230)"
2217         hoverformat: ".4s"
2218         linecolor: "rgb(220, 220, 220)"
2219         linewidth: 1
2220         showgrid: True
2221         showline: True
2222         showticklabels: True
2223         tickcolor: "rgb(220, 220, 220)"
2224         tickformat: ".4s"
2225         tickfont:
2226           size: 14
2227         zeroline: True
2228         rangemode: "tozero"
2229       legend:
2230         orientation: "h"
2231         font:
2232           size: 14
2233         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2234       autosize: False
2235       margin:
2236           't': 50
2237           'b': 150
2238           'l': 80
2239           'r': 10
2240       showlegend: True
2241       width: 700
2242       height: 700
2243       paper_bgcolor: "#fff"
2244       plot_bgcolor: "#fff"
2245       hoverlabel:
2246         namelength: -1
2247
2248     plot-hdrh-latency:
2249       title:
2250         text: ""
2251         xanchor: "center"
2252         x: 0.5
2253         font:
2254           size: 16
2255       width: 700
2256       plot_bgcolor: "white"
2257       annotations:
2258         - font:
2259             size: 14
2260           showarrow: False
2261           text: "<b>Packet Latency [uSec]</b>"
2262           x: 1
2263           xanchor: "right"
2264           xref: "paper"
2265           y: -0.045
2266           yanchor: "top"
2267           yref: "paper"
2268         - font:
2269             size: 14
2270           showarrow: False
2271           text: "<b>Probability [%]</b>"
2272           textangle: 270
2273           x: -0.06
2274           xanchor: "center"
2275           xref: "paper"
2276           y: 0.5
2277           yanchor: "middle"
2278           yref: "paper"
2279         - font:
2280             size: 14
2281           showarrow: False
2282           text: "<b>Direction: E-W</b>"
2283           x: 0.24
2284           xanchor: "center"
2285           xref: "paper"
2286           y: 1.05
2287           yanchor: "bottom"
2288           yref: "paper"
2289         - font:
2290             size: 14
2291           showarrow: False
2292           text: "<b>Direction: W-E</b>"
2293           x: 0.74
2294           xanchor: "center"
2295           xref: "paper"
2296           y: 1.05
2297           yanchor: "bottom"
2298           yref: "paper"
2299
2300     plot-hdrh-latency-percentile-x-log:
2301       title:
2302         text: "<b>Latency by Percentile Distribution</b>"
2303         xanchor: "center"
2304         x: 0.5
2305         font:
2306           size: 18
2307       showlegend: True
2308       legend:
2309         traceorder: "normal"
2310         orientation: "h"
2311         font:
2312           size: 16
2313         xanchor: "left"
2314         yanchor: "top"
2315         x: 0
2316         y: -0.2
2317         bgcolor: "rgba(255, 255, 255, 0)"
2318         bordercolor: "rgba(255, 255, 255, 0)"
2319       xaxis:
2320         type: "log"
2321         title: "<b>Percentile [%]</b>"
2322         titlefont:
2323           size: 14
2324         autorange: False
2325         fixedrange: False
2326         gridcolor: "rgb(230, 230, 230)"
2327         linecolor: "rgb(220, 220, 220)"
2328         linewidth: 1
2329         showgrid: True
2330         showline: True
2331         showticklabels: True
2332         tickcolor: "rgb(220, 220, 220)"
2333         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2334         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2335         tickfont:
2336           size: 14
2337       yaxis:
2338         title: "<b>One-Way Latency per Direction [uSec]</b>"
2339         titlefont:
2340           size: 14
2341         gridcolor: "rgb(230, 230, 230)"
2342         linecolor: "rgb(220, 220, 220)"
2343         linewidth: 1
2344         showgrid: True
2345         showline: True
2346         showticklabels: True
2347         tickcolor: "rgb(220, 220, 220)"
2348         tickfont:
2349           size: 14
2350       autosize: False
2351       width: 700
2352       height: 700
2353       paper_bgcolor: "white"
2354       plot_bgcolor: "white"
2355
2356     plot-hdrh-latency-by-percentile:
2357       title:
2358         text: "<b>Latency by Percentile Distribution</b>"
2359         xanchor: "center"
2360         x: 0.5
2361         font:
2362           size: 18
2363       showlegend: True
2364       legend:
2365         traceorder: "normal"
2366         orientation: "h"
2367         font:
2368           size: 16
2369         xanchor: "left"
2370         yanchor: "top"
2371         x: 0
2372         y: -0.2
2373         bgcolor: "rgba(255, 255, 255, 0)"
2374         bordercolor: "rgba(255, 255, 255, 0)"
2375       xaxis:
2376         type: "linear"
2377         title: "<b>Percentile [%]</b>"
2378         titlefont:
2379           size: 14
2380         autorange: False
2381         fixedrange: False
2382         range: [0, 100]
2383         gridcolor: "rgb(230, 230, 230)"
2384         linecolor: "rgb(220, 220, 220)"
2385         linewidth: 1
2386         showgrid: True
2387         showline: True
2388         showticklabels: True
2389         tickcolor: "rgb(220, 220, 220)"
2390         tickvals: [0, 25, 50, 75, 100]
2391         ticktext: [0, 25, 50, 75, 100]
2392         tickfont:
2393           size: 14
2394       yaxis:
2395         title: "<b>One-Way Latency per Direction [uSec]</b>"
2396         titlefont:
2397           size: 14
2398         gridcolor: "rgb(230, 230, 230)"
2399         linecolor: "rgb(220, 220, 220)"
2400         linewidth: 1
2401         showgrid: True
2402         showline: True
2403         showticklabels: True
2404         tickcolor: "rgb(220, 220, 220)"
2405         tickfont:
2406           size: 14
2407       width: 700
2408       height: 700
2409       paper_bgcolor: "white"
2410       plot_bgcolor: "white"
2411
2412 - type: "static"
2413   src-path: "{DIR[RST]}"
2414   dst-path: "{DIR[WORKING,SRC]}"
2415
2416 - type: "input"
2417   general:
2418     file-name: "output_info.xml.gz"
2419     file-format: ".gz"
2420     arch-file-format:
2421       - ".gz"
2422       - ".zip"
2423     download-path: "{job}/{build}/archives/{filename}"
2424     extract: "output.xml"
2425
2426     zip-file-name: "robot-plugin.zip"
2427     zip-file-format: ".zip"
2428     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2429     zip-extract: "robot-plugin/output.xml"
2430
2431   builds:
2432
2433     csit-vpp-perf-report-iterative-2009-3n-hsw:
2434       - 18  # rls2005 MRR iter env 5
2435       - 9   # rls2005 NDRPDR iter env 5
2436       - 10  # rls2005 NDRPDR iter env 5
2437       - 11  # rls2005 NDRPDR iter env 5
2438       - 12  # rls2005 NDRPDR iter env 5
2439       - 13  # rls2005 NDRPDR iter env 5
2440       - 14  # rls2005 NDRPDR iter env 5
2441       - 15  # rls2005 NDRPDR iter env 5
2442       - 16  # rls2005 NDRPDR iter env 5
2443       - 17  # rls2005 NDRPDR iter env 5
2444       - 19  # rls2005 NDRPDR iter env 5
2445       - 23  # rls2009 MRR iter env 5
2446       - 21  # rls2009 NDRPDR iter env 5
2447       - 22  # rls2009 NDRPDR iter env 5
2448       - 24  # rls2009 NDRPDR iter env 5
2449       - 25  # rls2009 NDRPDR iter env 5
2450       - 26  # rls2009 NDRPDR iter env 5
2451       - 27  # rls2009 NDRPDR iter env 5
2452       - 28  # rls2009 NDRPDR iter env 5
2453       - 29  # rls2009 NDRPDR iter env 5
2454       - 30  # rls2009 NDRPDR iter env 5
2455       - 31  # rls2009 NDRPDR iter env 5
2456       - 32  # rls2009 Hoststack iter env 5
2457       - 33  # rls2009 Hoststack iter env 5
2458       - 34  # rls2009 Hoststack iter env 5
2459       - 35  # rls2009 Hoststack iter env 5
2460       - 36  # rls2009 Hoststack iter env 5
2461       - 37  # rls2009 Hoststack iter env 5
2462       - 38  # rls2009 Hoststack iter env 5
2463       - 39  # rls2009 Hoststack iter env 5
2464       - 40  # rls2009 Hoststack iter env 5
2465       - 41  # rls2009 Hoststack iter env 5
2466     csit-vpp-perf-report-iterative-2101-3n-hsw:
2467       - 3   # rls2101.rc1 MRR iter env 6
2468       - 4   # rls2101.rc1 NDRPDR iter env 6
2469       - 5   # rls2101.rc1 NDRPDR iter env 6
2470       - 6   # rls2101.rc1 NDRPDR iter env 6
2471       - 7   # rls2101.rc1 NDRPDR iter env 6
2472       - 8   # rls2101.rc1 NDRPDR iter env 6
2473       - 9   # rls2101.rc1 NDRPDR iter env 6
2474       - 10  # rls2101.rc1 NDRPDR iter env 6
2475       - 11  # rls2101.rc1 NDRPDR iter env 6
2476       - 12  # rls2101.rc1 NDRPDR iter env 6
2477       - 13  # rls2101.rc1 NDRPDR iter env 6
2478       - 17  # rls2009 MRR iter env 6
2479       - 19  # rls2009 NDRPDR iter env 6
2480     # csit-vpp-perf-report-coverage-2101-3n-hsw:
2481
2482
2483     csit-vpp-perf-report-iterative-2009-3n-skx:
2484       - 17  # rls2005 MRR iter env 5
2485       - 13  # rls2005 NDRPDR iter env 5
2486       - 18  # rls2005 NDRPDR iter env 5
2487       - 19  # rls2005 NDRPDR iter env 5
2488       - 41  # rls2005 NDRPDR iter env 5
2489       - 43  # rls2005 NDRPDR iter env 5
2490       - 44  # rls2005 NDRPDR iter env 5
2491       - 45  # rls2005 NDRPDR iter env 5
2492       - 46  # rls2005 NDRPDR iter env 5
2493       - 48  # rls2005 NDRPDR iter env 5
2494       - 49  # rls2005 NDRPDR iter env 5
2495       - 24  # rls2009 MRR iter env 5
2496       - 26  # rls2009 NDRPDR iter env 5
2497       - 27  # rls2009 NDRPDR iter env 5
2498       - 28  # rls2009 NDRPDR iter env 5
2499       - 29  # rls2009 NDRPDR iter env 5
2500       - 35  # rls2009 NDRPDR iter env 5
2501       - 36  # rls2009 NDRPDR iter env 5
2502       - 37  # rls2009 NDRPDR iter env 5
2503       - 38  # rls2009 NDRPDR iter env 5
2504       - 39  # rls2009 NDRPDR iter env 5
2505       - 40  # rls2009 NDRPDR iter env 5
2506     csit-vpp-perf-report-iterative-2101-3n-skx:
2507       - 4   # rls2101.rc1 MRR iter env 6
2508       - 5   # rls2101.rc1 NDRPDR iter env 6
2509       - 6   # rls2101.rc1 NDRPDR iter env 6
2510       - 7   # rls2101.rc1 NDRPDR iter env 6
2511       - 8   # rls2101.rc1 NDRPDR iter env 6
2512       - 9   # rls2101.rc1 NDRPDR iter env 6
2513       - 12  # rls2009 MRR iter env 6
2514     # csit-vpp-perf-report-coverage-2101-3n-skx:
2515
2516
2517     csit-vpp-perf-report-iterative-2009-2n-skx:
2518       - 20  # rls2005 MRR iter env 5
2519       - 13  # rls2005 NDRPDR iter env 5
2520       - 16  # rls2005 NDRPDR iter env 5
2521       - 17  # rls2005 NDRPDR iter env 5
2522       - 18  # rls2005 NDRPDR iter env 5
2523       - 19  # rls2005 NDRPDR iter env 5
2524       - 21  # rls2005 NDRPDR iter env 5
2525       - 22  # rls2005 NDRPDR iter env 5
2526       - 23  # rls2005 NDRPDR iter env 5
2527       - 24  # rls2005 NDRPDR iter env 5
2528       - 25  # rls2005 NDRPDR iter env 5
2529       - 120 # rls2009 MRR iter env 5
2530       - 35  # rls2009 NDRPDR iter env 5
2531       - 36  # rls2009 NDRPDR iter env 5
2532       - 37  # rls2009 NDRPDR iter env 5
2533       - 39  # rls2009 NDRPDR iter env 5
2534       - 40  # rls2009 NDRPDR iter env 5
2535       - 42  # rls2009 NDRPDR iter env 5
2536       - 43  # rls2009 NDRPDR iter env 5
2537       - 44  # rls2009 NDRPDR iter env 5
2538       - 46  # rls2009 NDRPDR iter env 5
2539       - 48  # rls2009 NDRPDR iter env 5
2540       - 110 # rls2009 NDRPDR iter NAT44 env 5
2541       - 111 # rls2009 NDRPDR iter NAT44 env 5
2542       - 112 # rls2009 NDRPDR iter NAT44 env 5
2543       - 113 # rls2009 NDRPDR iter NAT44 env 5
2544       - 114 # rls2009 NDRPDR iter NAT44 env 5
2545       - 115 # rls2009 NDRPDR iter NAT44 env 5
2546       - 116 # rls2009 NDRPDR iter NAT44 env 5
2547       - 118 # rls2009 NDRPDR iter NAT44 env 5
2548       - 119 # rls2009 NDRPDR iter NAT44 env 5
2549       - 121 # rls2009 NDRPDR iter NAT44 env 5
2550       - 38  # rls2009 nf-density iter env 5
2551       - 41  # rls2009 nf-density iter env 5
2552       - 45  # rls2009 nf-density iter env 5
2553       - 47  # rls2009 nf-density iter env 5
2554       - 49  # rls2009 nf-density iter env 5
2555       - 63  # rls2009 nf-density iter env 5
2556       - 65  # rls2009 nf-density iter env 5
2557       - 66  # rls2009 nf-density iter env 5
2558       - 71  # rls2009 nf-density iter env 5
2559       - 72  # rls2009 nf-density iter env 5
2560       - 50  # rls2009 MRR nf-density iter env 5
2561       - 27  # rls2009 reconf env 5
2562       - 28  # rls2009 reconf env 5
2563       - 29  # rls2009 reconf env 5
2564       - 30  # rls2009 reconf env 5
2565       - 31  # rls2009 reconf env 5
2566       - 32  # rls2009 reconf env 5
2567       - 61  # rls2009 reconf env 5
2568       - 62  # rls2009 reconf env 5
2569       - 68  # rls2009 reconf env 5
2570       - 70  # rls2009 reconf env 5
2571       - 33  # rls2009 soak env 5
2572       - 34  # rls2009 soak env 5
2573     csit-vpp-perf-report-iterative-2101-2n-skx:
2574       - 3   # rls2101.rc1 MRR iter env 6
2575       - 5   # rls2101.rc1 NDRPDR iter env 6
2576       - 6   # rls2101.rc1 NDRPDR iter env 6
2577       - 7   # rls2101.rc1 NDRPDR iter env 6
2578       - 8   # rls2101.rc1 NDRPDR iter env 6
2579       - 10  # rls2101.rc1 NDRPDR iter env 6
2580       - 11  # rls2101.rc1 NDRPDR iter env 6
2581       - 12  # rls2101.rc1 NDRPDR iter env 6
2582       - 13  # rls2101.rc1 NDRPDR iter env 6
2583     # csit-vpp-perf-report-coverage-2101-2n-skx:
2584
2585
2586     csit-vpp-perf-report-iterative-2009-2n-clx:
2587       - 77  # rls2005 MRR iter env 5
2588       - 13  # rls2005 NDRPDR iter env 5
2589       - 15  # rls2005 NDRPDR iter env 5
2590       - 17  # rls2005 NDRPDR iter env 5
2591       - 18  # rls2005 NDRPDR iter env 5
2592       - 19  # rls2005 NDRPDR iter env 5
2593       - 20  # rls2005 NDRPDR iter env 5
2594       - 21  # rls2005 NDRPDR iter env 5
2595       - 22  # rls2005 NDRPDR iter env 5
2596       - 23  # rls2005 NDRPDR iter env 5
2597       - 24  # rls2005 NDRPDR iter env 5
2598       - 125 # rls2009 MRR iter env 5
2599       - 36  # rls2009 NDRPDR iter env 5
2600       - 39  # rls2009 NDRPDR iter env 5
2601       - 40  # rls2009 NDRPDR iter env 5
2602       - 65  # rls2009 NDRPDR iter env 5
2603       - 66  # rls2009 NDRPDR iter env 5
2604       - 79  # rls2009 NDRPDR iter env 5
2605       - 82  # rls2009 NDRPDR iter env 5
2606       - 88  # rls2009 NDRPDR iter env 5
2607       - 89  # rls2009 NDRPDR iter env 5
2608       - 90  # rls2009 NDRPDR iter env 5
2609       - 114 # rls2009 NDRPDR iter NAT44 env 5
2610       - 115 # rls2009 NDRPDR iter NAT44 env 5
2611       - 116 # rls2009 NDRPDR iter NAT44 env 5
2612       - 117 # rls2009 NDRPDR iter NAT44 env 5
2613       - 118 # rls2009 NDRPDR iter NAT44 env 5
2614       - 119 # rls2009 NDRPDR iter NAT44 env 5
2615       - 121 # rls2009 NDRPDR iter NAT44 env 5
2616       - 122 # rls2009 NDRPDR iter NAT44 env 5
2617       - 123 # rls2009 NDRPDR iter NAT44 env 5
2618       - 126 # rls2009 NDRPDR iter NAT44 env 5
2619       - 37  # rls2009 nf-density iter env 5
2620       - 43  # rls2009 nf-density iter env 5
2621       - 69  # rls2009 nf-density iter env 5
2622       - 70  # rls2009 nf-density iter env 5
2623       - 71  # rls2009 nf-density iter env 5
2624       - 72  # rls2009 nf-density iter env 5
2625       - 73  # rls2009 nf-density iter env 5
2626       - 74  # rls2009 nf-density iter env 5
2627       - 75  # rls2009 nf-density iter env 5
2628       - 76  # rls2009 nf-density iter env 5
2629       - 45  # rls2009 MRR nf-density iter env 5
2630       - 25  # rls2009 reconf env 5
2631       - 27  # rls2009 reconf env 5
2632       - 28  # rls2009 reconf env 5
2633       - 29  # rls2009 reconf env 5
2634       - 30  # rls2009 reconf env 5
2635       - 30  # rls2009 reconf env 5
2636       - 32  # rls2009 reconf env 5
2637       - 48  # rls2009 reconf env 5
2638       - 53  # rls2009 reconf env 5
2639       - 68  # rls2009 reconf env 5
2640       - 33  # rls2009 soak env 5
2641       - 34  # rls2009 soak env 5
2642     csit-vpp-perf-report-iterative-2101-2n-clx:
2643       - 3   # rls2101.rc1 MRR iter env 6
2644       - 4   # rls2101.rc1 NDRPDR iter env 6
2645       - 5   # rls2101.rc1 NDRPDR iter env 6
2646       - 6   # rls2101.rc1 NDRPDR iter env 6
2647       - 7   # rls2101.rc1 NDRPDR iter env 6
2648       - 8   # rls2101.rc1 NDRPDR iter env 6
2649       - 9   # rls2101.rc1 NDRPDR iter env 6
2650       - 10  # rls2101.rc1 NDRPDR iter env 6
2651       - 11  # rls2101.rc1 NDRPDR iter env 6
2652       - 12  # rls2101.rc1 NDRPDR iter env 6
2653       - 13  # rls2101.rc1 NDRPDR iter env 6
2654     # csit-vpp-perf-report-coverage-2101-2n-clx:
2655
2656
2657     csit-vpp-perf-report-iterative-2009-2n-zn2:
2658       - 15  # rls2009 MRR iter env 5
2659       - 17  # rls2009 NDRPDR iter env 5
2660       - 18  # rls2009 NDRPDR iter env 5
2661       - 31  # rls2009 NDRPDR iter env 5
2662       - 33  # rls2009 NDRPDR iter env 5
2663       - 34  # rls2009 NDRPDR iter env 5
2664     csit-vpp-perf-report-iterative-2101-2n-zn2:
2665       - 3   # rls2101.rc1 MRR iter env 6
2666       - 4   # rls2101.rc1 NDRPDR iter env 6
2667       - 5   # rls2101.rc1 NDRPDR iter env 6
2668       - 6   # rls2101.rc1 NDRPDR iter env 6
2669       - 7   # rls2101.rc1 NDRPDR iter env 6
2670       - 8   # rls2009 MRR iter env6
2671       - 9   # rls2009 NDRPDR iter env 6
2672
2673     csit-vpp-perf-report-iterative-2009-3n-tsh:
2674       - 8   # rls2005 NDRPDR iter env 5
2675       - 11  # rls2005 NDRPDR iter env 5
2676       - 12  # rls2005 NDRPDR iter env 5
2677       - 24  # rls2005 NDRPDR iter env 5
2678       - 27  # rls2005 NDRPDR iter env 5
2679       - 29  # rls2005 NDRPDR iter env 5
2680       - 31  # rls2005 NDRPDR iter env 5
2681       - 39  # rls2005 NDRPDR iter env 5
2682       - 40  # rls2005 NDRPDR iter env 5
2683       - 42  # rls2005 NDRPDR iter env 5
2684       - 13  # rls2005 MRR iter env 5
2685       - 14  # rls2009 NDRPDR iter env 5
2686       - 20  # rls2009 NDRPDR iter env 5
2687       - 21  # rls2009 NDRPDR iter env 5
2688       - 22  # rls2009 NDRPDR iter env 5
2689       - 23  # rls2009 NDRPDR iter env 5
2690       - 28  # rls2009 NDRPDR iter env 5
2691       - 30  # rls2009 NDRPDR iter env 5
2692       - 33  # rls2009 NDRPDR iter env 5
2693       - 38  # rls2009 NDRPDR iter env 5
2694       - 41  # rls2009 NDRPDR iter env 5
2695       - 15  # rls2009 MRR iter env 5
2696     csit-vpp-perf-report-iterative-2101-3n-tsh:
2697       - 2   # rls2101.rc1 MRR iter env 6
2698       - 3   # rls2101.rc1 NDRPDR iter env 6
2699       - 5   # rls2101.rc1 NDRPDR iter env 6
2700
2701     csit-vpp-perf-report-iterative-2009-3n-dnv:
2702       - 16  # rls2005 NDRPDR iter env 5
2703       - 23  # rls2005 NDRPDR iter env 5
2704       - 25  # rls2005 NDRPDR iter env 5
2705       - 26  # rls2005 NDRPDR iter env 5
2706       - 27  # rls2005 NDRPDR iter env 5
2707       - 28  # rls2005 NDRPDR iter env 5
2708       - 29  # rls2005 NDRPDR iter env 5
2709       - 30  # rls2005 NDRPDR iter env 5
2710       - 31  # rls2005 NDRPDR iter env 5
2711       - 32  # rls2005 NDRPDR iter env 5
2712       - 19  # rls2005 MRR iter env 5
2713       - 3   # rls2009 NDRPDR iter env 5
2714       - 6   # rls2009 NDRPDR iter env 5
2715       - 7   # rls2009 NDRPDR iter env 5
2716       - 8   # rls2009 NDRPDR iter env 5
2717       - 10  # rls2009 NDRPDR iter env 5
2718       - 11  # rls2009 NDRPDR iter env 5
2719       - 12  # rls2009 NDRPDR iter env 5
2720       - 14  # rls2009 NDRPDR iter env 5
2721       - 15  # rls2009 NDRPDR iter env 5
2722       - 24  # rls2009 NDRPDR iter env 5
2723       - 22  # rls2009 MRR iter env 5
2724     csit-vpp-perf-report-iterative-2101-3n-dnv:
2725       - 2   # rls2101.rc1 MRR iter env 6
2726       - 3   # rls2101.rc1 NDRPDR iter env 6
2727       - 4   # rls2101.rc1 NDRPDR iter env 6
2728       - 5   # rls2101.rc1 NDRPDR iter env 6
2729       - 6   # rls2101.rc1 NDRPDR iter env 6
2730       - 7   # rls2101.rc1 NDRPDR iter env 6
2731       - 8   # rls2101.rc1 NDRPDR iter env 6
2732       - 9   # rls2101.rc1 NDRPDR iter env 6
2733       - 10  # rls2101.rc1 NDRPDR iter env 6
2734       - 11  # rls2101.rc1 NDRPDR iter env 6
2735       - 12  # rls2101.rc1 NDRPDR iter env 6
2736     # csit-vpp-perf-report-coverage-2101-3n-dnv:
2737
2738
2739     csit-vpp-perf-report-iterative-2009-2n-dnv:
2740       - 16  # rls2005 NDRPDR iter env 5
2741       - 17  # rls2005 NDRPDR iter env 5
2742       - 18  # rls2005 NDRPDR iter env 5
2743       - 19  # rls2005 NDRPDR iter env 5
2744       - 21  # rls2005 NDRPDR iter env 5
2745       - 24  # rls2005 NDRPDR iter env 5
2746       - 27  # rls2005 NDRPDR iter env 5
2747       - 28  # rls2005 NDRPDR iter env 5
2748       - 29  # rls2005 NDRPDR iter env 5
2749       - 30  # rls2005 NDRPDR iter env 5
2750       - 23  # rls2005 MRR iter env 5
2751       - 3   # rls2009 NDRPDR iter env 5
2752       - 5   # rls2009 NDRPDR iter env 5
2753       - 6   # rls2009 NDRPDR iter env 5
2754       - 7   # rls2009 NDRPDR iter env 5
2755       - 9   # rls2009 NDRPDR iter env 5
2756       - 10  # rls2009 NDRPDR iter env 5
2757       - 11  # rls2009 NDRPDR iter env 5
2758       - 12  # rls2009 NDRPDR iter env 5
2759       - 14  # rls2009 NDRPDR iter env 5
2760       - 15  # rls2009 NDRPDR iter env 5
2761       - 13  # rls2009 MRR iter env 5
2762     csit-vpp-perf-report-iterative-2101-2n-dnv:
2763       - 2   # rls2101.rc1 MRR iter env 6
2764       - 3   # rls2101.rc1 NDRPDR iter env 6
2765       - 4   # rls2101.rc1 NDRPDR iter env 6
2766       - 5   # rls2101.rc1 NDRPDR iter env 6
2767       - 6   # rls2101.rc1 NDRPDR iter env 6
2768       - 7   # rls2101.rc1 NDRPDR iter env 6
2769       - 8   # rls2101.rc1 NDRPDR iter env 6
2770       - 9   # rls2101.rc1 NDRPDR iter env 6
2771       - 10  # rls2101.rc1 NDRPDR iter env 6
2772       - 11  # rls2101.rc1 NDRPDR iter env 6
2773       - 12  # rls2101.rc1 NDRPDR iter env 6
2774     # csit-vpp-perf-report-coverage-2101-2n-dnv:
2775
2776
2777     csit-dpdk-perf-report-iterative-2005-3n-hsw:
2778       - 25  # NDRPDR iter
2779       - 26  # NDRPDR iter
2780       - 27  # NDRPDR iter
2781       - 28  # NDRPDR iter
2782       - 29  # NDRPDR iter
2783       - 30  # NDRPDR iter
2784       - 31  # NDRPDR iter
2785       - 32  # NDRPDR iter
2786       - 33  # NDRPDR iter
2787       - 34  # NDRPDR iter
2788     csit-dpdk-perf-report-iterative-2009-3n-hsw:
2789       - 6   # NDRPDR iter env5
2790       - 7   # NDRPDR iter env5
2791       - 8   # NDRPDR iter env5
2792       - 9   # NDRPDR iter env5
2793       - 10  # NDRPDR iter env5
2794       - 11  # NDRPDR iter env5
2795       - 12  # NDRPDR iter env5
2796       - 13  # NDRPDR iter env5
2797       - 14  # NDRPDR iter env5
2798       - 15  # NDRPDR iter env5
2799     csit-dpdk-perf-report-iterative-2101-3n-hsw:
2800       - 11  # rls2101.rc1 NDRPDR iter env 6
2801       - 12  # rls2101.rc1 NDRPDR iter env 6
2802       - 13  # rls2101.rc1 NDRPDR iter env 6
2803       - 14  # rls2101.rc1 NDRPDR iter env 6
2804       - 16  # rls2101.rc1 NDRPDR iter env 6
2805       - 17  # rls2101.rc1 NDRPDR iter env 6
2806       - 18  # rls2101.rc1 NDRPDR iter env 6
2807       - 19  # rls2101.rc1 NDRPDR iter env 6
2808       - 20  # rls2101.rc1 NDRPDR iter env 6
2809       - 21  # rls2101.rc1 NDRPDR iter env 6
2810
2811     csit-dpdk-perf-report-iterative-2005-3n-skx:
2812       - 28  # NDRPDR iter
2813       - 29  # NDRPDR iter
2814       - 30  # NDRPDR iter
2815       - 31  # NDRPDR iter
2816       - 32  # NDRPDR iter
2817       - 33  # NDRPDR iter
2818       - 34  # NDRPDR iter
2819       - 35  # NDRPDR iter
2820       - 36  # NDRPDR iter
2821       - 37  # NDRPDR iter
2822     csit-dpdk-perf-report-iterative-2009-3n-skx:
2823       - 4   # NDRPDR sel env5
2824       - 5   # NDRPDR sel env5
2825       - 6   # NDRPDR sel env5
2826       - 7   # NDRPDR sel env5
2827       - 8   # NDRPDR sel env5
2828       - 9   # NDRPDR sel env5
2829       - 14  # NDRPDR sel env5
2830       - 11  # NDRPDR sel env5
2831       - 12  # NDRPDR sel env5
2832       - 13  # NDRPDR sel env5
2833     csit-dpdk-perf-report-iterative-2101-3n-skx:
2834       - 12  # rls2101.rc1 NDRPDR iter env 6
2835       - 14  # rls2101.rc1 NDRPDR iter env 6
2836       - 15  # rls2101.rc1 NDRPDR iter env 6
2837       - 17  # rls2101.rc1 NDRPDR iter env 6
2838       - 19  # rls2101.rc1 NDRPDR iter env 6
2839       - 20  # rls2101.rc1 NDRPDR iter env 6
2840       - 21  # rls2101.rc1 NDRPDR iter env 6
2841       - 22  # rls2101.rc1 NDRPDR iter env 6
2842
2843     csit-dpdk-perf-report-iterative-2005-2n-skx:
2844       - 20  # NDRPDR iter
2845       - 21  # NDRPDR iter
2846       - 22  # NDRPDR iter
2847       - 23  # NDRPDR iter
2848       - 24  # NDRPDR iter
2849       - 25  # NDRPDR iter
2850       - 26  # NDRPDR iter
2851       - 27  # NDRPDR iter
2852       - 28  # NDRPDR iter
2853       - 29  # NDRPDR iter
2854     csit-dpdk-perf-report-iterative-2009-2n-skx:
2855       - 4   # NDRPDR iter env5
2856       - 5   # NDRPDR iter env5
2857       - 6   # NDRPDR iter env5
2858       - 7   # NDRPDR iter env5
2859       - 8   # NDRPDR iter env5
2860       - 9   # NDRPDR iter env5
2861       - 10  # NDRPDR iter env5
2862       - 11  # NDRPDR iter env5
2863       - 12  # NDRPDR iter env5
2864       - 13  # NDRPDR iter env5
2865     csit-dpdk-perf-report-iterative-2101-2n-skx:
2866       - 11  # rls2101.rc1 NDRPDR iter env 6
2867       - 12  # rls2101.rc1 NDRPDR iter env 6
2868       - 13  # rls2101.rc1 NDRPDR iter env 6
2869       - 14  # rls2101.rc1 NDRPDR iter env 6
2870       - 15  # rls2101.rc1 NDRPDR iter env 6
2871       - 17  # rls2101.rc1 NDRPDR iter env 6
2872       - 18  # rls2101.rc1 NDRPDR iter env 6
2873       - 19  # rls2101.rc1 NDRPDR iter env 6
2874       - 20  # rls2101.rc1 NDRPDR iter env 6
2875       - 21  # rls2101.rc1 NDRPDR iter env 6
2876
2877     csit-dpdk-perf-report-iterative-2005-2n-clx:
2878       - 20  # NDRPDR iter
2879       - 21  # NDRPDR iter
2880       - 22  # NDRPDR iter
2881       - 23  # NDRPDR iter
2882       - 24  # NDRPDR iter
2883       - 25  # NDRPDR iter
2884       - 26  # NDRPDR iter
2885       - 27  # NDRPDR iter
2886       - 28  # NDRPDR iter
2887       - 29  # NDRPDR iter
2888     csit-dpdk-perf-report-iterative-2009-2n-clx:
2889       - 4   # NDRPDR iter env5
2890       - 5   # NDRPDR iter env5
2891       - 6   # NDRPDR iter env5
2892       - 7   # NDRPDR iter env5
2893       - 8   # NDRPDR iter env5
2894       - 9   # NDRPDR iter env5
2895       - 10  # NDRPDR iter env5
2896       - 11  # NDRPDR iter env5
2897       - 12  # NDRPDR iter env5
2898       - 13  # NDRPDR iter env5
2899     csit-dpdk-perf-report-iterative-2101-2n-clx:
2900       - 12  # rls2101.rc1 NDRPDR iter env 6
2901       - 13  # rls2101.rc1 NDRPDR iter env 6
2902       - 14  # rls2101.rc1 NDRPDR iter env 6
2903       - 15  # rls2101.rc1 NDRPDR iter env 6
2904       - 17  # rls2101.rc1 NDRPDR iter env 6
2905       - 18  # rls2101.rc1 NDRPDR iter env 6
2906       - 19  # rls2101.rc1 NDRPDR iter env 6
2907       - 20  # rls2101.rc1 NDRPDR iter env 6
2908       - 21  # rls2101.rc1 NDRPDR iter env 6
2909       - 22  # rls2101.rc1 NDRPDR iter env 6
2910
2911     csit-dpdk-perf-report-iterative-2009-2n-zn2:
2912       - 16  # NDRPDR iter env5
2913       - 21  # NDRPDR iter env5
2914       - 22  # NDRPDR iter env5
2915       - 23  # NDRPDR iter env5
2916       - 24  # NDRPDR iter env5
2917       - 25  # NDRPDR iter env5
2918       - 29  # NDRPDR iter env5
2919     csit-dpdk-perf-report-iterative-2101-2n-zn2:
2920       - 11  # rls2101.rc1 NDRPDR iter env 6
2921       - 12  # rls2101.rc1 NDRPDR iter env 6
2922       - 13  # rls2101.rc1 NDRPDR iter env 6
2923       - 14  # rls2101.rc1 NDRPDR iter env 6
2924       - 16  # rls2101.rc1 NDRPDR iter env 6
2925       - 17  # rls2101.rc1 NDRPDR iter env 6
2926       - 18  # rls2101.rc1 NDRPDR iter env 6
2927       - 19  # rls2101.rc1 NDRPDR iter env 6
2928       - 20  # rls2101.rc1 NDRPDR iter env 6
2929       - 21  # rls2101.rc1 NDRPDR iter env 6
2930
2931 #    csit-dpdk-perf-report-iterative-2005-2n-dnv:
2932 #      # No data
2933 #    # csit-dpdk-perf-report-iterative-2009-2n-dnv:
2934 #      # No data
2935
2936 #    csit-dpdk-perf-report-iterative-2005-3n-dnv:
2937 #      # No data
2938 #    # csit-dpdk-perf-report-iterative-2009-3n-dnv:
2939 #      # No data
2940
2941     csit-dpdk-perf-report-iterative-2005-3n-tsh:
2942       - 5   # NDRPDR sel
2943     csit-dpdk-perf-report-iterative-2009-3n-tsh:
2944       - 1   # NDRPDR iter env5
2945       - 2   # NDRPDR iter env5
2946       - 3   # NDRPDR iter env5
2947       - 4   # NDRPDR iter env5
2948       - 5   # NDRPDR iter env5
2949       - 6   # NDRPDR iter env5
2950       - 7   # NDRPDR iter env5
2951       - 9   # NDRPDR iter env5
2952       - 10  # NDRPDR iter env5
2953       - 11  # NDRPDR iter env5
2954     csit-dpdk-perf-report-iterative-2101-3n-tsh:
2955       - 11  # rls2101.rc1 NDRPDR iter env 6
2956       - 12  # rls2101.rc1 NDRPDR iter env 6
2957       - 13  # rls2101.rc1 NDRPDR iter env 6
2958       - 14  # rls2101.rc1 NDRPDR iter env 6
2959       - 16  # rls2101.rc1 NDRPDR iter env 6
2960       - 17  # rls2101.rc1 NDRPDR iter env 6
2961       - 18  # rls2101.rc1 NDRPDR iter env 6
2962       - 19  # rls2101.rc1 NDRPDR iter env 6
2963       - 20  # rls2101.rc1 NDRPDR iter env 6
2964       - 21  # rls2101.rc1 NDRPDR iter env 6
2965
2966     csit-vpp-device-2101-ubuntu1804-1n-skx:
2967       - 66  # VPP DEV 2101.rc1 env6
2968
2969 - type: "output"
2970   output: "report"
2971   format:
2972     html:
2973     - full
2974 #     pdf:
2975 #     - minimal
2976
2977 ################################################################################
2978 ###                               T A B L E S                                ###
2979 ################################################################################
2980
2981 # VPP Soak vs NDR - 2n-skx
2982 - type: "table"
2983   title: "VPP Soak vs NDR 2n-skx"
2984   algorithm: "table_soak_vs_ndr"
2985   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
2986   reference:
2987     title: "NDR"
2988     data: "vpp-soak-vs-ndr-2n-skx-ref"
2989   compare:
2990     title: "Soak"
2991     data: "vpp-soak-vs-ndr-2n-skx-cmp"
2992   data: "vpp-soak-vs-ndr-2n-skx"
2993   include-tests: "NDR"
2994   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
2995   parameters:
2996     - "throughput"
2997     - "name"
2998     - "parent"
2999
3000 # VPP Soak vs NDR - 2n-clx
3001 - type: "table"
3002   title: "VPP Soak vs NDR 2n-clx"
3003   algorithm: "table_soak_vs_ndr"
3004   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
3005   reference:
3006     title: "NDR"
3007     data: "vpp-soak-vs-ndr-2n-clx-ref"
3008   compare:
3009     title: "Soak"
3010     data: "vpp-soak-vs-ndr-2n-clx-cmp"
3011   data: "vpp-soak-vs-ndr-2n-clx"
3012   include-tests: "NDR"
3013   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3014   parameters:
3015     - "throughput"
3016     - "name"
3017     - "parent"
3018
3019 ################################################################################
3020
3021 # VPP Compare NICs 3n-skx 2t1c ndr
3022 - type: "table"
3023   title: "VPP Compare NICs 3n-skx 2t1c ndr"
3024   algorithm: "table_comparison"
3025   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
3026   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3027   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3028   columns:
3029     - title: "x710"
3030       data-set: "vpp-nic-comparison-3n-skx"
3031       tag: "NIC_Intel-X710"
3032     - title: "xxv710"
3033       data-set: "vpp-nic-comparison-3n-skx"
3034       tag: "NIC_Intel-XXV710"
3035   comparisons:
3036     - title: "Diff"
3037       reference: 1
3038       compare: 2
3039   legend:
3040     - ""
3041     - "x710, xxv710 - NICs tested."
3042     - "Diff - difference between x710 and xxv710 NIC."
3043
3044 # VPP Compare NICs 3n-skx 4t2c ndr
3045 - type: "table"
3046   title: "VPP Compare NICs 3n-skx 4t2c ndr"
3047   algorithm: "table_comparison"
3048   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
3049   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3050   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3051   columns:
3052     - title: "x710"
3053       data-set: "vpp-nic-comparison-3n-skx"
3054       tag: "NIC_Intel-X710"
3055     - title: "xxv710"
3056       data-set: "vpp-nic-comparison-3n-skx"
3057       tag: "NIC_Intel-XXV710"
3058   comparisons:
3059     - title: "Diff"
3060       reference: 1
3061       compare: 2
3062   legend:
3063     - ""
3064     - "x710, xxv710 - NICs tested."
3065     - "Diff - difference between x710 and xxv710 NIC."
3066
3067 # VPP Compare NICs 3n-skx 2t1c pdr
3068 - type: "table"
3069   title: "VPP Compare NICs 3n-skx 2t1c pdr"
3070   algorithm: "table_comparison"
3071   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
3072   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3073   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3074   columns:
3075     - title: "x710"
3076       data-set: "vpp-nic-comparison-3n-skx"
3077       tag: "NIC_Intel-X710"
3078     - title: "xxv710"
3079       data-set: "vpp-nic-comparison-3n-skx"
3080       tag: "NIC_Intel-XXV710"
3081   comparisons:
3082     - title: "Diff"
3083       reference: 1
3084       compare: 2
3085   legend:
3086     - ""
3087     - "x710, xxv710 - NICs tested."
3088     - "Diff - difference between x710 and xxv710 NIC."
3089
3090 # VPP Compare NICs 3n-skx 4t2c pdr
3091 - type: "table"
3092   title: "VPP Compare NICs 3n-skx 4t2c pdr"
3093   algorithm: "table_comparison"
3094   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
3095   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3096   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3097   columns:
3098     - title: "x710"
3099       data-set: "vpp-nic-comparison-3n-skx"
3100       tag: "NIC_Intel-X710"
3101     - title: "xxv710"
3102       data-set: "vpp-nic-comparison-3n-skx"
3103       tag: "NIC_Intel-XXV710"
3104   comparisons:
3105     - title: "Diff"
3106       reference: 1
3107       compare: 2
3108   legend:
3109     - ""
3110     - "x710, xxv710 - NICs tested."
3111     - "Diff - difference between x710 and xxv710 NIC."
3112
3113 # VPP Compare NICs 3n-skx 2t1c mrr
3114 - type: "table"
3115   title: "VPP Compare NICs 3n-skx 2t1c mrr"
3116   algorithm: "table_comparison"
3117   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
3118   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3119   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3120   columns:
3121     - title: "x710"
3122       data-set: "vpp-nic-comparison-3n-skx-mrr"
3123       tag: "NIC_Intel-X710"
3124     - title: "xxv710"
3125       data-set: "vpp-nic-comparison-3n-skx-mrr"
3126       tag: "NIC_Intel-XXV710"
3127   comparisons:
3128     - title: "Diff"
3129       reference: 1
3130       compare: 2
3131   legend:
3132     - ""
3133     - "x710, xxv710 - NICs tested."
3134     - "Diff - difference between x710 and xxv710 NIC."
3135
3136 # VPP Compare NICs 3n-skx 4t2c mrr
3137 - type: "table"
3138   title: "VPP Compare NICs 3n-skx 4t2c mrr"
3139   algorithm: "table_comparison"
3140   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
3141   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3142   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3143   columns:
3144     - title: "x710"
3145       data-set: "vpp-nic-comparison-3n-skx-mrr"
3146       tag: "NIC_Intel-X710"
3147     - title: "xxv710"
3148       data-set: "vpp-nic-comparison-3n-skx-mrr"
3149       tag: "NIC_Intel-XXV710"
3150   comparisons:
3151     - title: "Diff"
3152       reference: 1
3153       compare: 2
3154   legend:
3155     - ""
3156     - "x710, xxv710 - NICs tested."
3157     - "Diff - difference between x710 and xxv710 NIC."
3158
3159 # VPP Compare NICs 3n-skx 8t4c mrr
3160 - type: "table"
3161   title: "VPP Compare NICs 3n-skx 8t4c mrr"
3162   algorithm: "table_comparison"
3163   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
3164   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3165   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
3166   columns:
3167     - title: "x710"
3168       data-set: "vpp-nic-comparison-3n-skx-mrr"
3169       tag: "NIC_Intel-X710"
3170     - title: "xxv710"
3171       data-set: "vpp-nic-comparison-3n-skx-mrr"
3172       tag: "NIC_Intel-XXV710"
3173   comparisons:
3174     - title: "Diff"
3175       reference: 1
3176       compare: 2
3177   legend:
3178     - ""
3179     - "x710, xxv710 - NICs tested."
3180     - "Diff - difference between x710 and xxv710 NIC."
3181
3182 # VPP Compare NICs 2n-skx 2t1c ndr
3183 - type: "table"
3184   title: "VPP Compare NICs 2n-skx 2t1c ndr"
3185   algorithm: "table_comparison"
3186   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
3187   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3188   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3189   columns:
3190     - title: "x710"
3191       data-set: "vpp-nic-comparison-2n-skx"
3192       tag: "NIC_Intel-X710"
3193     - title: "xxv710"
3194       data-set: "vpp-nic-comparison-2n-skx"
3195       tag: "NIC_Intel-XXV710"
3196   comparisons:
3197     - title: "Diff"
3198       reference: 1
3199       compare: 2
3200   legend:
3201     - ""
3202     - "x710, xxv710 - NICs tested."
3203     - "Diff - difference between x710 and xxv710 NIC."
3204
3205 # VPP Compare NICs 2n-skx 4t2c ndr