854c5f79b9e41a75fb891811963d5c0420b02654
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,ZN2]: "{DIR[DTR]}/dpdk_performance_results_2n_zn2"
33     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
34     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
35     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
36     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
37     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
38     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
39     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
40     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
41     DIR[DTR,PERF,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_performance_results_2n_zn2"
42     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
43     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
44     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
45     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
46     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
47     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
48     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
49     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
50     DIR[DTR,MRR,VPP,2N,ZN2]: "{DIR[DTR]}/vpp_mrr_results_2n_zn2"
51     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
52     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
53     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
54     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
55     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
56
57     # Detailed test configurations
58     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
59     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
60     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
61     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
62     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
63     DIR[DTC,PERF,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_performance_configuration_2n_zn2"
64     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
65     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
66     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
67     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
68     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
69     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
70     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
71     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
72     DIR[DTC,MRR,VPP,2N,ZN2]: "{DIR[DTC]}/vpp_mrr_configuration_2n_zn2"
73     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
74     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
75     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
76     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
77     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
78
79     # Detailed tests operational data
80     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
81     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
82     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
83     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
84     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
85     DIR[DTO,PERF,VPP,2N,ZN2]: "{DIR[DTO]}/vpp_performance_operational_data_2n_zn2"
86     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
87     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
88     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
89     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
90
91     # Latencies:
92     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
93     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
94
95     # .css patch file to fix tables generated by Sphinx
96     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
97     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
98
99   urls:
100     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
101     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
102     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
103     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
104     DIR[NEXUS,DOC]: "report/_static/archive"
105
106   make-dirs:
107   # List the directories which are created while preparing the environment.
108   # All directories MUST be defined in "paths" section.
109   - "DIR[WORKING,DATA]"
110   - "DIR[STATIC,VPP]"
111   - "DIR[STATIC,DPDK]"
112   - "DIR[STATIC,ARCH]"
113   - "DIR[BUILD,LATEX]"
114   - "DIR[WORKING,SRC]"
115   - "DIR[WORKING,SRC,STATIC]"
116
117   remove-dirs:
118   # List the directories which are deleted while cleaning the environment.
119   # All directories MUST be defined in "paths" section.
120   #- "DIR[BUILD,HTML]"
121   - "DIR[WORKING,DATA]"
122
123   build-dirs:
124   # List the directories where the results (build) is stored.
125   # All directories MUST be defined in "paths" section.
126   - "DIR[BUILD,HTML]"
127   - "DIR[BUILD,LATEX]"
128
129 - type: "configuration"
130
131   mapping-file: "mapping_report.yaml"
132
133   limits:
134     nic:
135       x520: 24460000
136       x553: 29761905
137       x710: 35800000
138       xxv710: 35800000
139       xl710: 35800000
140       cx556a: 148809523.81
141
142     link:
143       10ge: 14880952.38
144       25ge: 37202380.95
145       40ge: 59523809.52
146       100ge: 148809523.81
147
148     pci:
149       pci-g3-x8: 74404761.90
150       pci-g3-x16: 148809523.81
151
152   data-sets:
153
154     ###########################################################################
155     # Plots:
156
157     # 3n-hsw
158
159     plot-vpp-throughput-lat-tsa-3n-hsw:
160       csit-vpp-perf-report-iterative-2009-3n-hsw:
161         - 21  # rls2009 NDRPDR iter env 5
162         - 22  # rls2009 NDRPDR iter env 5
163         - 24  # rls2009 NDRPDR iter env 5
164         - 25  # rls2009 NDRPDR iter env 5
165         - 26  # rls2009 NDRPDR iter env 5
166         - 27  # rls2009 NDRPDR iter env 5
167         - 28  # rls2009 NDRPDR iter env 5
168         - 29  # rls2009 NDRPDR iter env 5
169         - 30  # rls2009 NDRPDR iter env 5
170         - 31  # rls2009 NDRPDR iter env 5
171
172     plot-vpp-hdrh-lat-3n-hsw:
173       csit-vpp-perf-report-iterative-2009-3n-hsw:
174         - 22  # rls2009 NDRPDR iter env 5
175
176     plot-vpp-hoststack-3n-hsw:
177       csit-vpp-perf-report-iterative-2009-3n-hsw:
178         - 32  # rls2009 Hoststack iter env 5
179         - 33  # rls2009 Hoststack iter env 5
180         - 34  # rls2009 Hoststack iter env 5
181         - 35  # rls2009 Hoststack iter env 5
182         - 36  # rls2009 Hoststack iter env 5
183         - 37  # rls2009 Hoststack iter env 5
184         - 38  # rls2009 Hoststack iter env 5
185         - 39  # rls2009 Hoststack iter env 5
186         - 40  # rls2009 Hoststack iter env 5
187         - 41  # rls2009 Hoststack iter env 5
188
189     plot-dpdk-throughput-latency-3n-hsw:
190       csit-dpdk-perf-report-iterative-2009-3n-hsw:
191         - 6   # NDRPDR iter env5
192         - 7   # NDRPDR iter env5
193         - 8   # NDRPDR iter env5
194         - 9   # NDRPDR iter env5
195         - 10  # NDRPDR iter env5
196         - 11  # NDRPDR iter env5
197         - 12  # NDRPDR iter env5
198         - 13  # NDRPDR iter env5
199         - 14  # NDRPDR iter env5
200         - 15  # NDRPDR iter env5
201
202     plot-dpdk-hdrh-lat-3n-hsw:
203       csit-dpdk-perf-report-iterative-2009-3n-hsw:
204         - 6   # NDRPDR iter env5
205
206     # 3n-skx
207
208     plot-vpp-throughput-lat-tsa-3n-skx:
209       csit-vpp-perf-report-iterative-2009-3n-skx:
210         - 26  # rls2009 NDRPDR iter env 5
211         - 27  # rls2009 NDRPDR iter env 5
212         - 28  # rls2009 NDRPDR iter env 5
213         - 29  # rls2009 NDRPDR iter env 5
214         - 35  # rls2009 NDRPDR iter env 5
215         - 36  # rls2009 NDRPDR iter env 5
216         - 37  # rls2009 NDRPDR iter env 5
217         - 38  # rls2009 NDRPDR iter env 5
218         - 39  # rls2009 NDRPDR iter env 5
219         - 40  # rls2009 NDRPDR iter env 5
220
221     plot-vpp-hdrh-lat-3n-skx:
222       csit-vpp-perf-report-iterative-2009-3n-skx:
223         - 27  # rls2009 NDRPDR iter env 5
224
225 #    plot-vpp-nfv-3n-skx-ndrpdr:
226 #      # No data
227 #      csit-vpp-perf-report-iterative-2009-3n-skx:
228
229 #    plot-vpp-nfv-3n-skx-mrr:
230 #      # No data
231 #      csit-vpp-perf-report-iterative-2009-3n-skx:
232
233     plot-dpdk-throughput-latency-3n-skx:
234       csit-dpdk-perf-report-iterative-2009-3n-skx:
235         - 4   # NDRPDR sel env5
236         - 5   # NDRPDR sel env5
237         - 6   # NDRPDR sel env5
238         - 7   # NDRPDR sel env5
239         - 8   # NDRPDR sel env5
240         - 9   # NDRPDR sel env5
241         - 14  # NDRPDR sel env5
242         - 11  # NDRPDR sel env5
243         - 12  # NDRPDR sel env5
244         - 13  # NDRPDR sel env5
245
246     plot-dpdk-hdrh-lat-3n-skx:
247       csit-dpdk-perf-report-iterative-2009-3n-skx:
248         - 4   # NDRPDR sel env5
249
250     # 2n-skx
251
252     plot-vpp-throughput-lat-tsa-2n-skx:
253       csit-vpp-perf-report-iterative-2009-2n-skx:
254         - 35  # rls2009 NDRPDR iter env 5
255         - 36  # rls2009 NDRPDR iter env 5
256         - 37  # rls2009 NDRPDR iter env 5
257         - 39  # rls2009 NDRPDR iter env 5
258         - 40  # rls2009 NDRPDR iter env 5
259         - 42  # rls2009 NDRPDR iter env 5
260         - 43  # rls2009 NDRPDR iter env 5
261         - 44  # rls2009 NDRPDR iter env 5
262         - 46  # rls2009 NDRPDR iter env 5
263         - 48  # rls2009 NDRPDR iter env 5
264         - 110 # rls2009 NDRPDR iter NAT44 env 5
265         - 111 # rls2009 NDRPDR iter NAT44 env 5
266         - 112 # rls2009 NDRPDR iter NAT44 env 5
267         - 113 # rls2009 NDRPDR iter NAT44 env 5
268         - 114 # rls2009 NDRPDR iter NAT44 env 5
269         - 115 # rls2009 NDRPDR iter NAT44 env 5
270         - 116 # rls2009 NDRPDR iter NAT44 env 5
271         - 118 # rls2009 NDRPDR iter NAT44 env 5
272         - 119 # rls2009 NDRPDR iter NAT44 env 5
273         - 121 # rls2009 NDRPDR iter NAT44 env 5
274
275     plot-vpp-hdrh-lat-2n-skx:
276       csit-vpp-perf-report-iterative-2009-2n-skx:
277         - 35  # rls2009 NDRPDR iter env 5
278
279     plot-vpp-hdrh-lat-2n-skx-nat44:
280       csit-vpp-perf-report-iterative-2009-2n-skx:
281         - 110 # rls2009 NDRPDR iter NAT44 env 5
282
283     plot-vpp-soak-2n-skx:
284       csit-vpp-perf-report-iterative-2009-2n-skx:
285         - 33  # rls2009 soak env 5
286         - 34  # rls2009 soak env 5
287
288     plot-vpp-nfv-2n-skx-ndrpdr:
289       csit-vpp-perf-report-iterative-2009-2n-skx:
290         - 38  # rls2009 nf-density iter env 5
291         - 41  # rls2009 nf-density iter env 5
292         - 45  # rls2009 nf-density iter env 5
293         - 47  # rls2009 nf-density iter env 5
294         - 49  # rls2009 nf-density iter env 5
295         - 63  # rls2009 nf-density iter env 5
296         - 65  # rls2009 nf-density iter env 5
297         - 66  # rls2009 nf-density iter env 5
298         - 71  # rls2009 nf-density iter env 5
299         - 72  # rls2009 nf-density iter env 5
300
301     plot-vpp-nfv-2n-skx-mrr:
302       csit-vpp-perf-report-iterative-2009-2n-skx:
303         - 50  # rls2009 MRR nf-density iter env 5
304
305     plot-vpp-nfv-reconf-2n-skx:
306       csit-vpp-perf-report-iterative-2009-2n-skx:
307         - 27  # rls2009 reconf env 5
308         - 28  # rls2009 reconf env 5
309         - 29  # rls2009 reconf env 5
310         - 30  # rls2009 reconf env 5
311         - 31  # rls2009 reconf env 5
312         - 32  # rls2009 reconf env 5
313         - 61  # rls2009 reconf env 5
314         - 62  # rls2009 reconf env 5
315         - 68  # rls2009 reconf env 5
316         - 70  # rls2009 reconf env 5
317
318     plot-dpdk-throughput-latency-2n-skx:
319       csit-dpdk-perf-report-iterative-2009-2n-skx:
320         - 4   # NDRPDR iter env5
321         - 5   # NDRPDR iter env5
322         - 6   # NDRPDR iter env5
323         - 7   # NDRPDR iter env5
324         - 8   # NDRPDR iter env5
325         - 9   # NDRPDR iter env5
326         - 10  # NDRPDR iter env5
327         - 11  # NDRPDR iter env5
328         - 12  # NDRPDR iter env5
329         - 13  # NDRPDR iter env5
330
331     plot-dpdk-hdrh-lat-2n-skx:
332       csit-dpdk-perf-report-iterative-2009-2n-skx:
333         - 4   # NDRPDR iter env5
334
335     # 2n-zn2
336
337     plot-vpp-throughput-lat-tsa-2n-zn2:
338       csit-vpp-perf-report-iterative-2009-2n-zn2:
339         - 3   # rls2009 NDRPDR iter env 5
340         - 4   # rls2009 NDRPDR iter env 5
341         - 6   # rls2009 NDRPDR iter env 5
342         - 7   # rls2009 NDRPDR iter env 5
343         - 8   # rls2009 NDRPDR iter env 5
344
345     plot-vpp-hdrh-lat-2n-zn2:
346       csit-vpp-perf-report-iterative-2009-2n-zn2:
347         - 3   # rls2009 NDRPDR iter env 5
348
349     plot-dpdk-throughput-latency-2n-zn2:
350       csit-dpdk-perf-report-iterative-2009-2n-zn2:
351         - 1   # NDRPDR iter env5
352
353     plot-dpdk-hdrh-lat-2n-zn2:
354       csit-dpdk-perf-report-iterative-2009-2n-zn2:
355         - 1   # NDRPDR iter env5
356
357     # 2n-clx
358
359     plot-vpp-throughput-lat-tsa-2n-clx:
360       csit-vpp-perf-report-iterative-2009-2n-clx:
361         - 36  # rls2009 NDRPDR iter env 5
362         - 39  # rls2009 NDRPDR iter env 5
363         - 40  # rls2009 NDRPDR iter env 5
364         - 65  # rls2009 NDRPDR iter env 5
365         - 66  # rls2009 NDRPDR iter env 5
366         - 79  # rls2009 NDRPDR iter env 5
367         - 82  # rls2009 NDRPDR iter env 5
368         - 88  # rls2009 NDRPDR iter env 5
369         - 89  # rls2009 NDRPDR iter env 5
370         - 90  # rls2009 NDRPDR iter env 5
371         - 114 # rls2009 NDRPDR iter NAT44 env 5
372         - 115 # rls2009 NDRPDR iter NAT44 env 5
373         - 116 # rls2009 NDRPDR iter NAT44 env 5
374         - 117 # rls2009 NDRPDR iter NAT44 env 5
375         - 118 # rls2009 NDRPDR iter NAT44 env 5
376         - 119 # rls2009 NDRPDR iter NAT44 env 5
377         - 121 # rls2009 NDRPDR iter NAT44 env 5
378         - 122 # rls2009 NDRPDR iter NAT44 env 5
379         - 123 # rls2009 NDRPDR iter NAT44 env 5
380         - 126 # rls2009 NDRPDR iter NAT44 env 5
381
382     plot-vpp-hdrh-lat-2n-clx:
383       csit-vpp-perf-report-iterative-2009-2n-clx:
384         - 36  # rls2009 NDRPDR iter env 5
385
386     plot-vpp-hdrh-lat-2n-clx-nat44:
387       csit-vpp-perf-report-iterative-2009-2n-clx:
388         - 123 # rls2009 NDRPDR iter NAT44 env 5
389
390     plot-vpp-nfv-2n-clx-ndrpdr:
391       csit-vpp-perf-report-iterative-2009-2n-clx:
392         - 37  # rls2009 nf-density iter env 5
393         - 43  # rls2009 nf-density iter env 5
394         - 69  # rls2009 nf-density iter env 5
395         - 70  # rls2009 nf-density iter env 5
396         - 71  # rls2009 nf-density iter env 5
397         - 72  # rls2009 nf-density iter env 5
398         - 73  # rls2009 nf-density iter env 5
399         - 74  # rls2009 nf-density iter env 5
400         - 75  # rls2009 nf-density iter env 5
401         - 76  # rls2009 nf-density iter env 5
402
403     plot-vpp-nfv-2n-clx-mrr:
404       csit-vpp-perf-report-iterative-2009-2n-clx:
405         - 45  # rls2009 MRR nf-density iter env 5
406
407     plot-vpp-nfv-reconf-2n-clx:
408       csit-vpp-perf-report-iterative-2009-2n-clx:
409         - 25  # rls2009 reconf env 5
410         - 27  # rls2009 reconf env 5
411         - 28  # rls2009 reconf env 5
412         - 29  # rls2009 reconf env 5
413         - 30  # rls2009 reconf env 5
414         - 30  # rls2009 reconf env 5
415         - 32  # rls2009 reconf env 5
416         - 48  # rls2009 reconf env 5
417         - 53  # rls2009 reconf env 5
418         - 68  # rls2009 reconf env 5
419
420     plot-vpp-soak-2n-clx:
421       csit-vpp-perf-report-iterative-2009-2n-clx:
422         - 33  # rls2009 soak env 5
423         - 34  # rls2009 soak env 5
424
425     plot-dpdk-throughput-latency-2n-clx:
426       csit-dpdk-perf-report-iterative-2009-2n-clx:
427         - 4   # NDRPDR iter env5
428         - 5   # NDRPDR iter env5
429         - 6   # NDRPDR iter env5
430         - 7   # NDRPDR iter env5
431         - 8   # NDRPDR iter env5
432         - 9   # NDRPDR iter env5
433         - 10  # NDRPDR iter env5
434         - 11  # NDRPDR iter env5
435         - 12  # NDRPDR iter env5
436         - 13  # NDRPDR iter env5
437
438     plot-dpdk-hdrh-lat-2n-clx:
439       csit-dpdk-perf-report-iterative-2009-2n-clx:
440         - 4   # NDRPDR iter env5
441
442     # 3n-tsh
443
444     plot-vpp-throughput-lat-tsa-3n-tsh:
445       csit-vpp-perf-report-iterative-2009-3n-tsh:
446         - 14  # rls2009 NDRPDR iter env 5
447         - 20  # rls2009 NDRPDR iter env 5
448         - 21  # rls2009 NDRPDR iter env 5
449         - 22  # rls2009 NDRPDR iter env 5
450         - 23  # rls2009 NDRPDR iter env 5
451         - 28  # rls2009 NDRPDR iter env 5
452         - 30  # rls2009 NDRPDR iter env 5
453         - 33  # rls2009 NDRPDR iter env 5
454         - 38  # rls2009 NDRPDR iter env 5
455         - 41  # rls2009 NDRPDR iter env 5
456
457     plot-vpp-hdrh-lat-3n-tsh:
458       csit-vpp-perf-report-iterative-2009-3n-tsh:
459         - 14  # rls2009 NDRPDR iter env 5
460
461     plot-dpdk-throughput-latency-3n-tsh:
462       csit-dpdk-perf-report-iterative-2009-3n-tsh:
463         - 1   # NDRPDR iter env5
464         - 2   # NDRPDR iter env5
465         - 3   # NDRPDR iter env5
466         - 4   # NDRPDR iter env5
467         - 5   # NDRPDR iter env5
468         - 6   # NDRPDR iter env5
469         - 7   # NDRPDR iter env5
470         - 9   # NDRPDR iter env5
471         - 10  # NDRPDR iter env5
472         - 11  # NDRPDR iter env5
473
474     plot-dpdk-hdrh-lat-3n-tsh:
475       csit-dpdk-perf-report-iterative-2009-3n-tsh:
476         - 1   # NDRPDR iter env5
477
478     # 3n-dnv
479
480     plot-vpp-throughput-lat-tsa-3n-dnv:
481       csit-vpp-perf-report-iterative-2009-3n-dnv:
482         - 3   # rls2009 NDRPDR iter env 5
483         - 6   # rls2009 NDRPDR iter env 5
484         - 7   # rls2009 NDRPDR iter env 5
485         - 8   # rls2009 NDRPDR iter env 5
486         - 10  # rls2009 NDRPDR iter env 5
487         - 11  # rls2009 NDRPDR iter env 5
488         - 12  # rls2009 NDRPDR iter env 5
489         - 14  # rls2009 NDRPDR iter env 5
490         - 15  # rls2009 NDRPDR iter env 5
491         - 24  # rls2009 NDRPDR iter env 5
492
493 #    plot-dpdk-throughput-latency-3n-dnv:
494 #      # No data
495 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
496
497     # 2n-dnv
498
499     plot-vpp-throughput-lat-tsa-2n-dnv:
500       csit-vpp-perf-report-iterative-2009-2n-dnv:
501         - 3   # rls2009 NDRPDR iter env 5
502         - 5   # rls2009 NDRPDR iter env 5
503         - 6   # rls2009 NDRPDR iter env 5
504         - 7   # rls2009 NDRPDR iter env 5
505         - 9   # rls2009 NDRPDR iter env 5
506         - 10  # rls2009 NDRPDR iter env 5
507         - 11  # rls2009 NDRPDR iter env 5
508         - 12  # rls2009 NDRPDR iter env 5
509         - 14  # rls2009 NDRPDR iter env 5
510         - 15  # rls2009 NDRPDR iter env 5
511
512 #    plot-dpdk-throughput-latency-2n-dnv:
513 #      # No data
514 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
515
516     ###########################################################################
517     # Simple tables (only one data set):
518
519     # NIC Comparisons
520
521     vpp-nic-comparison-3n-skx:
522       csit-vpp-perf-report-iterative-2009-3n-skx:
523         - 26  # rls2009 NDRPDR iter env 5
524         - 27  # rls2009 NDRPDR iter env 5
525         - 28  # rls2009 NDRPDR iter env 5
526         - 29  # rls2009 NDRPDR iter env 5
527         - 35  # rls2009 NDRPDR iter env 5
528         - 36  # rls2009 NDRPDR iter env 5
529         - 37  # rls2009 NDRPDR iter env 5
530         - 38  # rls2009 NDRPDR iter env 5
531         - 39  # rls2009 NDRPDR iter env 5
532         - 40  # rls2009 NDRPDR iter env 5
533
534     vpp-nic-comparison-2n-skx:
535       csit-vpp-perf-report-iterative-2009-2n-skx:
536         - 35  # rls2009 NDRPDR iter env 5
537         - 36  # rls2009 NDRPDR iter env 5
538         - 37  # rls2009 NDRPDR iter env 5
539         - 39  # rls2009 NDRPDR iter env 5
540         - 40  # rls2009 NDRPDR iter env 5
541         - 42  # rls2009 NDRPDR iter env 5
542         - 43  # rls2009 NDRPDR iter env 5
543         - 44  # rls2009 NDRPDR iter env 5
544         - 46  # rls2009 NDRPDR iter env 5
545         - 48  # rls2009 NDRPDR iter env 5
546         - 110 # rls2009 NDRPDR iter NAT44 env 5
547         - 111 # rls2009 NDRPDR iter NAT44 env 5
548         - 112 # rls2009 NDRPDR iter NAT44 env 5
549         - 113 # rls2009 NDRPDR iter NAT44 env 5
550         - 114 # rls2009 NDRPDR iter NAT44 env 5
551         - 115 # rls2009 NDRPDR iter NAT44 env 5
552         - 116 # rls2009 NDRPDR iter NAT44 env 5
553         - 118 # rls2009 NDRPDR iter NAT44 env 5
554         - 119 # rls2009 NDRPDR iter NAT44 env 5
555         - 121 # rls2009 NDRPDR iter NAT44 env 5
556
557     vpp-nic-comparison-3n-skx-mrr:
558       csit-vpp-perf-report-iterative-2009-3n-skx:
559         - 24  # rls2009 MRR iter env 5
560
561     vpp-nic-comparison-2n-skx-mrr:
562       csit-vpp-perf-report-iterative-2009-2n-skx:
563         - 120 # rls2009 MRR iter env 5
564
565     # Results
566
567     vpp-perf-results-3n-hsw:
568       csit-vpp-perf-report-coverage-2009-3n-hsw:
569         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
570         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
571         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
572         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
573         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
574         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
575         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
576         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
577         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
578         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
579         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
580         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
581         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
582         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
583         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
584         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
585         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
586         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
587         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
588         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
589         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
590         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
591         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
592         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
593         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
594         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
595         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
596         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
597         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
598         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
599         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
600         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
601         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
602         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
603         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
604
605     vpp-perf-results-3n-skx:
606       csit-vpp-perf-report-coverage-2009-3n-skx:
607         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
608         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
609         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
610         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
611         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
612         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
613         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
614         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
615         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
616         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
617         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
618         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
619         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
620         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
621         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
622         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
623         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
624         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
625         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
626         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
627         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
628         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
629         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
630         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
631         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
632         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
633         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
634         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
635         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
636         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
637         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
638         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
639         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
640         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
641         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
642         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
643
644     vpp-perf-results-2n-skx:
645       csit-vpp-perf-report-coverage-2009-2n-skx:
646         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
647         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
648         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
649         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
650         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
651         - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
652         - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
653         - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
654         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
655         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
656         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
657         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
658         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
659         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
660         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
661         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
662         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
663
664     vpp-perf-results-2n-zn2:
665       csit-vpp-perf-report-iterative-2009-2n-zn2:
666         - 3   # rls2009 NDRPDR iter env 5
667
668     vpp-perf-results-2n-clx:
669       csit-vpp-perf-report-coverage-2009-2n-clx:
670         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
671         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
672         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
673         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
674         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
675         - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
676         - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
677         - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
678         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
679         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
680         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
681         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
682         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
683         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
684         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
685         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
686         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
687
688     vpp-perf-results-3n-tsh:
689       csit-vpp-perf-report-iterative-2009-3n-tsh:
690         - 14  # rls2009 NDRPDR iter env 5
691
692     vpp-perf-results-3n-dnv:
693       csit-vpp-perf-report-coverage-2009-3n-dnv:
694         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
695         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
696         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
697         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
698         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
699         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
700         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
701         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
702         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
703
704     vpp-perf-results-2n-dnv:
705       csit-vpp-perf-report-coverage-2009-2n-dnv:
706         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
707         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
708         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
709         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
710         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
711         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
712
713     vpp-mrr-results-3n-hsw:
714       csit-vpp-perf-report-iterative-2009-3n-hsw:
715         - 23  # rls2009 MRR iter env 5
716
717     vpp-mrr-results-3n-skx:
718       csit-vpp-perf-report-iterative-2009-3n-skx:
719         - 24  # rls2009 MRR iter env 5
720
721     vpp-mrr-results-2n-skx:
722       csit-vpp-perf-report-iterative-2009-2n-skx:
723         - 120 # rls2009 MRR iter env 5
724
725     vpp-mrr-results-2n-zn2:
726       csit-vpp-perf-report-iterative-2009-2n-zn2:
727         - 1   # rls2009 MRR iter env 5
728
729     vpp-mrr-results-2n-clx:
730       csit-vpp-perf-report-iterative-2009-2n-clx:
731         - 125 # rls2009 MRR iter env 5
732
733     vpp-mrr-results-3n-tsh:
734       csit-vpp-perf-report-iterative-2009-3n-tsh:
735         - 15  # rls2009 MRR iter env 5
736
737     vpp-mrr-results-3n-dnv:
738       csit-vpp-perf-report-iterative-2009-3n-dnv:
739         - 22  # rls2009 MRR iter env 5
740
741     vpp-mrr-results-2n-dnv:
742       csit-vpp-perf-report-iterative-2009-2n-dnv:
743         - 13  # rls2009 MRR iter env 5
744
745     vpp-device-results-ubuntu:
746       csit-vpp-device-2009-ubuntu1804-1n-skx:
747         - 131 # rls2009 env 5
748
749     dpdk-perf-results-3n-hsw:
750       csit-dpdk-perf-report-iterative-2009-3n-hsw:
751         - 6   # NDRPDR iter env5
752
753     dpdk-perf-results-3n-skx:
754       csit-dpdk-perf-report-iterative-2009-3n-skx:
755         - 4   # NDRPDR sel env5
756
757     dpdk-perf-results-2n-skx:
758       csit-dpdk-perf-report-iterative-2009-2n-skx:
759         - 4   # NDRPDR iter env5
760
761     dpdk-perf-results-2n-zn2:
762       csit-dpdk-perf-report-iterative-2009-2n-zn2:
763         - 1   # NDRPDR iter env5
764
765     dpdk-perf-results-2n-clx:
766       csit-dpdk-perf-report-iterative-2009-2n-clx:
767         - 4   # NDRPDR iter env5
768
769 #    dpdk-perf-results-2n-dnv:
770 #      # No data
771 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
772
773 #    dpdk-perf-results-3n-dnv:
774 #      # No data
775 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
776
777     dpdk-perf-results-3n-tsh:
778       csit-dpdk-perf-report-iterative-2009-3n-tsh:
779         - 1   # NDRPDR iter env5
780
781 ###########################################################################
782     # Tables (more than one data set)
783
784     # Performance changes
785
786     vpp-performance-changes-3n-hsw-h1:
787       csit-vpp-perf-report-iterative-2005-3n-hsw:
788         - 31  # NDRPDR sel 2001.0-4
789         - 32  # NDRPDR sel 2001.0-4
790         - 33  # NDRPDR sel 2001.0-4
791         - 34  # NDRPDR sel 2001.0-4
792         - 35  # NDRPDR sel 2001.0-4
793         - 36  # NDRPDR sel 2001.0-4
794         - 38  # NDRPDR sel 2001.0-4
795     vpp-performance-changes-3n-hsw-ref-env4:
796       csit-vpp-perf-report-iterative-2005-3n-hsw:
797         - 20  # NDRPDR sel env 4
798         - 21  # NDRPDR sel env 4
799         - 22  # NDRPDR sel env 4
800         - 23  # NDRPDR sel env 4
801         - 24  # NDRPDR sel env 4
802         - 25  # NDRPDR sel env 4
803         - 26  # NDRPDR sel env 4
804         - 27  # NDRPDR sel env 4
805         - 28  # NDRPDR sel env 4
806         - 29  # NDRPDR sel env 4
807     vpp-performance-changes-3n-hsw-ref-env5:
808       csit-vpp-perf-report-iterative-2009-3n-hsw:
809         - 9   # rls2005 NDRPDR iter env 5
810         - 10  # rls2005 NDRPDR iter env 5
811         - 11  # rls2005 NDRPDR iter env 5
812         - 12  # rls2005 NDRPDR iter env 5
813         - 13  # rls2005 NDRPDR iter env 5
814         - 14  # rls2005 NDRPDR iter env 5
815         - 15  # rls2005 NDRPDR iter env 5
816         - 16  # rls2005 NDRPDR iter env 5
817         - 17  # rls2005 NDRPDR iter env 5
818         - 19  # rls2005 NDRPDR iter env 5
819     vpp-performance-changes-3n-hsw-cmp:
820       csit-vpp-perf-report-iterative-2009-3n-hsw:
821         - 21  # rls2009 NDRPDR iter env 5
822         - 22  # rls2009 NDRPDR iter env 5
823         - 24  # rls2009 NDRPDR iter env 5
824         - 25  # rls2009 NDRPDR iter env 5
825         - 26  # rls2009 NDRPDR iter env 5
826         - 27  # rls2009 NDRPDR iter env 5
827         - 28  # rls2009 NDRPDR iter env 5
828         - 29  # rls2009 NDRPDR iter env 5
829         - 30  # rls2009 NDRPDR iter env 5
830         - 31  # rls2009 NDRPDR iter env 5
831
832     vpp-performance-changes-3n-skx-h1:
833       csit-vpp-perf-report-iterative-2005-3n-skx:
834         - 50  # NDRPDR sel 2001.0-4
835         - 51  # NDRPDR sel 2001.0-4
836         - 52  # NDRPDR sel 2001.0-4
837         - 53  # NDRPDR sel 2001.0-4
838         - 54  # NDRPDR sel 2001.0-4
839     vpp-performance-changes-3n-skx-ref-env4:
840       csit-vpp-perf-report-iterative-2005-3n-skx:
841         - 42  # NDRPDR sel env 4
842         - 43  # NDRPDR sel env 4
843         - 44  # NDRPDR sel env 4
844         - 45  # NDRPDR sel env 4
845         - 47  # NDRPDR sel env 4
846         - 55  # NDRPDR sel env 4
847         - 56  # NDRPDR sel env 4
848         - 57  # NDRPDR sel env 4
849         - 61  # NDRPDR sel env 4
850         - 62  # NDRPDR sel env 4
851     vpp-performance-changes-3n-skx-ref-env5:
852       csit-vpp-perf-report-iterative-2009-3n-skx:
853         - 13  # rls2005 NDRPDR iter env 5
854         - 18  # rls2005 NDRPDR iter env 5
855         - 19  # rls2005 NDRPDR iter env 5
856         - 41  # rls2005 NDRPDR iter env 5
857         - 43  # rls2005 NDRPDR iter env 5
858         - 44  # rls2005 NDRPDR iter env 5
859         - 45  # rls2005 NDRPDR iter env 5
860         - 46  # rls2005 NDRPDR iter env 5
861         - 48  # rls2005 NDRPDR iter env 5
862         - 49  # rls2005 NDRPDR iter env 5
863     vpp-performance-changes-3n-skx-cmp:
864       csit-vpp-perf-report-iterative-2009-3n-skx:
865         - 26  # rls2009 NDRPDR iter env 5
866         - 27  # rls2009 NDRPDR iter env 5
867         - 28  # rls2009 NDRPDR iter env 5
868         - 29  # rls2009 NDRPDR iter env 5
869         - 35  # rls2009 NDRPDR iter env 5
870         - 36  # rls2009 NDRPDR iter env 5
871         - 37  # rls2009 NDRPDR iter env 5
872         - 38  # rls2009 NDRPDR iter env 5
873         - 39  # rls2009 NDRPDR iter env 5
874         - 40  # rls2009 NDRPDR iter env 5
875
876     vpp-performance-changes-2n-skx-h1:
877       csit-vpp-perf-report-iterative-2005-2n-skx:
878         - 100 # NDRPDR sel 2001.0-4
879         - 101 # NDRPDR sel 2001.0-4
880         - 102 # NDRPDR sel 2001.0-4
881         - 103 # NDRPDR sel 2001.0-4
882         - 104 # NDRPDR sel 2001.0-4
883         - 105 # NDRPDR sel 2001.0-4
884     vpp-performance-changes-2n-skx-ref-env4:
885       csit-vpp-perf-report-iterative-2005-2n-skx:
886         - 88  # NDRPDR sel env 4
887         - 89  # NDRPDR sel env 4
888         - 90  # NDRPDR sel env 4
889         - 91  # NDRPDR sel env 4
890         - 92  # NDRPDR sel env 4
891         - 93  # NDRPDR sel env 4
892         - 94  # NDRPDR sel env 4
893         - 125 # NDRPDR sel env 4
894         - 126 # NDRPDR sel env 4
895         - 127 # NDRPDR sel env 4
896     vpp-performance-changes-2n-skx-ref-env5:
897       csit-vpp-perf-report-iterative-2009-2n-skx:
898         - 13  # rls2005 NDRPDR iter env 5
899         - 16  # rls2005 NDRPDR iter env 5
900         - 17  # rls2005 NDRPDR iter env 5
901         - 18  # rls2005 NDRPDR iter env 5
902         - 19  # rls2005 NDRPDR iter env 5
903         - 21  # rls2005 NDRPDR iter env 5
904         - 22  # rls2005 NDRPDR iter env 5
905         - 23  # rls2005 NDRPDR iter env 5
906         - 24  # rls2005 NDRPDR iter env 5
907         - 25  # rls2005 NDRPDR iter env 5
908     vpp-performance-changes-2n-skx-cmp:
909       csit-vpp-perf-report-iterative-2009-2n-skx:
910         - 35  # rls2009 NDRPDR iter env 5
911         - 36  # rls2009 NDRPDR iter env 5
912         - 37  # rls2009 NDRPDR iter env 5
913         - 39  # rls2009 NDRPDR iter env 5
914         - 40  # rls2009 NDRPDR iter env 5
915         - 42  # rls2009 NDRPDR iter env 5
916         - 43  # rls2009 NDRPDR iter env 5
917         - 44  # rls2009 NDRPDR iter env 5
918         - 46  # rls2009 NDRPDR iter env 5
919         - 48  # rls2009 NDRPDR iter env 5
920         - 110 # rls2009 NDRPDR iter NAT44 env 5
921         - 111 # rls2009 NDRPDR iter NAT44 env 5
922         - 112 # rls2009 NDRPDR iter NAT44 env 5
923         - 113 # rls2009 NDRPDR iter NAT44 env 5
924         - 114 # rls2009 NDRPDR iter NAT44 env 5
925         - 115 # rls2009 NDRPDR iter NAT44 env 5
926         - 116 # rls2009 NDRPDR iter NAT44 env 5
927         - 118 # rls2009 NDRPDR iter NAT44 env 5
928         - 119 # rls2009 NDRPDR iter NAT44 env 5
929         - 121 # rls2009 NDRPDR iter NAT44 env 5
930
931     vpp-performance-changes-2n-clx-h1:
932       csit-vpp-perf-report-iterative-2005-2n-clx:
933         - 73  # NDRPDR sel 2001.0-4
934         - 74  # NDRPDR sel 2001.0-4
935         - 75  # NDRPDR sel 2001.0-4
936         - 76  # NDRPDR sel 2001.0-4
937         - 77  # NDRPDR sel 2001.0-4
938         - 78  # NDRPDR sel 2001.0-4
939         - 79  # NDRPDR sel 2001.0-4
940         - 80  # NDRPDR sel 2001.0-4
941     vpp-performance-changes-2n-clx-ref-env4:
942       csit-vpp-perf-report-iterative-2005-2n-clx:
943         - 62  # NDRPDR sel env 4
944         - 63  # NDRPDR sel env 4
945         - 64  # NDRPDR sel env 4
946         - 65  # NDRPDR sel env 4
947         - 66  # NDRPDR sel env 4
948         - 68  # NDRPDR sel env 4
949         - 69  # NDRPDR sel env 4
950         - 70  # NDRPDR sel env 4
951         - 103 # NDRPDR sel env 4
952         - 104 # NDRPDR sel env 4
953     vpp-performance-changes-2n-clx-ref-env5:
954       csit-vpp-perf-report-iterative-2009-2n-clx:
955         - 13  # rls2005 NDRPDR iter env 5
956         - 15  # rls2005 NDRPDR iter env 5
957         - 17  # rls2005 NDRPDR iter env 5
958         - 18  # rls2005 NDRPDR iter env 5
959         - 19  # rls2005 NDRPDR iter env 5
960         - 20  # rls2005 NDRPDR iter env 5
961         - 21  # rls2005 NDRPDR iter env 5
962         - 22  # rls2005 NDRPDR iter env 5
963         - 23  # rls2005 NDRPDR iter env 5
964         - 24  # rls2005 NDRPDR iter env 5
965     vpp-performance-changes-2n-clx-cmp:
966       csit-vpp-perf-report-iterative-2009-2n-clx:
967         - 36  # rls2009 NDRPDR iter env 5
968         - 39  # rls2009 NDRPDR iter env 5
969         - 40  # rls2009 NDRPDR iter env 5
970         - 65  # rls2009 NDRPDR iter env 5
971         - 66  # rls2009 NDRPDR iter env 5
972         - 79  # rls2009 NDRPDR iter env 5
973         - 82  # rls2009 NDRPDR iter env 5
974         - 88  # rls2009 NDRPDR iter env 5
975         - 89  # rls2009 NDRPDR iter env 5
976         - 90  # rls2009 NDRPDR iter env 5
977         - 114 # rls2009 NDRPDR iter NAT44 env 5
978         - 115 # rls2009 NDRPDR iter NAT44 env 5
979         - 116 # rls2009 NDRPDR iter NAT44 env 5
980         - 117 # rls2009 NDRPDR iter NAT44 env 5
981         - 118 # rls2009 NDRPDR iter NAT44 env 5
982         - 119 # rls2009 NDRPDR iter NAT44 env 5
983         - 121 # rls2009 NDRPDR iter NAT44 env 5
984         - 122 # rls2009 NDRPDR iter NAT44 env 5
985         - 123 # rls2009 NDRPDR iter NAT44 env 5
986         - 126 # rls2009 NDRPDR iter NAT44 env 5
987
988     vpp-performance-changes-2n-dnv-h1:
989       csit-vpp-perf-verify-2001-2n-dnv:
990         - 4   # NDRPDR sel
991         - 5   # NDRPDR sel
992         - 6   # NDRPDR sel
993         - 7   # NDRPDR sel
994         - 8   # NDRPDR sel
995         - 9   # NDRPDR sel
996         - 10  # NDRPDR sel
997         - 11  # NDRPDR sel
998         - 13  # NDRPDR sel
999         - 16  # NDRPDR sel
1000     vpp-performance-changes-2n-dnv-ref:
1001       csit-vpp-perf-report-iterative-2009-2n-dnv:
1002         - 16  # rls2005 NDRPDR iter env 5
1003         - 17  # rls2005 NDRPDR iter env 5
1004         - 18  # rls2005 NDRPDR iter env 5
1005         - 19  # rls2005 NDRPDR iter env 5
1006         - 21  # rls2005 NDRPDR iter env 5
1007         - 24  # rls2005 NDRPDR iter env 5
1008         - 27  # rls2005 NDRPDR iter env 5
1009         - 28  # rls2005 NDRPDR iter env 5
1010         - 29  # rls2005 NDRPDR iter env 5
1011         - 30  # rls2005 NDRPDR iter env 5
1012     vpp-performance-changes-2n-dnv-cmp:
1013       csit-vpp-perf-report-iterative-2009-2n-dnv:
1014         - 3   # rls2009 NDRPDR iter env 5
1015         - 5   # rls2009 NDRPDR iter env 5
1016         - 6   # rls2009 NDRPDR iter env 5
1017         - 7   # rls2009 NDRPDR iter env 5
1018         - 9   # rls2009 NDRPDR iter env 5
1019         - 10  # rls2009 NDRPDR iter env 5
1020         - 11  # rls2009 NDRPDR iter env 5
1021         - 12  # rls2009 NDRPDR iter env 5
1022         - 14  # rls2009 NDRPDR iter env 5
1023         - 15  # rls2009 NDRPDR iter env 5
1024
1025     vpp-performance-changes-3n-dnv-h1:
1026       csit-vpp-perf-verify-2001-3n-dnv:
1027         - 5   # NDRPDR sel
1028         - 6   # NDRPDR sel
1029         - 7   # NDRPDR sel
1030         - 8   # NDRPDR sel
1031         - 9   # NDRPDR sel
1032         - 10  # NDRPDR sel
1033         - 12  # NDRPDR sel
1034         - 16  # NDRPDR sel
1035         - 17  # NDRPDR sel
1036         - 18  # NDRPDR sel
1037     vpp-performance-changes-3n-dnv-ref:
1038       csit-vpp-perf-report-iterative-2009-3n-dnv:
1039         - 16  # rls2005 NDRPDR iter env 5
1040         - 23  # rls2005 NDRPDR iter env 5
1041         - 25  # rls2005 NDRPDR iter env 5
1042         - 26  # rls2005 NDRPDR iter env 5
1043         - 27  # rls2005 NDRPDR iter env 5
1044         - 28  # rls2005 NDRPDR iter env 5
1045         - 29  # rls2005 NDRPDR iter env 5
1046         - 30  # rls2005 NDRPDR iter env 5
1047         - 31  # rls2005 NDRPDR iter env 5
1048         - 32  # rls2005 NDRPDR iter env 5
1049     vpp-performance-changes-3n-dnv-cmp:
1050       csit-vpp-perf-report-iterative-2009-3n-dnv:
1051         - 3   # rls2009 NDRPDR iter env 5
1052         - 6   # rls2009 NDRPDR iter env 5
1053         - 7   # rls2009 NDRPDR iter env 5
1054         - 8   # rls2009 NDRPDR iter env 5
1055         - 10  # rls2009 NDRPDR iter env 5
1056         - 11  # rls2009 NDRPDR iter env 5
1057         - 12  # rls2009 NDRPDR iter env 5
1058         - 14  # rls2009 NDRPDR iter env 5
1059         - 15  # rls2009 NDRPDR iter env 5
1060         - 24  # rls2009 NDRPDR iter env 5
1061
1062     vpp-performance-changes-3n-tsh-h1:
1063       csit-vpp-perf-report-iterative-2005-3n-tsh:
1064         - 28  # NDRPDR sel 2001.0-4
1065         - 29  # NDRPDR sel 2001.0-4
1066         - 31  # NDRPDR sel 2001.0-4
1067     vpp-performance-changes-3n-tsh-ref-env4:
1068       csit-vpp-perf-report-iterative-2005-3n-tsh:
1069         - 23  # NDRPDR sel env 4
1070         - 25  # NDRPDR sel env 4
1071         - 33  # NDRPDR sel env 4
1072         - 34  # NDRPDR sel env 4
1073         - 35  # NDRPDR sel env 4
1074         - 36  # NDRPDR sel env 4
1075         - 37  # NDRPDR sel env 4
1076         - 38  # NDRPDR sel env 4
1077         - 39  # NDRPDR sel env 4
1078         - 40  # NDRPDR sel env 4
1079     vpp-performance-changes-3n-tsh-ref-env5:
1080       csit-vpp-perf-report-iterative-2009-3n-tsh:
1081         - 8   # rls2005 NDRPDR iter env 5
1082         - 11  # rls2005 NDRPDR iter env 5
1083         - 12  # rls2005 NDRPDR iter env 5
1084         - 24  # rls2005 NDRPDR iter env 5
1085         - 27  # rls2005 NDRPDR iter env 5
1086         - 29  # rls2005 NDRPDR iter env 5
1087         - 31  # rls2005 NDRPDR iter env 5
1088         - 39  # rls2005 NDRPDR iter env 5
1089         - 40  # rls2005 NDRPDR iter env 5
1090         - 42  # rls2005 NDRPDR iter env 5
1091     vpp-performance-changes-3n-tsh-cmp:
1092       csit-vpp-perf-report-iterative-2009-3n-tsh:
1093         - 14  # rls2009 NDRPDR iter env 5
1094         - 20  # rls2009 NDRPDR iter env 5
1095         - 21  # rls2009 NDRPDR iter env 5
1096         - 22  # rls2009 NDRPDR iter env 5
1097         - 23  # rls2009 NDRPDR iter env 5
1098         - 28  # rls2009 NDRPDR iter env 5
1099         - 30  # rls2009 NDRPDR iter env 5
1100         - 33  # rls2009 NDRPDR iter env 5
1101         - 38  # rls2009 NDRPDR iter env 5
1102         - 41  # rls2009 NDRPDR iter env 5
1103
1104     vpp-soak-vs-ndr-2n-skx-ref:
1105       csit-vpp-perf-report-iterative-2009-2n-skx:
1106         - 35  # rls2009 NDRPDR iter env 5
1107         - 36  # rls2009 NDRPDR iter env 5
1108         - 37  # rls2009 NDRPDR iter env 5
1109         - 39  # rls2009 NDRPDR iter env 5
1110         - 40  # rls2009 NDRPDR iter env 5
1111         - 42  # rls2009 NDRPDR iter env 5
1112         - 43  # rls2009 NDRPDR iter env 5
1113         - 44  # rls2009 NDRPDR iter env 5
1114         - 46  # rls2009 NDRPDR iter env 5
1115         - 48  # rls2009 NDRPDR iter env 5
1116     vpp-soak-vs-ndr-2n-skx-cmp:
1117       csit-vpp-perf-report-iterative-2009-2n-skx:
1118         - 33  # rls2009 soak env 5
1119         - 34  # rls2009 soak env 5
1120     vpp-soak-vs-ndr-2n-skx:
1121       csit-vpp-perf-report-iterative-2009-2n-skx:
1122         - 35  # rls2009 NDRPDR iter env 5
1123         - 36  # rls2009 NDRPDR iter env 5
1124         - 37  # rls2009 NDRPDR iter env 5
1125         - 39  # rls2009 NDRPDR iter env 5
1126         - 40  # rls2009 NDRPDR iter env 5
1127         - 42  # rls2009 NDRPDR iter env 5
1128         - 43  # rls2009 NDRPDR iter env 5
1129         - 44  # rls2009 NDRPDR iter env 5
1130         - 46  # rls2009 NDRPDR iter env 5
1131         - 48  # rls2009 NDRPDR iter env 5
1132         - 33  # rls2009 soak env 5
1133         - 34  # rls2009 soak env 5
1134
1135     vpp-soak-vs-ndr-2n-clx-ref:
1136       csit-vpp-perf-report-iterative-2009-2n-clx:
1137         - 36  # rls2009 NDRPDR iter env 5
1138         - 39  # rls2009 NDRPDR iter env 5
1139         - 40  # rls2009 NDRPDR iter env 5
1140         - 65  # rls2009 NDRPDR iter env 5
1141         - 66  # rls2009 NDRPDR iter env 5
1142         - 79  # rls2009 NDRPDR iter env 5
1143         - 82  # rls2009 NDRPDR iter env 5
1144         - 88  # rls2009 NDRPDR iter env 5
1145         - 89  # rls2009 NDRPDR iter env 5
1146         - 90  # rls2009 NDRPDR iter env 5
1147     vpp-soak-vs-ndr-2n-clx-cmp:
1148       csit-vpp-perf-report-iterative-2009-2n-clx:
1149         - 33  # rls2009 soak env 5
1150         - 34  # rls2009 soak env 5
1151     vpp-soak-vs-ndr-2n-clx:
1152       csit-vpp-perf-report-iterative-2009-2n-clx:
1153         - 36  # rls2009 NDRPDR iter env 5
1154         - 39  # rls2009 NDRPDR iter env 5
1155         - 40  # rls2009 NDRPDR iter env 5
1156         - 65  # rls2009 NDRPDR iter env 5
1157         - 66  # rls2009 NDRPDR iter env 5
1158         - 79  # rls2009 NDRPDR iter env 5
1159         - 82  # rls2009 NDRPDR iter env 5
1160         - 88  # rls2009 NDRPDR iter env 5
1161         - 89  # rls2009 NDRPDR iter env 5
1162         - 90  # rls2009 NDRPDR iter env 5
1163         - 33  # rls2009 soak env 5
1164         - 34  # rls2009 soak env 5
1165
1166     vpp-performance-changes-3n-hsw-mrr-h1:
1167       csit-vpp-perf-verify-2001-3n-hsw:
1168         - 17  # MRR sel
1169     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1170       csit-vpp-perf-report-iterative-2005-3n-hsw:
1171         - 30  # MRR env 4
1172     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1173       csit-vpp-perf-report-iterative-2009-3n-hsw:
1174         - 18  # rls2005 MRR iter env 5
1175     vpp-performance-changes-3n-hsw-mrr-cmp:
1176       csit-vpp-perf-report-iterative-2009-3n-hsw:
1177         - 23  # rls2009 MRR iter env 5
1178
1179     vpp-performance-changes-3n-skx-mrr-h1:
1180       csit-vpp-perf-verify-2001-3n-skx:
1181         - 50  # MRR sel
1182         - 53  # MRR sel addition
1183     vpp-performance-changes-3n-skx-mrr-ref-env4:
1184       csit-vpp-perf-report-iterative-2005-3n-skx:
1185         - 49  # MRR sel env 4
1186     vpp-performance-changes-3n-skx-mrr-ref-env5:
1187       csit-vpp-perf-report-iterative-2009-3n-skx:
1188         - 17  # rls2005 MRR iter env 5
1189     vpp-performance-changes-3n-skx-mrr-cmp:
1190       csit-vpp-perf-report-iterative-2009-3n-skx:
1191         - 24  # rls2009 MRR iter env 5
1192
1193     vpp-performance-changes-2n-skx-mrr-h1:
1194       csit-vpp-perf-verify-2001-2n-skx:
1195         - 101 # MRR sel
1196         - 128 # MRR sel addition
1197     vpp-performance-changes-2n-skx-mrr-ref-env4:
1198       csit-vpp-perf-report-iterative-2005-2n-skx:
1199         - 99  # MRR sel env 4
1200     vpp-performance-changes-2n-skx-mrr-ref-env5:
1201       csit-vpp-perf-report-iterative-2009-2n-skx:
1202         - 20  # rls2005 MRR iter env 5
1203     vpp-performance-changes-2n-skx-mrr-cmp:
1204       csit-vpp-perf-report-iterative-2009-2n-skx:
1205         - 120 # rls2009 MRR iter env 5
1206
1207     vpp-performance-changes-2n-clx-mrr-h1:
1208       csit-vpp-perf-verify-2001-2n-clx:
1209         - 39  # MRR
1210     vpp-performance-changes-2n-clx-mrr-ref-env4:
1211       csit-vpp-perf-report-iterative-2005-2n-clx:
1212         - 72   # MRR sel env 4
1213     vpp-performance-changes-2n-clx-mrr-ref-env5:
1214       csit-vpp-perf-report-iterative-2009-2n-clx:
1215         - 77  # rls2005 MRR iter env 5
1216     vpp-performance-changes-2n-clx-mrr-cmp:
1217       csit-vpp-perf-report-iterative-2009-2n-clx:
1218         - 125 # rls2009 MRR iter env 5
1219
1220     vpp-performance-changes-2n-dnv-mrr-h1:
1221       csit-vpp-perf-verify-2001-2n-dnv:
1222         - 12  # MRR sel
1223     vpp-performance-changes-2n-dnv-mrr-ref:
1224       csit-vpp-perf-report-iterative-2009-2n-dnv:
1225         - 23  # rls2005 MRR iter env 5
1226     vpp-performance-changes-2n-dnv-mrr-cmp:
1227       csit-vpp-perf-report-iterative-2009-2n-dnv:
1228         - 13  # rls2009 MRR iter env 5
1229
1230     vpp-performance-changes-3n-dnv-mrr-h1:
1231       csit-vpp-perf-verify-2001-3n-dnv:
1232         - 11  # MRR sel
1233     vpp-performance-changes-3n-dnv-mrr-ref:
1234       csit-vpp-perf-report-iterative-2009-3n-dnv:
1235         - 19  # rls2005 MRR iter env 5
1236     vpp-performance-changes-3n-dnv-mrr-cmp:
1237       csit-vpp-perf-report-iterative-2009-3n-dnv:
1238         - 22  # rls2009 MRR iter env 5
1239
1240     vpp-performance-changes-3n-tsh-mrr-h1:
1241       csit-vpp-perf-verify-2001-3n-tsh:
1242         - 9   # MRR sel
1243     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1244       csit-vpp-perf-report-iterative-2005-3n-tsh:
1245         - 27  # MRR sel env 4
1246     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1247       csit-vpp-perf-report-iterative-2009-3n-tsh:
1248         - 13  # rls2005 MRR iter env 5
1249     vpp-performance-changes-3n-tsh-mrr-cmp:
1250       csit-vpp-perf-report-iterative-2009-3n-tsh:
1251         - 15  # rls2009 MRR iter env 5
1252
1253     dpdk-performance-changes-3n-hsw-h1:
1254       csit-dpdk-perf-verify-2001-3n-hsw:
1255         - 4   # NDRPDR sel
1256         - 5   # NDRPDR sel
1257         - 6   # NDRPDR sel
1258         - 7   # NDRPDR sel
1259         - 8   # NDRPDR sel
1260         - 9   # NDRPDR sel
1261         - 10  # NDRPDR sel
1262         - 11  # NDRPDR sel
1263         - 12  # NDRPDR sel
1264         - 13  # NDRPDR sel
1265         - 15  # NDRPDR sel
1266         - 16  # NDRPDR sel
1267         - 17  # NDRPDR sel
1268         - 18  # NDRPDR sel
1269         - 19  # NDRPDR sel
1270         - 20  # NDRPDR sel
1271         - 21  # NDRPDR sel
1272         - 22  # NDRPDR sel
1273         - 23  # NDRPDR sel
1274         - 24  # NDRPDR sel
1275     dpdk-performance-changes-3n-hsw-ref:
1276       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1277         - 25  # NDRPDR iter
1278         - 26  # NDRPDR iter
1279         - 27  # NDRPDR iter
1280         - 28  # NDRPDR iter
1281         - 29  # NDRPDR iter
1282         - 30  # NDRPDR iter
1283         - 31  # NDRPDR iter
1284         - 32  # NDRPDR iter
1285         - 33  # NDRPDR iter
1286         - 34  # NDRPDR iter
1287     dpdk-performance-changes-3n-hsw-cmp:
1288       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1289         - 6   # NDRPDR iter env5
1290         - 7   # NDRPDR iter env5
1291         - 8   # NDRPDR iter env5
1292         - 9   # NDRPDR iter env5
1293         - 10  # NDRPDR iter env5
1294         - 11  # NDRPDR iter env5
1295         - 12  # NDRPDR iter env5
1296         - 13  # NDRPDR iter env5
1297         - 14  # NDRPDR iter env5
1298         - 15  # NDRPDR iter env5
1299
1300     dpdk-performance-changes-3n-skx-h1:
1301       csit-dpdk-perf-verify-2001-3n-skx:
1302         - 29  # NDRPDR sel xxv710
1303         - 33  # NDRPDR sel xxv710
1304         - 34  # NDRPDR sel xxv710
1305         - 35  # NDRPDR sel xxv710
1306         - 36  # NDRPDR sel xxv710
1307         - 37  # NDRPDR sel xxv710
1308         - 41  # NDRPDR sel xxv710
1309         - 42  # NDRPDR sel xxv710
1310         - 43  # NDRPDR sel xxv710
1311         - 45  # NDRPDR sel xxv710
1312         - 30  # NDRPDR sel x710
1313         - 31  # NDRPDR sel x710
1314         - 32  # NDRPDR sel x710
1315         - 38  # NDRPDR sel x710
1316         - 39  # NDRPDR sel x710
1317         - 40  # NDRPDR sel x710
1318         - 44  # NDRPDR sel x710
1319         - 46  # NDRPDR sel x710
1320         - 47  # NDRPDR sel x710
1321         - 48  # NDRPDR sel x710
1322     dpdk-performance-changes-3n-skx-ref:
1323       csit-dpdk-perf-report-iterative-2005-3n-skx:
1324         - 28  # NDRPDR iter
1325         - 29  # NDRPDR iter
1326         - 30  # NDRPDR iter
1327         - 31  # NDRPDR iter
1328         - 32  # NDRPDR iter
1329         - 33  # NDRPDR iter
1330         - 34  # NDRPDR iter
1331         - 35  # NDRPDR iter
1332         - 36  # NDRPDR iter
1333         - 37  # NDRPDR iter
1334     dpdk-performance-changes-3n-skx-cmp:
1335       csit-dpdk-perf-report-iterative-2009-3n-skx:
1336         - 4   # NDRPDR sel env5
1337         - 5   # NDRPDR sel env5
1338         - 6   # NDRPDR sel env5
1339         - 7   # NDRPDR sel env5
1340         - 8   # NDRPDR sel env5
1341         - 9   # NDRPDR sel env5
1342         - 14  # NDRPDR sel env5
1343         - 11  # NDRPDR sel env5
1344         - 12  # NDRPDR sel env5
1345         - 13  # NDRPDR sel env5
1346
1347     dpdk-performance-changes-2n-skx-h1:
1348       csit-dpdk-perf-verify-2001-2n-skx:
1349         - 35  # NDRPDR sel xxv710
1350         - 36  # NDRPDR sel xxv710
1351         - 37  # NDRPDR sel xxv710
1352         - 41  # NDRPDR sel xxv710
1353         - 42  # NDRPDR sel xxv710
1354         - 43  # NDRPDR sel xxv710
1355         - 46  # NDRPDR sel xxv710
1356         - 47  # NDRPDR sel xxv710
1357         - 52  # NDRPDR sel xxv710
1358         - 53  # NDRPDR sel xxv710
1359         - 38  # NDRPDR sel x710
1360         - 39  # NDRPDR sel x710
1361         - 40  # NDRPDR sel x710
1362         - 44  # NDRPDR sel x710
1363         - 45  # NDRPDR sel x710
1364         - 48  # NDRPDR sel x710
1365         - 49  # NDRPDR sel x710
1366         - 50  # NDRPDR sel x710
1367         - 51  # NDRPDR sel x710
1368         - 54  # NDRPDR sel x710
1369     dpdk-performance-changes-2n-skx-ref:
1370       csit-dpdk-perf-report-iterative-2005-2n-skx:
1371         - 20  # NDRPDR iter
1372         - 21  # NDRPDR iter
1373         - 22  # NDRPDR iter
1374         - 23  # NDRPDR iter
1375         - 24  # NDRPDR iter
1376         - 25  # NDRPDR iter
1377         - 26  # NDRPDR iter
1378         - 27  # NDRPDR iter
1379         - 28  # NDRPDR iter
1380         - 29  # NDRPDR iter
1381     dpdk-performance-changes-2n-skx-cmp:
1382       csit-dpdk-perf-report-iterative-2009-2n-skx:
1383         - 4   # NDRPDR iter env5
1384         - 5   # NDRPDR iter env5
1385         - 6   # NDRPDR iter env5
1386         - 7   # NDRPDR iter env5
1387         - 8   # NDRPDR iter env5
1388         - 9   # NDRPDR iter env5
1389         - 10  # NDRPDR iter env5
1390         - 11  # NDRPDR iter env5
1391         - 12  # NDRPDR iter env5
1392         - 13  # NDRPDR iter env5
1393
1394     dpdk-performance-changes-2n-clx-h1:
1395       csit-dpdk-perf-verify-2001-2n-clx:
1396         - 15  # NDRPDR sel
1397         - 16  # NDRPDR sel
1398         - 17  # NDRPDR sel
1399         - 18  # NDRPDR sel
1400         - 19  # NDRPDR sel
1401         - 20  # NDRPDR sel
1402         - 21  # NDRPDR sel
1403         - 22  # NDRPDR sel
1404         - 23  # NDRPDR sel
1405         - 24  # NDRPDR sel
1406         - 25  # NDRPDR sel
1407         - 26  # NDRPDR sel
1408         - 27  # NDRPDR sel
1409         - 28  # NDRPDR sel
1410         - 29  # NDRPDR sel
1411         - 30  # NDRPDR sel
1412         - 31  # NDRPDR sel
1413         - 32  # NDRPDR sel
1414         - 33  # NDRPDR sel
1415         - 34  # NDRPDR sel
1416     dpdk-performance-changes-2n-clx-ref:
1417       csit-dpdk-perf-report-iterative-2005-2n-clx:
1418         - 20  # NDRPDR iter
1419         - 21  # NDRPDR iter
1420         - 22  # NDRPDR iter
1421         - 23  # NDRPDR iter
1422         - 24  # NDRPDR iter
1423         - 25  # NDRPDR iter
1424         - 26  # NDRPDR iter
1425         - 27  # NDRPDR iter
1426         - 28  # NDRPDR iter
1427         - 29  # NDRPDR iter
1428     dpdk-performance-changes-2n-clx-cmp:
1429       csit-dpdk-perf-report-iterative-2009-2n-clx:
1430         - 4   # NDRPDR iter env5
1431         - 5   # NDRPDR iter env5
1432         - 6   # NDRPDR iter env5
1433         - 7   # NDRPDR iter env5
1434         - 8   # NDRPDR iter env5
1435         - 9   # NDRPDR iter env5
1436         - 10  # NDRPDR iter env5
1437         - 11  # NDRPDR iter env5
1438         - 12  # NDRPDR iter env5
1439         - 13  # NDRPDR iter env5
1440
1441 #    dpdk-performance-changes-2n-dnv-h1:
1442 #      csit-dpdk-perf-verify-2001-2n-dnv:
1443 #        - 9   # NDRPDR sel
1444 #        - 10  # NDRPDR sel
1445 #        - 11  # NDRPDR sel
1446 #        - 12  # NDRPDR sel
1447 #        - 13  # NDRPDR sel
1448 #        - 14  # NDRPDR sel
1449 #        - 15  # NDRPDR sel
1450 #        - 16  # NDRPDR sel
1451 #        - 17  # NDRPDR sel
1452 #        - 18  # NDRPDR sel
1453 #    dpdk-performance-changes-2n-dnv-ref:
1454 #      # No data
1455 #    dpdk-performance-changes-2n-dnv-cmp:
1456 #      # No data
1457 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1458
1459 #    dpdk-performance-changes-3n-dnv-h1:
1460 #      csit-dpdk-perf-verify-2001-3n-dnv:
1461 #        - 12  # NDRPDR sel
1462 #        - 13  # NDRPDR sel
1463 #        - 14  # NDRPDR sel
1464 #        - 15  # NDRPDR sel
1465 #        - 16  # NDRPDR sel
1466 #        - 17  # NDRPDR sel
1467 #        - 18  # NDRPDR sel
1468 #        - 19  # NDRPDR sel
1469 #        - 20  # NDRPDR sel
1470 #        - 22  # NDRPDR sel
1471 #    dpdk-performance-changes-3n-dnv-ref:
1472 #      # No data
1473 #    dpdk-performance-changes-3n-dnv-cmp:
1474 #      # No data
1475 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1476
1477     dpdk-performance-changes-3n-tsh-h1:
1478       csit-dpdk-perf-verify-2001-3n-tsh:
1479         - 3   # NDRPDR sel
1480         - 4   # NDRPDR sel
1481         - 5   # NDRPDR sel
1482         - 9   # NDRPDR sel
1483         - 10  # NDRPDR sel
1484         - 11  # NDRPDR sel
1485         - 12  # NDRPDR sel
1486         - 14  # NDRPDR sel
1487         - 15  # NDRPDR sel
1488         - 18  # NDRPDR sel
1489     dpdk-performance-changes-3n-tsh-ref:
1490       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1491         - 5   # NDRPDR sel
1492     dpdk-performance-changes-3n-tsh-cmp:
1493       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1494         - 1   # NDRPDR iter env5
1495         - 2   # NDRPDR iter env5
1496         - 3   # NDRPDR iter env5
1497         - 4   # NDRPDR iter env5
1498         - 5   # NDRPDR iter env5
1499         - 6   # NDRPDR iter env5
1500         - 7   # NDRPDR iter env5
1501         - 9   # NDRPDR iter env5
1502         - 10  # NDRPDR iter env5
1503         - 11  # NDRPDR iter env5
1504
1505     # Compare testbeds
1506
1507     vpp-compare-testbeds-ref:
1508       csit-vpp-perf-report-iterative-2009-3n-hsw:
1509         - 21  # rls2009 NDRPDR iter env 5
1510         - 22  # rls2009 NDRPDR iter env 5
1511         - 24  # rls2009 NDRPDR iter env 5
1512         - 25  # rls2009 NDRPDR iter env 5
1513         - 26  # rls2009 NDRPDR iter env 5
1514         - 27  # rls2009 NDRPDR iter env 5
1515         - 28  # rls2009 NDRPDR iter env 5
1516         - 29  # rls2009 NDRPDR iter env 5
1517         - 30  # rls2009 NDRPDR iter env 5
1518         - 31  # rls2009 NDRPDR iter env 5
1519     vpp-compare-testbeds-cmp:
1520       csit-vpp-perf-report-iterative-2009-3n-skx:
1521         - 26  # rls2009 NDRPDR iter env 5
1522         - 27  # rls2009 NDRPDR iter env 5
1523         - 28  # rls2009 NDRPDR iter env 5
1524         - 29  # rls2009 NDRPDR iter env 5
1525         - 35  # rls2009 NDRPDR iter env 5
1526         - 36  # rls2009 NDRPDR iter env 5
1527         - 37  # rls2009 NDRPDR iter env 5
1528         - 38  # rls2009 NDRPDR iter env 5
1529         - 39  # rls2009 NDRPDR iter env 5
1530         - 40  # rls2009 NDRPDR iter env 5
1531
1532     vpp-compare-testbeds-skx-clx-ref:
1533       csit-vpp-perf-report-iterative-2009-2n-skx:
1534         - 35  # rls2009 NDRPDR iter env 5
1535         - 36  # rls2009 NDRPDR iter env 5
1536         - 37  # rls2009 NDRPDR iter env 5
1537         - 39  # rls2009 NDRPDR iter env 5
1538         - 40  # rls2009 NDRPDR iter env 5
1539         - 42  # rls2009 NDRPDR iter env 5
1540         - 43  # rls2009 NDRPDR iter env 5
1541         - 44  # rls2009 NDRPDR iter env 5
1542         - 46  # rls2009 NDRPDR iter env 5
1543         - 48  # rls2009 NDRPDR iter env 5
1544         - 110 # rls2009 NDRPDR iter NAT44 env 5
1545         - 111 # rls2009 NDRPDR iter NAT44 env 5
1546         - 112 # rls2009 NDRPDR iter NAT44 env 5
1547         - 113 # rls2009 NDRPDR iter NAT44 env 5
1548         - 114 # rls2009 NDRPDR iter NAT44 env 5
1549         - 115 # rls2009 NDRPDR iter NAT44 env 5
1550         - 116 # rls2009 NDRPDR iter NAT44 env 5
1551         - 118 # rls2009 NDRPDR iter NAT44 env 5
1552         - 119 # rls2009 NDRPDR iter NAT44 env 5
1553         - 121 # rls2009 NDRPDR iter NAT44 env 5
1554     vpp-compare-testbeds-skx-clx-cmp:
1555       csit-vpp-perf-report-iterative-2009-2n-clx:
1556         - 36  # rls2009 NDRPDR iter env 5
1557         - 39  # rls2009 NDRPDR iter env 5
1558         - 40  # rls2009 NDRPDR iter env 5
1559         - 65  # rls2009 NDRPDR iter env 5
1560         - 66  # rls2009 NDRPDR iter env 5
1561         - 79  # rls2009 NDRPDR iter env 5
1562         - 82  # rls2009 NDRPDR iter env 5
1563         - 88  # rls2009 NDRPDR iter env 5
1564         - 89  # rls2009 NDRPDR iter env 5
1565         - 90  # rls2009 NDRPDR iter env 5
1566         - 114 # rls2009 NDRPDR iter NAT44 env 5
1567         - 115 # rls2009 NDRPDR iter NAT44 env 5
1568         - 116 # rls2009 NDRPDR iter NAT44 env 5
1569         - 117 # rls2009 NDRPDR iter NAT44 env 5
1570         - 118 # rls2009 NDRPDR iter NAT44 env 5
1571         - 119 # rls2009 NDRPDR iter NAT44 env 5
1572         - 121 # rls2009 NDRPDR iter NAT44 env 5
1573         - 122 # rls2009 NDRPDR iter NAT44 env 5
1574         - 123 # rls2009 NDRPDR iter NAT44 env 5
1575         - 126 # rls2009 NDRPDR iter NAT44 env 5
1576
1577     vpp-compare-testbeds-hsw-clx-ref:
1578       csit-vpp-perf-report-iterative-2009-3n-hsw:
1579         - 21  # rls2009 NDRPDR iter env 5
1580         - 22  # rls2009 NDRPDR iter env 5
1581         - 24  # rls2009 NDRPDR iter env 5
1582         - 25  # rls2009 NDRPDR iter env 5
1583         - 26  # rls2009 NDRPDR iter env 5
1584         - 27  # rls2009 NDRPDR iter env 5
1585         - 28  # rls2009 NDRPDR iter env 5
1586         - 29  # rls2009 NDRPDR iter env 5
1587         - 30  # rls2009 NDRPDR iter env 5
1588         - 31  # rls2009 NDRPDR iter env 5
1589     vpp-compare-testbeds-hsw-clx-cmp:
1590       csit-vpp-perf-report-iterative-2009-2n-clx:
1591         - 36  # rls2009 NDRPDR iter env 5
1592         - 39  # rls2009 NDRPDR iter env 5
1593         - 40  # rls2009 NDRPDR iter env 5
1594         - 65  # rls2009 NDRPDR iter env 5
1595         - 66  # rls2009 NDRPDR iter env 5
1596         - 79  # rls2009 NDRPDR iter env 5
1597         - 82  # rls2009 NDRPDR iter env 5
1598         - 88  # rls2009 NDRPDR iter env 5
1599         - 89  # rls2009 NDRPDR iter env 5
1600         - 90  # rls2009 NDRPDR iter env 5
1601
1602     vpp-compare-testbeds-mrr-ref:
1603       csit-vpp-perf-report-iterative-2009-3n-hsw:
1604         - 23  # rls2009 MRR iter env 5
1605     vpp-compare-testbeds-mrr-cmp:
1606       csit-vpp-perf-report-iterative-2009-3n-skx:
1607         - 24  # rls2009 MRR iter env 5
1608
1609     vpp-compare-testbeds-mrr-skx-clx-ref:
1610       csit-vpp-perf-report-iterative-2009-2n-skx:
1611         - 120 # rls2009 MRR iter env 5
1612     vpp-compare-testbeds-mrr-skx-clx-cmp:
1613       csit-vpp-perf-report-iterative-2009-2n-clx:
1614         - 125 # rls2009 MRR iter env 5
1615
1616     vpp-compare-testbeds-mrr-hsw-clx-ref:
1617       csit-vpp-perf-report-iterative-2009-3n-hsw:
1618         - 23  # rls2009 MRR iter env 5
1619     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1620       csit-vpp-perf-report-iterative-2009-2n-clx:
1621         - 125 # rls2009 MRR iter env 5
1622
1623     dpdk-compare-testbeds-ref:
1624       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1625         - 6   # NDRPDR iter env5
1626         - 7   # NDRPDR iter env5
1627         - 8   # NDRPDR iter env5
1628         - 9   # NDRPDR iter env5
1629         - 10  # NDRPDR iter env5
1630         - 11  # NDRPDR iter env5
1631         - 12  # NDRPDR iter env5
1632         - 13  # NDRPDR iter env5
1633         - 14  # NDRPDR iter env5
1634         - 15  # NDRPDR iter env5
1635     dpdk-compare-testbeds-cmp:
1636       csit-dpdk-perf-report-iterative-2009-3n-skx:
1637         - 4   # NDRPDR sel env5
1638         - 5   # NDRPDR sel env5
1639         - 6   # NDRPDR sel env5
1640         - 7   # NDRPDR sel env5
1641         - 8   # NDRPDR sel env5
1642         - 9   # NDRPDR sel env5
1643         - 14  # NDRPDR sel env5
1644         - 11  # NDRPDR sel env5
1645         - 12  # NDRPDR sel env5
1646         - 13  # NDRPDR sel env5
1647
1648     dpdk-compare-testbeds-skx-clx-ref:
1649       csit-dpdk-perf-report-iterative-2009-2n-skx:
1650         - 4   # NDRPDR iter env5
1651         - 5   # NDRPDR iter env5
1652         - 6   # NDRPDR iter env5
1653         - 7   # NDRPDR iter env5
1654         - 8   # NDRPDR iter env5
1655         - 9   # NDRPDR iter env5
1656         - 10  # NDRPDR iter env5
1657         - 11  # NDRPDR iter env5
1658         - 12  # NDRPDR iter env5
1659         - 13  # NDRPDR iter env5
1660     dpdk-compare-testbeds-skx-clx-cmp:
1661       csit-dpdk-perf-report-iterative-2009-2n-clx:
1662         - 4   # NDRPDR iter env5
1663         - 5   # NDRPDR iter env5
1664         - 6   # NDRPDR iter env5
1665         - 7   # NDRPDR iter env5
1666         - 8   # NDRPDR iter env5
1667         - 9   # NDRPDR iter env5
1668         - 10  # NDRPDR iter env5
1669         - 11  # NDRPDR iter env5
1670         - 12  # NDRPDR iter env5
1671         - 13  # NDRPDR iter env5
1672
1673     # Compare topologies
1674
1675     vpp-compare-topologies-ref:
1676       csit-vpp-perf-report-iterative-2009-3n-skx:
1677         - 26  # rls2009 NDRPDR iter env 5
1678         - 27  # rls2009 NDRPDR iter env 5
1679         - 28  # rls2009 NDRPDR iter env 5
1680         - 29  # rls2009 NDRPDR iter env 5
1681         - 35  # rls2009 NDRPDR iter env 5
1682         - 36  # rls2009 NDRPDR iter env 5
1683         - 37  # rls2009 NDRPDR iter env 5
1684         - 38  # rls2009 NDRPDR iter env 5
1685         - 39  # rls2009 NDRPDR iter env 5
1686         - 40  # rls2009 NDRPDR iter env 5
1687     vpp-compare-topologies-cmp:
1688       csit-vpp-perf-report-iterative-2009-2n-skx:
1689         - 35  # rls2009 NDRPDR iter env 5
1690         - 36  # rls2009 NDRPDR iter env 5
1691         - 37  # rls2009 NDRPDR iter env 5
1692         - 39  # rls2009 NDRPDR iter env 5
1693         - 40  # rls2009 NDRPDR iter env 5
1694         - 42  # rls2009 NDRPDR iter env 5
1695         - 43  # rls2009 NDRPDR iter env 5
1696         - 44  # rls2009 NDRPDR iter env 5
1697         - 46  # rls2009 NDRPDR iter env 5
1698         - 48  # rls2009 NDRPDR iter env 5
1699
1700     vpp-compare-topologies-mrr-ref:
1701       csit-vpp-perf-report-iterative-2009-3n-skx:
1702         - 24  # rls2009 MRR iter env 5
1703     vpp-compare-topologies-mrr-cmp:
1704       csit-vpp-perf-report-iterative-2009-2n-skx:
1705         - 120 # rls2009 MRR iter env 5
1706
1707     dpdk-compare-topologies-ref:
1708       csit-dpdk-perf-report-iterative-2009-3n-skx:
1709         - 4   # NDRPDR sel env5
1710         - 5   # NDRPDR sel env5
1711         - 6   # NDRPDR sel env5
1712         - 7   # NDRPDR sel env5
1713         - 8   # NDRPDR sel env5
1714         - 9   # NDRPDR sel env5
1715         - 14  # NDRPDR sel env5
1716         - 11  # NDRPDR sel env5
1717         - 12  # NDRPDR sel env5
1718         - 13  # NDRPDR sel env5
1719     dpdk-compare-topologies-cmp:
1720       csit-dpdk-perf-report-iterative-2009-2n-skx:
1721         - 4   # NDRPDR iter env5
1722         - 5   # NDRPDR iter env5
1723         - 6   # NDRPDR iter env5
1724         - 7   # NDRPDR iter env5
1725         - 8   # NDRPDR iter env5
1726         - 9   # NDRPDR iter env5
1727         - 10  # NDRPDR iter env5
1728         - 11  # NDRPDR iter env5
1729         - 12  # NDRPDR iter env5
1730         - 13  # NDRPDR iter env5
1731
1732   plot-layouts:
1733
1734     plot-soak-throughput:
1735       titlefont:
1736         size: 16
1737       xaxis:
1738         title: "<b>Test Cases [Index]</b>"
1739         titlefont:
1740           size: 14
1741         autorange: True
1742         fixedrange: False
1743         gridcolor: "rgb(230, 230, 230)"
1744         linecolor: "rgb(220, 220, 220)"
1745         linewidth: 1
1746         showgrid: True
1747         showline: True
1748         showticklabels: True
1749         tickcolor: "rgb(220, 220, 220)"
1750         tickmode: "linear"
1751         tickfont:
1752           size: 14
1753         zeroline: False
1754       yaxis:
1755         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1756         titlefont:
1757           size: 14
1758         gridcolor: "rgb(230, 230, 230)"
1759         hoverformat: ".4r"
1760         tickformat: ".3r"
1761         linecolor: "rgb(220, 220, 220)"
1762         linewidth: 1
1763         showgrid: True
1764         showline: True
1765         showticklabels: True
1766         tickcolor: "rgb(220, 220, 220)"
1767         tickfont:
1768           size: 14
1769         zeroline: False
1770         range: [0,50]
1771       autosize: False
1772       margin:
1773         t: 50
1774         b: 0
1775         l: 80
1776         r: 20
1777       showlegend: True
1778       legend:
1779         orientation: "h"
1780         font:
1781           size: 14
1782       width: 700
1783       height: 900
1784       paper_bgcolor: "#fff"
1785       plot_bgcolor: "#fff"
1786       hoverlabel:
1787         namelength: -1
1788
1789     plot-service-density:
1790       titlefont:
1791         size: 16
1792       xaxis:
1793         side: "top"
1794         autorange: True
1795         fixedrange: False
1796         showgrid: False
1797         showline: False
1798         showticklabels: False
1799         ticks: ""
1800         ticklen: 0
1801         tickwidth: 0
1802         zeroline: False
1803       yaxis:
1804         autorange: "reversed"
1805         showgrid: False
1806         showline: False
1807         showticklabels: False
1808         ticks: ""
1809         ticklen: 0
1810         tickwidth: 0
1811         zeroline: False
1812       showlegend: False
1813       paper_bgcolor: "#fff"
1814       plot_bgcolor: "#fff"
1815       width: 700
1816       height: 700
1817       hoverlabel:
1818         namelength: -1
1819
1820     plot-hoststack:
1821       titlefont:
1822         size: 16
1823       xaxis:
1824         title: "<b>Test Cases [Index]</b>"
1825         titlefont:
1826           size: 14
1827         autorange: True
1828         fixedrange: False
1829         gridcolor: "rgb(230, 230, 230)"
1830         linecolor: "rgb(220, 220, 220)"
1831         linewidth: 1
1832         showgrid: True
1833         showline: True
1834         showticklabels: True
1835         tickcolor: "rgb(220, 220, 220)"
1836         tickmode: "linear"
1837         tickfont:
1838           size: 14
1839         zeroline: False
1840       yaxis:
1841         title: "<b>Bandwidth [Gbps]</b>"
1842         titlefont:
1843           size: 14
1844         gridcolor: "rgb(230, 230, 230)"
1845         hoverformat: ".4s"
1846         linecolor: "rgb(220, 220, 220)"
1847         linewidth: 1
1848         rangemode: "tozero"
1849         showgrid: True
1850         showline: True
1851         showticklabels: True
1852         tickcolor: "rgb(230, 230, 230)"
1853         tickformat: ".3s"
1854         tickfont:
1855           size: 14
1856         zeroline: False
1857       autosize: False
1858       margin:
1859         t: 50
1860         b: 20
1861         l: 80
1862         r: 20
1863       showlegend: True
1864       legend:
1865         orientation: "h"
1866         font:
1867           size: 14
1868       width: 700
1869       height: 800
1870       paper_bgcolor: "#fff"
1871       plot_bgcolor: "#fff"
1872       hoverlabel:
1873         namelength: -1
1874
1875     plot-throughput:
1876       titlefont:
1877         size: 16
1878       xaxis:
1879         title: "<b>Test Cases [Index]</b>"
1880         titlefont:
1881           size: 14
1882         autorange: True
1883         fixedrange: False
1884         gridcolor: "rgb(230, 230, 230)"
1885         linecolor: "rgb(220, 220, 220)"
1886         linewidth: 1
1887         showgrid: True
1888         showline: True
1889         showticklabels: True
1890         tickcolor: "rgb(220, 220, 220)"
1891         tickmode: "linear"
1892         tickfont:
1893           size: 14
1894         zeroline: False
1895       yaxis:
1896         title: "<b>Packet Throughput [Mpps]</b>"
1897         titlefont:
1898           size: 14
1899         gridcolor: "rgb(230, 230, 230)"
1900         hoverformat: ".4r"
1901         tickformat: ".3r"
1902         linecolor: "rgb(220, 220, 220)"
1903         linewidth: 1
1904         showgrid: True
1905         showline: True
1906         showticklabels: True
1907         tickcolor: "rgb(220, 220, 220)"
1908         tickfont:
1909           size: 14
1910         zeroline: False
1911         range: [0,50]
1912       autosize: False
1913       margin:
1914         t: 50
1915         b: 0
1916         l: 80
1917         r: 20
1918       showlegend: True
1919       legend:
1920         orientation: "h"
1921         font:
1922           size: 14
1923       width: 700
1924       height: 900
1925       paper_bgcolor: "#fff"
1926       plot_bgcolor: "#fff"
1927       hoverlabel:
1928         namelength: -1
1929
1930     plot-throughput-gbps:
1931       titlefont:
1932         size: 16
1933       xaxis:
1934         title: "<b>Test Cases [Index]</b>"
1935         titlefont:
1936           size: 14
1937         autorange: True
1938         fixedrange: False
1939         gridcolor: "rgb(230, 230, 230)"
1940         linecolor: "rgb(220, 220, 220)"
1941         linewidth: 1
1942         showgrid: True
1943         showline: True
1944         showticklabels: True
1945         tickcolor: "rgb(220, 220, 220)"
1946         tickmode: "linear"
1947         tickfont:
1948           size: 14
1949         zeroline: False
1950       yaxis:
1951         title: "<b>Packet Throughput [Gbps]</b>"
1952         titlefont:
1953           size: 14
1954         gridcolor: "rgb(230, 230, 230)"
1955         hoverformat: ".4r"
1956         tickformat: ".3r"
1957         linecolor: "rgb(220, 220, 220)"
1958         linewidth: 1
1959         showgrid: True
1960         showline: True
1961         showticklabels: True
1962         tickcolor: "rgb(220, 220, 220)"
1963         tickfont:
1964           size: 14
1965         zeroline: False
1966         range: [0,10]
1967       autosize: False
1968       margin:
1969         t: 50
1970         b: 0
1971         l: 80
1972         r: 20
1973       showlegend: True
1974       legend:
1975         orientation: "h"
1976         font:
1977           size: 14
1978       width: 700
1979       height: 900
1980       paper_bgcolor: "#fff"
1981       plot_bgcolor: "#fff"
1982       hoverlabel:
1983         namelength: -1
1984
1985     plot-cps:
1986       titlefont:
1987         size: 16
1988       xaxis:
1989         title: "<b>Test Cases [Index]</b>"
1990         titlefont:
1991           size: 14
1992         autorange: True
1993         fixedrange: False
1994         gridcolor: "rgb(230, 230, 230)"
1995         linecolor: "rgb(220, 220, 220)"
1996         linewidth: 1
1997         showgrid: True
1998         showline: True
1999         showticklabels: True
2000         tickcolor: "rgb(220, 220, 220)"
2001         tickmode: "linear"
2002         tickfont:
2003           size: 14
2004         zeroline: False
2005       yaxis:
2006         title: "<b>Connection Rate [Mcps]</b>"
2007         titlefont:
2008           size: 14
2009         gridcolor: "rgb(230, 230, 230)"
2010         hoverformat: ".4r"
2011         tickformat: ".3s"
2012         linecolor: "rgb(220, 220, 220)"
2013         linewidth: 1
2014         showgrid: True
2015         showline: True
2016         showticklabels: True
2017         tickcolor: "rgb(220, 220, 220)"
2018         tickfont:
2019           size: 14
2020         zeroline: False
2021         range: [0,10]
2022       autosize: False
2023       margin:
2024         t: 50
2025         b: 0
2026         l: 80
2027         r: 20
2028       showlegend: True
2029       legend:
2030         orientation: "h"
2031         font:
2032           size: 14
2033       width: 700
2034       height: 900
2035       paper_bgcolor: "#fff"
2036       plot_bgcolor: "#fff"
2037       hoverlabel:
2038         namelength: -1
2039
2040     plot-throughput-speedup-analysis:
2041       titlefont:
2042         size: 16
2043       xaxis:
2044         title: "<b>Number of Cores [Qty]</b>"
2045         titlefont:
2046           size: 14
2047         autorange: True
2048         fixedrange: False
2049         gridcolor: "rgb(230, 230, 230)"
2050         linecolor: "rgb(220, 220, 220)"
2051         linewidth: 1
2052         showgrid: True
2053         showline: True
2054         showticklabels: True
2055         tickcolor: "rgb(238, 238, 238)"
2056         tickmode: "linear"
2057         tickfont:
2058           size: 14
2059         zeroline: False
2060       yaxis:
2061         title: "<b>Packet Throughput [Mpps]</b>"
2062         titlefont:
2063           size: 14
2064         type: "linear"
2065         gridcolor: "rgb(230, 230, 230)"
2066         hoverformat: ".4s"
2067         linecolor: "rgb(220, 220, 220)"
2068         linewidth: 1
2069         showgrid: True
2070         showline: True
2071         showticklabels: True
2072         tickcolor: "rgb(220, 220, 220)"
2073         tickformat: ".4s"
2074         tickfont:
2075           size: 14
2076         zeroline: True
2077         rangemode: "tozero"
2078         range: [0,100]
2079       legend:
2080         orientation: "h"
2081         font:
2082           size: 14
2083         xanchor: "left"
2084         yanchor: "top"
2085         x: 0
2086         y: -0.2
2087         bgcolor: "rgba(255, 255, 255, 0)"
2088         bordercolor: "rgba(255, 255, 255, 0)"
2089         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2090       autosize: False
2091       margin:
2092           't': 50
2093           'b': 150
2094           'l': 85
2095           'r': 10
2096       showlegend: True
2097       width: 700
2098       height: 700
2099       paper_bgcolor: "#fff"
2100       plot_bgcolor: "#fff"
2101       hoverlabel:
2102         namelength: -1
2103       annotations: [
2104         {
2105           text: "_ _          __          ...",
2106           align: "left",
2107           showarrow: False,
2108           xref: "paper",
2109           yref: "paper",
2110           xanchor: "left",
2111           yanchor: "top",
2112           x: 0,
2113           y: -0.14,
2114           font: {
2115             family: "Consolas, Courier New",
2116             size: 13
2117           },
2118         },
2119         {
2120           text: "    Perfect     Measured     Limit",
2121           align: "left",
2122           showarrow: False,
2123           xref: "paper",
2124           yref: "paper",
2125           xanchor: "left",
2126           yanchor: "top",
2127           x: 0,
2128           y: -0.15,
2129           font: {
2130             family: "Consolas, Courier New",
2131             size: 13
2132           },
2133         },
2134       ]
2135
2136     plot-throughput-speedup-analysis-gbps:
2137       titlefont:
2138         size: 16
2139       xaxis:
2140         title: "<b>Number of Cores [Qty]</b>"
2141         titlefont:
2142           size: 14
2143         autorange: True
2144         fixedrange: False
2145         gridcolor: "rgb(230, 230, 230)"
2146         linecolor: "rgb(220, 220, 220)"
2147         linewidth: 1
2148         showgrid: True
2149         showline: True
2150         showticklabels: True
2151         tickcolor: "rgb(238, 238, 238)"
2152         tickmode: "linear"
2153         tickfont:
2154           size: 14
2155         zeroline: False
2156       yaxis:
2157         title: "<b>Packet Throughput [Gbps]</b>"
2158         titlefont:
2159           size: 14
2160         type: "linear"
2161         gridcolor: "rgb(230, 230, 230)"
2162         hoverformat: ".4s"
2163         linecolor: "rgb(220, 220, 220)"
2164         linewidth: 1
2165         showgrid: True
2166         showline: True
2167         showticklabels: True
2168         tickcolor: "rgb(220, 220, 220)"
2169         tickformat: ".4s"
2170         tickfont:
2171           size: 14
2172         zeroline: True
2173         rangemode: "tozero"
2174         range: [0,100]
2175       legend:
2176         orientation: "h"
2177         font:
2178           size: 14
2179         xanchor: "left"
2180         yanchor: "top"
2181         x: 0
2182         y: -0.2
2183         bgcolor: "rgba(255, 255, 255, 0)"
2184         bordercolor: "rgba(255, 255, 255, 0)"
2185         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2186       autosize: False
2187       margin:
2188           't': 50
2189           'b': 150
2190           'l': 85
2191           'r': 10
2192       showlegend: True
2193       width: 700
2194       height: 700
2195       paper_bgcolor: "#fff"
2196       plot_bgcolor: "#fff"
2197       hoverlabel:
2198         namelength: -1
2199       annotations: [
2200         {
2201           text: "_ _          __",
2202           align: "left",
2203           showarrow: False,
2204           xref: "paper",
2205           yref: "paper",
2206           xanchor: "left",
2207           yanchor: "top",
2208           x: 0,
2209           y: -0.13,
2210           font: {
2211             family: "Consolas, Courier New",
2212             size: 13
2213           },
2214         },
2215         {
2216           text: "    Perfect     Measured",
2217           align: "left",
2218           showarrow: False,
2219           xref: "paper",
2220           yref: "paper",
2221           xanchor: "left",
2222           yanchor: "top",
2223           x: 0,
2224           y: -0.15,
2225           font: {
2226             family: "Consolas, Courier New",
2227             size: 13
2228           },
2229         },
2230       ]
2231
2232     plot-throughput-speedup-analysis-cps:
2233       titlefont:
2234         size: 16
2235       xaxis:
2236         title: "<b>Number of Cores [Qty]</b>"
2237         titlefont:
2238           size: 14
2239         autorange: True
2240         fixedrange: False
2241         gridcolor: "rgb(230, 230, 230)"
2242         linecolor: "rgb(220, 220, 220)"
2243         linewidth: 1
2244         showgrid: True
2245         showline: True
2246         showticklabels: True
2247         tickcolor: "rgb(238, 238, 238)"
2248         tickmode: "linear"
2249         tickfont:
2250           size: 14
2251         zeroline: False
2252       yaxis:
2253         title: "<b>Connection Rate [Mcps]</b>"
2254         titlefont:
2255           size: 14
2256         type: "linear"
2257         gridcolor: "rgb(230, 230, 230)"
2258         hoverformat: ".4s"
2259         linecolor: "rgb(220, 220, 220)"
2260         linewidth: 1
2261         showgrid: True
2262         showline: True
2263         showticklabels: True
2264         tickcolor: "rgb(220, 220, 220)"
2265         tickformat: ".4s"
2266         tickfont:
2267           size: 14
2268         zeroline: True
2269         rangemode: "tozero"
2270         range: [0,100]
2271       legend:
2272         orientation: "h"
2273         font:
2274           size: 14
2275         xanchor: "left"
2276         yanchor: "top"
2277         x: 0
2278         y: -0.2
2279         bgcolor: "rgba(255, 255, 255, 0)"
2280         bordercolor: "rgba(255, 255, 255, 0)"
2281         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2282       autosize: False
2283       margin:
2284           't': 50
2285           'b': 150
2286           'l': 85
2287           'r': 10
2288       showlegend: True
2289       width: 700
2290       height: 700
2291       paper_bgcolor: "#fff"
2292       plot_bgcolor: "#fff"
2293       hoverlabel:
2294         namelength: -1
2295       annotations: [
2296         {
2297           text: "_ _          __",
2298           align: "left",
2299           showarrow: False,
2300           xref: "paper",
2301           yref: "paper",
2302           xanchor: "left",
2303           yanchor: "top",
2304           x: 0,
2305           y: -0.13,
2306           font: {
2307             family: "Consolas, Courier New",
2308             size: 13
2309           },
2310         },
2311         {
2312           text: "    Perfect     Measured",
2313           align: "left",
2314           showarrow: False,
2315           xref: "paper",
2316           yref: "paper",
2317           xanchor: "left",
2318           yanchor: "top",
2319           x: 0,
2320           y: -0.15,
2321           font: {
2322             family: "Consolas, Courier New",
2323             size: 13
2324           },
2325         },
2326       ]
2327
2328     plot-latency:
2329       titlefont:
2330         size: 16
2331       xaxis:
2332         title: "<b>Direction</b>"
2333         titlefont:
2334           size: 14
2335         autorange: True
2336         fixedrange: False
2337         gridcolor: "rgb(230, 230, 230)"
2338         linecolor: "rgb(220, 220, 220)"
2339         linewidth: 1
2340         showgrid: True
2341         showline: True
2342         showticklabels: False
2343         tickcolor: "rgb(220, 220, 220)"
2344         tickmode: "linear"
2345         tickfont:
2346           size: 14
2347         zeroline: False
2348       yaxis:
2349         title: "<b>Packet Latency [uSec]</b>"
2350         titlefont:
2351           size: 14
2352         type: "linear"
2353         gridcolor: "rgb(230, 230, 230)"
2354         hoverformat: ".4s"
2355         linecolor: "rgb(220, 220, 220)"
2356         linewidth: 1
2357         showgrid: True
2358         showline: True
2359         showticklabels: True
2360         tickcolor: "rgb(220, 220, 220)"
2361         tickformat: ".4s"
2362         tickfont:
2363           size: 14
2364         zeroline: True
2365         rangemode: "tozero"
2366       legend:
2367         orientation: "h"
2368         font:
2369           size: 14
2370         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
2371       autosize: False
2372       margin:
2373           't': 50
2374           'b': 150
2375           'l': 80
2376           'r': 10
2377       showlegend: True
2378       width: 700
2379       height: 700
2380       paper_bgcolor: "#fff"
2381       plot_bgcolor: "#fff"
2382       hoverlabel:
2383         namelength: -1
2384
2385     plot-hdrh-latency:
2386       title:
2387         text: ""
2388         xanchor: "center"
2389         x: 0.5
2390         font:
2391           size: 16
2392       width: 700
2393       plot_bgcolor: "white"
2394       annotations:
2395         - font:
2396             size: 14
2397           showarrow: False
2398           text: "<b>Packet Latency [uSec]</b>"
2399           x: 1
2400           xanchor: "right"
2401           xref: "paper"
2402           y: -0.045
2403           yanchor: "top"
2404           yref: "paper"
2405         - font:
2406             size: 14
2407           showarrow: False
2408           text: "<b>Probability [%]</b>"
2409           textangle: 270
2410           x: -0.06
2411           xanchor: "center"
2412           xref: "paper"
2413           y: 0.5
2414           yanchor: "middle"
2415           yref: "paper"
2416         - font:
2417             size: 14
2418           showarrow: False
2419           text: "<b>Direction: E-W</b>"
2420           x: 0.24
2421           xanchor: "center"
2422           xref: "paper"
2423           y: 1.05
2424           yanchor: "bottom"
2425           yref: "paper"
2426         - font:
2427             size: 14
2428           showarrow: False
2429           text: "<b>Direction: W-E</b>"
2430           x: 0.74
2431           xanchor: "center"
2432           xref: "paper"
2433           y: 1.05
2434           yanchor: "bottom"
2435           yref: "paper"
2436
2437     plot-hdrh-latency-percentile:
2438       title:
2439         text: ""
2440         xanchor: "center"
2441         x: 0.5
2442         font:
2443           size: 16
2444       xaxis:
2445         type: "log"
2446         title: "<b>Percentile [%]</b>"
2447         titlefont:
2448           size: 14
2449         autorange: True
2450         fixedrange: False
2451         gridcolor: "rgb(230, 230, 230)"
2452         linecolor: "rgb(220, 220, 220)"
2453         linewidth: 1
2454         showgrid: True
2455         showline: True
2456         showticklabels: True
2457         tickcolor: "rgb(220, 220, 220)"
2458         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2459         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2460         tickfont:
2461           size: 14
2462       yaxis:
2463         title: "<b>Packet Latency [uSec]</b>"
2464         titlefont:
2465           size: 14
2466         gridcolor: "rgb(230, 230, 230)"
2467         linecolor: "rgb(220, 220, 220)"
2468         linewidth: 1
2469         showgrid: True
2470         showline: True
2471         showticklabels: True
2472         tickcolor: "rgb(220, 220, 220)"
2473         tickfont:
2474           size: 14
2475       autosize: False
2476       showlegend: True
2477       legend:
2478         traceorder: "normal"
2479         orientation: "h"
2480         font:
2481           size: 14
2482         xanchor: "left"
2483         yanchor: "top"
2484         x: 0
2485         y: -0.15
2486         bgcolor: "rgba(255, 255, 255, 0)"
2487         bordercolor: "rgba(255, 255, 255, 0)"
2488       width: 700
2489       height: 700
2490       paper_bgcolor: "white"
2491       plot_bgcolor: "white"
2492
2493     plot-hdrh-latency-by-percentile:
2494       title:
2495         text: "<b>Latency by Percentile Distribution</b>"
2496         xanchor: "center"
2497         x: 0.5
2498         font:
2499           size: 18
2500       showlegend: True
2501       legend:
2502         traceorder: "normal"
2503         orientation: "h"
2504         font:
2505           size: 16
2506         xanchor: "left"
2507         yanchor: "top"
2508         x: 0
2509         y: -0.2
2510         bgcolor: "rgba(255, 255, 255, 0)"
2511         bordercolor: "rgba(255, 255, 255, 0)"
2512       xaxis:
2513         type: "linear"
2514         title: "<b>Percentile [%]</b>"
2515         titlefont:
2516           size: 14
2517         autorange: False
2518         fixedrange: False
2519         range: [0, 100]
2520         gridcolor: "rgb(230, 230, 230)"
2521         linecolor: "rgb(220, 220, 220)"
2522         linewidth: 1
2523         showgrid: True
2524         showline: True
2525         showticklabels: True
2526         tickcolor: "rgb(220, 220, 220)"
2527         tickvals: [0, 25, 50, 75, 100]
2528         ticktext: [0, 25, 50, 75, 100]
2529         tickfont:
2530           size: 14
2531       yaxis:
2532         title: "<b>One-Way Latency per Direction [uSec]</b>"
2533         titlefont:
2534           size: 14
2535         gridcolor: "rgb(230, 230, 230)"
2536         linecolor: "rgb(220, 220, 220)"
2537         linewidth: 1
2538         showgrid: True
2539         showline: True
2540         showticklabels: True
2541         tickcolor: "rgb(220, 220, 220)"
2542         tickfont:
2543           size: 14
2544       width: 700
2545       height: 700
2546       paper_bgcolor: "white"
2547       plot_bgcolor: "white"
2548
2549 - type: "static"
2550   src-path: "{DIR[RST]}"
2551   dst-path: "{DIR[WORKING,SRC]}"
2552
2553 - type: "input"
2554   general:
2555     file-name: "output_info.xml.gz"
2556     file-format: ".gz"
2557     arch-file-format:
2558       - ".gz"
2559       - ".zip"
2560     download-path: "{job}/{build}/archives/{filename}"
2561     extract: "output.xml"
2562
2563     zip-file-name: "robot-plugin.zip"
2564     zip-file-format: ".zip"
2565     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2566     zip-extract: "robot-plugin/output.xml"
2567
2568   builds:
2569
2570     csit-vpp-perf-verify-2001-3n-hsw:
2571       - 17  # MRR sel
2572     csit-vpp-perf-report-iterative-2005-3n-hsw:
2573       - 20  # NDRPDR sel env 4
2574       - 21  # NDRPDR sel env 4
2575       - 22  # NDRPDR sel env 4
2576       - 23  # NDRPDR sel env 4
2577       - 24  # NDRPDR sel env 4
2578       - 25  # NDRPDR sel env 4
2579       - 26  # NDRPDR sel env 4
2580       - 27  # NDRPDR sel env 4
2581       - 28  # NDRPDR sel env 4
2582       - 29  # NDRPDR sel env 4
2583       - 30  # MRR env 4
2584       - 31  # NDRPDR sel 2001.0-4
2585       - 32  # NDRPDR sel 2001.0-4
2586       - 33  # NDRPDR sel 2001.0-4
2587       - 34  # NDRPDR sel 2001.0-4
2588       - 35  # NDRPDR sel 2001.0-4
2589       - 36  # NDRPDR sel 2001.0-4
2590       - 38  # NDRPDR sel 2001.0-4
2591     csit-vpp-perf-report-iterative-2009-3n-hsw:
2592       - 18  # rls2005 MRR iter env 5
2593       - 9   # rls2005 NDRPDR iter env 5
2594       - 10  # rls2005 NDRPDR iter env 5
2595       - 11  # rls2005 NDRPDR iter env 5
2596       - 12  # rls2005 NDRPDR iter env 5
2597       - 13  # rls2005 NDRPDR iter env 5
2598       - 14  # rls2005 NDRPDR iter env 5
2599       - 15  # rls2005 NDRPDR iter env 5
2600       - 16  # rls2005 NDRPDR iter env 5
2601       - 17  # rls2005 NDRPDR iter env 5
2602       - 19  # rls2005 NDRPDR iter env 5
2603       - 23  # rls2009 MRR iter env 5
2604       - 21  # rls2009 NDRPDR iter env 5
2605       - 22  # rls2009 NDRPDR iter env 5
2606       - 24  # rls2009 NDRPDR iter env 5
2607       - 25  # rls2009 NDRPDR iter env 5
2608       - 26  # rls2009 NDRPDR iter env 5
2609       - 27  # rls2009 NDRPDR iter env 5
2610       - 28  # rls2009 NDRPDR iter env 5
2611       - 29  # rls2009 NDRPDR iter env 5
2612       - 30  # rls2009 NDRPDR iter env 5
2613       - 31  # rls2009 NDRPDR iter env 5
2614       - 32  # rls2009 Hoststack iter env 5
2615       - 33  # rls2009 Hoststack iter env 5
2616       - 34  # rls2009 Hoststack iter env 5
2617       - 35  # rls2009 Hoststack iter env 5
2618       - 36  # rls2009 Hoststack iter env 5
2619       - 37  # rls2009 Hoststack iter env 5
2620       - 38  # rls2009 Hoststack iter env 5
2621       - 39  # rls2009 Hoststack iter env 5
2622       - 40  # rls2009 Hoststack iter env 5
2623       - 41  # rls2009 Hoststack iter env 5
2624     csit-vpp-perf-report-coverage-2009-3n-hsw:
2625       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2626       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2627       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2628       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2629       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2630       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2631       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2632       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2633       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2634       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2635       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2636       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2637       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2638       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2639       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2640       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2641       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2642       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2643       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2644       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2645       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2646       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2647       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2648       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2649       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2650       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2651       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2652       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2653       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2654       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2655       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2656       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2657       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2658       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2659       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2660
2661     csit-vpp-perf-verify-2001-3n-skx:
2662       - 50  # MRR sel
2663       - 53  # MRR sel addition
2664     csit-vpp-perf-report-iterative-2005-3n-skx:
2665       - 4   # NDRPDR sel
2666       - 5   # NDRPDR sel ??? all x710 failed
2667       - 33  # NDRPDR sel
2668       - 28  # NDRPDR sel
2669       - 34  # NDRPDR sel
2670       - 42  # NDRPDR sel env 4
2671       - 43  # NDRPDR sel env 4
2672       - 44  # NDRPDR sel env 4
2673       - 45  # NDRPDR sel env 4
2674       - 47  # NDRPDR sel env 4
2675       - 55  # NDRPDR sel env 4
2676       - 56  # NDRPDR sel env 4
2677       - 57  # NDRPDR sel env 4
2678       - 61  # NDRPDR sel env 4
2679       - 62  # NDRPDR sel env 4
2680       - 50  # NDRPDR sel 2001.0-4
2681       - 51  # NDRPDR sel 2001.0-4
2682       - 52  # NDRPDR sel 2001.0-4
2683       - 53  # NDRPDR sel 2001.0-4
2684       - 54  # NDRPDR sel 2001.0-4
2685       - 49  # MRR sel env 4
2686     csit-vpp-perf-report-iterative-2009-3n-skx:
2687       - 17  # rls2005 MRR iter env 5
2688       - 13  # rls2005 NDRPDR iter env 5
2689       - 18  # rls2005 NDRPDR iter env 5
2690       - 19  # rls2005 NDRPDR iter env 5
2691       - 41  # rls2005 NDRPDR iter env 5
2692       - 43  # rls2005 NDRPDR iter env 5
2693       - 44  # rls2005 NDRPDR iter env 5
2694       - 45  # rls2005 NDRPDR iter env 5
2695       - 46  # rls2005 NDRPDR iter env 5
2696       - 48  # rls2005 NDRPDR iter env 5
2697       - 49  # rls2005 NDRPDR iter env 5
2698       - 24  # rls2009 MRR iter env 5
2699       - 26  # rls2009 NDRPDR iter env 5
2700       - 27  # rls2009 NDRPDR iter env 5
2701       - 28  # rls2009 NDRPDR iter env 5
2702       - 29  # rls2009 NDRPDR iter env 5
2703       - 35  # rls2009 NDRPDR iter env 5
2704       - 36  # rls2009 NDRPDR iter env 5
2705       - 37  # rls2009 NDRPDR iter env 5
2706       - 38  # rls2009 NDRPDR iter env 5
2707       - 39  # rls2009 NDRPDR iter env 5
2708       - 40  # rls2009 NDRPDR iter env 5
2709     csit-vpp-perf-report-coverage-2009-3n-skx:
2710       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2711       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2712       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2713       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2714       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2715       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2716       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2717       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2718       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2719       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2720       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2721       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2722       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2723       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2724       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2725       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2726       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2727       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2728       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2729       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2730       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2731       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2732       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2733       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2734       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2735       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2736       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2737       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2738       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2739       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2740       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2741       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2742       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2743       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2744       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2745       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2746
2747     csit-vpp-perf-verify-2001-2n-skx:
2748       - 101  # MRR sel - old
2749       - 128  # MRR sel addition - old
2750     csit-vpp-perf-report-iterative-2005-2n-skx:
2751       - 88  # NDRPDR sel env 4
2752       - 89  # NDRPDR sel env 4
2753       - 90  # NDRPDR sel env 4
2754       - 91  # NDRPDR sel env 4
2755       - 92  # NDRPDR sel env 4
2756       - 93  # NDRPDR sel env 4
2757       - 94  # NDRPDR sel env 4
2758       - 125 # NDRPDR sel env 4
2759       - 126 # NDRPDR sel env 4
2760       - 127 # NDRPDR sel env 4
2761       - 100 # NDRPDR sel 2001.0-4
2762       - 101 # NDRPDR sel 2001.0-4
2763       - 102 # NDRPDR sel 2001.0-4
2764       - 103 # NDRPDR sel 2001.0-4
2765       - 104 # NDRPDR sel 2001.0-4
2766       - 105 # NDRPDR sel 2001.0-4
2767       - 99  # MRR sel env 4
2768     csit-vpp-perf-report-iterative-2009-2n-skx:
2769       - 20  # rls2005 MRR iter env 5
2770       - 13  # rls2005 NDRPDR iter env 5
2771       - 16  # rls2005 NDRPDR iter env 5
2772       - 17  # rls2005 NDRPDR iter env 5
2773       - 18  # rls2005 NDRPDR iter env 5
2774       - 19  # rls2005 NDRPDR iter env 5
2775       - 21  # rls2005 NDRPDR iter env 5
2776       - 22  # rls2005 NDRPDR iter env 5
2777       - 23  # rls2005 NDRPDR iter env 5
2778       - 24  # rls2005 NDRPDR iter env 5
2779       - 25  # rls2005 NDRPDR iter env 5
2780       - 120 # rls2009 MRR iter env 5
2781       - 35  # rls2009 NDRPDR iter env 5
2782       - 36  # rls2009 NDRPDR iter env 5
2783       - 37  # rls2009 NDRPDR iter env 5
2784       - 39  # rls2009 NDRPDR iter env 5
2785       - 40  # rls2009 NDRPDR iter env 5
2786       - 42  # rls2009 NDRPDR iter env 5
2787       - 43  # rls2009 NDRPDR iter env 5
2788       - 44  # rls2009 NDRPDR iter env 5
2789       - 46  # rls2009 NDRPDR iter env 5
2790       - 48  # rls2009 NDRPDR iter env 5
2791       - 110 # rls2009 NDRPDR iter NAT44 env 5
2792       - 111 # rls2009 NDRPDR iter NAT44 env 5
2793       - 112 # rls2009 NDRPDR iter NAT44 env 5
2794       - 113 # rls2009 NDRPDR iter NAT44 env 5
2795       - 114 # rls2009 NDRPDR iter NAT44 env 5
2796       - 115 # rls2009 NDRPDR iter NAT44 env 5
2797       - 116 # rls2009 NDRPDR iter NAT44 env 5
2798       - 118 # rls2009 NDRPDR iter NAT44 env 5
2799       - 119 # rls2009 NDRPDR iter NAT44 env 5
2800       - 121 # rls2009 NDRPDR iter NAT44 env 5
2801       - 38  # rls2009 nf-density iter env 5
2802       - 41  # rls2009 nf-density iter env 5
2803       - 45  # rls2009 nf-density iter env 5
2804       - 47  # rls2009 nf-density iter env 5
2805       - 49  # rls2009 nf-density iter env 5
2806       - 63  # rls2009 nf-density iter env 5
2807       - 65  # rls2009 nf-density iter env 5
2808       - 66  # rls2009 nf-density iter env 5
2809       - 71  # rls2009 nf-density iter env 5
2810       - 72  # rls2009 nf-density iter env 5
2811       - 50  # rls2009 MRR nf-density iter env 5
2812       - 27  # rls2009 reconf env 5
2813       - 28  # rls2009 reconf env 5
2814       - 29  # rls2009 reconf env 5
2815       - 30  # rls2009 reconf env 5
2816       - 31  # rls2009 reconf env 5
2817       - 32  # rls2009 reconf env 5
2818       - 61  # rls2009 reconf env 5
2819       - 62  # rls2009 reconf env 5
2820       - 68  # rls2009 reconf env 5
2821       - 70  # rls2009 reconf env 5
2822       - 33  # rls2009 soak env 5
2823       - 34  # rls2009 soak env 5
2824     csit-vpp-perf-report-coverage-2009-2n-skx:
2825       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2826       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2827       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2828       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2829       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2830       - 31  # rls2009 NDRPDR cov 2n-skx-ip4-05
2831       - 32  # rls2009 NDRPDR cov 2n-skx-ip4-06
2832       - 33  # rls2009 NDRPDR cov 2n-skx-ip4-07
2833       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2834       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2835       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2836       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2837       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2838       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2839       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2840       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2841       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2842
2843     csit-vpp-perf-verify-2001-2n-clx:
2844       - 39  # MRR
2845     csit-vpp-perf-report-iterative-2005-2n-clx:
2846       - 62  # NDRPDR sel env 4
2847       - 63  # NDRPDR sel env 4
2848       - 64  # NDRPDR sel env 4
2849       - 65  # NDRPDR sel env 4
2850       - 66  # NDRPDR sel env 4
2851       - 68  # NDRPDR sel env 4
2852       - 69  # NDRPDR sel env 4
2853       - 70  # NDRPDR sel env 4
2854       - 103 # NDRPDR sel env 4
2855       - 104 # NDRPDR sel env 4
2856       - 73  # NDRPDR sel 2001.0-4
2857       - 74  # NDRPDR sel 2001.0-4
2858       - 75  # NDRPDR sel 2001.0-4
2859       - 76  # NDRPDR sel 2001.0-4
2860       - 77  # NDRPDR sel 2001.0-4
2861       - 78  # NDRPDR sel 2001.0-4
2862       - 79  # NDRPDR sel 2001.0-4
2863       - 80  # NDRPDR sel 2001.0-4
2864       - 72  # MRR env 4
2865     csit-vpp-perf-report-iterative-2009-2n-clx:
2866       - 77  # rls2005 MRR iter env 5
2867       - 13  # rls2005 NDRPDR iter env 5
2868       - 15  # rls2005 NDRPDR iter env 5
2869       - 17  # rls2005 NDRPDR iter env 5
2870       - 18  # rls2005 NDRPDR iter env 5
2871       - 19  # rls2005 NDRPDR iter env 5
2872       - 20  # rls2005 NDRPDR iter env 5
2873       - 21  # rls2005 NDRPDR iter env 5
2874       - 22  # rls2005 NDRPDR iter env 5
2875       - 23  # rls2005 NDRPDR iter env 5
2876       - 24  # rls2005 NDRPDR iter env 5
2877       - 125 # rls2009 MRR iter env 5
2878       - 36  # rls2009 NDRPDR iter env 5
2879       - 39  # rls2009 NDRPDR iter env 5
2880       - 40  # rls2009 NDRPDR iter env 5
2881       - 65  # rls2009 NDRPDR iter env 5
2882       - 66  # rls2009 NDRPDR iter env 5
2883       - 79  # rls2009 NDRPDR iter env 5
2884       - 82  # rls2009 NDRPDR iter env 5
2885       - 88  # rls2009 NDRPDR iter env 5
2886       - 89  # rls2009 NDRPDR iter env 5
2887       - 90  # rls2009 NDRPDR iter env 5
2888       - 114 # rls2009 NDRPDR iter NAT44 env 5
2889       - 115 # rls2009 NDRPDR iter NAT44 env 5
2890       - 116 # rls2009 NDRPDR iter NAT44 env 5
2891       - 117 # rls2009 NDRPDR iter NAT44 env 5
2892       - 118 # rls2009 NDRPDR iter NAT44 env 5
2893       - 119 # rls2009 NDRPDR iter NAT44 env 5
2894       - 121 # rls2009 NDRPDR iter NAT44 env 5
2895       - 122 # rls2009 NDRPDR iter NAT44 env 5
2896       - 123 # rls2009 NDRPDR iter NAT44 env 5
2897       - 126 # rls2009 NDRPDR iter NAT44 env 5
2898       - 37  # rls2009 nf-density iter env 5
2899       - 43  # rls2009 nf-density iter env 5
2900       - 69  # rls2009 nf-density iter env 5
2901       - 70  # rls2009 nf-density iter env 5
2902       - 71  # rls2009 nf-density iter env 5
2903       - 72  # rls2009 nf-density iter env 5
2904       - 73  # rls2009 nf-density iter env 5
2905       - 74  # rls2009 nf-density iter env 5
2906       - 75  # rls2009 nf-density iter env 5
2907       - 76  # rls2009 nf-density iter env 5
2908       - 45  # rls2009 MRR nf-density iter env 5
2909       - 25  # rls2009 reconf env 5
2910       - 27  # rls2009 reconf env 5
2911       - 28  # rls2009 reconf env 5
2912       - 29  # rls2009 reconf env 5
2913       - 30  # rls2009 reconf env 5
2914       - 30  # rls2009 reconf env 5
2915       - 32  # rls2009 reconf env 5
2916       - 48  # rls2009 reconf env 5
2917       - 53  # rls2009 reconf env 5
2918       - 68  # rls2009 reconf env 5
2919       - 33  # rls2009 soak env 5
2920       - 34  # rls2009 soak env 5
2921     csit-vpp-perf-report-coverage-2009-2n-clx:
2922       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2923       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2924       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2925       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2926       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2927       - 23  # rls2009 NDRPDR cov 2n-clx-ip4-05
2928       - 24  # rls2009 NDRPDR cov 2n-clx-ip4-06
2929       - 25  # rls2009 NDRPDR cov 2n-clx-ip4-07
2930       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2931       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2932       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2933       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2934       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2935       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2936       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2937       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2938       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2939
2940     csit-vpp-perf-report-iterative-2009-2n-zn2:
2941       - 1   # rls2009 MRR iter env 5
2942       - 3   # rls2009 NDRPDR iter env 5
2943       - 4   # rls2009 NDRPDR iter env 5
2944       - 6   # rls2009 NDRPDR iter env 5
2945       - 7   # rls2009 NDRPDR iter env 5
2946       - 8   # rls2009 NDRPDR iter env 5
2947
2948     csit-vpp-perf-verify-2001-3n-tsh:
2949       - 9   # MRR sel
2950     csit-vpp-perf-report-iterative-2005-3n-tsh:
2951       - 23  # NDRPDR sel env 4
2952       - 25  # NDRPDR sel env 4
2953       - 33  # NDRPDR sel env 4
2954       - 34  # NDRPDR sel env 4
2955       - 35  # NDRPDR sel env 4
2956       - 36  # NDRPDR sel env 4
2957       - 37  # NDRPDR sel env 4
2958       - 38  # NDRPDR sel env 4
2959       - 39  # NDRPDR sel env 4
2960       - 40  # NDRPDR sel env 4
2961       - 28  # NDRPDR sel 2001.0-4
2962       - 29  # NDRPDR sel 2001.0-4
2963       - 31  # NDRPDR sel 2001.0-4
2964       - 27  # MRR sel env 4
2965     csit-vpp-perf-report-iterative-2009-3n-tsh:
2966       - 8   # rls2005 NDRPDR iter env 5
2967       - 11  # rls2005 NDRPDR iter env 5
2968       - 12  # rls2005 NDRPDR iter env 5
2969       - 24  # rls2005 NDRPDR iter env 5
2970       - 27  # rls2005 NDRPDR iter env 5
2971       - 29  # rls2005 NDRPDR iter env 5
2972       - 31  # rls2005 NDRPDR iter env 5
2973       - 39  # rls2005 NDRPDR iter env 5
2974       - 40  # rls2005 NDRPDR iter env 5
2975       - 42  # rls2005 NDRPDR iter env 5
2976       - 13  # rls2005 MRR iter env 5
2977       - 14  # rls2009 NDRPDR iter env 5
2978       - 20  # rls2009 NDRPDR iter env 5
2979       - 21  # rls2009 NDRPDR iter env 5
2980       - 22  # rls2009 NDRPDR iter env 5
2981       - 23  # rls2009 NDRPDR iter env 5
2982       - 28  # rls2009 NDRPDR iter env 5
2983       - 30  # rls2009 NDRPDR iter env 5
2984       - 33  # rls2009 NDRPDR iter env 5
2985       - 38  # rls2009 NDRPDR iter env 5
2986       - 41  # rls2009 NDRPDR iter env 5
2987       - 15  # rls2009 MRR iter env 5
2988
2989     csit-vpp-perf-verify-2001-3n-dnv:
2990       - 5   # NDRPDR sel
2991       - 6   # NDRPDR sel
2992       - 7   # NDRPDR sel
2993       - 8   # NDRPDR sel
2994       - 9   # NDRPDR sel
2995       - 10  # NDRPDR sel
2996       - 12  # NDRPDR sel
2997       - 16  # NDRPDR sel
2998       - 17  # NDRPDR sel
2999       - 18  # NDRPDR sel
3000       - 11  # MRR sel
3001     csit-vpp-perf-report-iterative-2009-3n-dnv:
3002       - 16  # rls2005 NDRPDR iter env 5
3003       - 23  # rls2005 NDRPDR iter env 5
3004       - 25  # rls2005 NDRPDR iter env 5
3005       - 26  # rls2005 NDRPDR iter env 5
3006       - 27  # rls2005 NDRPDR iter env 5
3007       - 28  # rls2005 NDRPDR iter env 5
3008       - 29  # rls2005 NDRPDR iter env 5
3009       - 30  # rls2005 NDRPDR iter env 5
3010       - 31  # rls2005 NDRPDR iter env 5
3011       - 32  # rls2005 NDRPDR iter env 5
3012       - 19  # rls2005 MRR iter env 5
3013       - 3   # rls2009 NDRPDR iter env 5
3014       - 6   # rls2009 NDRPDR iter env 5
3015       - 7   # rls2009 NDRPDR iter env 5
3016       - 8   # rls2009 NDRPDR iter env 5
3017       - 10  # rls2009 NDRPDR iter env 5
3018       - 11  # rls2009 NDRPDR iter env 5
3019       - 12  # rls2009 NDRPDR iter env 5
3020       - 14  # rls2009 NDRPDR iter env 5
3021       - 15  # rls2009 NDRPDR iter env 5
3022       - 24  # rls2009 NDRPDR iter env 5
3023       - 22  # rls2009 MRR iter env 5
3024     csit-vpp-perf-report-coverage-2009-3n-dnv:
3025       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
3026       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
3027       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
3028       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
3029       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
3030       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
3031       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
3032       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
3033       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
3034
3035     csit-vpp-perf-verify-2001-2n-dnv:
3036       - 4   # NDRPDR sel
3037       - 5   # NDRPDR sel
3038       - 6   # NDRPDR sel
3039       - 7   # NDRPDR sel
3040       - 8   # NDRPDR sel
3041       - 9   # NDRPDR sel
3042       - 10  # NDRPDR sel
3043       - 11  # NDRPDR sel
3044       - 13  # NDRPDR sel
3045       - 16  # NDRPDR sel
3046       - 12  # MRR sel
3047     csit-vpp-perf-report-iterative-2009-2n-dnv:
3048       - 16  # rls2005 NDRPDR iter env 5
3049       - 17  # rls2005 NDRPDR iter env 5
3050       - 18  # rls2005 NDRPDR iter env 5
3051       - 19  # rls2005 NDRPDR iter env 5
3052       - 21  # rls2005 NDRPDR iter env 5
3053       - 24  # rls2005 NDRPDR iter env 5
3054       - 27  # rls2005 NDRPDR iter env 5
3055       - 28  # rls2005 NDRPDR iter env 5
3056       - 29  # rls2005 NDRPDR iter env 5
3057       - 30  # rls2005 NDRPDR iter env 5
3058       - 23  # rls2005 MRR iter env 5
3059       - 3   # rls2009 NDRPDR iter env 5
3060       - 5   # rls2009 NDRPDR iter env 5
3061       - 6   # rls2009 NDRPDR iter env 5
3062       - 7   # rls2009 NDRPDR iter env 5
3063       - 9   # rls2009 NDRPDR iter env 5
3064       - 10  # rls2009 NDRPDR iter env 5
3065       - 11  # rls2009 NDRPDR iter env 5
3066       - 12  # rls2009 NDRPDR iter env 5
3067       - 14  # rls2009 NDRPDR iter env 5
3068       - 15  # rls2009 NDRPDR iter env 5
3069       - 13  # rls2009 MRR iter env 5
3070     csit-vpp-perf-report-coverage-2009-2n-dnv:
3071       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
3072       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
3073       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
3074       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
3075       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
3076       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
3077
3078     csit-dpdk-perf-verify-2001-3n-hsw:
3079       - 4   # NDRPDR sel
3080       - 5   # NDRPDR sel
3081       - 6   # NDRPDR sel
3082       - 7   # NDRPDR sel
3083       - 8   # NDRPDR sel
3084       - 9   # NDRPDR sel
3085       - 10  # NDRPDR sel
3086       - 11  # NDRPDR sel
3087       - 12  # NDRPDR sel
3088       - 13  # NDRPDR sel
3089       - 15  # NDRPDR sel
3090       - 16  # NDRPDR sel
3091       - 17  # NDRPDR sel
3092       - 18  # NDRPDR sel
3093       - 19  # NDRPDR sel
3094       - 20  # NDRPDR sel
3095       - 21  # NDRPDR sel
3096       - 22  # NDRPDR sel
3097       - 23  # NDRPDR sel
3098       - 24  # NDRPDR sel
3099     csit-dpdk-perf-report-iterative-2005-3n-hsw:
3100       - 25  # NDRPDR iter
3101       - 26  # NDRPDR iter
3102       - 27  # NDRPDR iter
3103       - 28  # NDRPDR iter
3104       - 29  # NDRPDR iter
3105       - 30  # NDRPDR iter
3106       - 31  # NDRPDR iter
3107       - 32  # NDRPDR iter
3108       - 33  # NDRPDR iter
3109       - 34  # NDRPDR iter
3110     csit-dpdk-perf-report-iterative-2009-3n-hsw:
3111       - 6   # NDRPDR iter env5
3112       - 7   # NDRPDR iter env5
3113       - 8   # NDRPDR iter env5
3114       - 9   # NDRPDR iter env5
3115       - 10  # NDRPDR iter env5
3116       - 11  # NDRPDR iter env5
3117       - 12  # NDRPDR iter env5
3118       - 13  # NDRPDR iter env5
3119       - 14  # NDRPDR iter env5
3120       - 15  # NDRPDR iter env5
3121
3122     csit-dpdk-perf-verify-2001-3n-skx:
3123       - 29  # NDRPDR sel xxv710
3124       - 33  # NDRPDR sel xxv710
3125       - 34  # NDRPDR sel xxv710
3126       - 35  # NDRPDR sel xxv710
3127       - 36  # NDRPDR sel xxv710
3128       - 37  # NDRPDR sel xxv710
3129       - 41  # NDRPDR sel xxv710
3130       - 42  # NDRPDR sel xxv710
3131       - 43  # NDRPDR sel xxv710
3132       - 45  # NDRPDR sel xxv710
3133       - 30  # NDRPDR sel x710
3134       - 31  # NDRPDR sel x710
3135       - 32  # NDRPDR sel x710
3136       - 38  # NDRPDR sel x710
3137       - 39  # NDRPDR sel x710
3138       - 40  # NDRPDR sel x710
3139       - 44  # NDRPDR sel x710
3140       - 46  # NDRPDR sel x710
3141       - 47  # NDRPDR sel x710
3142       - 48  # NDRPDR sel x710
3143     csit-dpdk-perf-report-iterative-2005-3n-skx:
3144       - 28  # NDRPDR iter
3145       - 29  # NDRPDR iter
3146       - 30  # NDRPDR iter
3147       - 31  # NDRPDR iter
3148       - 32  # NDRPDR iter
3149       - 33  # NDRPDR iter
3150       - 34  # NDRPDR iter
3151       - 35  # NDRPDR iter
3152       - 36  # NDRPDR iter
3153       - 37  # NDRPDR iter
3154     csit-dpdk-perf-report-iterative-2009-3n-skx:
3155       - 4   # NDRPDR sel env5
3156       - 5   # NDRPDR sel env5
3157       - 6   # NDRPDR sel env5
3158       - 7   # NDRPDR sel env5
3159       - 8   # NDRPDR sel env5
3160       - 9   # NDRPDR sel env5
3161       - 14  # NDRPDR sel env5
3162       - 11  # NDRPDR sel env5
3163       - 12  # NDRPDR sel env5
3164       - 13  # NDRPDR sel env5
3165
3166     csit-dpdk-perf-verify-2001-2n-skx:
3167       - 35  # NDRPDR sel xxv710
3168       - 36  # NDRPDR sel xxv710
3169       - 37  # NDRPDR sel xxv710
3170       - 41  # NDRPDR sel xxv710
3171       - 42  # NDRPDR sel xxv710
3172       - 43  # NDRPDR sel xxv710
3173       - 46  # NDRPDR sel xxv710
3174       - 47  # NDRPDR sel xxv710
3175       - 52  # NDRPDR sel xxv710
3176       - 53  # NDRPDR sel xxv710
3177       - 38  # NDRPDR sel x710
3178       - 39  # NDRPDR sel x710
3179       - 40  # NDRPDR sel x710
3180       - 44  # NDRPDR sel x710
3181       - 45  # NDRPDR sel x710
3182       - 48  # NDRPDR sel x710
3183       - 49  # NDRPDR sel x710
3184       - 50  # NDRPDR sel x710
3185       - 51  # NDRPDR sel x710
3186       - 54  # NDRPDR sel x710
3187     csit-dpdk-perf-report-iterative-2005-2n-skx:
3188       - 20  # NDRPDR iter
3189       - 21  # NDRPDR iter
3190       - 22  # NDRPDR iter
3191       - 23  # NDRPDR iter
3192       - 24  # NDRPDR iter
3193       - 25  # NDRPDR iter
3194       - 26  # NDRPDR iter
3195       - 27  # NDRPDR iter
3196       - 28  # NDRPDR iter
3197       - 29  # NDRPDR iter
3198     csit-dpdk-perf-report-iterative-2009-2n-skx:
3199       - 4   # NDRPDR iter env5
3200       - 5   # NDRPDR iter env5
3201       - 6   # NDRPDR iter env5
3202       - 7   # NDRPDR iter env5
3203       - 8   # NDRPDR iter env5
3204       - 9   # NDRPDR iter env5
3205       - 10  # NDRPDR iter env5
3206       - 11  # NDRPDR iter env5
3207       - 12  # NDRPDR iter env5
3208       - 13  # NDRPDR iter env5
3209
3210     csit-dpdk-perf-verify-2001-2n-clx:
3211       - 15  # NDRPDR sel
3212       - 16  # NDRPDR sel
3213       - 17  # NDRPDR sel
3214       - 18  # NDRPDR sel
3215       - 19  # NDRPDR sel
3216       - 20  # NDRPDR sel
3217       - 21  # NDRPDR sel
3218       - 22  # NDRPDR sel
3219       - 23  # NDRPDR sel
3220       - 24  # NDRPDR sel
3221       - 25  # NDRPDR sel
3222       - 26  # NDRPDR sel
3223       - 27  # NDRPDR sel
3224       - 28  # NDRPDR sel
3225       - 29  # NDRPDR sel
3226       - 30  # NDRPDR sel
3227       - 31  # NDRPDR sel
3228       - 32  # NDRPDR sel
3229       - 33  # NDRPDR sel
3230       - 34  # NDRPDR sel
3231     csit-dpdk-perf-report-iterative-2005-2n-clx:
3232       - 20  # NDRPDR iter
3233       - 21  # NDRPDR iter
3234       - 22  # NDRPDR iter
3235       - 23  # NDRPDR iter
3236       - 24  # NDRPDR iter
3237       - 25  # NDRPDR iter
3238       - 26  # NDRPDR iter
3239       - 27  # NDRPDR iter
3240       - 28  # NDRPDR iter
3241       - 29  # NDRPDR iter
3242     csit-dpdk-perf-report-iterative-2009-2n-clx:
3243       - 4   # NDRPDR iter env5
3244       - 5   # NDRPDR iter env5
3245       - 6   # NDRPDR iter env5
3246       - 7   # NDRPDR iter env5
3247       - 8   # NDRPDR iter env5
3248       - 9   # NDRPDR iter env5
3249       - 10  # NDRPDR iter env5
3250       - 11  # NDRPDR iter env5
3251       - 12  # NDRPDR iter env5
3252       - 13  # NDRPDR iter env5
3253
3254     csit-dpdk-perf-report-iterative-2009-2n-zn2:
3255       - 1   # NDRPDR iter env5
3256
3257 #    csit-dpdk-perf-verify-2001-2n-dnv:
3258 #      - 9   # NDRPDR sel
3259 #      - 10  # NDRPDR sel
3260 #      - 11  # NDRPDR sel
3261 #      - 12  # NDRPDR sel
3262 #      - 13  # NDRPDR sel
3263 #      - 14  # NDRPDR sel
3264 #      - 15  # NDRPDR sel
3265 #      - 16  # NDRPDR sel
3266 #      - 17  # NDRPDR sel
3267 #      - 18  # NDRPDR sel
3268 #    csit-dpdk-perf-report-iterative-2005-2n-dnv:
3269 #      # No data
3270 #    # csit-dpdk-perf-report-iterative-2009-2n-dnv:
3271 #      # No data
3272
3273 #    csit-dpdk-perf-verify-2001-3n-dnv:
3274 #      - 12  # NDRPDR sel
3275 #      - 13  # NDRPDR sel
3276 #      - 14  # NDRPDR sel
3277 #      - 15  # NDRPDR sel
3278 #      - 16  # NDRPDR sel
3279 #      - 17  # NDRPDR sel
3280 #      - 18  # NDRPDR sel
3281 #      - 19  # NDRPDR sel
3282 #      - 20  # NDRPDR sel
3283 #      - 22  # NDRPDR sel
3284 #    csit-dpdk-perf-report-iterative-2005-3n-dnv:
3285 #      # No data
3286 #    # csit-dpdk-perf-report-iterative-2009-3n-dnv:
3287 #      # No data
3288
3289     csit-dpdk-perf-verify-2001-3n-tsh:
3290       - 3   # NDRPDR sel
3291       - 4   # NDRPDR sel
3292       - 5   # NDRPDR sel
3293       - 9   # NDRPDR sel
3294       - 10  # NDRPDR sel
3295       - 11  # NDRPDR sel
3296       - 12  # NDRPDR sel
3297       - 14  # NDRPDR sel
3298       - 15  # NDRPDR sel
3299       - 18  # NDRPDR sel
3300     csit-dpdk-perf-report-iterative-2005-3n-tsh:
3301       - 5   # NDRPDR sel
3302     csit-dpdk-perf-report-iterative-2009-3n-tsh:
3303       - 1   # NDRPDR iter env5
3304       - 2   # NDRPDR iter env5
3305       - 3   # NDRPDR iter env5
3306       - 4   # NDRPDR iter env5
3307       - 5   # NDRPDR iter env5
3308       - 6   # NDRPDR iter env5
3309       - 7   # NDRPDR iter env5
3310       - 9   # NDRPDR iter env5
3311       - 10  # NDRPDR iter env5
3312       - 11  # NDRPDR iter env5
3313
3314     csit-vpp-device-2009-ubuntu1804-1n-skx:
3315       - 131 # rls2009 env 5
3316
3317 - type: "output"
3318   output: "report"
3319   format:
3320     html:
3321     - full
3322     pdf:
3323     - minimal
3324
3325 ################################################################################
3326 ###                               T A B L E S                                ###
3327 ################################################################################
3328
3329 # VPP Soak vs NDR - 2n-skx
3330 - type: "table"
3331   title: "VPP Soak vs NDR 2n-skx"
3332   algorithm: "table_soak_vs_ndr"
3333   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
3334   reference:
3335     title: "NDR"
3336     data: "vpp-soak-vs-ndr-2n-skx-ref"
3337   compare:
3338     title: "Soak"
3339     data: "vpp-soak-vs-ndr-2n-skx-cmp"
3340   data: "vpp-soak-vs-ndr-2n-skx"
3341   include-tests: "NDR"
3342   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3343   parameters:
3344     - "throughput"
3345     - "name"
3346     - "parent"
3347
3348 # VPP Soak vs NDR - 2n-clx
3349 - type: "table"
3350   title: "VPP Soak vs NDR 2n-clx"
3351   algorithm: "table_soak_vs_ndr"
3352   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
3353   reference:
3354     title: "NDR"
3355     data: "vpp-soak-vs-ndr-2n-clx-ref"
3356   compare:
3357     title: "Soak"
3358     data: "vpp-soak-vs-ndr-2n-clx-cmp"
3359   data: "vpp-soak-vs-ndr-2n-clx"
3360   include-tests: "NDR"
3361   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
3362   parameters:
3363     - "throughput"
3364     - "name"
3365     - "parent"
3366
3367 ################################################################################
3368
3369 # VPP Compare NICs 3n-skx 2t1c ndr
3370 - type: "table"
3371   title: "VPP Compare NICs 3n-skx 2t1c ndr"
3372   algorithm: "table_comparison"
3373   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
3374   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3375   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3376   columns:
3377     - title: "x710"
3378       data-set: "vpp-nic-comparison-3n-skx"
3379       tag: "NIC_Intel-X710"
3380     - title: "xxv710"
3381       data-set: "vpp-nic-comparison-3n-skx"
3382       tag: "NIC_Intel-XXV710"
3383   comparisons:
3384     - title: "Diff"
3385       reference: 1
3386       compare: 2
3387   legend:
3388     - ""
3389     - "x710, xxv710 - NICs tested."
3390     - "Diff - difference between x710 and xxv710 NIC."
3391
3392 # VPP Compare NICs 3n-skx 4t2c ndr
3393 - type: "table"
3394   title: "VPP Compare NICs 3n-skx 4t2c ndr"
3395   algorithm: "table_comparison"
3396   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
3397   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3398   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3399   columns:
3400     - title: "x710"
3401       data-set: "vpp-nic-comparison-3n-skx"
3402       tag: "NIC_Intel-X710"
3403     - title: "xxv710"
3404       data-set: "vpp-nic-comparison-3n-skx"
3405       tag: "NIC_Intel-XXV710"
3406   comparisons:
3407     - title: "Diff"
3408       reference: 1
3409       compare: 2
3410   legend:
3411     - ""
3412     - "x710, xxv710 - NICs tested."
3413     - "Diff - difference between x710 and xxv710 NIC."
3414
3415 # VPP Compare NICs 3n-skx 2t1c pdr
3416 - type: "table"
3417   title: "VPP Compare NICs 3n-skx 2t1c pdr"
3418   algorithm: "table_comparison"
3419   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
3420   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3421   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3422   columns:
3423     - title: "x710"
3424       data-set: "vpp-nic-comparison-3n-skx"
3425       tag: "NIC_Intel-X710"
3426     - title: "xxv710"
3427       data-set: "vpp-nic-comparison-3n-skx"
3428       tag: "NIC_Intel-XXV710"
3429   comparisons:
3430     - title: "Diff"
3431       reference: 1
3432       compare: 2
3433   legend:
3434     - ""
3435     - "x710, xxv710 - NICs tested."
3436     - "Diff - difference between x710 and xxv710 NIC."
3437
3438 # VPP Compare NICs 3n-skx 4t2c pdr
3439 - type: "table"
3440   title: "VPP Compare NICs 3n-skx 4t2c pdr"
3441   algorithm: "table_comparison"
3442   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
3443   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3444   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3445   columns:
3446     - title: "x710"
3447       data-set: "vpp-nic-comparison-3n-skx"
3448       tag: "NIC_Intel-X710"
3449     - title: "xxv710"
3450       data-set: "vpp-nic-comparison-3n-skx"
3451       tag: "NIC_Intel-XXV710"
3452   comparisons:
3453     - title: "Diff"
3454       reference: 1
3455       compare: 2
3456   legend:
3457     - ""
3458     - "x710, xxv710 - NICs tested."
3459     - "Diff - difference between x710 and xxv710 NIC."
3460
3461 # VPP Compare NICs 3n-skx 2t1c mrr
3462 - type: "table"
3463   title: "VPP Compare NICs 3n-skx 2t1c mrr"
3464   algorithm: "table_comparison"
3465   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
3466   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3467   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3468   columns:
3469     - title: "x710"
3470       data-set: "vpp-nic-comparison-3n-skx-mrr"
3471       tag: "NIC_Intel-X710"
3472     - title: "xxv710"
3473       data-set: "vpp-nic-comparison-3n-skx-mrr"
3474       tag: "NIC_Intel-XXV710"
3475   comparisons:
3476     - title: "Diff"
3477       reference: 1
3478       compare: 2
3479   legend:
3480     - ""
3481     - "x710, xxv710 - NICs tested."
3482     - "Diff - difference between x710 and xxv710 NIC."
3483
3484 # VPP Compare NICs 3n-skx 4t2c mrr
3485 - type: "table"
3486   title: "VPP Compare NICs 3n-skx 4t2c mrr"
3487   algorithm: "table_comparison"
3488   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
3489   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3490   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3491   columns:
3492     - title: "x710"
3493       data-set: "vpp-nic-comparison-3n-skx-mrr"
3494       tag: "NIC_Intel-X710"
3495     - title: "xxv710"
3496       data-set: "vpp-nic-comparison-3n-skx-mrr"
3497       tag: "NIC_Intel-XXV710"
3498   comparisons:
3499     - title: "Diff"
3500       reference: 1
3501       compare: 2
3502   legend:
3503     - ""
3504     - "x710, xxv710 - NICs tested."
3505     - "Diff - difference between x710 and xxv710 NIC."
3506
3507 # VPP Compare NICs 3n-skx 8t4c mrr
3508 - type: "table"
3509   title: "VPP Compare NICs 3n-skx 8t4c mrr"
3510   algorithm: "table_comparison"
3511   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
3512   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3513   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
3514   columns:
3515     - title: "x710"
3516       data-set: "vpp-nic-comparison-3n-skx-mrr"
3517       tag: "NIC_Intel-X710"
3518     - title: "xxv710"
3519       data-set: "vpp-nic-comparison-3n-skx-mrr"
3520       tag: "NIC_Intel-XXV710"
3521   comparisons:
3522     - title: "Diff"
3523       reference: 1
3524       compare: 2
3525   legend:
3526     - ""
3527     - "x710, xxv710 - NICs tested."
3528     - "Diff - difference between x710 and xxv710 NIC."
3529
3530 # VPP Compare NICs 2n-skx 2t1c ndr
3531 - type: "table"
3532   title: "VPP Compare NICs 2n-skx 2t1c ndr"
3533   algorithm: "table_comparison"
3534   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
3535   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3536   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3537   columns:
3538     - title: "x710"
3539       data-set: "vpp-nic-comparison-2n-skx"
3540       tag: "NIC_Intel-X710"
3541     - title: "xxv710"
3542       data-set: "vpp-nic-comparison-2n-skx"
3543       tag: "NIC_Intel-XXV710"
3544   comparisons:
3545     - title: "Diff"
3546       reference: 1
3547       compare: 2
3548   legend:
3549     - ""
3550     - "x710, xxv710 - NICs tested."
3551     - "Diff - difference between x710 and xxv710 NIC."
3552
3553 # VPP Compare NICs 2n-skx 4t2c ndr
3554 - type: "table"
3555   title: "VPP Compare NICs 2n-skx 4t2c ndr"
3556   algorithm: "table_comparison"
3557   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
3558   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3559   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3560   columns:
3561     - title: "x710"
3562       data-set: "vpp-nic-comparison-2n-skx"
3563       tag: "NIC_Intel-X710"
3564     - title: "xxv710"
3565       data-set: "vpp-nic-comparison-2n-skx"
3566       tag: "NIC_Intel-XXV710"
3567   comparisons:
3568     - title: "Diff"
3569       reference: 1
3570       compare: 2
3571   legend:
3572     - ""
3573     - "x710, xxv710 - NICs tested."
3574     - "Diff - difference between x710 and xxv710 NIC."
3575
3576 # VPP Compare NICs 2n-skx 2t1c pdr
3577 - type: "table"
3578   title: "VPP Compare NICs 2n-skx 2t1c pdr"
3579   algorithm: "table_comparison"
3580   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
3581   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3582   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3583   columns:
3584     - title: "x710"
3585       data-set: "vpp-nic-comparison-2n-skx"
3586       tag: "NIC_Intel-X710"
3587     - title: "xxv710"
3588       data-set: "vpp-nic-comparison-2n-skx"
3589       tag: "NIC_Intel-XXV710"
3590   comparisons:
3591     - title: "Diff"
3592       reference: 1
3593       compare: 2
3594   legend:
3595     - ""
3596     - "x710, xxv710 - NICs tested."
3597     - "Diff - difference between x710 and xxv710 NIC."
3598
3599 # VPP Compare NICs 2n-skx 4t2c pdr
3600 - type: "table"
3601   title: "VPP Compare NICs 2n-skx 4t2c pdr"
3602   algorithm: "table_comparison"
3603   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
3604   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3605   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3606   columns:
3607     - title: "x710"
3608       data-set: "vpp-nic-comparison-2n-skx"
3609       tag: "NIC_Intel-X710"
3610     - title: "xxv710"
3611       data-set: "vpp-nic-comparison-2n-skx"
3612       tag: "NIC_Intel-XXV710"
3613   comparisons:
3614     - title: "Diff"
3615       reference: 1
3616       compare: 2
3617   legend:
3618     - ""
3619     - "x710, xxv710 - NICs tested."
3620     - "Diff - difference between x710 and xxv710 NIC."
3621
3622 # VPP Compare NICs 2n-skx 2t1c mrr
3623 - type: "table"
3624   title: "VPP Compare NICs 2n-skx 2t1c mrr"
3625   algorithm: "table_comparison"
3626   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
3627   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3628   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3629   columns:
3630     - title: "x710"
3631       data-set: "vpp-nic-comparison-2n-skx-mrr"
3632       tag: "NIC_Intel-X710"
3633     - title: "xxv710"
3634       data-set: "vpp-nic-comparison-2n-skx-mrr"
3635       tag: "NIC_Intel-XXV710"
3636   comparisons:
3637     - title: "Diff"
3638       reference: 1
3639       compare: 2
3640   legend:
3641     - ""
3642     - "x710, xxv710 - NICs tested."
3643     - "Diff - difference between x710 and xxv710 NIC."
3644
3645 # VPP Compare NICs 2n-skx 4t2c mrr
3646 - type: "table"
3647   title: "VPP Compare NICs 2n-skx 4t2c mrr"
3648   algorithm: "table_comparison"
3649   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-mrr"
3650   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3651   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3652   columns:
3653     - title: "x710"
3654       data-set: "vpp-nic-comparison-2n-skx-mrr"
3655       tag: "NIC_Intel-X710"
3656     - title: "xxv710"
3657       data-set: "vpp-nic-comparison-2n-skx-mrr"
3658       tag: "NIC_Intel-XXV710"
3659   comparisons:
3660     - title: "Diff"
3661       reference: 1
3662       compare: 2
3663   legend:
3664     - ""
3665     - "x710, xxv710 - NICs tested."
3666     - "Diff - difference between x710 and xxv710 NIC."
3667
3668 # VPP Compare NICs 2n-skx 8t4c mrr
3669 - type: "table"
3670   title: "VPP Compare NICs 2n-skx 8t4c mrr"
3671   algorithm: "table_comparison"
3672   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-8t4c-nics-mrr"
3673   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3674   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
3675   columns:
3676     - title: "x710"
3677       data-set: "vpp-nic-comparison-2n-skx-mrr"
3678       tag: "NIC_Intel-X710"
3679     - title: "xxv710"
3680       data-set: "vpp-nic-comparison-2n-skx-mrr"
3681       tag: "NIC_Intel-XXV710"
3682   comparisons:
3683     - title: "Diff"
3684       reference: 1
3685       compare: 2
3686   legend:
3687     - ""
3688     - "x710, xxv710 - NICs tested."
3689     - "Diff - difference between x710 and xxv710 NIC."
3690
3691 ################################################################################
3692 # VPP
3693
3694 # VPP Performance Changes 3n-hsw 1t1c pdr
3695 - type: "table"
3696   title: "VPP Performance Changes 3n-hsw 1t1c pdr"
3697   algorithm: "table_comparison"
3698   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-hsw-1t1c-pdr"
3699   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3700   filter: "'1T1C' and 'NDRPDR' and 'NIC_Intel-XL710' and not 'NF_DENSITY'"
3701   columns:
3702     - title: "2001.0-4"
3703       data-set: "vpp-performance-changes-3n-hsw-h1"
3704     - title: "2005.0-4"
3705       data-set: "vpp-performance-changes-3n-hsw-ref-env4"
3706     - title: "2005.0-5"
3707       data-set: "vpp-performance-changes-3n-hsw-ref-env5"
3708     - title: "2009.0-5"
3709       data-set: "vpp-performance-changes-3n-hsw-cmp"
3710   comparisons:
3711     - title: "2005.0-5 vs 2005.0-4"
3712       reference: 2
3713       compare: 3
3714 #      rca-file: "rca/rca-3n-hsw-1t1c-pdr-rca1.yaml"
3715     - title: "2009.0-5 vs 2005.0-5"
3716       reference: 3
3717       compare: 4
3718 #      rca-file: "rca/rca-3n-hsw-1t1c-pdr-rca2.yaml"
3719   legend:
3720     - ''
3721     - 'Test Case:            Test cases executed for: PDR throughput on 3n-hsw with xl710.'
3722     - 'YYMM.V-E:             [Mpps +- StDev] results for VPP (YY year, MM month, V minor version) tested in CSIT (E environment version, "2" for CSIT rls2001, "4" for CSIT rls2005).'
3723     - 'YYMM.V-E vs YYMM.V-E: [% +- StDev] Relative difference, latter is the base. [N] for Root Cause Analysis (RCA) reference, see RCA list below.'
3724     - '2005.0-5 vs 2005.0-4: Compares CSIT environment current vs previous with previous VPP code.'