Report: Configure rls2009.45
[csit.git] / resources / tools / presentation / specification.yaml
1 - type: "environment"
2
3   paths:
4     # Top level directories:
5     ## Working directory
6     DIR[WORKING]: "_tmp"
7     ## Build directories
8     DIR[BUILD,HTML]: "_build"
9     DIR[BUILD,LATEX]: "_build_latex"
10
11     # Static .rst files
12     DIR[RST]: "../../../docs/report"
13
14     # Working directories
15     ## Input data files (.zip, .xml)
16     DIR[WORKING,DATA]: "{DIR[WORKING]}/data"
17     ## Static source files from git
18     DIR[WORKING,SRC]: "{DIR[WORKING]}/src"
19     DIR[WORKING,SRC,STATIC]: "{DIR[WORKING,SRC]}/_static"
20
21     # Static html content
22     DIR[STATIC]: "{DIR[BUILD,HTML]}/_static"
23     DIR[STATIC,VPP]: "{DIR[STATIC]}/vpp"
24     DIR[STATIC,DPDK]: "{DIR[STATIC]}/dpdk"
25     DIR[STATIC,ARCH]: "{DIR[STATIC]}/archive"
26
27     # Detailed test results
28     DIR[DTR]: "{DIR[WORKING,SRC]}/detailed_test_results"
29     DIR[DTR,PERF,DPDK,3N,HSW]: "{DIR[DTR]}/dpdk_performance_results_3n_hsw"
30     DIR[DTR,PERF,DPDK,3N,SKX]: "{DIR[DTR]}/dpdk_performance_results_3n_skx"
31     DIR[DTR,PERF,DPDK,2N,SKX]: "{DIR[DTR]}/dpdk_performance_results_2n_skx"
32     DIR[DTR,PERF,DPDK,2N,CLX]: "{DIR[DTR]}/dpdk_performance_results_2n_clx"
33     DIR[DTR,PERF,DPDK,2N,DNV]: "{DIR[DTR]}/dpdk_performance_results_2n_dnv"
34     DIR[DTR,PERF,DPDK,3N,DNV]: "{DIR[DTR]}/dpdk_performance_results_3n_dnv"
35     DIR[DTR,PERF,DPDK,3N,TSH]: "{DIR[DTR]}/dpdk_performance_results_3n_tsh"
36     DIR[DTR,PERF,VPP,ALL]: "{DIR[DTR]}/vpp_performance_results"
37     DIR[DTR,PERF,VPP,3N,HSW]: "{DIR[DTR]}/vpp_performance_results_3n_hsw"
38     DIR[DTR,PERF,VPP,3N,SKX]: "{DIR[DTR]}/vpp_performance_results_3n_skx"
39     DIR[DTR,PERF,VPP,2N,SKX]: "{DIR[DTR]}/vpp_performance_results_2n_skx"
40     DIR[DTR,PERF,VPP,2N,CLX]: "{DIR[DTR]}/vpp_performance_results_2n_clx"
41     DIR[DTR,PERF,VPP,3N,TSH]: "{DIR[DTR]}/vpp_performance_results_3n_tsh"
42     DIR[DTR,PERF,VPP,3N,DNV]: "{DIR[DTR]}/vpp_performance_results_3n_dnv"
43     DIR[DTR,PERF,VPP,2N,DNV]: "{DIR[DTR]}/vpp_performance_results_2n_dnv"
44     DIR[DTR,MRR,VPP,ALL]: "{DIR[DTR]}/vpp_mrr_results"
45     DIR[DTR,MRR,VPP,3N,HSW]: "{DIR[DTR]}/vpp_mrr_results_3n_hsw"
46     DIR[DTR,MRR,VPP,3N,SKX]: "{DIR[DTR]}/vpp_mrr_results_3n_skx"
47     DIR[DTR,MRR,VPP,2N,SKX]: "{DIR[DTR]}/vpp_mrr_results_2n_skx"
48     DIR[DTR,MRR,VPP,2N,CLX]: "{DIR[DTR]}/vpp_mrr_results_2n_clx"
49     DIR[DTR,MRR,VPP,3N,TSH]: "{DIR[DTR]}/vpp_mrr_results_3n_tsh"
50     DIR[DTR,MRR,VPP,3N,DNV]: "{DIR[DTR]}/vpp_mrr_results_3n_dnv"
51     DIR[DTR,MRR,VPP,2N,DNV]: "{DIR[DTR]}/vpp_mrr_results_2n_dnv"
52     DIR[DTR,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTR]}/vpp_device_results_ubuntu"
53
54     # Detailed test configurations
55     DIR[DTC]: "{DIR[WORKING,SRC]}/test_configuration"
56     DIR[DTC,PERF,VPP,ALL]: "{DIR[DTC]}/vpp_performance_configuration"
57     DIR[DTC,PERF,VPP,3N,HSW]: "{DIR[DTC]}/vpp_performance_configuration_3n_hsw"
58     DIR[DTC,PERF,VPP,3N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_3n_skx"
59     DIR[DTC,PERF,VPP,2N,SKX]: "{DIR[DTC]}/vpp_performance_configuration_2n_skx"
60     DIR[DTC,PERF,VPP,2N,CLX]: "{DIR[DTC]}/vpp_performance_configuration_2n_clx"
61     DIR[DTC,PERF,VPP,3N,TSH]: "{DIR[DTC]}/vpp_performance_configuration_3n_tsh"
62     DIR[DTC,PERF,VPP,3N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_3n_dnv"
63     DIR[DTC,PERF,VPP,2N,DNV]: "{DIR[DTC]}/vpp_performance_configuration_2n_dnv"
64     DIR[DTC,MRR,VPP,ALL]: "{DIR[DTC]}/vpp_mrr_configuration"
65     DIR[DTC,MRR,VPP,3N,HSW]: "{DIR[DTC]}/vpp_mrr_configuration_3n_hsw"
66     DIR[DTC,MRR,VPP,3N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_3n_skx"
67     DIR[DTC,MRR,VPP,2N,SKX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_skx"
68     DIR[DTC,MRR,VPP,2N,CLX]: "{DIR[DTC]}/vpp_mrr_configuration_2n_clx"
69     DIR[DTC,MRR,VPP,3N,TSH]: "{DIR[DTC]}/vpp_mrr_configuration_3n_tsh"
70     DIR[DTC,MRR,VPP,3N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_3n_dnv"
71     DIR[DTC,MRR,VPP,2N,DNV]: "{DIR[DTC]}/vpp_mrr_configuration_2n_dnv"
72     DIR[DTC,FUNC,VPP,DEVICE,UBUNTU]: "{DIR[DTC]}/vpp_device_configuration_ubuntu"
73
74     # Detailed tests operational data
75     DIR[DTO]: "{DIR[WORKING,SRC]}/test_operational_data"
76     DIR[DTO,PERF,VPP,ALL]: "{DIR[DTO]}/vpp_performance_operational_data"
77     DIR[DTO,PERF,VPP,3N,HSW]: "{DIR[DTO]}/vpp_performance_operational_data_3n_hsw"
78     DIR[DTO,PERF,VPP,3N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_3n_skx"
79     DIR[DTO,PERF,VPP,2N,SKX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_skx"
80     DIR[DTO,PERF,VPP,2N,CLX]: "{DIR[DTO]}/vpp_performance_operational_data_2n_clx"
81     DIR[DTO,PERF,VPP,3N,TSH]: "{DIR[DTO]}/vpp_performance_operational_data_3n_tsh"
82     DIR[DTO,PERF,VPP,3N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_3n_dnv"
83     DIR[DTO,PERF,VPP,2N,DNV]: "{DIR[DTO]}/vpp_performance_operational_data_2n_dnv"
84
85     # Latencies:
86     DIR[LAT,VPP]: "{DIR[WORKING,SRC]}/vpp_performance_tests/hdrh_packet_latency_by_percentile_graphs"
87     DIR[LAT,DPDK]: "{DIR[WORKING,SRC]}/dpdk_performance_tests/hdrh_packet_latency_by_percentile_graphs"
88
89     # .css patch file to fix tables generated by Sphinx
90     DIR[CSS_PATCH_FILE]: "{DIR[STATIC]}/theme_overrides.css"
91     DIR[CSS_PATCH_FILE2]: "{DIR[WORKING,SRC,STATIC]}/theme_overrides.css"
92
93   urls:
94     URL[JENKINS,CSIT]: "https://jenkins.fd.io/view/csit/job"
95     URL[JENKINS,HC]: "https://jenkins.fd.io/view/hc2vpp/job"
96     URL[NEXUS,LOG]: "https://logs.fd.io/production/vex-yul-rot-jenkins-1"
97     URL[NEXUS,DOC]: "https://docs.fd.io/csit"
98     DIR[NEXUS,DOC]: "report/_static/archive"
99
100   make-dirs:
101   # List the directories which are created while preparing the environment.
102   # All directories MUST be defined in "paths" section.
103   - "DIR[WORKING,DATA]"
104   - "DIR[STATIC,VPP]"
105   - "DIR[STATIC,DPDK]"
106   - "DIR[STATIC,ARCH]"
107   - "DIR[BUILD,LATEX]"
108   - "DIR[WORKING,SRC]"
109   - "DIR[WORKING,SRC,STATIC]"
110
111   remove-dirs:
112   # List the directories which are deleted while cleaning the environment.
113   # All directories MUST be defined in "paths" section.
114   #- "DIR[BUILD,HTML]"
115   - "DIR[WORKING,DATA]"
116
117   build-dirs:
118   # List the directories where the results (build) is stored.
119   # All directories MUST be defined in "paths" section.
120   - "DIR[BUILD,HTML]"
121   - "DIR[BUILD,LATEX]"
122
123 - type: "configuration"
124
125   mapping-file: "mapping_report.yaml"
126
127   limits:
128     nic:
129       x520: 24460000
130       x553: 29761905
131       x710: 35800000
132       xxv710: 35800000
133       xl710: 35800000
134       cx556a: 148809523.81
135
136     link:
137       10ge: 14880952.38
138       25ge: 37202380.95
139       40ge: 59523809.52
140       100ge: 148809523.81
141
142     pci:
143       pci-g3-x8: 74404761.90
144       pci-g3-x16: 148809523.81
145
146   data-sets:
147
148     ###########################################################################
149     # Plots:
150
151     # 3n-hsw
152
153     plot-vpp-throughput-lat-tsa-3n-hsw:
154       csit-vpp-perf-report-iterative-2009-3n-hsw:
155         - 21  # rls2009 NDRPDR iter env 5
156         - 22  # rls2009 NDRPDR iter env 5
157         - 24  # rls2009 NDRPDR iter env 5
158         - 25  # rls2009 NDRPDR iter env 5
159         - 26  # rls2009 NDRPDR iter env 5
160         - 27  # rls2009 NDRPDR iter env 5
161         - 28  # rls2009 NDRPDR iter env 5
162         - 29  # rls2009 NDRPDR iter env 5
163         - 30  # rls2009 NDRPDR iter env 5
164         - 31  # rls2009 NDRPDR iter env 5
165
166     plot-vpp-hdrh-lat-3n-hsw:
167       csit-vpp-perf-report-iterative-2009-3n-hsw:
168         - 22  # rls2009 NDRPDR iter env 5
169
170     plot-vpp-hoststack-3n-hsw:
171       csit-vpp-perf-report-iterative-2009-3n-hsw:
172         - 32  # rls2009 Hoststack iter env 5
173         - 33  # rls2009 Hoststack iter env 5
174         - 34  # rls2009 Hoststack iter env 5
175         - 35  # rls2009 Hoststack iter env 5
176         - 36  # rls2009 Hoststack iter env 5
177         - 37  # rls2009 Hoststack iter env 5
178         - 38  # rls2009 Hoststack iter env 5
179         - 39  # rls2009 Hoststack iter env 5
180         - 40  # rls2009 Hoststack iter env 5
181         - 41  # rls2009 Hoststack iter env 5
182
183     plot-dpdk-throughput-latency-3n-hsw:
184       csit-dpdk-perf-report-iterative-2009-3n-hsw:
185         - 6   # NDRPDR iter env5
186         - 7   # NDRPDR iter env5
187         - 8   # NDRPDR iter env5
188         - 9   # NDRPDR iter env5
189         - 10  # NDRPDR iter env5
190         - 11  # NDRPDR iter env5
191         - 12  # NDRPDR iter env5
192         - 13  # NDRPDR iter env5
193         - 14  # NDRPDR iter env5
194         - 15  # NDRPDR iter env5
195
196     plot-dpdk-hdrh-lat-3n-hsw:
197       csit-dpdk-perf-report-iterative-2009-3n-hsw:
198         - 6   # NDRPDR iter env5
199
200     # 3n-skx
201
202     plot-vpp-throughput-lat-tsa-3n-skx:
203       csit-vpp-perf-report-iterative-2009-3n-skx:
204         - 26  # rls2009 NDRPDR iter env 5
205         - 27  # rls2009 NDRPDR iter env 5
206         - 28  # rls2009 NDRPDR iter env 5
207         - 29  # rls2009 NDRPDR iter env 5
208         - 35  # rls2009 NDRPDR iter env 5
209         - 36  # rls2009 NDRPDR iter env 5
210         - 37  # rls2009 NDRPDR iter env 5
211         - 38  # rls2009 NDRPDR iter env 5
212         - 39  # rls2009 NDRPDR iter env 5
213         - 40  # rls2009 NDRPDR iter env 5
214
215     plot-vpp-hdrh-lat-3n-skx:
216       csit-vpp-perf-report-iterative-2009-3n-skx:
217         - 27  # rls2009 NDRPDR iter env 5
218
219 #    plot-vpp-nfv-3n-skx-ndrpdr:
220 #      # No data
221 #      csit-vpp-perf-report-iterative-2009-3n-skx:
222
223 #    plot-vpp-nfv-3n-skx-mrr:
224 #      # No data
225 #      csit-vpp-perf-report-iterative-2009-3n-skx:
226
227     plot-dpdk-throughput-latency-3n-skx:
228       csit-dpdk-perf-report-iterative-2009-3n-skx:
229         - 4   # NDRPDR sel env5
230         - 5   # NDRPDR sel env5
231         - 6   # NDRPDR sel env5
232         - 7   # NDRPDR sel env5
233         - 8   # NDRPDR sel env5
234         - 9   # NDRPDR sel env5
235         - 14  # NDRPDR sel env5
236         - 11  # NDRPDR sel env5
237         - 12  # NDRPDR sel env5
238         - 13  # NDRPDR sel env5
239
240     plot-dpdk-hdrh-lat-3n-skx:
241       csit-dpdk-perf-report-iterative-2009-3n-skx:
242         - 4   # NDRPDR sel env5
243
244     # 2n-skx
245
246     plot-vpp-throughput-lat-tsa-2n-skx:
247       csit-vpp-perf-report-iterative-2009-2n-skx:
248         - 35  # rls2009 NDRPDR iter env 5
249         - 36  # rls2009 NDRPDR iter env 5
250         - 37  # rls2009 NDRPDR iter env 5
251         - 39  # rls2009 NDRPDR iter env 5
252         - 40  # rls2009 NDRPDR iter env 5
253         - 42  # rls2009 NDRPDR iter env 5
254         - 43  # rls2009 NDRPDR iter env 5
255         - 44  # rls2009 NDRPDR iter env 5
256         - 46  # rls2009 NDRPDR iter env 5
257         - 48  # rls2009 NDRPDR iter env 5
258         - 51  # rls2009 NDRPDR iter NAT44 env 5
259         - 52  # rls2009 NDRPDR iter NAT44 env 5
260         - 53  # rls2009 NDRPDR iter NAT44 env 5
261         - 54  # rls2009 NDRPDR iter NAT44 env 5
262         - 55  # rls2009 NDRPDR iter NAT44 env 5
263         - 56  # rls2009 NDRPDR iter NAT44 env 5
264         - 57  # rls2009 NDRPDR iter NAT44 env 5
265         - 58  # rls2009 NDRPDR iter NAT44 env 5
266         - 59  # rls2009 NDRPDR iter NAT44 env 5
267         - 60  # rls2009 NDRPDR iter NAT44 env 5
268
269     plot-vpp-hdrh-lat-2n-skx:
270       csit-vpp-perf-report-iterative-2009-2n-skx:
271         - 35  # rls2009 NDRPDR iter env 5
272
273     plot-vpp-hdrh-lat-2n-skx-nat44:
274       csit-vpp-perf-report-iterative-2009-2n-skx:
275         - 51  # rls2009 NDRPDR iter NAT44 env 5
276
277     plot-vpp-soak-2n-skx:
278       csit-vpp-perf-report-iterative-2009-2n-skx:
279         - 33  # rls2009 soak env 5
280         - 34  # rls2009 soak env 5
281
282     plot-vpp-nfv-2n-skx-ndrpdr:
283       csit-vpp-perf-report-iterative-2009-2n-skx:
284         - 38  # rls2009 nf-density iter env 5
285         - 41  # rls2009 nf-density iter env 5
286         - 45  # rls2009 nf-density iter env 5
287         - 47  # rls2009 nf-density iter env 5
288         - 49  # rls2009 nf-density iter env 5
289         - 63  # rls2009 nf-density iter env 5
290         - 65  # rls2009 nf-density iter env 5
291         - 66  # rls2009 nf-density iter env 5
292         - 71  # rls2009 nf-density iter env 5
293         - 72  # rls2009 nf-density iter env 5
294
295     plot-vpp-nfv-2n-skx-mrr:
296       csit-vpp-perf-report-iterative-2009-2n-skx:
297         - 50  # rls2009 MRR nf-density iter env 5
298
299     plot-vpp-nfv-reconf-2n-skx:
300       csit-vpp-perf-report-iterative-2009-2n-skx:
301         - 27  # rls2009 reconf env 5
302         - 28  # rls2009 reconf env 5
303         - 29  # rls2009 reconf env 5
304         - 30  # rls2009 reconf env 5
305         - 31  # rls2009 reconf env 5
306         - 32  # rls2009 reconf env 5
307         - 61  # rls2009 reconf env 5
308         - 62  # rls2009 reconf env 5
309         - 68  # rls2009 reconf env 5
310         - 70  # rls2009 reconf env 5
311
312     plot-dpdk-throughput-latency-2n-skx:
313       csit-dpdk-perf-report-iterative-2009-2n-skx:
314         - 4   # NDRPDR iter env5
315         - 5   # NDRPDR iter env5
316         - 6   # NDRPDR iter env5
317         - 7   # NDRPDR iter env5
318         - 8   # NDRPDR iter env5
319         - 9   # NDRPDR iter env5
320         - 10  # NDRPDR iter env5
321         - 11  # NDRPDR iter env5
322         - 12  # NDRPDR iter env5
323         - 13  # NDRPDR iter env5
324
325     plot-dpdk-hdrh-lat-2n-skx:
326       csit-dpdk-perf-report-iterative-2009-2n-skx:
327         - 4   # NDRPDR iter env5
328
329     # 2n-clx
330
331     plot-vpp-throughput-lat-tsa-2n-clx:
332       csit-vpp-perf-report-iterative-2009-2n-clx:
333         - 36  # rls2009 NDRPDR iter env 5
334         - 39  # rls2009 NDRPDR iter env 5
335         - 40  # rls2009 NDRPDR iter env 5
336         - 65  # rls2009 NDRPDR iter env 5
337         - 66  # rls2009 NDRPDR iter env 5
338         - 79  # rls2009 NDRPDR iter env 5
339         - 82  # rls2009 NDRPDR iter env 5
340         - 88  # rls2009 NDRPDR iter env 5
341         - 89  # rls2009 NDRPDR iter env 5
342         - 90  # rls2009 NDRPDR iter env 5
343
344     plot-vpp-hdrh-lat-2n-clx:
345       csit-vpp-perf-report-iterative-2009-2n-clx:
346         - 36  # rls2009 NDRPDR iter env 5
347
348     plot-vpp-nfv-2n-clx-ndrpdr:
349       csit-vpp-perf-report-iterative-2009-2n-clx:
350         - 37  # rls2009 nf-density iter env 5
351         - 43  # rls2009 nf-density iter env 5
352         - 69  # rls2009 nf-density iter env 5
353         - 70  # rls2009 nf-density iter env 5
354         - 71  # rls2009 nf-density iter env 5
355         - 72  # rls2009 nf-density iter env 5
356         - 73  # rls2009 nf-density iter env 5
357         - 74  # rls2009 nf-density iter env 5
358         - 75  # rls2009 nf-density iter env 5
359         - 76  # rls2009 nf-density iter env 5
360
361     plot-vpp-nfv-2n-clx-mrr:
362       csit-vpp-perf-report-iterative-2009-2n-clx:
363         - 45  # rls2009 MRR nf-density iter env 5
364
365     plot-vpp-nfv-reconf-2n-clx:
366       csit-vpp-perf-report-iterative-2009-2n-clx:
367         - 25  # rls2009 reconf env 5
368         - 27  # rls2009 reconf env 5
369         - 28  # rls2009 reconf env 5
370         - 29  # rls2009 reconf env 5
371         - 30  # rls2009 reconf env 5
372         - 30  # rls2009 reconf env 5
373         - 32  # rls2009 reconf env 5
374         - 48  # rls2009 reconf env 5
375         - 53  # rls2009 reconf env 5
376         - 68  # rls2009 reconf env 5
377
378     plot-vpp-soak-2n-clx:
379       csit-vpp-perf-report-iterative-2009-2n-clx:
380         - 33  # rls2009 soak env 5
381         - 34  # rls2009 soak env 5
382
383     plot-dpdk-throughput-latency-2n-clx:
384       csit-dpdk-perf-report-iterative-2009-2n-clx:
385         - 4   # NDRPDR iter env5
386         - 5   # NDRPDR iter env5
387         - 6   # NDRPDR iter env5
388         - 7   # NDRPDR iter env5
389         - 8   # NDRPDR iter env5
390         - 9   # NDRPDR iter env5
391         - 10  # NDRPDR iter env5
392         - 11  # NDRPDR iter env5
393         - 12  # NDRPDR iter env5
394         - 13  # NDRPDR iter env5
395
396     plot-dpdk-hdrh-lat-2n-clx:
397       csit-dpdk-perf-report-iterative-2009-2n-clx:
398         - 4   # NDRPDR iter env5
399
400     # 3n-tsh
401
402     plot-vpp-throughput-lat-tsa-3n-tsh:
403       # TODO: Add:
404       csit-vpp-perf-report-iterative-2009-3n-tsh:
405         - 14  # rls2009 NDRPDR iter env 5
406         - 20  # rls2009 NDRPDR iter env 5
407         - 21  # rls2009 NDRPDR iter env 5
408         - 22  # rls2009 NDRPDR iter env 5
409         - 23  # rls2009 NDRPDR iter env 5
410         - 28  # rls2009 NDRPDR iter env 5
411         - 30  # rls2009 NDRPDR iter env 5
412
413     plot-vpp-hdrh-lat-3n-tsh:
414       csit-vpp-perf-report-iterative-2009-3n-tsh:
415         - 14  # rls2009 NDRPDR iter env 5
416
417     plot-dpdk-throughput-latency-3n-tsh:
418       csit-dpdk-perf-report-iterative-2009-3n-tsh:
419         - 1   # NDRPDR iter env5
420         - 2   # NDRPDR iter env5
421         - 3   # NDRPDR iter env5
422         - 4   # NDRPDR iter env5
423         - 5   # NDRPDR iter env5
424         - 6   # NDRPDR iter env5
425         - 7   # NDRPDR iter env5
426         - 9   # NDRPDR iter env5
427         - 10  # NDRPDR iter env5
428         - 11  # NDRPDR iter env5
429
430     plot-dpdk-hdrh-lat-3n-tsh:
431       csit-dpdk-perf-report-iterative-2009-3n-tsh:
432         - 1   # NDRPDR iter env5
433
434     # 3n-dnv
435
436     plot-vpp-throughput-lat-tsa-3n-dnv:
437       csit-vpp-perf-report-iterative-2009-3n-dnv:
438         - 3   # rls2009 NDRPDR iter env 5
439         - 6   # rls2009 NDRPDR iter env 5
440         - 7   # rls2009 NDRPDR iter env 5
441         - 8   # rls2009 NDRPDR iter env 5
442         - 10  # rls2009 NDRPDR iter env 5
443         - 11  # rls2009 NDRPDR iter env 5
444         - 12  # rls2009 NDRPDR iter env 5
445         - 14  # rls2009 NDRPDR iter env 5
446         - 15  # rls2009 NDRPDR iter env 5
447         - 24  # rls2009 NDRPDR iter env 5
448
449 #    plot-dpdk-throughput-latency-3n-dnv:
450 #      # No data
451 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
452
453     # 2n-dnv
454
455     plot-vpp-throughput-lat-tsa-2n-dnv:
456       csit-vpp-perf-report-iterative-2009-2n-dnv:
457         - 3   # rls2009 NDRPDR iter env 5
458         - 5   # rls2009 NDRPDR iter env 5
459         - 6   # rls2009 NDRPDR iter env 5
460         - 7   # rls2009 NDRPDR iter env 5
461         - 9   # rls2009 NDRPDR iter env 5
462         - 10  # rls2009 NDRPDR iter env 5
463         - 11  # rls2009 NDRPDR iter env 5
464         - 12  # rls2009 NDRPDR iter env 5
465         - 14  # rls2009 NDRPDR iter env 5
466         - 15  # rls2009 NDRPDR iter env 5
467
468 #    plot-dpdk-throughput-latency-2n-dnv:
469 #      # No data
470 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
471
472     ###########################################################################
473     # Simple tables (only one data set):
474
475     # NIC Comparisons
476
477     vpp-nic-comparison-3n-skx:
478       csit-vpp-perf-report-iterative-2009-3n-skx:
479         - 26  # rls2009 NDRPDR iter env 5
480         - 27  # rls2009 NDRPDR iter env 5
481         - 28  # rls2009 NDRPDR iter env 5
482         - 29  # rls2009 NDRPDR iter env 5
483         - 35  # rls2009 NDRPDR iter env 5
484         - 36  # rls2009 NDRPDR iter env 5
485         - 37  # rls2009 NDRPDR iter env 5
486         - 38  # rls2009 NDRPDR iter env 5
487         - 39  # rls2009 NDRPDR iter env 5
488         - 40  # rls2009 NDRPDR iter env 5
489
490     vpp-nic-comparison-2n-skx:
491       csit-vpp-perf-report-iterative-2009-2n-skx:
492         - 35  # rls2009 NDRPDR iter env 5
493         - 36  # rls2009 NDRPDR iter env 5
494         - 37  # rls2009 NDRPDR iter env 5
495         - 39  # rls2009 NDRPDR iter env 5
496         - 40  # rls2009 NDRPDR iter env 5
497         - 42  # rls2009 NDRPDR iter env 5
498         - 43  # rls2009 NDRPDR iter env 5
499         - 44  # rls2009 NDRPDR iter env 5
500         - 46  # rls2009 NDRPDR iter env 5
501         - 48  # rls2009 NDRPDR iter env 5
502         - 51  # rls2009 NDRPDR iter NAT44 env 5
503         - 52  # rls2009 NDRPDR iter NAT44 env 5
504         - 53  # rls2009 NDRPDR iter NAT44 env 5
505         - 54  # rls2009 NDRPDR iter NAT44 env 5
506         - 55  # rls2009 NDRPDR iter NAT44 env 5
507         - 56  # rls2009 NDRPDR iter NAT44 env 5
508         - 57  # rls2009 NDRPDR iter NAT44 env 5
509         - 58  # rls2009 NDRPDR iter NAT44 env 5
510         - 59  # rls2009 NDRPDR iter NAT44 env 5
511         - 60  # rls2009 NDRPDR iter NAT44 env 5
512
513     vpp-nic-comparison-3n-skx-mrr:
514       csit-vpp-perf-report-iterative-2009-3n-skx:
515         - 24  # rls2009 MRR iter env 5
516
517     vpp-nic-comparison-2n-skx-mrr:
518       csit-vpp-perf-report-iterative-2009-2n-skx:
519         - 26  # rls2009 MRR iter env 5
520
521     # Results
522
523     vpp-perf-results-3n-hsw:
524       csit-vpp-perf-report-coverage-2009-3n-hsw:
525         - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
526         - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
527         - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
528         - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
529         - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
530         - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
531         - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
532         - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
533         - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
534         - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
535         - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
536         - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
537         - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
538         - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
539         - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
540         - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
541         - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
542         - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
543         - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
544         - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
545         - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
546         - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
547         - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
548         - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
549         - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
550         - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
551         - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
552         - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
553         - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
554         - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
555         - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
556         - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
557         - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
558         - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
559         - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
560
561     vpp-perf-results-3n-skx:
562       csit-vpp-perf-report-coverage-2009-3n-skx:
563         - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
564         - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
565         - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
566         - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
567         - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
568         - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
569         - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
570         - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
571         - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
572         - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
573         - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
574         - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
575         - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
576         - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
577         - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
578         - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
579         - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
580         - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
581         - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
582         - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
583         - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
584         - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
585         - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
586         - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
587         - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
588         - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
589         - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
590         - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
591         - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
592         - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
593         - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
594         - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
595         - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
596         - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
597         - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
598         - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
599
600     vpp-perf-results-2n-skx:
601       csit-vpp-perf-report-coverage-2009-2n-skx:
602         - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
603         - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
604         - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
605         - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
606         - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
607         - 13  # rls2009 NDRPDR cov 2n-skx-ip4-05
608         - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
609         - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
610         - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
611         - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
612         - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
613         - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
614         - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
615         - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
616         - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
617
618     vpp-perf-results-2n-clx:
619       csit-vpp-perf-report-coverage-2009-2n-clx:
620         - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
621         - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
622         - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
623         - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
624         - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
625         - 7   # rls2009 NDRPDR cov 2n-clx-ip4-05
626         - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
627         - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
628         - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
629         - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
630         - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
631         - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
632         - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
633         - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
634         - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
635
636     vpp-perf-results-3n-tsh:
637       csit-vpp-perf-report-iterative-2009-3n-tsh:
638         - 14  # rls2009 NDRPDR iter env 5
639
640     vpp-perf-results-3n-dnv:
641       csit-vpp-perf-report-coverage-2009-3n-dnv:
642         - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
643         - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
644         - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
645         - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
646         - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
647         - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
648         - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
649         - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
650         - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
651
652     vpp-perf-results-2n-dnv:
653       csit-vpp-perf-report-coverage-2009-2n-dnv:
654         - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
655         - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
656         - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
657         - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
658         - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
659         - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
660
661     vpp-mrr-results-3n-hsw:
662       csit-vpp-perf-report-iterative-2009-3n-hsw:
663         - 23  # rls2009 MRR iter env 5
664
665     vpp-mrr-results-3n-skx:
666       csit-vpp-perf-report-iterative-2009-3n-skx:
667         - 24  # rls2009 MRR iter env 5
668
669     vpp-mrr-results-2n-skx:
670       csit-vpp-perf-report-iterative-2009-2n-skx:
671         - 26  # rls2009 MRR iter env 5
672
673     vpp-mrr-results-2n-clx:
674       csit-vpp-perf-report-iterative-2009-2n-clx:
675         - 78  # rls2009 MRR iter env 5
676
677     vpp-mrr-results-3n-tsh:
678       csit-vpp-perf-report-iterative-2009-3n-tsh:
679         - 15  # rls2009 MRR iter env 5
680
681     vpp-mrr-results-3n-dnv:
682       csit-vpp-perf-report-iterative-2009-3n-dnv:
683         - 22  # rls2009 MRR iter env 5
684
685     vpp-mrr-results-2n-dnv:
686       csit-vpp-perf-report-iterative-2009-2n-dnv:
687         - 13  # rls2009 MRR iter env 5
688
689     vpp-device-results-ubuntu:
690       csit-vpp-device-2009-ubuntu1804-1n-skx:
691         - 131 # rls2009 env 5
692
693     dpdk-perf-results-3n-hsw:
694       csit-dpdk-perf-report-iterative-2009-3n-hsw:
695         - 6   # NDRPDR iter env5
696
697     dpdk-perf-results-3n-skx:
698       csit-dpdk-perf-report-iterative-2009-3n-skx:
699         - 4   # NDRPDR sel env5
700
701     dpdk-perf-results-2n-skx:
702       csit-dpdk-perf-report-iterative-2009-2n-skx:
703         - 4   # NDRPDR iter env5
704
705     dpdk-perf-results-2n-clx:
706       csit-dpdk-perf-report-iterative-2009-2n-clx:
707         - 4   # NDRPDR iter env5
708
709 #    dpdk-perf-results-2n-dnv:
710 #      # No data
711 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
712
713 #    dpdk-perf-results-3n-dnv:
714 #      # No data
715 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
716
717     dpdk-perf-results-3n-tsh:
718       csit-dpdk-perf-report-iterative-2009-3n-tsh:
719         - 1   # NDRPDR iter env5
720
721 ###########################################################################
722     # Tables (more than one data set)
723
724     # Performance changes
725
726     vpp-performance-changes-3n-hsw-h1:
727       csit-vpp-perf-report-iterative-2005-3n-hsw:
728         - 31  # NDRPDR sel 2001.0-4
729         - 32  # NDRPDR sel 2001.0-4
730         - 33  # NDRPDR sel 2001.0-4
731         - 34  # NDRPDR sel 2001.0-4
732         - 35  # NDRPDR sel 2001.0-4
733         - 36  # NDRPDR sel 2001.0-4
734         - 38  # NDRPDR sel 2001.0-4
735     vpp-performance-changes-3n-hsw-ref-env4:
736       csit-vpp-perf-report-iterative-2005-3n-hsw:
737         - 20  # NDRPDR sel env 4
738         - 21  # NDRPDR sel env 4
739         - 22  # NDRPDR sel env 4
740         - 23  # NDRPDR sel env 4
741         - 24  # NDRPDR sel env 4
742         - 25  # NDRPDR sel env 4
743         - 26  # NDRPDR sel env 4
744         - 27  # NDRPDR sel env 4
745         - 28  # NDRPDR sel env 4
746         - 29  # NDRPDR sel env 4
747     vpp-performance-changes-3n-hsw-ref-env5:
748       csit-vpp-perf-report-iterative-2009-3n-hsw:
749         - 9   # rls2005 NDRPDR iter env 5
750         - 10  # rls2005 NDRPDR iter env 5
751         - 11  # rls2005 NDRPDR iter env 5
752         - 12  # rls2005 NDRPDR iter env 5
753         - 13  # rls2005 NDRPDR iter env 5
754         - 14  # rls2005 NDRPDR iter env 5
755         - 15  # rls2005 NDRPDR iter env 5
756         - 16  # rls2005 NDRPDR iter env 5
757         - 17  # rls2005 NDRPDR iter env 5
758         - 19  # rls2005 NDRPDR iter env 5
759     vpp-performance-changes-3n-hsw-cmp:
760       csit-vpp-perf-report-iterative-2009-3n-hsw:
761         - 21  # rls2009 NDRPDR iter env 5
762         - 22  # rls2009 NDRPDR iter env 5
763         - 24  # rls2009 NDRPDR iter env 5
764         - 25  # rls2009 NDRPDR iter env 5
765         - 26  # rls2009 NDRPDR iter env 5
766         - 27  # rls2009 NDRPDR iter env 5
767         - 28  # rls2009 NDRPDR iter env 5
768         - 29  # rls2009 NDRPDR iter env 5
769         - 30  # rls2009 NDRPDR iter env 5
770         - 31  # rls2009 NDRPDR iter env 5
771
772     vpp-performance-changes-3n-skx-h1:
773       csit-vpp-perf-report-iterative-2005-3n-skx:
774         - 50  # NDRPDR sel 2001.0-4
775         - 51  # NDRPDR sel 2001.0-4
776         - 52  # NDRPDR sel 2001.0-4
777         - 53  # NDRPDR sel 2001.0-4
778         - 54  # NDRPDR sel 2001.0-4
779     vpp-performance-changes-3n-skx-ref-env4:
780       csit-vpp-perf-report-iterative-2005-3n-skx:
781         - 42  # NDRPDR sel env 4
782         - 43  # NDRPDR sel env 4
783         - 44  # NDRPDR sel env 4
784         - 45  # NDRPDR sel env 4
785         - 47  # NDRPDR sel env 4
786         - 55  # NDRPDR sel env 4
787         - 56  # NDRPDR sel env 4
788         - 57  # NDRPDR sel env 4
789         - 61  # NDRPDR sel env 4
790         - 62  # NDRPDR sel env 4
791     vpp-performance-changes-3n-skx-ref-env5:
792       csit-vpp-perf-report-iterative-2009-3n-skx:
793         - 13  # rls2005 NDRPDR iter env 5
794         - 18  # rls2005 NDRPDR iter env 5
795         - 19  # rls2005 NDRPDR iter env 5
796         - 41  # rls2005 NDRPDR iter env 5
797         - 43  # rls2005 NDRPDR iter env 5
798         - 44  # rls2005 NDRPDR iter env 5
799         - 45  # rls2005 NDRPDR iter env 5
800     vpp-performance-changes-3n-skx-cmp:
801       csit-vpp-perf-report-iterative-2009-3n-skx:
802         - 26  # rls2009 NDRPDR iter env 5
803         - 27  # rls2009 NDRPDR iter env 5
804         - 28  # rls2009 NDRPDR iter env 5
805         - 29  # rls2009 NDRPDR iter env 5
806         - 35  # rls2009 NDRPDR iter env 5
807         - 36  # rls2009 NDRPDR iter env 5
808         - 37  # rls2009 NDRPDR iter env 5
809         - 38  # rls2009 NDRPDR iter env 5
810         - 39  # rls2009 NDRPDR iter env 5
811         - 40  # rls2009 NDRPDR iter env 5
812
813     vpp-performance-changes-2n-skx-h1:
814       csit-vpp-perf-report-iterative-2005-2n-skx:
815         - 100 # NDRPDR sel 2001.0-4
816         - 101 # NDRPDR sel 2001.0-4
817         - 102 # NDRPDR sel 2001.0-4
818         - 103 # NDRPDR sel 2001.0-4
819         - 104 # NDRPDR sel 2001.0-4
820         - 105 # NDRPDR sel 2001.0-4
821     vpp-performance-changes-2n-skx-ref-env4:
822       csit-vpp-perf-report-iterative-2005-2n-skx:
823         - 88  # NDRPDR sel env 4
824         - 89  # NDRPDR sel env 4
825         - 90  # NDRPDR sel env 4
826         - 91  # NDRPDR sel env 4
827         - 92  # NDRPDR sel env 4
828         - 93  # NDRPDR sel env 4
829         - 94  # NDRPDR sel env 4
830         - 125 # NDRPDR sel env 4
831         - 126 # NDRPDR sel env 4
832         - 127 # NDRPDR sel env 4
833     vpp-performance-changes-2n-skx-ref-env5:
834       csit-vpp-perf-report-iterative-2009-2n-skx:
835         - 13  # rls2005 NDRPDR iter env 5
836         - 16  # rls2005 NDRPDR iter env 5
837         - 17  # rls2005 NDRPDR iter env 5
838         - 18  # rls2005 NDRPDR iter env 5
839         - 19  # rls2005 NDRPDR iter env 5
840         - 21  # rls2005 NDRPDR iter env 5
841         - 22  # rls2005 NDRPDR iter env 5
842         - 23  # rls2005 NDRPDR iter env 5
843         - 24  # rls2005 NDRPDR iter env 5
844         - 25  # rls2005 NDRPDR iter env 5
845     vpp-performance-changes-2n-skx-cmp:
846       csit-vpp-perf-report-iterative-2009-2n-skx:
847         - 35  # rls2009 NDRPDR iter env 5
848         - 36  # rls2009 NDRPDR iter env 5
849         - 37  # rls2009 NDRPDR iter env 5
850         - 39  # rls2009 NDRPDR iter env 5
851         - 40  # rls2009 NDRPDR iter env 5
852         - 42  # rls2009 NDRPDR iter env 5
853         - 43  # rls2009 NDRPDR iter env 5
854         - 44  # rls2009 NDRPDR iter env 5
855         - 46  # rls2009 NDRPDR iter env 5
856         - 48  # rls2009 NDRPDR iter env 5
857         - 51  # rls2009 NDRPDR iter NAT44 env 5
858         - 52  # rls2009 NDRPDR iter NAT44 env 5
859         - 53  # rls2009 NDRPDR iter NAT44 env 5
860         - 54  # rls2009 NDRPDR iter NAT44 env 5
861         - 55  # rls2009 NDRPDR iter NAT44 env 5
862         - 56  # rls2009 NDRPDR iter NAT44 env 5
863         - 57  # rls2009 NDRPDR iter NAT44 env 5
864         - 58  # rls2009 NDRPDR iter NAT44 env 5
865         - 59  # rls2009 NDRPDR iter NAT44 env 5
866         - 60  # rls2009 NDRPDR iter NAT44 env 5
867
868     vpp-performance-changes-2n-clx-h1:
869       csit-vpp-perf-report-iterative-2005-2n-clx:
870         - 73  # NDRPDR sel 2001.0-4
871         - 74  # NDRPDR sel 2001.0-4
872         - 75  # NDRPDR sel 2001.0-4
873         - 76  # NDRPDR sel 2001.0-4
874         - 77  # NDRPDR sel 2001.0-4
875         - 78  # NDRPDR sel 2001.0-4
876         - 79  # NDRPDR sel 2001.0-4
877         - 80  # NDRPDR sel 2001.0-4
878     vpp-performance-changes-2n-clx-ref-env4:
879       csit-vpp-perf-report-iterative-2005-2n-clx:
880         - 62  # NDRPDR sel env 4
881         - 63  # NDRPDR sel env 4
882         - 64  # NDRPDR sel env 4
883         - 65  # NDRPDR sel env 4
884         - 66  # NDRPDR sel env 4
885         - 68  # NDRPDR sel env 4
886         - 69  # NDRPDR sel env 4
887         - 70  # NDRPDR sel env 4
888         - 103 # NDRPDR sel env 4
889         - 104 # NDRPDR sel env 4
890     vpp-performance-changes-2n-clx-ref-env5:
891       csit-vpp-perf-report-iterative-2009-2n-clx:
892         - 13  # rls2005 NDRPDR iter env 5
893         - 15  # rls2005 NDRPDR iter env 5
894         - 17  # rls2005 NDRPDR iter env 5
895         - 18  # rls2005 NDRPDR iter env 5
896         - 19  # rls2005 NDRPDR iter env 5
897         - 20  # rls2005 NDRPDR iter env 5
898         - 21  # rls2005 NDRPDR iter env 5
899         - 22  # rls2005 NDRPDR iter env 5
900         - 23  # rls2005 NDRPDR iter env 5
901         - 24  # rls2005 NDRPDR iter env 5
902     vpp-performance-changes-2n-clx-cmp:
903       csit-vpp-perf-report-iterative-2009-2n-clx:
904         - 36  # rls2009 NDRPDR iter env 5
905         - 39  # rls2009 NDRPDR iter env 5
906         - 40  # rls2009 NDRPDR iter env 5
907         - 65  # rls2009 NDRPDR iter env 5
908         - 66  # rls2009 NDRPDR iter env 5
909         - 79  # rls2009 NDRPDR iter env 5
910         - 82  # rls2009 NDRPDR iter env 5
911         - 88  # rls2009 NDRPDR iter env 5
912         - 89  # rls2009 NDRPDR iter env 5
913         - 90  # rls2009 NDRPDR iter env 5
914
915     vpp-performance-changes-2n-dnv-h1:
916       csit-vpp-perf-verify-2001-2n-dnv:
917         - 4   # NDRPDR sel
918         - 5   # NDRPDR sel
919         - 6   # NDRPDR sel
920         - 7   # NDRPDR sel
921         - 8   # NDRPDR sel
922         - 9   # NDRPDR sel
923         - 10  # NDRPDR sel
924         - 11  # NDRPDR sel
925         - 13  # NDRPDR sel
926         - 16  # NDRPDR sel
927     vpp-performance-changes-2n-dnv-ref:
928       csit-vpp-perf-report-iterative-2009-2n-dnv:
929         - 16  # rls2005 NDRPDR iter env 5
930         - 17  # rls2005 NDRPDR iter env 5
931         - 18  # rls2005 NDRPDR iter env 5
932         - 19  # rls2005 NDRPDR iter env 5
933         - 21  # rls2005 NDRPDR iter env 5
934         - 24  # rls2005 NDRPDR iter env 5
935         - 27  # rls2005 NDRPDR iter env 5
936         - 28  # rls2005 NDRPDR iter env 5
937         - 29  # rls2005 NDRPDR iter env 5
938         - 30  # rls2005 NDRPDR iter env 5
939     vpp-performance-changes-2n-dnv-cmp:
940       csit-vpp-perf-report-iterative-2009-2n-dnv:
941         - 3   # rls2009 NDRPDR iter env 5
942         - 5   # rls2009 NDRPDR iter env 5
943         - 6   # rls2009 NDRPDR iter env 5
944         - 7   # rls2009 NDRPDR iter env 5
945         - 9   # rls2009 NDRPDR iter env 5
946         - 10  # rls2009 NDRPDR iter env 5
947         - 11  # rls2009 NDRPDR iter env 5
948         - 12  # rls2009 NDRPDR iter env 5
949         - 14  # rls2009 NDRPDR iter env 5
950         - 15  # rls2009 NDRPDR iter env 5
951
952     vpp-performance-changes-3n-dnv-h1:
953       csit-vpp-perf-verify-2001-3n-dnv:
954         - 5   # NDRPDR sel
955         - 6   # NDRPDR sel
956         - 7   # NDRPDR sel
957         - 8   # NDRPDR sel
958         - 9   # NDRPDR sel
959         - 10  # NDRPDR sel
960         - 12  # NDRPDR sel
961         - 16  # NDRPDR sel
962         - 17  # NDRPDR sel
963         - 18  # NDRPDR sel
964     vpp-performance-changes-3n-dnv-ref:
965       csit-vpp-perf-report-iterative-2009-3n-dnv:
966         - 16  # rls2005 NDRPDR iter env 5
967         - 23  # rls2005 NDRPDR iter env 5
968         - 25  # rls2005 NDRPDR iter env 5
969         - 26  # rls2005 NDRPDR iter env 5
970         - 27  # rls2005 NDRPDR iter env 5
971         - 28  # rls2005 NDRPDR iter env 5
972         - 29  # rls2005 NDRPDR iter env 5
973         - 30  # rls2005 NDRPDR iter env 5
974         - 31  # rls2005 NDRPDR iter env 5
975         - 32  # rls2005 NDRPDR iter env 5
976     vpp-performance-changes-3n-dnv-cmp:
977       csit-vpp-perf-report-iterative-2009-3n-dnv:
978         - 3   # rls2009 NDRPDR iter env 5
979         - 6   # rls2009 NDRPDR iter env 5
980         - 7   # rls2009 NDRPDR iter env 5
981         - 8   # rls2009 NDRPDR iter env 5
982         - 10  # rls2009 NDRPDR iter env 5
983         - 11  # rls2009 NDRPDR iter env 5
984         - 12  # rls2009 NDRPDR iter env 5
985         - 14  # rls2009 NDRPDR iter env 5
986         - 15  # rls2009 NDRPDR iter env 5
987         - 24  # rls2009 NDRPDR iter env 5
988
989     vpp-performance-changes-3n-tsh-h1:
990       csit-vpp-perf-report-iterative-2005-3n-tsh:
991         - 28  # NDRPDR sel 2001.0-4
992         - 29  # NDRPDR sel 2001.0-4
993         - 31  # NDRPDR sel 2001.0-4
994     vpp-performance-changes-3n-tsh-ref-env4:
995       csit-vpp-perf-report-iterative-2005-3n-tsh:
996         - 23  # NDRPDR sel env 4
997         - 25  # NDRPDR sel env 4
998         - 33  # NDRPDR sel env 4
999         - 34  # NDRPDR sel env 4
1000         - 35  # NDRPDR sel env 4
1001         - 36  # NDRPDR sel env 4
1002         - 37  # NDRPDR sel env 4
1003         - 38  # NDRPDR sel env 4
1004         - 39  # NDRPDR sel env 4
1005         - 40  # NDRPDR sel env 4
1006     vpp-performance-changes-3n-tsh-ref-env5:
1007       csit-vpp-perf-report-iterative-2009-3n-tsh:
1008         - 8   # rls2005 NDRPDR iter env 5
1009         - 11  # rls2005 NDRPDR iter env 5
1010         - 12  # rls2005 NDRPDR iter env 5
1011         - 24  # rls2005 NDRPDR iter env 5
1012         - 27  # rls2005 NDRPDR iter env 5
1013         - 29  # rls2005 NDRPDR iter env 5
1014     vpp-performance-changes-3n-tsh-cmp:
1015       # TODO: Add:
1016       csit-vpp-perf-report-iterative-2009-3n-tsh:
1017         - 14  # rls2009 NDRPDR iter env 5
1018         - 20  # rls2009 NDRPDR iter env 5
1019         - 21  # rls2009 NDRPDR iter env 5
1020         - 22  # rls2009 NDRPDR iter env 5
1021         - 23  # rls2009 NDRPDR iter env 5
1022         - 28  # rls2009 NDRPDR iter env 5
1023         - 30  # rls2009 NDRPDR iter env 5
1024
1025     vpp-soak-vs-ndr-2n-skx-ref:
1026       csit-vpp-perf-report-iterative-2009-2n-skx:
1027         - 35  # rls2009 NDRPDR iter env 5
1028         - 36  # rls2009 NDRPDR iter env 5
1029         - 37  # rls2009 NDRPDR iter env 5
1030         - 39  # rls2009 NDRPDR iter env 5
1031         - 40  # rls2009 NDRPDR iter env 5
1032         - 42  # rls2009 NDRPDR iter env 5
1033         - 43  # rls2009 NDRPDR iter env 5
1034         - 44  # rls2009 NDRPDR iter env 5
1035         - 46  # rls2009 NDRPDR iter env 5
1036         - 48  # rls2009 NDRPDR iter env 5
1037     vpp-soak-vs-ndr-2n-skx-cmp:
1038       csit-vpp-perf-report-iterative-2009-2n-skx:
1039         - 33  # rls2009 soak env 5
1040         - 34  # rls2009 soak env 5
1041     vpp-soak-vs-ndr-2n-skx:
1042       csit-vpp-perf-report-iterative-2009-2n-skx:
1043         - 35  # rls2009 NDRPDR iter env 5
1044         - 36  # rls2009 NDRPDR iter env 5
1045         - 37  # rls2009 NDRPDR iter env 5
1046         - 39  # rls2009 NDRPDR iter env 5
1047         - 40  # rls2009 NDRPDR iter env 5
1048         - 42  # rls2009 NDRPDR iter env 5
1049         - 43  # rls2009 NDRPDR iter env 5
1050         - 44  # rls2009 NDRPDR iter env 5
1051         - 46  # rls2009 NDRPDR iter env 5
1052         - 48  # rls2009 NDRPDR iter env 5
1053         - 33  # rls2009 soak env 5
1054         - 34  # rls2009 soak env 5
1055
1056     vpp-soak-vs-ndr-2n-clx-ref:
1057       csit-vpp-perf-report-iterative-2009-2n-clx:
1058         - 36  # rls2009 NDRPDR iter env 5
1059         - 39  # rls2009 NDRPDR iter env 5
1060         - 40  # rls2009 NDRPDR iter env 5
1061         - 65  # rls2009 NDRPDR iter env 5
1062         - 66  # rls2009 NDRPDR iter env 5
1063         - 79  # rls2009 NDRPDR iter env 5
1064         - 82  # rls2009 NDRPDR iter env 5
1065         - 88  # rls2009 NDRPDR iter env 5
1066         - 89  # rls2009 NDRPDR iter env 5
1067         - 90  # rls2009 NDRPDR iter env 5
1068     vpp-soak-vs-ndr-2n-clx-cmp:
1069       csit-vpp-perf-report-iterative-2009-2n-clx:
1070         - 33  # rls2009 soak env 5
1071         - 34  # rls2009 soak env 5
1072     vpp-soak-vs-ndr-2n-clx:
1073       csit-vpp-perf-report-iterative-2009-2n-clx:
1074         - 36  # rls2009 NDRPDR iter env 5
1075         - 39  # rls2009 NDRPDR iter env 5
1076         - 40  # rls2009 NDRPDR iter env 5
1077         - 65  # rls2009 NDRPDR iter env 5
1078         - 66  # rls2009 NDRPDR iter env 5
1079         - 79  # rls2009 NDRPDR iter env 5
1080         - 82  # rls2009 NDRPDR iter env 5
1081         - 88  # rls2009 NDRPDR iter env 5
1082         - 89  # rls2009 NDRPDR iter env 5
1083         - 90  # rls2009 NDRPDR iter env 5
1084         - 33  # rls2009 soak env 5
1085         - 34  # rls2009 soak env 5
1086
1087     vpp-performance-changes-3n-hsw-mrr-h1:
1088       csit-vpp-perf-verify-2001-3n-hsw:
1089         - 17  # MRR sel
1090     vpp-performance-changes-3n-hsw-mrr-ref-env4:
1091       csit-vpp-perf-report-iterative-2005-3n-hsw:
1092         - 30  # MRR env 4
1093     vpp-performance-changes-3n-hsw-mrr-ref-env5:
1094       csit-vpp-perf-report-iterative-2009-3n-hsw:
1095         - 18  # rls2005 MRR iter env 5
1096     vpp-performance-changes-3n-hsw-mrr-cmp:
1097       csit-vpp-perf-report-iterative-2009-3n-hsw:
1098         - 23  # rls2009 MRR iter env 5
1099
1100     vpp-performance-changes-3n-skx-mrr-h1:
1101       csit-vpp-perf-verify-2001-3n-skx:
1102         - 50  # MRR sel
1103         - 53  # MRR sel addition
1104     vpp-performance-changes-3n-skx-mrr-ref-env4:
1105       csit-vpp-perf-report-iterative-2005-3n-skx:
1106         - 49  # MRR sel env 4
1107     vpp-performance-changes-3n-skx-mrr-ref-env5:
1108       csit-vpp-perf-report-iterative-2009-3n-skx:
1109         - 17  # rls2005 MRR iter env 5
1110     vpp-performance-changes-3n-skx-mrr-cmp:
1111       csit-vpp-perf-report-iterative-2009-3n-skx:
1112         - 24  # rls2009 MRR iter env 5
1113
1114     vpp-performance-changes-2n-skx-mrr-h1:
1115       csit-vpp-perf-verify-2001-2n-skx:
1116         - 101 # MRR sel
1117         - 128 # MRR sel addition
1118     vpp-performance-changes-2n-skx-mrr-ref-env4:
1119       csit-vpp-perf-report-iterative-2005-2n-skx:
1120         - 99  # MRR sel env 4
1121     vpp-performance-changes-2n-skx-mrr-ref-env5:
1122       csit-vpp-perf-report-iterative-2009-2n-skx:
1123         - 20  # rls2005 MRR iter env 5
1124     vpp-performance-changes-2n-skx-mrr-cmp:
1125       csit-vpp-perf-report-iterative-2009-2n-skx:
1126         - 26  # rls2009 MRR iter env 5
1127
1128     vpp-performance-changes-2n-clx-mrr-h1:
1129       csit-vpp-perf-verify-2001-2n-clx:
1130         - 39  # MRR
1131     vpp-performance-changes-2n-clx-mrr-ref-env4:
1132       csit-vpp-perf-report-iterative-2005-2n-clx:
1133         - 72   # MRR sel env 4
1134     vpp-performance-changes-2n-clx-mrr-ref-env5:
1135       csit-vpp-perf-report-iterative-2009-2n-clx:
1136         - 77  # rls2005 MRR iter env 5
1137     vpp-performance-changes-2n-clx-mrr-cmp:
1138       csit-vpp-perf-report-iterative-2009-2n-clx:
1139         - 78  # rls2009 MRR iter env 5
1140
1141     vpp-performance-changes-2n-dnv-mrr-h1:
1142       csit-vpp-perf-verify-2001-2n-dnv:
1143         - 12  # MRR sel
1144     vpp-performance-changes-2n-dnv-mrr-ref:
1145       csit-vpp-perf-report-iterative-2009-2n-dnv:
1146         - 23  # rls2005 MRR iter env 5
1147     vpp-performance-changes-2n-dnv-mrr-cmp:
1148       csit-vpp-perf-report-iterative-2009-2n-dnv:
1149         - 13  # rls2009 MRR iter env 5
1150
1151     vpp-performance-changes-3n-dnv-mrr-h1:
1152       csit-vpp-perf-verify-2001-3n-dnv:
1153         - 11  # MRR sel
1154     vpp-performance-changes-3n-dnv-mrr-ref:
1155       csit-vpp-perf-report-iterative-2009-3n-dnv:
1156         - 19  # rls2005 MRR iter env 5
1157     vpp-performance-changes-3n-dnv-mrr-cmp:
1158       csit-vpp-perf-report-iterative-2009-3n-dnv:
1159         - 22  # rls2009 MRR iter env 5
1160
1161     vpp-performance-changes-3n-tsh-mrr-h1:
1162       csit-vpp-perf-verify-2001-3n-tsh:
1163         - 9   # MRR sel
1164     vpp-performance-changes-3n-tsh-mrr-ref-env4:
1165       csit-vpp-perf-report-iterative-2005-3n-tsh:
1166         - 27  # MRR sel env 4
1167     vpp-performance-changes-3n-tsh-mrr-ref-env5:
1168       csit-vpp-perf-report-iterative-2009-3n-tsh:
1169         - 13  # rls2005 MRR iter env 5
1170     vpp-performance-changes-3n-tsh-mrr-cmp:
1171       csit-vpp-perf-report-iterative-2009-3n-tsh:
1172         - 15  # rls2009 MRR iter env 5
1173
1174     dpdk-performance-changes-3n-hsw-h1:
1175       csit-dpdk-perf-verify-2001-3n-hsw:
1176         - 4   # NDRPDR sel
1177         - 5   # NDRPDR sel
1178         - 6   # NDRPDR sel
1179         - 7   # NDRPDR sel
1180         - 8   # NDRPDR sel
1181         - 9   # NDRPDR sel
1182         - 10  # NDRPDR sel
1183         - 11  # NDRPDR sel
1184         - 12  # NDRPDR sel
1185         - 13  # NDRPDR sel
1186         - 15  # NDRPDR sel
1187         - 16  # NDRPDR sel
1188         - 17  # NDRPDR sel
1189         - 18  # NDRPDR sel
1190         - 19  # NDRPDR sel
1191         - 20  # NDRPDR sel
1192         - 21  # NDRPDR sel
1193         - 22  # NDRPDR sel
1194         - 23  # NDRPDR sel
1195         - 24  # NDRPDR sel
1196     dpdk-performance-changes-3n-hsw-ref:
1197       csit-dpdk-perf-report-iterative-2005-3n-hsw:
1198         - 25  # NDRPDR iter
1199         - 26  # NDRPDR iter
1200         - 27  # NDRPDR iter
1201         - 28  # NDRPDR iter
1202         - 29  # NDRPDR iter
1203         - 30  # NDRPDR iter
1204         - 31  # NDRPDR iter
1205         - 32  # NDRPDR iter
1206         - 33  # NDRPDR iter
1207         - 34  # NDRPDR iter
1208     dpdk-performance-changes-3n-hsw-cmp:
1209       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1210         - 6   # NDRPDR iter env5
1211         - 7   # NDRPDR iter env5
1212         - 8   # NDRPDR iter env5
1213         - 9   # NDRPDR iter env5
1214         - 10  # NDRPDR iter env5
1215         - 11  # NDRPDR iter env5
1216         - 12  # NDRPDR iter env5
1217         - 13  # NDRPDR iter env5
1218         - 14  # NDRPDR iter env5
1219         - 15  # NDRPDR iter env5
1220
1221     dpdk-performance-changes-3n-skx-h1:
1222       csit-dpdk-perf-verify-2001-3n-skx:
1223         - 29  # NDRPDR sel xxv710
1224         - 33  # NDRPDR sel xxv710
1225         - 34  # NDRPDR sel xxv710
1226         - 35  # NDRPDR sel xxv710
1227         - 36  # NDRPDR sel xxv710
1228         - 37  # NDRPDR sel xxv710
1229         - 41  # NDRPDR sel xxv710
1230         - 42  # NDRPDR sel xxv710
1231         - 43  # NDRPDR sel xxv710
1232         - 45  # NDRPDR sel xxv710
1233         - 30  # NDRPDR sel x710
1234         - 31  # NDRPDR sel x710
1235         - 32  # NDRPDR sel x710
1236         - 38  # NDRPDR sel x710
1237         - 39  # NDRPDR sel x710
1238         - 40  # NDRPDR sel x710
1239         - 44  # NDRPDR sel x710
1240         - 46  # NDRPDR sel x710
1241         - 47  # NDRPDR sel x710
1242         - 48  # NDRPDR sel x710
1243     dpdk-performance-changes-3n-skx-ref:
1244       csit-dpdk-perf-report-iterative-2005-3n-skx:
1245         - 28  # NDRPDR iter
1246         - 29  # NDRPDR iter
1247         - 30  # NDRPDR iter
1248         - 31  # NDRPDR iter
1249         - 32  # NDRPDR iter
1250         - 33  # NDRPDR iter
1251         - 34  # NDRPDR iter
1252         - 35  # NDRPDR iter
1253         - 36  # NDRPDR iter
1254         - 37  # NDRPDR iter
1255     dpdk-performance-changes-3n-skx-cmp:
1256       csit-dpdk-perf-report-iterative-2009-3n-skx:
1257         - 4   # NDRPDR sel env5
1258         - 5   # NDRPDR sel env5
1259         - 6   # NDRPDR sel env5
1260         - 7   # NDRPDR sel env5
1261         - 8   # NDRPDR sel env5
1262         - 9   # NDRPDR sel env5
1263         - 14  # NDRPDR sel env5
1264         - 11  # NDRPDR sel env5
1265         - 12  # NDRPDR sel env5
1266         - 13  # NDRPDR sel env5
1267
1268     dpdk-performance-changes-2n-skx-h1:
1269       csit-dpdk-perf-verify-2001-2n-skx:
1270         - 35  # NDRPDR sel xxv710
1271         - 36  # NDRPDR sel xxv710
1272         - 37  # NDRPDR sel xxv710
1273         - 41  # NDRPDR sel xxv710
1274         - 42  # NDRPDR sel xxv710
1275         - 43  # NDRPDR sel xxv710
1276         - 46  # NDRPDR sel xxv710
1277         - 47  # NDRPDR sel xxv710
1278         - 52  # NDRPDR sel xxv710
1279         - 53  # NDRPDR sel xxv710
1280         - 38  # NDRPDR sel x710
1281         - 39  # NDRPDR sel x710
1282         - 40  # NDRPDR sel x710
1283         - 44  # NDRPDR sel x710
1284         - 45  # NDRPDR sel x710
1285         - 48  # NDRPDR sel x710
1286         - 49  # NDRPDR sel x710
1287         - 50  # NDRPDR sel x710
1288         - 51  # NDRPDR sel x710
1289         - 54  # NDRPDR sel x710
1290     dpdk-performance-changes-2n-skx-ref:
1291       csit-dpdk-perf-report-iterative-2005-2n-skx:
1292         - 20  # NDRPDR iter
1293         - 21  # NDRPDR iter
1294         - 22  # NDRPDR iter
1295         - 23  # NDRPDR iter
1296         - 24  # NDRPDR iter
1297         - 25  # NDRPDR iter
1298         - 26  # NDRPDR iter
1299         - 27  # NDRPDR iter
1300         - 28  # NDRPDR iter
1301         - 29  # NDRPDR iter
1302     dpdk-performance-changes-2n-skx-cmp:
1303       csit-dpdk-perf-report-iterative-2009-2n-skx:
1304         - 4   # NDRPDR iter env5
1305         - 5   # NDRPDR iter env5
1306         - 6   # NDRPDR iter env5
1307         - 7   # NDRPDR iter env5
1308         - 8   # NDRPDR iter env5
1309         - 9   # NDRPDR iter env5
1310         - 10  # NDRPDR iter env5
1311         - 11  # NDRPDR iter env5
1312         - 12  # NDRPDR iter env5
1313         - 13  # NDRPDR iter env5
1314
1315     dpdk-performance-changes-2n-clx-h1:
1316       csit-dpdk-perf-verify-2001-2n-clx:
1317         - 15  # NDRPDR sel
1318         - 16  # NDRPDR sel
1319         - 17  # NDRPDR sel
1320         - 18  # NDRPDR sel
1321         - 19  # NDRPDR sel
1322         - 20  # NDRPDR sel
1323         - 21  # NDRPDR sel
1324         - 22  # NDRPDR sel
1325         - 23  # NDRPDR sel
1326         - 24  # NDRPDR sel
1327         - 25  # NDRPDR sel
1328         - 26  # NDRPDR sel
1329         - 27  # NDRPDR sel
1330         - 28  # NDRPDR sel
1331         - 29  # NDRPDR sel
1332         - 30  # NDRPDR sel
1333         - 31  # NDRPDR sel
1334         - 32  # NDRPDR sel
1335         - 33  # NDRPDR sel
1336         - 34  # NDRPDR sel
1337     dpdk-performance-changes-2n-clx-ref:
1338       csit-dpdk-perf-report-iterative-2005-2n-clx:
1339         - 20  # NDRPDR iter
1340         - 21  # NDRPDR iter
1341         - 22  # NDRPDR iter
1342         - 23  # NDRPDR iter
1343         - 24  # NDRPDR iter
1344         - 25  # NDRPDR iter
1345         - 26  # NDRPDR iter
1346         - 27  # NDRPDR iter
1347         - 28  # NDRPDR iter
1348         - 29  # NDRPDR iter
1349     dpdk-performance-changes-2n-clx-cmp:
1350       csit-dpdk-perf-report-iterative-2009-2n-clx:
1351         - 4   # NDRPDR iter env5
1352         - 5   # NDRPDR iter env5
1353         - 6   # NDRPDR iter env5
1354         - 7   # NDRPDR iter env5
1355         - 8   # NDRPDR iter env5
1356         - 9   # NDRPDR iter env5
1357         - 10  # NDRPDR iter env5
1358         - 11  # NDRPDR iter env5
1359         - 12  # NDRPDR iter env5
1360         - 13  # NDRPDR iter env5
1361
1362 #    dpdk-performance-changes-2n-dnv-h1:
1363 #      csit-dpdk-perf-verify-2001-2n-dnv:
1364 #        - 9   # NDRPDR sel
1365 #        - 10  # NDRPDR sel
1366 #        - 11  # NDRPDR sel
1367 #        - 12  # NDRPDR sel
1368 #        - 13  # NDRPDR sel
1369 #        - 14  # NDRPDR sel
1370 #        - 15  # NDRPDR sel
1371 #        - 16  # NDRPDR sel
1372 #        - 17  # NDRPDR sel
1373 #        - 18  # NDRPDR sel
1374 #    dpdk-performance-changes-2n-dnv-ref:
1375 #      # No data
1376 #    dpdk-performance-changes-2n-dnv-cmp:
1377 #      # No data
1378 #      csit-dpdk-perf-report-iterative-2009-2n-dnv:
1379
1380 #    dpdk-performance-changes-3n-dnv-h1:
1381 #      csit-dpdk-perf-verify-2001-3n-dnv:
1382 #        - 12  # NDRPDR sel
1383 #        - 13  # NDRPDR sel
1384 #        - 14  # NDRPDR sel
1385 #        - 15  # NDRPDR sel
1386 #        - 16  # NDRPDR sel
1387 #        - 17  # NDRPDR sel
1388 #        - 18  # NDRPDR sel
1389 #        - 19  # NDRPDR sel
1390 #        - 20  # NDRPDR sel
1391 #        - 22  # NDRPDR sel
1392 #    dpdk-performance-changes-3n-dnv-ref:
1393 #      # No data
1394 #    dpdk-performance-changes-3n-dnv-cmp:
1395 #      # No data
1396 #      csit-dpdk-perf-report-iterative-2009-3n-dnv:
1397
1398     dpdk-performance-changes-3n-tsh-h1:
1399       csit-dpdk-perf-verify-2001-3n-tsh:
1400         - 3   # NDRPDR sel
1401         - 4   # NDRPDR sel
1402         - 5   # NDRPDR sel
1403         - 9   # NDRPDR sel
1404         - 10  # NDRPDR sel
1405         - 11  # NDRPDR sel
1406         - 12  # NDRPDR sel
1407         - 14  # NDRPDR sel
1408         - 15  # NDRPDR sel
1409         - 18  # NDRPDR sel
1410     dpdk-performance-changes-3n-tsh-ref:
1411       csit-dpdk-perf-report-iterative-2005-3n-tsh:
1412         - 5   # NDRPDR sel
1413     dpdk-performance-changes-3n-tsh-cmp:
1414       csit-dpdk-perf-report-iterative-2009-3n-tsh:
1415         - 1   # NDRPDR iter env5
1416         - 2   # NDRPDR iter env5
1417         - 3   # NDRPDR iter env5
1418         - 4   # NDRPDR iter env5
1419         - 5   # NDRPDR iter env5
1420         - 6   # NDRPDR iter env5
1421         - 7   # NDRPDR iter env5
1422         - 9   # NDRPDR iter env5
1423         - 10  # NDRPDR iter env5
1424         - 11  # NDRPDR iter env5
1425
1426     # Compare testbeds
1427
1428     vpp-compare-testbeds-ref:
1429       csit-vpp-perf-report-iterative-2009-3n-hsw:
1430         - 21  # rls2009 NDRPDR iter env 5
1431         - 22  # rls2009 NDRPDR iter env 5
1432         - 24  # rls2009 NDRPDR iter env 5
1433         - 25  # rls2009 NDRPDR iter env 5
1434         - 26  # rls2009 NDRPDR iter env 5
1435         - 27  # rls2009 NDRPDR iter env 5
1436         - 28  # rls2009 NDRPDR iter env 5
1437         - 29  # rls2009 NDRPDR iter env 5
1438         - 30  # rls2009 NDRPDR iter env 5
1439         - 31  # rls2009 NDRPDR iter env 5
1440     vpp-compare-testbeds-cmp:
1441       csit-vpp-perf-report-iterative-2009-3n-skx:
1442         - 26  # rls2009 NDRPDR iter env 5
1443         - 27  # rls2009 NDRPDR iter env 5
1444         - 28  # rls2009 NDRPDR iter env 5
1445         - 29  # rls2009 NDRPDR iter env 5
1446         - 35  # rls2009 NDRPDR iter env 5
1447         - 36  # rls2009 NDRPDR iter env 5
1448         - 37  # rls2009 NDRPDR iter env 5
1449         - 38  # rls2009 NDRPDR iter env 5
1450         - 39  # rls2009 NDRPDR iter env 5
1451         - 40  # rls2009 NDRPDR iter env 5
1452
1453     vpp-compare-testbeds-skx-clx-ref:
1454       csit-vpp-perf-report-iterative-2009-2n-skx:
1455         - 35  # rls2009 NDRPDR iter env 5
1456         - 36  # rls2009 NDRPDR iter env 5
1457         - 37  # rls2009 NDRPDR iter env 5
1458         - 39  # rls2009 NDRPDR iter env 5
1459         - 40  # rls2009 NDRPDR iter env 5
1460         - 42  # rls2009 NDRPDR iter env 5
1461         - 43  # rls2009 NDRPDR iter env 5
1462         - 44  # rls2009 NDRPDR iter env 5
1463         - 46  # rls2009 NDRPDR iter env 5
1464         - 48  # rls2009 NDRPDR iter env 5
1465         - 51  # rls2009 NDRPDR iter NAT44 env 5
1466         - 52  # rls2009 NDRPDR iter NAT44 env 5
1467         - 53  # rls2009 NDRPDR iter NAT44 env 5
1468         - 54  # rls2009 NDRPDR iter NAT44 env 5
1469         - 55  # rls2009 NDRPDR iter NAT44 env 5
1470         - 56  # rls2009 NDRPDR iter NAT44 env 5
1471         - 57  # rls2009 NDRPDR iter NAT44 env 5
1472         - 58  # rls2009 NDRPDR iter NAT44 env 5
1473         - 59  # rls2009 NDRPDR iter NAT44 env 5
1474         - 60  # rls2009 NDRPDR iter NAT44 env 5
1475     vpp-compare-testbeds-skx-clx-cmp:
1476       csit-vpp-perf-report-iterative-2009-2n-clx:
1477         - 36  # rls2009 NDRPDR iter env 5
1478         - 39  # rls2009 NDRPDR iter env 5
1479         - 40  # rls2009 NDRPDR iter env 5
1480         - 65  # rls2009 NDRPDR iter env 5
1481         - 66  # rls2009 NDRPDR iter env 5
1482         - 79  # rls2009 NDRPDR iter env 5
1483         - 82  # rls2009 NDRPDR iter env 5
1484         - 88  # rls2009 NDRPDR iter env 5
1485         - 89  # rls2009 NDRPDR iter env 5
1486         - 90  # rls2009 NDRPDR iter env 5
1487
1488     vpp-compare-testbeds-hsw-clx-ref:
1489       csit-vpp-perf-report-iterative-2009-3n-hsw:
1490         - 21  # rls2009 NDRPDR iter env 5
1491         - 22  # rls2009 NDRPDR iter env 5
1492         - 24  # rls2009 NDRPDR iter env 5
1493         - 25  # rls2009 NDRPDR iter env 5
1494         - 26  # rls2009 NDRPDR iter env 5
1495         - 27  # rls2009 NDRPDR iter env 5
1496         - 28  # rls2009 NDRPDR iter env 5
1497         - 29  # rls2009 NDRPDR iter env 5
1498         - 30  # rls2009 NDRPDR iter env 5
1499         - 31  # rls2009 NDRPDR iter env 5
1500     vpp-compare-testbeds-hsw-clx-cmp:
1501       csit-vpp-perf-report-iterative-2009-2n-clx:
1502         - 36  # rls2009 NDRPDR iter env 5
1503         - 39  # rls2009 NDRPDR iter env 5
1504         - 40  # rls2009 NDRPDR iter env 5
1505         - 65  # rls2009 NDRPDR iter env 5
1506         - 66  # rls2009 NDRPDR iter env 5
1507         - 79  # rls2009 NDRPDR iter env 5
1508         - 82  # rls2009 NDRPDR iter env 5
1509         - 88  # rls2009 NDRPDR iter env 5
1510         - 89  # rls2009 NDRPDR iter env 5
1511         - 90  # rls2009 NDRPDR iter env 5
1512
1513     vpp-compare-testbeds-mrr-ref:
1514       csit-vpp-perf-report-iterative-2009-3n-hsw:
1515         - 23  # rls2009 MRR iter env 5
1516     vpp-compare-testbeds-mrr-cmp:
1517       csit-vpp-perf-report-iterative-2009-3n-skx:
1518         - 24  # rls2009 MRR iter env 5
1519
1520     vpp-compare-testbeds-mrr-skx-clx-ref:
1521       csit-vpp-perf-report-iterative-2009-2n-skx:
1522         - 26  # rls2009 MRR iter env 5
1523     vpp-compare-testbeds-mrr-skx-clx-cmp:
1524       csit-vpp-perf-report-iterative-2009-2n-clx:
1525         - 78  # rls2009 MRR iter env 5
1526
1527     vpp-compare-testbeds-mrr-hsw-clx-ref:
1528       csit-vpp-perf-report-iterative-2009-3n-hsw:
1529         - 23  # rls2009 MRR iter env 5
1530     vpp-compare-testbeds-mrr-hsw-clx-cmp:
1531       csit-vpp-perf-report-iterative-2009-2n-clx:
1532         - 78  # rls2009 MRR iter env 5
1533
1534     dpdk-compare-testbeds-ref:
1535       csit-dpdk-perf-report-iterative-2009-3n-hsw:
1536         - 6   # NDRPDR iter env5
1537         - 7   # NDRPDR iter env5
1538         - 8   # NDRPDR iter env5
1539         - 9   # NDRPDR iter env5
1540         - 10  # NDRPDR iter env5
1541         - 11  # NDRPDR iter env5
1542         - 12  # NDRPDR iter env5
1543         - 13  # NDRPDR iter env5
1544         - 14  # NDRPDR iter env5
1545         - 15  # NDRPDR iter env5
1546     dpdk-compare-testbeds-cmp:
1547       csit-dpdk-perf-report-iterative-2009-3n-skx:
1548         - 4   # NDRPDR sel env5
1549         - 5   # NDRPDR sel env5
1550         - 6   # NDRPDR sel env5
1551         - 7   # NDRPDR sel env5
1552         - 8   # NDRPDR sel env5
1553         - 9   # NDRPDR sel env5
1554         - 14  # NDRPDR sel env5
1555         - 11  # NDRPDR sel env5
1556         - 12  # NDRPDR sel env5
1557         - 13  # NDRPDR sel env5
1558
1559     dpdk-compare-testbeds-skx-clx-ref:
1560       csit-dpdk-perf-report-iterative-2009-2n-skx:
1561         - 4   # NDRPDR iter env5
1562         - 5   # NDRPDR iter env5
1563         - 6   # NDRPDR iter env5
1564         - 7   # NDRPDR iter env5
1565         - 8   # NDRPDR iter env5
1566         - 9   # NDRPDR iter env5
1567         - 10  # NDRPDR iter env5
1568         - 11  # NDRPDR iter env5
1569         - 12  # NDRPDR iter env5
1570         - 13  # NDRPDR iter env5
1571     dpdk-compare-testbeds-skx-clx-cmp:
1572       csit-dpdk-perf-report-iterative-2009-2n-clx:
1573         - 4   # NDRPDR iter env5
1574         - 5   # NDRPDR iter env5
1575         - 6   # NDRPDR iter env5
1576         - 7   # NDRPDR iter env5
1577         - 8   # NDRPDR iter env5
1578         - 9   # NDRPDR iter env5
1579         - 10  # NDRPDR iter env5
1580         - 11  # NDRPDR iter env5
1581         - 12  # NDRPDR iter env5
1582         - 13  # NDRPDR iter env5
1583
1584     # Compare topologies
1585
1586     vpp-compare-topologies-ref:
1587       csit-vpp-perf-report-iterative-2009-3n-skx:
1588         - 26  # rls2009 NDRPDR iter env 5
1589         - 27  # rls2009 NDRPDR iter env 5
1590         - 28  # rls2009 NDRPDR iter env 5
1591         - 29  # rls2009 NDRPDR iter env 5
1592         - 35  # rls2009 NDRPDR iter env 5
1593         - 36  # rls2009 NDRPDR iter env 5
1594         - 37  # rls2009 NDRPDR iter env 5
1595         - 38  # rls2009 NDRPDR iter env 5
1596         - 39  # rls2009 NDRPDR iter env 5
1597         - 40  # rls2009 NDRPDR iter env 5
1598     vpp-compare-topologies-cmp:
1599       csit-vpp-perf-report-iterative-2009-2n-skx:
1600         - 35  # rls2009 NDRPDR iter env 5
1601         - 36  # rls2009 NDRPDR iter env 5
1602         - 37  # rls2009 NDRPDR iter env 5
1603         - 39  # rls2009 NDRPDR iter env 5
1604         - 40  # rls2009 NDRPDR iter env 5
1605         - 42  # rls2009 NDRPDR iter env 5
1606         - 43  # rls2009 NDRPDR iter env 5
1607         - 44  # rls2009 NDRPDR iter env 5
1608         - 46  # rls2009 NDRPDR iter env 5
1609         - 48  # rls2009 NDRPDR iter env 5
1610
1611     vpp-compare-topologies-mrr-ref:
1612       csit-vpp-perf-report-iterative-2009-3n-skx:
1613         - 24  # rls2009 MRR iter env 5
1614     vpp-compare-topologies-mrr-cmp:
1615       csit-vpp-perf-report-iterative-2009-2n-skx:
1616         - 26  # rls2009 MRR iter env 5
1617
1618     dpdk-compare-topologies-ref:
1619       csit-dpdk-perf-report-iterative-2009-3n-skx:
1620         - 4   # NDRPDR sel env5
1621         - 5   # NDRPDR sel env5
1622         - 6   # NDRPDR sel env5
1623         - 7   # NDRPDR sel env5
1624         - 8   # NDRPDR sel env5
1625         - 9   # NDRPDR sel env5
1626         - 14  # NDRPDR sel env5
1627         - 11  # NDRPDR sel env5
1628         - 12  # NDRPDR sel env5
1629         - 13  # NDRPDR sel env5
1630     dpdk-compare-topologies-cmp:
1631       csit-dpdk-perf-report-iterative-2009-2n-skx:
1632         - 4   # NDRPDR iter env5
1633         - 5   # NDRPDR iter env5
1634         - 6   # NDRPDR iter env5
1635         - 7   # NDRPDR iter env5
1636         - 8   # NDRPDR iter env5
1637         - 9   # NDRPDR iter env5
1638         - 10  # NDRPDR iter env5
1639         - 11  # NDRPDR iter env5
1640         - 12  # NDRPDR iter env5
1641         - 13  # NDRPDR iter env5
1642
1643   plot-layouts:
1644
1645     plot-soak-throughput:
1646       titlefont:
1647         size: 16
1648       xaxis:
1649         title: "<b>Test Cases [Index]</b>"
1650         titlefont:
1651           size: 14
1652         autorange: True
1653         fixedrange: False
1654         gridcolor: "rgb(230, 230, 230)"
1655         linecolor: "rgb(220, 220, 220)"
1656         linewidth: 1
1657         showgrid: True
1658         showline: True
1659         showticklabels: True
1660         tickcolor: "rgb(220, 220, 220)"
1661         tickmode: "linear"
1662         tickfont:
1663           size: 14
1664         zeroline: False
1665       yaxis:
1666         title: "<b>Critical Rate Lower Bound [Mpps]</b>"
1667         titlefont:
1668           size: 14
1669         gridcolor: "rgb(230, 230, 230)"
1670         hoverformat: ".4r"
1671         tickformat: ".3r"
1672         linecolor: "rgb(220, 220, 220)"
1673         linewidth: 1
1674         showgrid: True
1675         showline: True
1676         showticklabels: True
1677         tickcolor: "rgb(220, 220, 220)"
1678         tickfont:
1679           size: 14
1680         zeroline: False
1681         range: [0,50]
1682       autosize: False
1683       margin:
1684         t: 50
1685         b: 0
1686         l: 80
1687         r: 20
1688       showlegend: True
1689       legend:
1690         orientation: "h"
1691         font:
1692           size: 14
1693       width: 700
1694       height: 900
1695       paper_bgcolor: "#fff"
1696       plot_bgcolor: "#fff"
1697       hoverlabel:
1698         namelength: -1
1699
1700     plot-service-density:
1701       titlefont:
1702         size: 16
1703       xaxis:
1704         side: "top"
1705         autorange: True
1706         fixedrange: False
1707         showgrid: False
1708         showline: False
1709         showticklabels: False
1710         ticks: ""
1711         ticklen: 0
1712         tickwidth: 0
1713         zeroline: False
1714       yaxis:
1715         autorange: "reversed"
1716         showgrid: False
1717         showline: False
1718         showticklabels: False
1719         ticks: ""
1720         ticklen: 0
1721         tickwidth: 0
1722         zeroline: False
1723       showlegend: False
1724       paper_bgcolor: "#fff"
1725       plot_bgcolor: "#fff"
1726       width: 700
1727       height: 700
1728       hoverlabel:
1729         namelength: -1
1730
1731     plot-hoststack:
1732       titlefont:
1733         size: 16
1734       xaxis:
1735         title: "<b>Test Cases [Index]</b>"
1736         titlefont:
1737           size: 14
1738         autorange: True
1739         fixedrange: False
1740         gridcolor: "rgb(230, 230, 230)"
1741         linecolor: "rgb(220, 220, 220)"
1742         linewidth: 1
1743         showgrid: True
1744         showline: True
1745         showticklabels: True
1746         tickcolor: "rgb(220, 220, 220)"
1747         tickmode: "linear"
1748         tickfont:
1749           size: 14
1750         zeroline: False
1751       yaxis:
1752         title: "<b>Bandwidth [Gbps]</b>"
1753         titlefont:
1754           size: 14
1755         gridcolor: "rgb(230, 230, 230)"
1756         hoverformat: ".4s"
1757         linecolor: "rgb(220, 220, 220)"
1758         linewidth: 1
1759         rangemode: "tozero"
1760         showgrid: True
1761         showline: True
1762         showticklabels: True
1763         tickcolor: "rgb(230, 230, 230)"
1764         tickformat: ".3s"
1765         tickfont:
1766           size: 14
1767         zeroline: False
1768       autosize: False
1769       margin:
1770         t: 50
1771         b: 20
1772         l: 80
1773         r: 20
1774       showlegend: True
1775       legend:
1776         orientation: "h"
1777         font:
1778           size: 14
1779       width: 700
1780       height: 800
1781       paper_bgcolor: "#fff"
1782       plot_bgcolor: "#fff"
1783       hoverlabel:
1784         namelength: -1
1785
1786     plot-throughput:
1787       titlefont:
1788         size: 16
1789       xaxis:
1790         title: "<b>Test Cases [Index]</b>"
1791         titlefont:
1792           size: 14
1793         autorange: True
1794         fixedrange: False
1795         gridcolor: "rgb(230, 230, 230)"
1796         linecolor: "rgb(220, 220, 220)"
1797         linewidth: 1
1798         showgrid: True
1799         showline: True
1800         showticklabels: True
1801         tickcolor: "rgb(220, 220, 220)"
1802         tickmode: "linear"
1803         tickfont:
1804           size: 14
1805         zeroline: False
1806       yaxis:
1807         title: "<b>Packet Throughput [Mpps]</b>"
1808         titlefont:
1809           size: 14
1810         gridcolor: "rgb(230, 230, 230)"
1811         hoverformat: ".4r"
1812         tickformat: ".3r"
1813         linecolor: "rgb(220, 220, 220)"
1814         linewidth: 1
1815         showgrid: True
1816         showline: True
1817         showticklabels: True
1818         tickcolor: "rgb(220, 220, 220)"
1819         tickfont:
1820           size: 14
1821         zeroline: False
1822         range: [0,50]
1823       autosize: False
1824       margin:
1825         t: 50
1826         b: 0
1827         l: 80
1828         r: 20
1829       showlegend: True
1830       legend:
1831         orientation: "h"
1832         font:
1833           size: 14
1834       width: 700
1835       height: 900
1836       paper_bgcolor: "#fff"
1837       plot_bgcolor: "#fff"
1838       hoverlabel:
1839         namelength: -1
1840
1841     plot-throughput-speedup-analysis:
1842       titlefont:
1843         size: 16
1844       xaxis:
1845         title: "<b>Number of Cores [Qty]</b>"
1846         titlefont:
1847           size: 14
1848         autorange: True
1849         fixedrange: False
1850         gridcolor: "rgb(230, 230, 230)"
1851         linecolor: "rgb(220, 220, 220)"
1852         linewidth: 1
1853         showgrid: True
1854         showline: True
1855         showticklabels: True
1856         tickcolor: "rgb(238, 238, 238)"
1857         tickmode: "linear"
1858         tickfont:
1859           size: 14
1860         zeroline: False
1861       yaxis:
1862         title: "<b>Packet Throughput [Mpps]</b>"
1863         titlefont:
1864           size: 14
1865         type: "linear"
1866         gridcolor: "rgb(230, 230, 230)"
1867         hoverformat: ".4s"
1868         linecolor: "rgb(220, 220, 220)"
1869         linewidth: 1
1870         showgrid: True
1871         showline: True
1872         showticklabels: True
1873         tickcolor: "rgb(220, 220, 220)"
1874         tickformat: ".4s"
1875         tickfont:
1876           size: 14
1877         zeroline: True
1878         rangemode: "tozero"
1879         range: [0,100]
1880       legend:
1881         orientation: "h"
1882         font:
1883           size: 14
1884         xanchor: "left"
1885         yanchor: "top"
1886         x: 0
1887         y: -0.2
1888         bgcolor: "rgba(255, 255, 255, 0)"
1889         bordercolor: "rgba(255, 255, 255, 0)"
1890         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
1891       autosize: False
1892       margin:
1893           't': 50
1894           'b': 150
1895           'l': 85
1896           'r': 10
1897       showlegend: True
1898       width: 700
1899       height: 700
1900       paper_bgcolor: "#fff"
1901       plot_bgcolor: "#fff"
1902       hoverlabel:
1903         namelength: -1
1904       annotations: [
1905         {
1906           text: "_ _          __          ...",
1907           align: "left",
1908           showarrow: False,
1909           xref: "paper",
1910           yref: "paper",
1911           xanchor: "left",
1912           yanchor: "top",
1913           x: 0,
1914           y: -0.14,
1915           font: {
1916             family: "Consolas, Courier New",
1917             size: 13
1918           },
1919         },
1920         {
1921           text: "    Perfect     Measured     Limit",
1922           align: "left",
1923           showarrow: False,
1924           xref: "paper",
1925           yref: "paper",
1926           xanchor: "left",
1927           yanchor: "top",
1928           x: 0,
1929           y: -0.15,
1930           font: {
1931             family: "Consolas, Courier New",
1932             size: 13
1933           },
1934         },
1935       ]
1936
1937     plot-latency:
1938       titlefont:
1939         size: 16
1940       xaxis:
1941         title: "<b>Direction</b>"
1942         titlefont:
1943           size: 14
1944         autorange: True
1945         fixedrange: False
1946         gridcolor: "rgb(230, 230, 230)"
1947         linecolor: "rgb(220, 220, 220)"
1948         linewidth: 1
1949         showgrid: True
1950         showline: True
1951         showticklabels: False
1952         tickcolor: "rgb(220, 220, 220)"
1953         tickmode: "linear"
1954         tickfont:
1955           size: 14
1956         zeroline: False
1957       yaxis:
1958         title: "<b>Packet Latency [uSec]</b>"
1959         titlefont:
1960           size: 14
1961         type: "linear"
1962         gridcolor: "rgb(230, 230, 230)"
1963         hoverformat: ".4s"
1964         linecolor: "rgb(220, 220, 220)"
1965         linewidth: 1
1966         showgrid: True
1967         showline: True
1968         showticklabels: True
1969         tickcolor: "rgb(220, 220, 220)"
1970         tickformat: ".4s"
1971         tickfont:
1972           size: 14
1973         zeroline: True
1974         rangemode: "tozero"
1975       legend:
1976         orientation: "h"
1977         font:
1978           size: 14
1979         traceorder: "normal"  # "grouped" does not work: bug https://github.com/plotly/plotly.js/issues/1913
1980       autosize: False
1981       margin:
1982           't': 50
1983           'b': 150
1984           'l': 80
1985           'r': 10
1986       showlegend: True
1987       width: 700
1988       height: 700
1989       paper_bgcolor: "#fff"
1990       plot_bgcolor: "#fff"
1991       hoverlabel:
1992         namelength: -1
1993
1994     plot-hdrh-latency:
1995       title:
1996         text: ""
1997         xanchor: "center"
1998         x: 0.5
1999         font:
2000           size: 16
2001       width: 700
2002       plot_bgcolor: "white"
2003       annotations:
2004         - font:
2005             size: 14
2006           showarrow: False
2007           text: "<b>Packet Latency [uSec]</b>"
2008           x: 1
2009           xanchor: "right"
2010           xref: "paper"
2011           y: -0.045
2012           yanchor: "top"
2013           yref: "paper"
2014         - font:
2015             size: 14
2016           showarrow: False
2017           text: "<b>Probability [%]</b>"
2018           textangle: 270
2019           x: -0.06
2020           xanchor: "center"
2021           xref: "paper"
2022           y: 0.5
2023           yanchor: "middle"
2024           yref: "paper"
2025         - font:
2026             size: 14
2027           showarrow: False
2028           text: "<b>Direction: E-W</b>"
2029           x: 0.24
2030           xanchor: "center"
2031           xref: "paper"
2032           y: 1.05
2033           yanchor: "bottom"
2034           yref: "paper"
2035         - font:
2036             size: 14
2037           showarrow: False
2038           text: "<b>Direction: W-E</b>"
2039           x: 0.74
2040           xanchor: "center"
2041           xref: "paper"
2042           y: 1.05
2043           yanchor: "bottom"
2044           yref: "paper"
2045
2046     plot-hdrh-latency-percentile:
2047       title:
2048         text: ""
2049         xanchor: "center"
2050         x: 0.5
2051         font:
2052           size: 16
2053       xaxis:
2054         type: "log"
2055         title: "<b>Percentile [%]</b>"
2056         titlefont:
2057           size: 14
2058         autorange: True
2059         fixedrange: False
2060         gridcolor: "rgb(230, 230, 230)"
2061         linecolor: "rgb(220, 220, 220)"
2062         linewidth: 1
2063         showgrid: True
2064         showline: True
2065         showticklabels: True
2066         tickcolor: "rgb(220, 220, 220)"
2067         tickvals: [1, 2, 1e1, 20, 1e2, 1e3, 1e4, 1e5, 1e6, 1e7, 1e8]
2068         ticktext: [0, 50, 90, 95, 99, 99.9, 99.99, 99.999, 99.9999, 99.99999, 99.999999]
2069         tickfont:
2070           size: 14
2071       yaxis:
2072         title: "<b>Packet Latency [uSec]</b>"
2073         titlefont:
2074           size: 14
2075         gridcolor: "rgb(230, 230, 230)"
2076         linecolor: "rgb(220, 220, 220)"
2077         linewidth: 1
2078         showgrid: True
2079         showline: True
2080         showticklabels: True
2081         tickcolor: "rgb(220, 220, 220)"
2082         tickfont:
2083           size: 14
2084       autosize: False
2085       showlegend: True
2086       legend:
2087         traceorder: "normal"
2088         orientation: "h"
2089         font:
2090           size: 14
2091         xanchor: "left"
2092         yanchor: "top"
2093         x: 0
2094         y: -0.15
2095         bgcolor: "rgba(255, 255, 255, 0)"
2096         bordercolor: "rgba(255, 255, 255, 0)"
2097       width: 700
2098       height: 700
2099       paper_bgcolor: "white"
2100       plot_bgcolor: "white"
2101
2102     plot-hdrh-latency-by-percentile:
2103       title:
2104         text: "<b>Latency by Percentile Distribution</b>"
2105         xanchor: "center"
2106         x: 0.5
2107         font:
2108           size: 18
2109       showlegend: True
2110       legend:
2111         traceorder: "normal"
2112         orientation: "h"
2113         font:
2114           size: 16
2115         xanchor: "left"
2116         yanchor: "top"
2117         x: 0
2118         y: -0.2
2119         bgcolor: "rgba(255, 255, 255, 0)"
2120         bordercolor: "rgba(255, 255, 255, 0)"
2121       xaxis:
2122         type: "linear"
2123         title: "<b>Percentile [%]</b>"
2124         titlefont:
2125           size: 14
2126         autorange: False
2127         fixedrange: False
2128         range: [0, 100]
2129         gridcolor: "rgb(230, 230, 230)"
2130         linecolor: "rgb(220, 220, 220)"
2131         linewidth: 1
2132         showgrid: True
2133         showline: True
2134         showticklabels: True
2135         tickcolor: "rgb(220, 220, 220)"
2136         tickvals: [0, 25, 50, 75, 100]
2137         ticktext: [0, 25, 50, 75, 100]
2138         tickfont:
2139           size: 14
2140       yaxis:
2141         title: "<b>One-Way Latency per Direction [uSec]</b>"
2142         titlefont:
2143           size: 14
2144         gridcolor: "rgb(230, 230, 230)"
2145         linecolor: "rgb(220, 220, 220)"
2146         linewidth: 1
2147         showgrid: True
2148         showline: True
2149         showticklabels: True
2150         tickcolor: "rgb(220, 220, 220)"
2151         tickfont:
2152           size: 14
2153       width: 700
2154       height: 700
2155       paper_bgcolor: "white"
2156       plot_bgcolor: "white"
2157
2158 - type: "static"
2159   src-path: "{DIR[RST]}"
2160   dst-path: "{DIR[WORKING,SRC]}"
2161
2162 - type: "input"
2163   general:
2164     file-name: "output_info.xml.gz"
2165     file-format: ".gz"
2166     arch-file-format:
2167       - ".gz"
2168       - ".zip"
2169     download-path: "{job}/{build}/archives/{filename}"
2170     extract: "output.xml"
2171
2172     zip-file-name: "robot-plugin.zip"
2173     zip-file-format: ".zip"
2174     zip-download-path: "{job}/{build}/robot/report/*zip*/{filename}"
2175     zip-extract: "robot-plugin/output.xml"
2176
2177   builds:
2178
2179     csit-vpp-perf-verify-2001-3n-hsw:
2180       - 17  # MRR sel
2181     csit-vpp-perf-report-iterative-2005-3n-hsw:
2182       - 20  # NDRPDR sel env 4
2183       - 21  # NDRPDR sel env 4
2184       - 22  # NDRPDR sel env 4
2185       - 23  # NDRPDR sel env 4
2186       - 24  # NDRPDR sel env 4
2187       - 25  # NDRPDR sel env 4
2188       - 26  # NDRPDR sel env 4
2189       - 27  # NDRPDR sel env 4
2190       - 28  # NDRPDR sel env 4
2191       - 29  # NDRPDR sel env 4
2192       - 30  # MRR env 4
2193       - 31  # NDRPDR sel 2001.0-4
2194       - 32  # NDRPDR sel 2001.0-4
2195       - 33  # NDRPDR sel 2001.0-4
2196       - 34  # NDRPDR sel 2001.0-4
2197       - 35  # NDRPDR sel 2001.0-4
2198       - 36  # NDRPDR sel 2001.0-4
2199       - 38  # NDRPDR sel 2001.0-4
2200     csit-vpp-perf-report-iterative-2009-3n-hsw:
2201       - 18  # rls2005 MRR iter env 5
2202       - 9   # rls2005 NDRPDR iter env 5
2203       - 10  # rls2005 NDRPDR iter env 5
2204       - 11  # rls2005 NDRPDR iter env 5
2205       - 12  # rls2005 NDRPDR iter env 5
2206       - 13  # rls2005 NDRPDR iter env 5
2207       - 14  # rls2005 NDRPDR iter env 5
2208       - 15  # rls2005 NDRPDR iter env 5
2209       - 16  # rls2005 NDRPDR iter env 5
2210       - 17  # rls2005 NDRPDR iter env 5
2211       - 19  # rls2005 NDRPDR iter env 5
2212       - 23  # rls2009 MRR iter env 5
2213       - 21  # rls2009 NDRPDR iter env 5
2214       - 22  # rls2009 NDRPDR iter env 5
2215       - 24  # rls2009 NDRPDR iter env 5
2216       - 25  # rls2009 NDRPDR iter env 5
2217       - 26  # rls2009 NDRPDR iter env 5
2218       - 27  # rls2009 NDRPDR iter env 5
2219       - 28  # rls2009 NDRPDR iter env 5
2220       - 29  # rls2009 NDRPDR iter env 5
2221       - 30  # rls2009 NDRPDR iter env 5
2222       - 31  # rls2009 NDRPDR iter env 5
2223       - 32  # rls2009 Hoststack iter env 5
2224       - 33  # rls2009 Hoststack iter env 5
2225       - 34  # rls2009 Hoststack iter env 5
2226       - 35  # rls2009 Hoststack iter env 5
2227       - 36  # rls2009 Hoststack iter env 5
2228       - 37  # rls2009 Hoststack iter env 5
2229       - 38  # rls2009 Hoststack iter env 5
2230       - 39  # rls2009 Hoststack iter env 5
2231       - 40  # rls2009 Hoststack iter env 5
2232       - 41  # rls2009 Hoststack iter env 5
2233     csit-vpp-perf-report-coverage-2009-3n-hsw:
2234       - 3   # rls2009 NDRPDR cov 3n-hsw-crypto-00
2235       - 4   # rls2009 NDRPDR cov 3n-hsw-crypto-01
2236       - 5   # rls2009 NDRPDR cov 3n-hsw-crypto-02
2237       - 6   # rls2009 NDRPDR cov 3n-hsw-crypto-03
2238       - 7   # rls2009 NDRPDR cov 3n-hsw-ip4-00
2239       - 8   # rls2009 NDRPDR cov 3n-hsw-ip4-01
2240       - 9   # rls2009 NDRPDR cov 3n-hsw-ip4-02
2241       - 10  # rls2009 NDRPDR cov 3n-hsw-ip4-03
2242       - 11  # rls2009 NDRPDR cov 3n-hsw-ip4-04
2243       - 12  # rls2009 NDRPDR cov 3n-hsw-ip4-05
2244       - 13  # rls2009 NDRPDR cov 3n-hsw-ip4-06
2245       - 14  # rls2009 NDRPDR cov 3n-hsw-ip4-07
2246       - 15  # rls2009 NDRPDR cov 3n-hsw-ip4tun-00
2247       - 16  # rls2009 NDRPDR cov 3n-hsw-ip4tun-01
2248       - 17  # rls2009 NDRPDR cov 3n-hsw-ip4tun-02
2249       - 18  # rls2009 NDRPDR cov 3n-hsw-ip6-00
2250       - 19  # rls2009 NDRPDR cov 3n-hsw-ip6-01
2251       - 20  # rls2009 NDRPDR cov 3n-hsw-ip6tun-00
2252       - 21  # rls2009 NDRPDR cov 3n-hsw-l2-00
2253       - 22  # rls2009 NDRPDR cov 3n-hsw-l2-01
2254       - 23  # rls2009 NDRPDR cov 3n-hsw-l2-01
2255       - 24  # rls2009 NDRPDR cov 3n-hsw-l2-03
2256       - 25  # rls2009 NDRPDR cov 3n-hsw-l2-04
2257       - 26  # rls2009 NDRPDR cov 3n-hsw-l2-05
2258       - 27  # rls2009 NDRPDR cov 3n-hsw-l2-06
2259       - 28  # rls2009 NDRPDR cov 3n-hsw-l2-07
2260       - 29  # rls2009 NDRPDR cov 3n-hsw-l2-08
2261       - 30  # rls2009 NDRPDR cov 3n-hsw-l2-09
2262       - 31  # rls2009 NDRPDR cov 3n-hsw-l2-10
2263       - 32  # rls2009 NDRPDR cov 3n-hsw-memif-00
2264       - 33  # rls2009 NDRPDR cov 3n-hsw-srv6-00
2265       - 34  # rls2009 NDRPDR cov 3n-hsw-srv6-01
2266       - 35  # rls2009 NDRPDR cov 3n-hsw-vhost-00
2267       - 36  # rls2009 NDRPDR cov 3n-hsw-vhost-01
2268       - 37  # rls2009 NDRPDR cov 3n-hsw-vhost-02
2269
2270     csit-vpp-perf-verify-2001-3n-skx:
2271       - 50  # MRR sel
2272       - 53  # MRR sel addition
2273     csit-vpp-perf-report-iterative-2005-3n-skx:
2274       - 4   # NDRPDR sel
2275       - 5   # NDRPDR sel ??? all x710 failed
2276       - 33  # NDRPDR sel
2277       - 28  # NDRPDR sel
2278       - 34  # NDRPDR sel
2279       - 42  # NDRPDR sel env 4
2280       - 43  # NDRPDR sel env 4
2281       - 44  # NDRPDR sel env 4
2282       - 45  # NDRPDR sel env 4
2283       - 47  # NDRPDR sel env 4
2284       - 55  # NDRPDR sel env 4
2285       - 56  # NDRPDR sel env 4
2286       - 57  # NDRPDR sel env 4
2287       - 61  # NDRPDR sel env 4
2288       - 62  # NDRPDR sel env 4
2289       - 50  # NDRPDR sel 2001.0-4
2290       - 51  # NDRPDR sel 2001.0-4
2291       - 52  # NDRPDR sel 2001.0-4
2292       - 53  # NDRPDR sel 2001.0-4
2293       - 54  # NDRPDR sel 2001.0-4
2294       - 49  # MRR sel env 4
2295     # TODO: Add:
2296     csit-vpp-perf-report-iterative-2009-3n-skx:
2297       - 17  # rls2005 MRR iter env 5
2298       - 13  # rls2005 NDRPDR iter env 5
2299       - 18  # rls2005 NDRPDR iter env 5
2300       - 19  # rls2005 NDRPDR iter env 5
2301       - 41  # rls2005 NDRPDR iter env 5
2302       - 43  # rls2005 NDRPDR iter env 5
2303       - 44  # rls2005 NDRPDR iter env 5
2304       - 45  # rls2005 NDRPDR iter env 5
2305       - 24  # rls2009 MRR iter env 5
2306       - 26  # rls2009 NDRPDR iter env 5
2307       - 27  # rls2009 NDRPDR iter env 5
2308       - 28  # rls2009 NDRPDR iter env 5
2309       - 29  # rls2009 NDRPDR iter env 5
2310       - 35  # rls2009 NDRPDR iter env 5
2311       - 36  # rls2009 NDRPDR iter env 5
2312       - 37  # rls2009 NDRPDR iter env 5
2313       - 38  # rls2009 NDRPDR iter env 5
2314       - 39  # rls2009 NDRPDR iter env 5
2315       - 40  # rls2009 NDRPDR iter env 5
2316     csit-vpp-perf-report-coverage-2009-3n-skx:
2317       - 36  # rls2009 NDRPDR cov 3n-skx-crypto-00
2318       - 3   # rls2009 NDRPDR cov 3n-skx-crypto-01
2319       - 4   # rls2009 NDRPDR cov 3n-skx-crypto-02
2320       - 37  # rls2009 NDRPDR cov 3n-skx-crypto-03
2321       - 6   # rls2009 NDRPDR cov 3n-skx-ip4-00
2322       - 7   # rls2009 NDRPDR cov 3n-skx-ip4-01
2323       - 8   # rls2009 NDRPDR cov 3n-skx-ip4-02
2324       - 9   # rls2009 NDRPDR cov 3n-skx-ip4-03
2325       - 10  # rls2009 NDRPDR cov 3n-skx-ip4-04
2326       - 38  # rls2009 NDRPDR cov 3n-skx-ip4-05
2327       - 12  # rls2009 NDRPDR cov 3n-skx-ip4-06
2328       - 39  # rls2009 NDRPDR cov 3n-skx-ip4-07
2329       - 14  # rls2009 NDRPDR cov 3n-skx-ip4tun-00
2330       - 15  # rls2009 NDRPDR cov 3n-skx-ip4tun-01
2331       - 16  # rls2009 NDRPDR cov 3n-skx-ip4tun-02
2332       - 40  # rls2009 NDRPDR cov 3n-skx-ip6-00
2333       - 18  # rls2009 NDRPDR cov 3n-skx-ip6-01
2334       - 19  # rls2009 NDRPDR cov 3n-skx-ip6tun-00
2335       - 20  # rls2009 NDRPDR cov 3n-skx-l2-00
2336       - 21  # rls2009 NDRPDR cov 3n-skx-l2-01
2337       - 22  # rls2009 NDRPDR cov 3n-skx-l2-02
2338       - 23  # rls2009 NDRPDR cov 3n-skx-l2-03
2339       - 24  # rls2009 NDRPDR cov 3n-skx-l2-04
2340       - 41  # rls2009 NDRPDR cov 3n-skx-l2-05
2341       - 42  # rls2009 NDRPDR cov 3n-skx-l2-06
2342       - 43  # rls2009 NDRPDR cov 3n-skx-l2-07
2343       - 28  # rls2009 NDRPDR cov 3n-skx-l2-08
2344       - 44  # rls2009 NDRPDR cov 3n-skx-l2-09
2345       - 45  # rls2009 NDRPDR cov 3n-skx-l2-10
2346       - 46  # rls2009 NDRPDR cov 3n-skx-memif-00
2347       - 47  # rls2009 NDRPDR cov 3n-skx-srv6-00
2348       - 48  # rls2009 NDRPDR cov 3n-skx-srv6-01
2349       - 49  # rls2009 NDRPDR cov 3n-skx-vhost-00
2350       - 50  # rls2009 NDRPDR cov 3n-skx-vhost-01
2351       - 51  # rls2009 NDRPDR cov 3n-skx-vhost-02
2352       - 54  # rls2009 NDRPDR cov 3n-skx-vhost-03
2353
2354     csit-vpp-perf-verify-2001-2n-skx:
2355       - 101  # MRR sel - old
2356       - 128  # MRR sel addition - old
2357     csit-vpp-perf-report-iterative-2005-2n-skx:
2358       - 88  # NDRPDR sel env 4
2359       - 89  # NDRPDR sel env 4
2360       - 90  # NDRPDR sel env 4
2361       - 91  # NDRPDR sel env 4
2362       - 92  # NDRPDR sel env 4
2363       - 93  # NDRPDR sel env 4
2364       - 94  # NDRPDR sel env 4
2365       - 125 # NDRPDR sel env 4
2366       - 126 # NDRPDR sel env 4
2367       - 127 # NDRPDR sel env 4
2368       - 100 # NDRPDR sel 2001.0-4
2369       - 101 # NDRPDR sel 2001.0-4
2370       - 102 # NDRPDR sel 2001.0-4
2371       - 103 # NDRPDR sel 2001.0-4
2372       - 104 # NDRPDR sel 2001.0-4
2373       - 105 # NDRPDR sel 2001.0-4
2374       - 99  # MRR sel env 4
2375     csit-vpp-perf-report-iterative-2009-2n-skx:
2376       - 20  # rls2005 MRR iter env 5
2377       - 13  # rls2005 NDRPDR iter env 5
2378       - 16  # rls2005 NDRPDR iter env 5
2379       - 17  # rls2005 NDRPDR iter env 5
2380       - 18  # rls2005 NDRPDR iter env 5
2381       - 19  # rls2005 NDRPDR iter env 5
2382       - 21  # rls2005 NDRPDR iter env 5
2383       - 22  # rls2005 NDRPDR iter env 5
2384       - 23  # rls2005 NDRPDR iter env 5
2385       - 24  # rls2005 NDRPDR iter env 5
2386       - 25  # rls2005 NDRPDR iter env 5
2387       - 26  # rls2009 MRR iter env 5
2388       - 35  # rls2009 NDRPDR iter env 5
2389       - 36  # rls2009 NDRPDR iter env 5
2390       - 37  # rls2009 NDRPDR iter env 5
2391       - 39  # rls2009 NDRPDR iter env 5
2392       - 40  # rls2009 NDRPDR iter env 5
2393       - 42  # rls2009 NDRPDR iter env 5
2394       - 43  # rls2009 NDRPDR iter env 5
2395       - 44  # rls2009 NDRPDR iter env 5
2396       - 46  # rls2009 NDRPDR iter env 5
2397       - 48  # rls2009 NDRPDR iter env 5
2398       - 51  # rls2009 NDRPDR iter NAT44 env 5
2399       - 52  # rls2009 NDRPDR iter NAT44 env 5
2400       - 53  # rls2009 NDRPDR iter NAT44 env 5
2401       - 54  # rls2009 NDRPDR iter NAT44 env 5
2402       - 55  # rls2009 NDRPDR iter NAT44 env 5
2403       - 56  # rls2009 NDRPDR iter NAT44 env 5
2404       - 57  # rls2009 NDRPDR iter NAT44 env 5
2405       - 58  # rls2009 NDRPDR iter NAT44 env 5
2406       - 59  # rls2009 NDRPDR iter NAT44 env 5
2407       - 60  # rls2009 NDRPDR iter NAT44 env 5
2408       - 38  # rls2009 nf-density iter env 5
2409       - 41  # rls2009 nf-density iter env 5
2410       - 45  # rls2009 nf-density iter env 5
2411       - 47  # rls2009 nf-density iter env 5
2412       - 49  # rls2009 nf-density iter env 5
2413       - 63  # rls2009 nf-density iter env 5
2414       - 65  # rls2009 nf-density iter env 5
2415       - 66  # rls2009 nf-density iter env 5
2416       - 71  # rls2009 nf-density iter env 5
2417       - 72  # rls2009 nf-density iter env 5
2418       - 50  # rls2009 MRR nf-density iter env 5
2419       - 27  # rls2009 reconf env 5
2420       - 28  # rls2009 reconf env 5
2421       - 29  # rls2009 reconf env 5
2422       - 30  # rls2009 reconf env 5
2423       - 31  # rls2009 reconf env 5
2424       - 32  # rls2009 reconf env 5
2425       - 61  # rls2009 reconf env 5
2426       - 62  # rls2009 reconf env 5
2427       - 68  # rls2009 reconf env 5
2428       - 70  # rls2009 reconf env 5
2429       - 33  # rls2009 soak env 5
2430       - 34  # rls2009 soak env 5
2431     csit-vpp-perf-report-coverage-2009-2n-skx:
2432       - 18  # rls2009 NDRPDR cov 2n-skx-ip4-00
2433       - 19  # rls2009 NDRPDR cov 2n-skx-ip4-01
2434       - 10  # rls2009 NDRPDR cov 2n-skx-ip4-02
2435       - 20  # rls2009 NDRPDR cov 2n-skx-ip4-03
2436       - 21  # rls2009 NDRPDR cov 2n-skx-ip4-04
2437       - 13  # rls2009 NDRPDR cov 2n-skx-ip4-05
2438       - 22  # rls2009 NDRPDR cov 2n-skx-ip6-00
2439       - 23  # rls2009 NDRPDR cov 2n-skx-ip6-01
2440       - 24  # rls2009 NDRPDR cov 2n-skx-l2-00
2441       - 25  # rls2009 NDRPDR cov 2n-skx-l2-01
2442       - 26  # rls2009 NDRPDR cov 2n-skx-lb-00
2443       - 27  # rls2009 NDRPDR cov 2n-skx-memif-00
2444       - 28  # rls2009 NDRPDR cov 2n-skx-vhost-00
2445       - 29  # rls2009 NDRPDR cov 2n-skx-vhost-01
2446       - 30  # rls2009 NDRPDR cov 2n-skx-vts-00
2447
2448     csit-vpp-perf-verify-2001-2n-clx:
2449       - 39  # MRR
2450     csit-vpp-perf-report-iterative-2005-2n-clx:
2451       - 62  # NDRPDR sel env 4
2452       - 63  # NDRPDR sel env 4
2453       - 64  # NDRPDR sel env 4
2454       - 65  # NDRPDR sel env 4
2455       - 66  # NDRPDR sel env 4
2456       - 68  # NDRPDR sel env 4
2457       - 69  # NDRPDR sel env 4
2458       - 70  # NDRPDR sel env 4
2459       - 103 # NDRPDR sel env 4
2460       - 104 # NDRPDR sel env 4
2461       - 73  # NDRPDR sel 2001.0-4
2462       - 74  # NDRPDR sel 2001.0-4
2463       - 75  # NDRPDR sel 2001.0-4
2464       - 76  # NDRPDR sel 2001.0-4
2465       - 77  # NDRPDR sel 2001.0-4
2466       - 78  # NDRPDR sel 2001.0-4
2467       - 79  # NDRPDR sel 2001.0-4
2468       - 80  # NDRPDR sel 2001.0-4
2469       - 72  # MRR env 4
2470     csit-vpp-perf-report-iterative-2009-2n-clx:
2471       - 77  # rls2005 MRR iter env 5
2472       - 13  # rls2005 NDRPDR iter env 5
2473       - 15  # rls2005 NDRPDR iter env 5
2474       - 17  # rls2005 NDRPDR iter env 5
2475       - 18  # rls2005 NDRPDR iter env 5
2476       - 19  # rls2005 NDRPDR iter env 5
2477       - 20  # rls2005 NDRPDR iter env 5
2478       - 21  # rls2005 NDRPDR iter env 5
2479       - 22  # rls2005 NDRPDR iter env 5
2480       - 23  # rls2005 NDRPDR iter env 5
2481       - 24  # rls2005 NDRPDR iter env 5
2482       - 78  # rls2009 MRR iter env 5
2483       - 36  # rls2009 NDRPDR iter env 5
2484       - 39  # rls2009 NDRPDR iter env 5
2485       - 40  # rls2009 NDRPDR iter env 5
2486       - 65  # rls2009 NDRPDR iter env 5
2487       - 66  # rls2009 NDRPDR iter env 5
2488       - 79  # rls2009 NDRPDR iter env 5
2489       - 82  # rls2009 NDRPDR iter env 5
2490       - 88  # rls2009 NDRPDR iter env 5
2491       - 89  # rls2009 NDRPDR iter env 5
2492       - 90  # rls2009 NDRPDR iter env 5
2493       - 37  # rls2009 nf-density iter env 5
2494       - 43  # rls2009 nf-density iter env 5
2495       - 69  # rls2009 nf-density iter env 5
2496       - 70  # rls2009 nf-density iter env 5
2497       - 71  # rls2009 nf-density iter env 5
2498       - 72  # rls2009 nf-density iter env 5
2499       - 73  # rls2009 nf-density iter env 5
2500       - 74  # rls2009 nf-density iter env 5
2501       - 75  # rls2009 nf-density iter env 5
2502       - 76  # rls2009 nf-density iter env 5
2503       - 45  # rls2009 MRR nf-density iter env 5
2504       - 25  # rls2009 reconf env 5
2505       - 27  # rls2009 reconf env 5
2506       - 28  # rls2009 reconf env 5
2507       - 29  # rls2009 reconf env 5
2508       - 30  # rls2009 reconf env 5
2509       - 30  # rls2009 reconf env 5
2510       - 32  # rls2009 reconf env 5
2511       - 48  # rls2009 reconf env 5
2512       - 53  # rls2009 reconf env 5
2513       - 68  # rls2009 reconf env 5
2514       - 33  # rls2009 soak env 5
2515       - 34  # rls2009 soak env 5
2516     csit-vpp-perf-report-coverage-2009-2n-clx:
2517       - 2   # rls2009 NDRPDR cov 2n-clx-ip4-00
2518       - 3   # rls2009 NDRPDR cov 2n-clx-ip4-01
2519       - 4   # rls2009 NDRPDR cov 2n-clx-ip4-02
2520       - 5   # rls2009 NDRPDR cov 2n-clx-ip4-03
2521       - 6   # rls2009 NDRPDR cov 2n-clx-ip4-04
2522       - 7   # rls2009 NDRPDR cov 2n-clx-ip4-05
2523       - 22  # rls2009 NDRPDR cov 2n-clx-ip6-00
2524       - 9   # rls2009 NDRPDR cov 2n-clx-ip6-01
2525       - 17  # rls2009 NDRPDR cov 2n-clx-l2-00
2526       - 21  # rls2009 NDRPDR cov 2n-clx-l2-01
2527       - 12  # rls2009 NDRPDR cov 2n-clx-lb-00
2528       - 13  # rls2009 NDRPDR cov 2n-clx-memif-00
2529       - 14  # rls2009 NDRPDR cov 2n-clx-vhost-00
2530       - 15  # rls2009 NDRPDR cov 2n-clx-vhost-01
2531       - 16  # rls2009 NDRPDR cov 2n-clx-vts-00
2532
2533     csit-vpp-perf-verify-2001-3n-tsh:
2534       - 9   # MRR sel
2535     csit-vpp-perf-report-iterative-2005-3n-tsh:
2536       - 23  # NDRPDR sel env 4
2537       - 25  # NDRPDR sel env 4
2538       - 33  # NDRPDR sel env 4
2539       - 34  # NDRPDR sel env 4
2540       - 35  # NDRPDR sel env 4
2541       - 36  # NDRPDR sel env 4
2542       - 37  # NDRPDR sel env 4
2543       - 38  # NDRPDR sel env 4
2544       - 39  # NDRPDR sel env 4
2545       - 40  # NDRPDR sel env 4
2546       - 28  # NDRPDR sel 2001.0-4
2547       - 29  # NDRPDR sel 2001.0-4
2548       - 31  # NDRPDR sel 2001.0-4
2549       - 27  # MRR sel env 4
2550     # TODO: Add:
2551     csit-vpp-perf-report-iterative-2009-3n-tsh:
2552       - 8   # rls2005 NDRPDR iter env 5
2553       - 11  # rls2005 NDRPDR iter env 5
2554       - 12  # rls2005 NDRPDR iter env 5
2555       - 24  # rls2005 NDRPDR iter env 5
2556       - 27  # rls2005 NDRPDR iter env 5
2557       - 29  # rls2005 NDRPDR iter env 5
2558       - 13  # rls2005 MRR iter env 5
2559       - 14  # rls2009 NDRPDR iter env 5
2560       - 20  # rls2009 NDRPDR iter env 5
2561       - 21  # rls2009 NDRPDR iter env 5
2562       - 22  # rls2009 NDRPDR iter env 5
2563       - 23  # rls2009 NDRPDR iter env 5
2564       - 28  # rls2009 NDRPDR iter env 5
2565       - 30  # rls2009 NDRPDR iter env 5
2566       - 15  # rls2009 MRR iter env 5
2567
2568     csit-vpp-perf-verify-2001-3n-dnv:
2569       - 5   # NDRPDR sel
2570       - 6   # NDRPDR sel
2571       - 7   # NDRPDR sel
2572       - 8   # NDRPDR sel
2573       - 9   # NDRPDR sel
2574       - 10  # NDRPDR sel
2575       - 12  # NDRPDR sel
2576       - 16  # NDRPDR sel
2577       - 17  # NDRPDR sel
2578       - 18  # NDRPDR sel
2579       - 11  # MRR sel
2580     csit-vpp-perf-report-iterative-2009-3n-dnv:
2581       - 16  # rls2005 NDRPDR iter env 5
2582       - 23  # rls2005 NDRPDR iter env 5
2583       - 25  # rls2005 NDRPDR iter env 5
2584       - 26  # rls2005 NDRPDR iter env 5
2585       - 27  # rls2005 NDRPDR iter env 5
2586       - 28  # rls2005 NDRPDR iter env 5
2587       - 29  # rls2005 NDRPDR iter env 5
2588       - 30  # rls2005 NDRPDR iter env 5
2589       - 31  # rls2005 NDRPDR iter env 5
2590       - 32  # rls2005 NDRPDR iter env 5
2591       - 19  # rls2005 MRR iter env 5
2592       - 3   # rls2009 NDRPDR iter env 5
2593       - 6   # rls2009 NDRPDR iter env 5
2594       - 7   # rls2009 NDRPDR iter env 5
2595       - 8   # rls2009 NDRPDR iter env 5
2596       - 10  # rls2009 NDRPDR iter env 5
2597       - 11  # rls2009 NDRPDR iter env 5
2598       - 12  # rls2009 NDRPDR iter env 5
2599       - 14  # rls2009 NDRPDR iter env 5
2600       - 15  # rls2009 NDRPDR iter env 5
2601       - 24  # rls2009 NDRPDR iter env 5
2602       - 22  # rls2009 MRR iter env 5
2603     csit-vpp-perf-report-coverage-2009-3n-dnv:
2604       - 10  # rls2009 NDRPDR cov 3n-dnv-crypto-00
2605       - 2   # rls2009 NDRPDR cov 3n-dnv-crypto-01
2606       - 11  # rls2009 NDRPDR cov 3n-dnv-ip4-00
2607       - 12  # rls2009 NDRPDR cov 3n-dnv-ip4-01
2608       - 13  # rls2009 NDRPDR cov 3n-dnv-ip4tun-00
2609       - 14  # rls2009 NDRPDR cov 3n-dnv-ip6-00
2610       - 15  # rls2009 NDRPDR cov 3n-dnv-ip6-01
2611       - 16  # rls2009 NDRPDR cov 3n-dnv-l2-00
2612       - 17  # rls2009 NDRPDR cov 3n-dnv-l2-01
2613
2614     csit-vpp-perf-verify-2001-2n-dnv:
2615       - 4   # NDRPDR sel
2616       - 5   # NDRPDR sel
2617       - 6   # NDRPDR sel
2618       - 7   # NDRPDR sel
2619       - 8   # NDRPDR sel
2620       - 9   # NDRPDR sel
2621       - 10  # NDRPDR sel
2622       - 11  # NDRPDR sel
2623       - 13  # NDRPDR sel
2624       - 16  # NDRPDR sel
2625       - 12  # MRR sel
2626     csit-vpp-perf-report-iterative-2009-2n-dnv:
2627       - 16  # rls2005 NDRPDR iter env 5
2628       - 17  # rls2005 NDRPDR iter env 5
2629       - 18  # rls2005 NDRPDR iter env 5
2630       - 19  # rls2005 NDRPDR iter env 5
2631       - 21  # rls2005 NDRPDR iter env 5
2632       - 24  # rls2005 NDRPDR iter env 5
2633       - 27  # rls2005 NDRPDR iter env 5
2634       - 28  # rls2005 NDRPDR iter env 5
2635       - 29  # rls2005 NDRPDR iter env 5
2636       - 30  # rls2005 NDRPDR iter env 5
2637       - 23  # rls2005 MRR iter env 5
2638       - 3   # rls2009 NDRPDR iter env 5
2639       - 5   # rls2009 NDRPDR iter env 5
2640       - 6   # rls2009 NDRPDR iter env 5
2641       - 7   # rls2009 NDRPDR iter env 5
2642       - 9   # rls2009 NDRPDR iter env 5
2643       - 10  # rls2009 NDRPDR iter env 5
2644       - 11  # rls2009 NDRPDR iter env 5
2645       - 12  # rls2009 NDRPDR iter env 5
2646       - 14  # rls2009 NDRPDR iter env 5
2647       - 15  # rls2009 NDRPDR iter env 5
2648       - 13  # rls2009 MRR iter env 5
2649     csit-vpp-perf-report-coverage-2009-2n-dnv:
2650       - 2   # rls2009 NDRPDR cov 2n-dnv-ip4-00
2651       - 3   # rls2009 NDRPDR cov 2n-dnv-ip4-01
2652       - 4   # rls2009 NDRPDR cov 2n-dnv-ip6-00
2653       - 5   # rls2009 NDRPDR cov 2n-dnv-ip6-01
2654       - 6   # rls2009 NDRPDR cov 2n-dnv-l2-00
2655       - 7   # rls2009 NDRPDR cov 2n-dnv-l2-01
2656
2657     csit-dpdk-perf-verify-2001-3n-hsw:
2658       - 4   # NDRPDR sel
2659       - 5   # NDRPDR sel
2660       - 6   # NDRPDR sel
2661       - 7   # NDRPDR sel
2662       - 8   # NDRPDR sel
2663       - 9   # NDRPDR sel
2664       - 10  # NDRPDR sel
2665       - 11  # NDRPDR sel
2666       - 12  # NDRPDR sel
2667       - 13  # NDRPDR sel
2668       - 15  # NDRPDR sel
2669       - 16  # NDRPDR sel
2670       - 17  # NDRPDR sel
2671       - 18  # NDRPDR sel
2672       - 19  # NDRPDR sel
2673       - 20  # NDRPDR sel
2674       - 21  # NDRPDR sel
2675       - 22  # NDRPDR sel
2676       - 23  # NDRPDR sel
2677       - 24  # NDRPDR sel
2678     csit-dpdk-perf-report-iterative-2005-3n-hsw:
2679       - 25  # NDRPDR iter
2680       - 26  # NDRPDR iter
2681       - 27  # NDRPDR iter
2682       - 28  # NDRPDR iter
2683       - 29  # NDRPDR iter
2684       - 30  # NDRPDR iter
2685       - 31  # NDRPDR iter
2686       - 32  # NDRPDR iter
2687       - 33  # NDRPDR iter
2688       - 34  # NDRPDR iter
2689     csit-dpdk-perf-report-iterative-2009-3n-hsw:
2690       - 6   # NDRPDR iter env5
2691       - 7   # NDRPDR iter env5
2692       - 8   # NDRPDR iter env5
2693       - 9   # NDRPDR iter env5
2694       - 10  # NDRPDR iter env5
2695       - 11  # NDRPDR iter env5
2696       - 12  # NDRPDR iter env5
2697       - 13  # NDRPDR iter env5
2698       - 14  # NDRPDR iter env5
2699       - 15  # NDRPDR iter env5
2700
2701     csit-dpdk-perf-verify-2001-3n-skx:
2702       - 29  # NDRPDR sel xxv710
2703       - 33  # NDRPDR sel xxv710
2704       - 34  # NDRPDR sel xxv710
2705       - 35  # NDRPDR sel xxv710
2706       - 36  # NDRPDR sel xxv710
2707       - 37  # NDRPDR sel xxv710
2708       - 41  # NDRPDR sel xxv710
2709       - 42  # NDRPDR sel xxv710
2710       - 43  # NDRPDR sel xxv710
2711       - 45  # NDRPDR sel xxv710
2712       - 30  # NDRPDR sel x710
2713       - 31  # NDRPDR sel x710
2714       - 32  # NDRPDR sel x710
2715       - 38  # NDRPDR sel x710
2716       - 39  # NDRPDR sel x710
2717       - 40  # NDRPDR sel x710
2718       - 44  # NDRPDR sel x710
2719       - 46  # NDRPDR sel x710
2720       - 47  # NDRPDR sel x710
2721       - 48  # NDRPDR sel x710
2722     csit-dpdk-perf-report-iterative-2005-3n-skx:
2723       - 28  # NDRPDR iter
2724       - 29  # NDRPDR iter
2725       - 30  # NDRPDR iter
2726       - 31  # NDRPDR iter
2727       - 32  # NDRPDR iter
2728       - 33  # NDRPDR iter
2729       - 34  # NDRPDR iter
2730       - 35  # NDRPDR iter
2731       - 36  # NDRPDR iter
2732       - 37  # NDRPDR iter
2733     csit-dpdk-perf-report-iterative-2009-3n-skx:
2734       - 4   # NDRPDR sel env5
2735       - 5   # NDRPDR sel env5
2736       - 6   # NDRPDR sel env5
2737       - 7   # NDRPDR sel env5
2738       - 8   # NDRPDR sel env5
2739       - 9   # NDRPDR sel env5
2740       - 14  # NDRPDR sel env5
2741       - 11  # NDRPDR sel env5
2742       - 12  # NDRPDR sel env5
2743       - 13  # NDRPDR sel env5
2744
2745     csit-dpdk-perf-verify-2001-2n-skx:
2746       - 35  # NDRPDR sel xxv710
2747       - 36  # NDRPDR sel xxv710
2748       - 37  # NDRPDR sel xxv710
2749       - 41  # NDRPDR sel xxv710
2750       - 42  # NDRPDR sel xxv710
2751       - 43  # NDRPDR sel xxv710
2752       - 46  # NDRPDR sel xxv710
2753       - 47  # NDRPDR sel xxv710
2754       - 52  # NDRPDR sel xxv710
2755       - 53  # NDRPDR sel xxv710
2756       - 38  # NDRPDR sel x710
2757       - 39  # NDRPDR sel x710
2758       - 40  # NDRPDR sel x710
2759       - 44  # NDRPDR sel x710
2760       - 45  # NDRPDR sel x710
2761       - 48  # NDRPDR sel x710
2762       - 49  # NDRPDR sel x710
2763       - 50  # NDRPDR sel x710
2764       - 51  # NDRPDR sel x710
2765       - 54  # NDRPDR sel x710
2766     csit-dpdk-perf-report-iterative-2005-2n-skx:
2767       - 20  # NDRPDR iter
2768       - 21  # NDRPDR iter
2769       - 22  # NDRPDR iter
2770       - 23  # NDRPDR iter
2771       - 24  # NDRPDR iter
2772       - 25  # NDRPDR iter
2773       - 26  # NDRPDR iter
2774       - 27  # NDRPDR iter
2775       - 28  # NDRPDR iter
2776       - 29  # NDRPDR iter
2777     csit-dpdk-perf-report-iterative-2009-2n-skx:
2778       - 4   # NDRPDR iter env5
2779       - 5   # NDRPDR iter env5
2780       - 6   # NDRPDR iter env5
2781       - 7   # NDRPDR iter env5
2782       - 8   # NDRPDR iter env5
2783       - 9   # NDRPDR iter env5
2784       - 10  # NDRPDR iter env5
2785       - 11  # NDRPDR iter env5
2786       - 12  # NDRPDR iter env5
2787       - 13  # NDRPDR iter env5
2788
2789     csit-dpdk-perf-verify-2001-2n-clx:
2790       - 15  # NDRPDR sel
2791       - 16  # NDRPDR sel
2792       - 17  # NDRPDR sel
2793       - 18  # NDRPDR sel
2794       - 19  # NDRPDR sel
2795       - 20  # NDRPDR sel
2796       - 21  # NDRPDR sel
2797       - 22  # NDRPDR sel
2798       - 23  # NDRPDR sel
2799       - 24  # NDRPDR sel
2800       - 25  # NDRPDR sel
2801       - 26  # NDRPDR sel
2802       - 27  # NDRPDR sel
2803       - 28  # NDRPDR sel
2804       - 29  # NDRPDR sel
2805       - 30  # NDRPDR sel
2806       - 31  # NDRPDR sel
2807       - 32  # NDRPDR sel
2808       - 33  # NDRPDR sel
2809       - 34  # NDRPDR sel
2810     csit-dpdk-perf-report-iterative-2005-2n-clx:
2811       - 20  # NDRPDR iter
2812       - 21  # NDRPDR iter
2813       - 22  # NDRPDR iter
2814       - 23  # NDRPDR iter
2815       - 24  # NDRPDR iter
2816       - 25  # NDRPDR iter
2817       - 26  # NDRPDR iter
2818       - 27  # NDRPDR iter
2819       - 28  # NDRPDR iter
2820       - 29  # NDRPDR iter
2821     csit-dpdk-perf-report-iterative-2009-2n-clx:
2822       - 4   # NDRPDR iter env5
2823       - 5   # NDRPDR iter env5
2824       - 6   # NDRPDR iter env5
2825       - 7   # NDRPDR iter env5
2826       - 8   # NDRPDR iter env5
2827       - 9   # NDRPDR iter env5
2828       - 10  # NDRPDR iter env5
2829       - 11  # NDRPDR iter env5
2830       - 12  # NDRPDR iter env5
2831       - 13  # NDRPDR iter env5
2832
2833 #    csit-dpdk-perf-verify-2001-2n-dnv:
2834 #      - 9   # NDRPDR sel
2835 #      - 10  # NDRPDR sel
2836 #      - 11  # NDRPDR sel
2837 #      - 12  # NDRPDR sel
2838 #      - 13  # NDRPDR sel
2839 #      - 14  # NDRPDR sel
2840 #      - 15  # NDRPDR sel
2841 #      - 16  # NDRPDR sel
2842 #      - 17  # NDRPDR sel
2843 #      - 18  # NDRPDR sel
2844 #    csit-dpdk-perf-report-iterative-2005-2n-dnv:
2845 #      # No data
2846 #    # csit-dpdk-perf-report-iterative-2009-2n-dnv:
2847 #      # No data
2848
2849 #    csit-dpdk-perf-verify-2001-3n-dnv:
2850 #      - 12  # NDRPDR sel
2851 #      - 13  # NDRPDR sel
2852 #      - 14  # NDRPDR sel
2853 #      - 15  # NDRPDR sel
2854 #      - 16  # NDRPDR sel
2855 #      - 17  # NDRPDR sel
2856 #      - 18  # NDRPDR sel
2857 #      - 19  # NDRPDR sel
2858 #      - 20  # NDRPDR sel
2859 #      - 22  # NDRPDR sel
2860 #    csit-dpdk-perf-report-iterative-2005-3n-dnv:
2861 #      # No data
2862 #    # csit-dpdk-perf-report-iterative-2009-3n-dnv:
2863 #      # No data
2864
2865     csit-dpdk-perf-verify-2001-3n-tsh:
2866       - 3   # NDRPDR sel
2867       - 4   # NDRPDR sel
2868       - 5   # NDRPDR sel
2869       - 9   # NDRPDR sel
2870       - 10  # NDRPDR sel
2871       - 11  # NDRPDR sel
2872       - 12  # NDRPDR sel
2873       - 14  # NDRPDR sel
2874       - 15  # NDRPDR sel
2875       - 18  # NDRPDR sel
2876     csit-dpdk-perf-report-iterative-2005-3n-tsh:
2877       - 5   # NDRPDR sel
2878     csit-dpdk-perf-report-iterative-2009-3n-tsh:
2879       - 1   # NDRPDR iter env5
2880       - 2   # NDRPDR iter env5
2881       - 3   # NDRPDR iter env5
2882       - 4   # NDRPDR iter env5
2883       - 5   # NDRPDR iter env5
2884       - 6   # NDRPDR iter env5
2885       - 7   # NDRPDR iter env5
2886       - 9   # NDRPDR iter env5
2887       - 10  # NDRPDR iter env5
2888       - 11  # NDRPDR iter env5
2889
2890     csit-vpp-device-2009-ubuntu1804-1n-skx:
2891       - 131 # rls2009 env 5
2892
2893 - type: "output"
2894   output: "report"
2895   format:
2896     html:
2897     - full
2898     pdf:
2899     - minimal
2900
2901 ################################################################################
2902 ###                               T A B L E S                                ###
2903 ################################################################################
2904
2905 # VPP Soak vs NDR - 2n-skx
2906 - type: "table"
2907   title: "VPP Soak vs NDR 2n-skx"
2908   algorithm: "table_soak_vs_ndr"
2909   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-skx"
2910   reference:
2911     title: "NDR"
2912     data: "vpp-soak-vs-ndr-2n-skx-ref"
2913   compare:
2914     title: "Soak"
2915     data: "vpp-soak-vs-ndr-2n-skx-cmp"
2916   data: "vpp-soak-vs-ndr-2n-skx"
2917   include-tests: "NDR"
2918   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
2919   parameters:
2920     - "throughput"
2921     - "name"
2922     - "parent"
2923
2924 # VPP Soak vs NDR - 2n-clx
2925 - type: "table"
2926   title: "VPP Soak vs NDR 2n-clx"
2927   algorithm: "table_soak_vs_ndr"
2928   output-file: "{DIR[STATIC,VPP]}/soak-vs-ndr-2n-clx"
2929   reference:
2930     title: "NDR"
2931     data: "vpp-soak-vs-ndr-2n-clx-ref"
2932   compare:
2933     title: "Soak"
2934     data: "vpp-soak-vs-ndr-2n-clx-cmp"
2935   data: "vpp-soak-vs-ndr-2n-clx"
2936   include-tests: "NDR"
2937   filter: "('NDRPDR' or 'SOAK') and not 'NF_DENSITY'"
2938   parameters:
2939     - "throughput"
2940     - "name"
2941     - "parent"
2942
2943 ################################################################################
2944
2945 # VPP Compare NICs 3n-skx 2t1c ndr
2946 - type: "table"
2947   title: "VPP Compare NICs 3n-skx 2t1c ndr"
2948   algorithm: "table_comparison"
2949   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-ndr"
2950   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2951   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
2952   columns:
2953     - title: "x710"
2954       data-set: "vpp-nic-comparison-3n-skx"
2955       tag: "NIC_Intel-X710"
2956     - title: "xxv710"
2957       data-set: "vpp-nic-comparison-3n-skx"
2958       tag: "NIC_Intel-XXV710"
2959   comparisons:
2960     - title: "Diff"
2961       reference: 1
2962       compare: 2
2963   legend:
2964     - ""
2965     - "x710, xxv710 - NICs tested."
2966     - "Diff - difference between x710 and xxv710 NIC."
2967
2968 # VPP Compare NICs 3n-skx 4t2c ndr
2969 - type: "table"
2970   title: "VPP Compare NICs 3n-skx 4t2c ndr"
2971   algorithm: "table_comparison"
2972   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-ndr"
2973   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
2974   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
2975   columns:
2976     - title: "x710"
2977       data-set: "vpp-nic-comparison-3n-skx"
2978       tag: "NIC_Intel-X710"
2979     - title: "xxv710"
2980       data-set: "vpp-nic-comparison-3n-skx"
2981       tag: "NIC_Intel-XXV710"
2982   comparisons:
2983     - title: "Diff"
2984       reference: 1
2985       compare: 2
2986   legend:
2987     - ""
2988     - "x710, xxv710 - NICs tested."
2989     - "Diff - difference between x710 and xxv710 NIC."
2990
2991 # VPP Compare NICs 3n-skx 2t1c pdr
2992 - type: "table"
2993   title: "VPP Compare NICs 3n-skx 2t1c pdr"
2994   algorithm: "table_comparison"
2995   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-pdr"
2996   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
2997   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
2998   columns:
2999     - title: "x710"
3000       data-set: "vpp-nic-comparison-3n-skx"
3001       tag: "NIC_Intel-X710"
3002     - title: "xxv710"
3003       data-set: "vpp-nic-comparison-3n-skx"
3004       tag: "NIC_Intel-XXV710"
3005   comparisons:
3006     - title: "Diff"
3007       reference: 1
3008       compare: 2
3009   legend:
3010     - ""
3011     - "x710, xxv710 - NICs tested."
3012     - "Diff - difference between x710 and xxv710 NIC."
3013
3014 # VPP Compare NICs 3n-skx 4t2c pdr
3015 - type: "table"
3016   title: "VPP Compare NICs 3n-skx 4t2c pdr"
3017   algorithm: "table_comparison"
3018   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-pdr"
3019   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3020   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3021   columns:
3022     - title: "x710"
3023       data-set: "vpp-nic-comparison-3n-skx"
3024       tag: "NIC_Intel-X710"
3025     - title: "xxv710"
3026       data-set: "vpp-nic-comparison-3n-skx"
3027       tag: "NIC_Intel-XXV710"
3028   comparisons:
3029     - title: "Diff"
3030       reference: 1
3031       compare: 2
3032   legend:
3033     - ""
3034     - "x710, xxv710 - NICs tested."
3035     - "Diff - difference between x710 and xxv710 NIC."
3036
3037 # VPP Compare NICs 3n-skx 2t1c mrr
3038 - type: "table"
3039   title: "VPP Compare NICs 3n-skx 2t1c mrr"
3040   algorithm: "table_comparison"
3041   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-2t1c-nics-mrr"
3042   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3043   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3044   columns:
3045     - title: "x710"
3046       data-set: "vpp-nic-comparison-3n-skx-mrr"
3047       tag: "NIC_Intel-X710"
3048     - title: "xxv710"
3049       data-set: "vpp-nic-comparison-3n-skx-mrr"
3050       tag: "NIC_Intel-XXV710"
3051   comparisons:
3052     - title: "Diff"
3053       reference: 1
3054       compare: 2
3055   legend:
3056     - ""
3057     - "x710, xxv710 - NICs tested."
3058     - "Diff - difference between x710 and xxv710 NIC."
3059
3060 # VPP Compare NICs 3n-skx 4t2c mrr
3061 - type: "table"
3062   title: "VPP Compare NICs 3n-skx 4t2c mrr"
3063   algorithm: "table_comparison"
3064   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-4t2c-nics-mrr"
3065   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3066   filter: "'4T2C' and 'MRR' and not 'NF_DENSITY'"
3067   columns:
3068     - title: "x710"
3069       data-set: "vpp-nic-comparison-3n-skx-mrr"
3070       tag: "NIC_Intel-X710"
3071     - title: "xxv710"
3072       data-set: "vpp-nic-comparison-3n-skx-mrr"
3073       tag: "NIC_Intel-XXV710"
3074   comparisons:
3075     - title: "Diff"
3076       reference: 1
3077       compare: 2
3078   legend:
3079     - ""
3080     - "x710, xxv710 - NICs tested."
3081     - "Diff - difference between x710 and xxv710 NIC."
3082
3083 # VPP Compare NICs 3n-skx 8t4c mrr
3084 - type: "table"
3085   title: "VPP Compare NICs 3n-skx 8t4c mrr"
3086   algorithm: "table_comparison"
3087   output-file: "{DIR[STATIC,VPP]}/performance-changes-3n-skx-8t4c-nics-mrr"
3088   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3089   filter: "'8T4C' and 'MRR' and not 'NF_DENSITY'"
3090   columns:
3091     - title: "x710"
3092       data-set: "vpp-nic-comparison-3n-skx-mrr"
3093       tag: "NIC_Intel-X710"
3094     - title: "xxv710"
3095       data-set: "vpp-nic-comparison-3n-skx-mrr"
3096       tag: "NIC_Intel-XXV710"
3097   comparisons:
3098     - title: "Diff"
3099       reference: 1
3100       compare: 2
3101   legend:
3102     - ""
3103     - "x710, xxv710 - NICs tested."
3104     - "Diff - difference between x710 and xxv710 NIC."
3105
3106 # VPP Compare NICs 2n-skx 2t1c ndr
3107 - type: "table"
3108   title: "VPP Compare NICs 2n-skx 2t1c ndr"
3109   algorithm: "table_comparison"
3110   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-ndr"
3111   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3112   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3113   columns:
3114     - title: "x710"
3115       data-set: "vpp-nic-comparison-2n-skx"
3116       tag: "NIC_Intel-X710"
3117     - title: "xxv710"
3118       data-set: "vpp-nic-comparison-2n-skx"
3119       tag: "NIC_Intel-XXV710"
3120   comparisons:
3121     - title: "Diff"
3122       reference: 1
3123       compare: 2
3124   legend:
3125     - ""
3126     - "x710, xxv710 - NICs tested."
3127     - "Diff - difference between x710 and xxv710 NIC."
3128
3129 # VPP Compare NICs 2n-skx 4t2c ndr
3130 - type: "table"
3131   title: "VPP Compare NICs 2n-skx 4t2c ndr"
3132   algorithm: "table_comparison"
3133   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-ndr"
3134   include-tests: "NDR" # "PDR" | "NDR" | "MRR"
3135   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3136   columns:
3137     - title: "x710"
3138       data-set: "vpp-nic-comparison-2n-skx"
3139       tag: "NIC_Intel-X710"
3140     - title: "xxv710"
3141       data-set: "vpp-nic-comparison-2n-skx"
3142       tag: "NIC_Intel-XXV710"
3143   comparisons:
3144     - title: "Diff"
3145       reference: 1
3146       compare: 2
3147   legend:
3148     - ""
3149     - "x710, xxv710 - NICs tested."
3150     - "Diff - difference between x710 and xxv710 NIC."
3151
3152 # VPP Compare NICs 2n-skx 2t1c pdr
3153 - type: "table"
3154   title: "VPP Compare NICs 2n-skx 2t1c pdr"
3155   algorithm: "table_comparison"
3156   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-pdr"
3157   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3158   filter: "'2T1C' and 'NDRPDR' and not 'NF_DENSITY'"
3159   columns:
3160     - title: "x710"
3161       data-set: "vpp-nic-comparison-2n-skx"
3162       tag: "NIC_Intel-X710"
3163     - title: "xxv710"
3164       data-set: "vpp-nic-comparison-2n-skx"
3165       tag: "NIC_Intel-XXV710"
3166   comparisons:
3167     - title: "Diff"
3168       reference: 1
3169       compare: 2
3170   legend:
3171     - ""
3172     - "x710, xxv710 - NICs tested."
3173     - "Diff - difference between x710 and xxv710 NIC."
3174
3175 # VPP Compare NICs 2n-skx 4t2c pdr
3176 - type: "table"
3177   title: "VPP Compare NICs 2n-skx 4t2c pdr"
3178   algorithm: "table_comparison"
3179   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-4t2c-nics-pdr"
3180   include-tests: "PDR" # "PDR" | "NDR" | "MRR"
3181   filter: "'4T2C' and 'NDRPDR' and not 'NF_DENSITY'"
3182   columns:
3183     - title: "x710"
3184       data-set: "vpp-nic-comparison-2n-skx"
3185       tag: "NIC_Intel-X710"
3186     - title: "xxv710"
3187       data-set: "vpp-nic-comparison-2n-skx"
3188       tag: "NIC_Intel-XXV710"
3189   comparisons:
3190     - title: "Diff"
3191       reference: 1
3192       compare: 2
3193   legend:
3194     - ""
3195     - "x710, xxv710 - NICs tested."
3196     - "Diff - difference between x710 and xxv710 NIC."
3197
3198 # VPP Compare NICs 2n-skx 2t1c mrr
3199 - type: "table"
3200   title: "VPP Compare NICs 2n-skx 2t1c mrr"
3201   algorithm: "table_comparison"
3202   output-file: "{DIR[STATIC,VPP]}/performance-changes-2n-skx-2t1c-nics-mrr"
3203   include-tests: "MRR" # "PDR" | "NDR" | "MRR"
3204   filter: "'2T1C' and 'MRR' and not 'NF_DENSITY'"
3205   columns:
3206     - title: "x710"
3207       data-set: "vpp-nic-comparison-2n-skx-mrr"
3208   &nb